端侧AI推理,高效部署PyTorch模子:民间新工具开源,Meta已经用上了
ExecuTorch 是端侧一个端到真个处置妄想 ,可能在挪移以及边缘配置装备部署(搜罗可衣着配置装备部署、推理手机等)上实现推理功能 。高效
在 2023 年 PyTorch 大会上 ,部署一个深受巨匠体贴的模民间推理下场患上到了很好的处置 ,会上宣告了一个用于在边缘以及挪移配置装备部署上实现 AI 推理的新工处置妄想:ExecuTorch ,而且仍是具开经用开源的,而增长这一钻研的源Ma已 ,正是端侧 Meta AI 与 PyTorch 基金会 。

ExecuTorch 地址:https://github.com/pytorch/executorch
学习文档:https://pytorch.org/executorch/stable/index.html
随着 ExecuTorch 的推理开源,预示着 AI 运用挨次在配置装备部署受骗地运行、高效而需衔接到效率器或者云成为可能。部署咱们可能将 ExecuTorch 清晰成一个 PyTorch 平台,模民间其能提供根基配置装备部署来运行 PyTorch 挨次,新工从 AR/VR 可衣着配置装备部署到尺度的具开经用 iOS 以及 Android 配置装备部署的挪移部署 。
ExecuTorch 最大优势是可移植性,可能在挪移以及嵌入式配置装备部署上运行 。不光如斯,ExecuTorch 还可能后退开拓职员的使命功能。
据清晰,Meta 曾经履历证了这项技术 ,并将其用于最新一代的雷朋智能眼镜 ,而这款眼镜也是 Meta 最近宣告的 Quest 3 VR 头显的一部份 。Meta 展现,作为开源 PyTorch 名目的一部份 ,他们旨在进一步增长该技术的钻研,从而迈入在配置装备部署上实现 AI 推理的新时期。

Facebook 独创人、Meta 董事长兼首席实施官扎克伯格展现 :「作为开源 AI 使命的一部份,咱们与 PyTorch 基金会及其行业相助过错一起开源了 ExecuTorch。这一变更预示着将 PyTorch 引入了手机以及可衣着配置装备部署等边缘合计平台。ExecuTorch 使 AI 模子可能直接在配置装备部署上运行 ,而无需衔接到效率器。」

Meta 软件工程师 Mergen Nachin 指出,「明天的 AI 模子正在从效率器扩展到边缘配置装备部署,如挪移配置装备部署、AR 、VR 以及 AR 头显 、可衣着配置装备部署 、嵌入式零星等。ExecuTorch 经由提供端到真个使命流来优化当地挨次 ,从而处置边缘配置装备部署碰着的挑战 。」
ExecuTorch 关键组件
ExecuTorch 提供了松散的运行时以及轻量级操作注册表 ,以拆穿困绕 PyTorch 模子生态零星,以及在边缘配置装备部署上实施 PyTorch 挨次的简化道路。此外