ExecuTorch 總覽¶
ExecuTorch 是一個端對端解決方案,用於在行動裝置和邊緣裝置(包括穿戴式裝置、嵌入式裝置和微控制器)上啟用裝置端推論功能。它是 PyTorch Edge 生態系統的一部分,可有效率地將 PyTorch 模型部署到邊緣裝置。
ExecuTorch 的主要價值主張是
可移植性: 與各種計算平台相容,從高階手機到高度受限的嵌入式系統和微控制器。
生產力: 使開發人員能夠使用相同的工具鏈和開發者工具,從 PyTorch 模型編寫和轉換,到偵錯和部署到各種平台。
效能: 由於輕量級執行階段並利用完整的硬體功能(例如 CPU、NPU 和 DSP),為最終使用者提供無縫且高效能的體驗。
為什麼選擇 ExecuTorch?¶
支援裝置端 AI 面臨著獨特的挑戰,包括多樣化的硬體、關鍵的電源需求、低/無網路連線以及即時處理需求。 這些限制在過去阻礙或減緩了可擴展且高效能的裝置端 AI 解決方案的創建。 我們設計了 ExecuTorch,並得到 Meta、Arm、Apple 和 Qualcomm 等產業合作夥伴的支持,它具有高度的可移植性,並提供卓越的開發人員生產力,而不會降低效能。
ExecuTorch 與 PyTorch Mobile (Lite Interpreter) 有何不同?¶
PyTorch Mobile 使用 TorchScript,讓 PyTorch 模型可以在資源有限的裝置上執行。相較於 PyTorch Mobile,ExecuTorch 具有更小的記憶體大小和動態記憶體佔用空間,因此在效能和可攜性方面更勝一籌。此外,ExecuTorch 不依賴 TorchScript,而是利用 PyTorch 2 編譯器和匯出功能,在裝置上執行 PyTorch 模型。
閱讀更多關於 ExecuTorch 的深入技術概述主題