TorchServe on linux aarch64 - 實驗性

TorchServe 已經過測試，可以在 linux aarch64 上執行某些範例。

• 已在 Amazon Graviton 3 執行個體 (m7g.4x.large) 上測試過。

安裝

目前可以從 PyPi 安裝或從原始碼安裝。

python ts_scripts/install_dependencies.py
pip install torchserve torch-model-archiver torch-workflow-archiver

最佳化

您也可以為 Graviton 3 啟用這些最佳化，以獲得更好的效能。 更多詳細資訊可以在這篇部落格中找到。

export DNNL_DEFAULT_FPMATH_MODE=BF16
export LRU_CACHE_CAPACITY=1024

範例

這個範例關於文字轉語音合成，已驗證可以在 Graviton 3 上運作。

待辦事項

• CI

• 迴歸測試