TorchServe

TorchServe 是一個高效能、彈性且易於使用的工具，可用於在生產環境中提供 PyTorch 模型服務。

TorchServe 中發生了什麼事？

• 使用 TorchServe 和 AWS Inferentia2 進行高效能 Llama 2 部署

• Naver 案例研究：透過 Intel CPU 和 oneAPI 驅動的軟體實現從高成本 GPU 的過渡，同時提升效能

• 使用 TorchServe，在 Amazon SageMaker 多模型端點上於 GPU 上執行多個生成式 AI 模型，並節省高達 75% 的推論成本

• 只需四個步驟即可透過 Vertex AI 和 PyTorch 部署您的生成式 AI 模型

• Google Cloud TPUv5 上的 PyTorch 模型服務

• 使用 Datadog 進行監控

• Torchserve 效能調校，動畫繪圖案例研究

• Walmart 搜尋：在 TorchServe 上大規模提供模型服務

• 使用 TorchServe 在 CPU 上擴展推論

• TorchServe C++ 後端

• 搭配適用於 PyTorch 的 Intel® 擴充功能的 TorchServe*

• 從第一原理掌握 Intel CPU PyTorch 效能：TorchServe 案例研究

• 從第一原理掌握 Intel CPU PyTorch 效能（第 2 部分）：TorchServe 案例研究

• 案例研究：Amazon Ads 使用 PyTorch 和 AWS Inferentia 來擴展用於廣告處理的模型

• 使用 TorchServe 在 Amazon SageMaker 上透過動態批次推論來最佳化您的推論作業

• 使用 AI 讓兒童的繪圖栩栩如生

• PyTorch 中的模型服務

• Cresta 機器學習架構的演進：遷移到 AWS 和 PyTorch

• 用簡白的語言解釋：TorchServe

• 如何使用 TorchServe 提供 PyTorch 模型服務

• 如何在 Vertex AI 上部署 PyTorch 模型

• 服務平台的量化比較

---

TorchServe 快速入門

主題： 快速入門

了解如何安裝 TorchServe 並提供模型服務。

執行 TorchServe

主題： 執行 TorchServe

深入解釋如何執行 TorchServe

為什麼選擇 TorchServe

主題： 範例

各種 TorchServe 用例

TorchServe GenAI 用例

主題： 用例

展示 GenAI 部署情境和用例

效能

主題： 效能,疑難排解

使用 TorchServe 時如何提高效能的指南和最佳實務

指標

主題： 指標,效能,疑難排解

收集和檢視 Torcherve 指標

大型模型推論

主題： 大型模型,效能

使用 TorchServe 提供大型模型服務

疑難排解

主題： 疑難排解,效能

Torcherve 和用例的各種更新。

TorchServe 安全性政策

主題： 安全性

安全性政策

常見問題

主題： 常見問題

各種常見問題。