❗公告：安全性變更❗

TorchServe 現在預設強制啟用權杖授權，並停用模型 API 控制。這些安全功能旨在解決未經授權的 API 呼叫問題，並防止潛在的惡意程式碼被引入模型伺服器。請參閱以下文件以獲取更多資訊：權杖授權、模型 API 控制

TorchServe

TorchServe 是一個高效能、彈性且易於使用的工具，用於服務 PyTorch eager 模式和 torchscripted 模型。

基本功能

• 服務快速入門 - 基本伺服器使用教學

• 模型封存快速入門 - 教學，展示如何封裝模型封存檔案。

• 安裝 - 安裝程序

• 模型載入 - 如何在 TorchServe 中載入模型？

• 服務模型 - 說明如何使用 TorchServe

• REST API - 關於 TorchServe API 端點的規範

• gRPC API - TorchServe 支援用於推論和管理呼叫的 gRPC API

• 封裝模型封存 - 說明如何封裝模型封存檔案，使用 model-archiver。

• 推論 API - 如何檢查已部署模型的健康狀況並取得推論結果

• 管理 API - 如何管理和擴展模型

• 日誌記錄 - 如何設定日誌記錄

• 指標 - 如何設定指標

• Prometheus 和 Grafana 指標 - 如何在 Grafana 儀表板中設定具有 Prometheus 格式指標的指標 API

• Captum 解釋 - 內建支援 Captum 解釋，適用於文字和圖像

• 使用 TorchServe 進行批次推論 - 如何在 TorchServe 中建立和服務具有批次推論的模型

• 工作流程 - 如何建立工作流程以在循序和平行管道中組合 Pytorch 模型和 Python 函數

預設處理器

• 圖像分類器 - 此處理器接收圖像並傳回該圖像中物件的名稱

• 文字分類器 - 此處理器接收文字（字串）作為輸入，並根據模型詞彙表傳回分類文字

• 物件偵測器 - 此處理器接收圖像並分別傳回偵測到的類別和邊界框列表

• 圖像分割器- 此處理器接收圖像並傳回輸出形狀為 [CL H W]，CL - 類別數量，H - 高度，W - 寬度

範例

• 部署 LLM - 如何使用 TorchServe 輕鬆部署 LLM

• HuggingFace 語言模型 - 此處理器接收輸入句子，可以傳回序列分類、標記分類或問答答案

• 多模態框架 - 建構和部署結合文字、音訊和視訊輸入資料的分類器

• 雙重翻譯工作流程 -

• 模型動物園 - 預先訓練的模型封存列表，已準備好透過 TorchServe 進行推論服務。

• 範例 - 許多關於如何使用 TorchServe 封裝和部署模型的範例

  • TorchServe 內部

  • TorchServe 整合

  • TorchServe 使用案例

• 工作流程範例 - 關於如何在 TorchServe 中使用工作流程組合模型的範例

• Resnet50 HPU 編譯 - 關於如何在編譯模式下使用 HPU 裝置執行模型的範例

進階功能

• 進階設定 - 描述進階 TorchServe 設定。

• A/B 測試模型 - 在將模型交付生產環境之前，對模型進行 A/B 測試以進行迴歸

• 自訂服務 - 描述如何開發自訂推論服務。

• 加密模型服務 - 透過 KMS 進行 S3 伺服器端模型加密

• 快照序列化 - 將模型工件序列化至 AWS Dynamo DB

• 基準測試和效能分析 - 使用 JMeter 或 Apache Bench 對您的模型和 TorchServe 本身進行基準測試

• Kubernetes 上的 TorchServe - 展示在 Kubernetes 中使用 Helm Chart 進行的 Torchserve 部署，Azure Kubernetes Service 和 Google Kubernetes service 皆支援

• mlflow-torchserve - 將 mlflow 管道模型部署到 TorchServe 中

• Kubeflow pipelines - Kubeflow pipelines 和 Google Vertex AI Managed pipelines

• NVIDIA MPS - 使用 NVIDIA MPS 在單一 GPU 上最佳化多工作程序部署