目錄

• TorchServe
• 疑難排解指南
• 效能指南
• 使用 TorchServe 進行批次推論
• 程式碼涵蓋率
• 進階設定
• 自訂服務
• TorchServe 預設推論處理常式
• TorchServe 中的日誌記錄
• TorchServe 指標
• 模型動物園
• 請求封裝
• 執行 TorchServe
• TorchServe 模型快照
• Windows 上的 TorchServe
• 適用於 Linux 的 Windows 子系統 (WSL) 上的 TorchServe
• Torchserve 使用案例
• TorchServe 工作流程
• 使用 Torchserve 提供大型模型服務
• 常見問題

硬體支援

• AMD 支援
  • 支援的 ROCm 版本
  • 安裝
    • 使用 HIP_VISIBLE_DEVICES 選擇加速器
  • Docker
  • 使用範例
• Apple Silicon 支援
  • 支援哪些功能
  • 實驗性支援
    • 測試
      • 在 Mac M1 Pro 上使用 MPS 的 Resnet-18 範例
      • Conda 範例
• Linux aarch64 上的 TorchServe - 實驗性
  • 安裝
  • 最佳化
  • 範例
  • 待辦事項
• 使用 NVIDIA MPS 執行 TorchServe
  • 基準測試
    • G4 執行個體
    • P3 執行個體
  • 摘要
• Intel Extension for PyTorch

服務 API

• TorchServe gRPC API
  • 適用於 gRPC API 的 Python 用戶端範例
  • GRPC 伺服器端串流
• 推論 API
  • API 說明
  • 健康檢查 API
  • 預測 API
    • curl 範例
    • curl 範例
  • 說明 API
    • curl 範例
  • KServe 推論 API
    • curl 範例
  • KServe 說明 API
    • curl 範例
• 管理 API
  • 註冊模型
    • 加密模型服務
  • 擴展工作人員
  • 描述模型
  • 取消註冊模型
  • 列出模型
  • API 說明
  • 設定預設版本
  • Token 授權 API
• 指標 API
  • Prometheus 伺服器
  • Grafana
• TorchServe REST API
• 工作流程推論 API
  • 預測 API
    • curl 範例
• 管理 API
  • 註冊工作流程
  • 描述工作流程
  • 取消註冊工作流程
  • 列出工作流程

開發者 API

• ts 套件
  • 子套件
    • ts.metrics 套件
      • 子模組
      • ts.metrics.dimension 模組
      • ts.metrics.metric 模組
      • ts.metrics.metric_collector 模組
      • ts.metrics.metric_encoder 模組
      • ts.metrics.metrics_store 模組
      • ts.metrics.process_memory_metric 模組
      • ts.metrics.system_metrics 模組
      • ts.metrics.unit 模組
      • 模組內容
    • ts.model_service 套件
      • 子模組
      • ts.model_service.model_service 模組
      • 模組內容
    • ts.protocol 套件
      • 子模組
      • ts.protocol.otf_message_handler 模組
      • 模組內容
    • ts.torch_handler 套件
      • 子套件
        • ts.torch_handler.request_envelope 套件
          • 子模組
          • ts.torch_handler.request_envelope.base 模組
          • ts.torch_handler.request_envelope.body 模組
          • ts.torch_handler.request_envelope.json 模組
          • ts.torch_handler.request_envelope.kserve 模組
          • ts.torch_handler.request_envelope.kservev2 模組
          • 模組內容
        • ts.torch_handler.unit_tests 套件
          • 子套件
            • ts.torch_handler.unit_tests.models 套件
              • 子模組
              • ts.torch_handler.unit_tests.models.base_model 模組
              • 模組內容
            • ts.torch_handler.unit_tests.test_utils 套件
              • 子模組
              • ts.torch_handler.unit_tests.test_utils.mock_context 模組
              • 模組內容
          • 子模組
          • ts.torch_handler.unit_tests.test_base_handler 模組
          • ts.torch_handler.unit_tests.test_envelopes 模組
          • ts.torch_handler.unit_tests.test_image_classifier 模組
          • ts.torch_handler.unit_tests.test_image_segmenter 模組
          • ts.torch_handler.unit_tests.test_mnist_kf 模組
          • ts.torch_handler.unit_tests.test_object_detector 模組
          • 模組內容
      • 子模組
      • ts.torch_handler.base_handler 模組
      • ts.torch_handler.contractions 模組
      • ts.torch_handler.densenet_handler 模組
      • ts.torch_handler.image_classifier 模組
      • ts.torch_handler.image_segmenter 模組
      • ts.torch_handler.object_detector 模組
      • ts.torch_handler.text_classifier 模組
      • ts.torch_handler.text_handler 模組
      • ts.torch_handler.vision_handler 模組
      • 模組內容
    • ts.utils 套件
      • 子模組
      • ts.utils.timeit_decorator 模組
      • ts.utils.util 模組
      • 模組內容
  • 子模組
  • ts.arg_parser 模組
  • ts.context 模組
  • ts.model_loader 模組
  • ts.model_server 模組
  • ts.model_service_worker 模組
  • ts.service 模組
  • ts.version 模組
  • 模組內容
• ts.torch_handler.request_envelope 套件
  • 子模組
  • ts.torch_handler.request_envelope.base 模組
  • ts.torch_handler.request_envelope.body 模組
  • ts.torch_handler.request_envelope.json 模組
  • ts.torch_handler.request_envelope.kserve 模組
  • ts.torch_handler.request_envelope.kservev2 模組
  • 模組內容
• ts.torch_handler 套件
  • 子套件
    • ts.torch_handler.request_envelope 套件
      • 子模組
      • ts.torch_handler.request_envelope.base 模組
      • ts.torch_handler.request_envelope.body 模組
      • ts.torch_handler.request_envelope.json 模組
      • ts.torch_handler.request_envelope.kserve 模組
      • ts.torch_handler.request_envelope.kservev2 模組
      • 模組內容
    • ts.torch_handler.unit_tests 套件
      • 子套件
        • ts.torch_handler.unit_tests.models 套件
          • 子模組
          • ts.torch_handler.unit_tests.models.base_model 模組
          • 模組內容
        • ts.torch_handler.unit_tests.test_utils 套件
          • 子模組
          • ts.torch_handler.unit_tests.test_utils.mock_context 模組
          • 模組內容
      • 子模組
      • ts.torch_handler.unit_tests.test_base_handler 模組
      • ts.torch_handler.unit_tests.test_envelopes 模組
      • ts.torch_handler.unit_tests.test_image_classifier 模組
      • ts.torch_handler.unit_tests.test_image_segmenter 模組
      • ts.torch_handler.unit_tests.test_mnist_kf 模組
      • ts.torch_handler.unit_tests.test_object_detector 模組
      • 模組內容
  • 子模組
  • ts.torch_handler.base_handler 模組
  • ts.torch_handler.contractions 模組
  • ts.torch_handler.densenet_handler 模組
  • ts.torch_handler.image_classifier 模組
  • ts.torch_handler.image_segmenter 模組
  • ts.torch_handler.object_detector 模組
  • ts.torch_handler.text_classifier 模組
  • ts.torch_handler.text_handler 模組
  • ts.torch_handler.vision_handler 模組
  • 模組內容
• ts.metrics 套件
  • 子模組
  • ts.metrics.dimension 模組
  • ts.metrics.metric 模組
  • ts.metrics.metric_collector 模組
  • ts.metrics.metric_encoder 模組
  • ts.metrics.metrics_store 模組
  • ts.metrics.process_memory_metric 模組
  • ts.metrics.system_metrics 模組
  • ts.metrics.unit 模組
  • 模組內容
• ts.model_service 套件
  • 子模組
  • ts.model_service.model_service 模組
  • 模組內容
• ts.protocol 套件
  • 子模組
  • ts.protocol.otf_message_handler 模組
  • 模組內容
• serve
  • run_circleci_tests 模組
  • setup 模組
  • test 套件
    • 子模組
    • test.regression_tests 模組
    • 模組內容
  • torchserve_sanity 模組
  • ts 套件
    • 子套件
      • ts.metrics 套件
        • 子模組
        • ts.metrics.dimension 模組
        • ts.metrics.metric 模組
        • ts.metrics.metric_collector 模組
        • ts.metrics.metric_encoder 模組
        • ts.metrics.metrics_store 模組
        • ts.metrics.process_memory_metric 模組
        • ts.metrics.system_metrics 模組
        • ts.metrics.unit 模組
        • 模組內容
      • ts.model_service 套件
        • 子模組
        • ts.model_service.model_service 模組
        • 模組內容
      • ts.protocol 套件
        • 子模組
        • ts.protocol.otf_message_handler 模組
        • 模組內容
      • ts.torch_handler 套件
        • 子套件
          • ts.torch_handler.request_envelope 套件
            • 子模組
            • ts.torch_handler.request_envelope.base 模組
            • ts.torch_handler.request_envelope.body 模組
            • ts.torch_handler.request_envelope.json 模組
            • ts.torch_handler.request_envelope.kserve 模組
            • ts.torch_handler.request_envelope.kservev2 模組
            • 模組內容
          • ts.torch_handler.unit_tests 套件
            • 子套件
              • ts.torch_handler.unit_tests.models 套件
                • 子模組
                • ts.torch_handler.unit_tests.models.base_model 模組
                • 模組內容
              • ts.torch_handler.unit_tests.test_utils 套件
                • 子模組
                • ts.torch_handler.unit_tests.test_utils.mock_context 模組
                • 模組內容
            • 子模組
            • ts.torch_handler.unit_tests.test_base_handler 模組
            • ts.torch_handler.unit_tests.test_envelopes 模組
            • ts.torch_handler.unit_tests.test_image_classifier 模組
            • ts.torch_handler.unit_tests.test_image_segmenter 模組
            • ts.torch_handler.unit_tests.test_mnist_kf 模組
            • ts.torch_handler.unit_tests.test_object_detector 模組
            • 模組內容
        • 子模組
        • ts.torch_handler.base_handler 模組
        • ts.torch_handler.contractions 模組
        • ts.torch_handler.densenet_handler 模組
        • ts.torch_handler.image_classifier 模組
        • ts.torch_handler.image_segmenter 模組
        • ts.torch_handler.object_detector 模組
        • ts.torch_handler.text_classifier 模組
        • ts.torch_handler.text_handler 模組
        • ts.torch_handler.vision_handler 模組
        • 模組內容
      • ts.utils 套件
        • 子模組
        • ts.utils.timeit_decorator 模組
        • ts.utils.util 模組
        • 模組內容
    • 子模組
    • ts.arg_parser 模組
    • ts.context 模組
    • ts.model_loader 模組
    • ts.model_server 模組
    • ts.model_service_worker 模組
    • ts.service 模組
    • ts.version 模組
    • 模組內容
  • ts_scripts 套件
    • 子模組
    • ts_scripts.api_utils 模組
    • ts_scripts.backend_utils 模組
    • ts_scripts.frontend_utils 模組
    • ts_scripts.install_dependencies 模組
    • ts_scripts.install_from_src 模組
    • ts_scripts.marsgen 模組
    • ts_scripts.modelarchiver_utils 模組
    • ts_scripts.print_env_info 模組
    • ts_scripts.regression_utils 模組
    • ts_scripts.sanity_utils 模組
    • ts_scripts.shell_utils 模組
    • ts_scripts.torchserve_grpc_client 模組
    • ts_scripts.tsutils 模組
    • ts_scripts.utils 模組
    • ts_scripts.validate_model_on_gpu 模組
    • ts_scripts.workflow_archiver_utils 模組
    • 模組內容