請求封裝

許多模型服務系統都為請求主體提供簽章。 範例包括

• Seldon

• KServe

• Google Cloud AI Platform

資料科學家使用這些多框架系統來管理許多不同模型的部署，這些模型可能以不同的語言和框架編寫。 這些平台在模型服務之上提供額外的分析，包括偏差檢測、解釋和 A/B 測試。 這些平台需要一個結構良好的簽章，以便標準化跨不同框架的呼叫，並了解輸入資料。 不過，為了簡化對多個框架的支援，這些平台只會將請求主體傳遞給底層模型伺服器。

Torchserve 目前沒有固定的請求主體簽章。 封裝允許您自動從模型編排器所需的固定簽章轉換為純 Python 列表。

用法

1. 當您編寫處理器時，請始終期望一個純 Python 列表，其中包含準備好進入 preprocess 的資料。 至關重要的是，您應該假設您的處理器程式碼在本地或在模型編排器中看起來相同。

2. 當您在模型編排器後面部署 Torchserve 時，請確保在您的 config.properties 檔案中設定相應的 service_envelope。 例如，如果您使用具有 JSON 格式的 Google Cloud AI Platform，您需要在您的 config.properties 檔案中新增 service_envelope=json。

貢獻

在 ts/torch_handler/request_envelope 下新增檔案。 每個檔案只包含一個類別。 在 config.properties 中使用的金鑰將是您在其中編寫類別的 .py 檔案的名稱。