TorchServe 預設推論處理器

TorchServe 提供了以下開箱即用的推論處理器。預期每個處理器所使用的模型都支援批次推論。

image_classifier

• 描述：處理在 ImageNet 資料集上訓練的影像分類模型。

• 輸入：RGB 影像

• 輸出：影像的前 5 個預測及其各自機率的批次

有關更多詳細資訊，請參閱範例

image_segmenter

• 描述：處理在 ImageNet 資料集上訓練的影像分割模型。

• 輸入：RGB 影像

• 輸出：輸出形狀為 [N, CL H W]，N - 批次大小，CL - 類別數量，H - 高度，W - 寬度。

有關更多詳細資訊，請參閱範例

object_detector

• 描述：處理物件偵測模型。

• 輸入：RGB 影像

• 輸出：偵測到的類別和邊界框的列表批次

注意：我們建議執行 torchvision>0.6，否則 object_detector 預設處理器僅會在預設 GPU 裝置上執行

有關更多詳細資訊，請參閱範例

text_classifier

• 描述：處理在 AG_NEWS 資料集上訓練的模型。

• 輸入：文字檔案

• 輸出：輸入文字的類別。（不支援批次處理）

有關更多詳細資訊，請參閱範例

若要取得更全面的可用處理器清單，請務必查看範例頁面

常見功能

index_to_name.json

image_classifier、text_classifier 和 object_detector 都可以自動從數字類別 (0,1,2…) 對應到友善的字串。 若要執行此操作，只需在模型封存中包含一個檔案 index_to_name.json，其中包含類別編號 (作為字串) 到友善名稱 (也作為字串) 的對應。 您可以在這裡查看一些範例

• image_classifier

• text_classifier

• object_detector

貢獻程式碼

我們歡迎您貢獻新的處理器 (handler)。如果現有的預設處理器無法滿足您的使用情境，請按照以下步驟進行貢獻：

1. 編寫一個繼承自 BaseHandler 的新類別。將其作為一個單獨的檔案添加到 ts/torch_handler/ 中。

2. 更新 model-archiver/model_packaging.py 以添加您類別的名稱。

3. 執行並更新 unit_tests 中的單元測試。與往常一樣，在提交之前，請務必執行 torchserve_sanity.py。