ts.torch_handler 套件

子套件

• ts.torch_handler.request_envelope 套件
  • 子模組
  • ts.torch_handler.request_envelope.base 模組
  • ts.torch_handler.request_envelope.body 模組
  • ts.torch_handler.request_envelope.json 模組
  • ts.torch_handler.request_envelope.kserve 模組
  • ts.torch_handler.request_envelope.kservev2 模組
  • 模組內容
• ts.torch_handler.unit_tests 套件
  • 子套件
    • ts.torch_handler.unit_tests.models 套件
      • 子模組
      • ts.torch_handler.unit_tests.models.base_model 模組
      • 模組內容
    • ts.torch_handler.unit_tests.test_utils 套件
      • 子模組
      • ts.torch_handler.unit_tests.test_utils.mock_context 模組
      • 模組內容
  • 子模組
  • ts.torch_handler.unit_tests.test_base_handler 模組
  • ts.torch_handler.unit_tests.test_envelopes 模組
  • ts.torch_handler.unit_tests.test_image_classifier 模組
  • ts.torch_handler.unit_tests.test_image_segmenter 模組
  • ts.torch_handler.unit_tests.test_mnist_kf 模組
  • ts.torch_handler.unit_tests.test_object_detector 模組
  • 模組內容

子模組

ts.torch_handler.base_handler 模組

用於載入 torchscript 或 eager 模式 [state_dict] 模型的預設基本處理常式。此外，根據 torch serve 自訂模型規格提供處理方法

class ts.torch_handler.base_handler.BaseHandler

基於： ABC

用於載入 torchscript 或 eager 模式 [state_dict] 模型的預設基本處理常式。此外，根據 torch serve 自訂模型規格提供處理方法

describe_handle()

自訂描述處理常式

傳回:

字典回應。

傳回類型:

dict

explain_handle(data_preprocess, raw_data)

Captum 解釋處理常式

參數:

• data_preprocess (Torch Tensor) – 用於 captum 的預處理資料

• raw_data (list) – 從請求中獲取目標的未處理資料

傳回:

包含解釋回應的字典回應。

傳回類型:

dict

get_device()

取得裝置

傳回:

self 裝置

傳回類型:

字串

handle(data, context)

預設處理器的進入點。它從輸入請求中取得資料並傳回

輸入的預測結果。

參數:

• data (list) – 需要進行預測請求的輸入資料。

• context (Context) – 這是一個 JSON 物件，包含關於模型工件參數的資訊。

傳回:

傳回一個字典列表，其中包含預測的回應。

傳回類型:

list

inference(*args, **kwargs)

initialize(context)

Initialize 函數載入 model.pt 檔案並初始化模型物件。

首先嘗試載入 torchscript，否則載入基於 eager mode state_dict 的模型。

參數:

• context (context) – 這是一個 JSON 物件，包含

• parameters. (關於模型工件的) –

引發:

RuntimeError – 當 model.py 遺失時，引發 Runtime error

postprocess(*args, **kwargs)

preprocess(*args, **kwargs)

ts.torch_handler.base_handler.setup_ort_session(model_pt_path, map_location)

ts.torch_handler.contractions 模組

文字分類模型的簡寫對應表。

ts.torch_handler.densenet_handler 模組

用於圖像分類預設處理器的模組

class ts.torch_handler.densenet_handler.DenseNetHandler

繼承: object

DenseNetHandler 處理器類別。 此處理器接受圖像並傳回該圖像中物件的名稱。

handle(data, context)

預設處理器的進入點

inference(data, *args, **kwargs)

覆寫以自訂推論 :param data: Torch 張量，與模型輸入形狀相符 :return: 作為 Torch 張量的預測輸出

initialize(context)

首先嘗試載入 torchscript，否則載入基於 eager mode state_dict 的模型

ts.torch_handler.densenet_handler.list_classes_from_module(module, parent_class=None)

剖析使用者定義的模組，以取得其中的所有模型服務類別。

參數:

• module –

• parent_class –

傳回:

模型服務類別定義清單

ts.torch_handler.image_classifier 模組

用於圖像分類預設處理器的模組

class ts.torch_handler.image_classifier.ImageClassifier

繼承: VisionHandler

ImageClassifier 處理器類別。 此處理器接受圖像並傳回該圖像中物件的名稱。

get_max_result_classes()

image_processing = Compose(     Resize(size=256, interpolation=bilinear, max_size=None, antialias=True)     CenterCrop(size=(224, 224))     ToTensor()     Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) )

postprocess(*args, **kwargs)

set_max_result_classes(topk)

topk = 5

ts.torch_handler.image_segmenter 模組

用於影像分割預設處理器的模組

class ts.torch_handler.image_segmenter.ImageSegmenter

繼承: VisionHandler

ImageSegmenter 處理器類別。此處理器接收一批影像，並傳回輸出形狀為 [N K H W]，其中 N - 批次大小，K - 類別數量，H - 高度，W - 寬度。

image_processing = Compose(     Resize(size=256, interpolation=bilinear, max_size=None, antialias=True)     CenterCrop(size=(224, 224))     ToTensor()     Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) )

postprocess(data)

ts.torch_handler.object_detector 模組

用於物件偵測預設處理器的模組

class ts.torch_handler.object_detector.ObjectDetector

繼承: VisionHandler

ObjectDetector 處理器類別。此處理器接收一張影像，並分別傳回偵測到的類別和邊界框的列表。

image_processing = Compose(     ToTensor() )

initialize(context)

Initialize 函數載入 model.pt 檔案並初始化模型物件。

首先嘗試載入 torchscript，否則載入基於 eager mode state_dict 的模型。

參數:

• context (context) – 這是一個 JSON 物件，包含

• parameters. (關於模型工件的) –

引發:

RuntimeError – 當 model.py 遺失時，引發 Runtime error

postprocess(data)

threshold = 0.5

ts.torch_handler.text_classifier 模組

用於文字分類預設處理器的模組，**不支援批次處理！**

class ts.torch_handler.text_classifier.TextClassifier

繼承自： TextHandler

TextClassifier 處理器類別。 此處理器接收一段文字（字串）作為輸入，並根據模型詞彙表傳回分類文字。

get_insights(text_preprocess, _, target=0)

計算 Captum 見解

參數:

• text_preprocess (張量) – 文字輸入的張量

• _ (str) – 輸入請求中指定的原始文字資料

• target (int) – 預設為 0，使用者需要指定 Captum 解釋的目標。

傳回:

傳回一個包含單字權杖重要性的字典

傳回類型:

(dict)

inference(data, *args, **kwargs)

推論請求是透過此函數發出的，使用者需要覆寫推論函數以進行自訂。

參數:

data (torch 張量) –

資料的形式為 Torch 張量，其形狀應與

模型輸入形狀相符。

傳回:

模型預測的回應將會在此函數中

傳回。

傳回類型:

(Torch 張量)

ngrams = 2

postprocess(data)

後處理函式將預測回應轉換為

與 Torchserve 相容的格式

參數:

• data (Torch Tensor) – data 參數來自預測輸出

• output_explain (None) – 預設為 None。

傳回:

傳回包含預測和解釋的回應

(如果 Endpoint 被觸發)。它採用字典列表的形式。

傳回類型:

(list)

preprocess(data)

使用以下基本清理操作來正規化 PyTorch 模型的輸入文字

• 移除 HTML 標籤

• 將所有文字轉換為小寫

• 擴展縮寫 [例如 I’d -> I would, don’t -> do not]

• 移除重音符號

• 移除標點符號

使用 source_vocab 將正規化的文字轉換為張量。

參數:

data (str) – 輸入資料採用字串形式

傳回:

在執行預處理操作後傳回文字張量 (str): 原始輸入也會在此函式中傳回

傳回類型:

(Tensor)

ts.torch_handler.text_handler 模組

所有基於文字的預設處理器的基礎模組。包含各種基於文字的實用方法

class ts.torch_handler.text_handler.TextHandler

基於: BaseHandler, ABC

所有基於文字的預設處理器的基礎類別。包含各種基於文字的實用方法

get_source_vocab_path(ctx)

get_word_token(input_tokens)

從文字建構單字標記

initialize(context)

載入模型並初始化必要的組件

summarize_attributions(attributions)

總結多次運行的歸因

ts.torch_handler.vision_handler 模組

所有視覺處理器的基礎模組

class ts.torch_handler.vision_handler.VisionHandler

基於: BaseHandler, ABC

所有視覺處理器的基礎類別

get_insights(tensor_data, _, target=0)

initialize(context)

Initialize 函數載入 model.pt 檔案並初始化模型物件。

首先嘗試載入 torchscript，否則載入基於 eager mode state_dict 的模型。

參數:

• context (context) – 這是一個 JSON 物件，包含

• parameters. (關於模型工件的) –

引發:

RuntimeError – 當 model.py 遺失時，引發 Runtime error

preprocess(*args, **kwargs)

模組內容