ts 封裝

子封裝

• ts.metrics 封裝
  • 子模組
  • ts.metrics.dimension 模組
  • ts.metrics.metric 模組
  • ts.metrics.metric_collector 模組
  • ts.metrics.metric_encoder 模組
  • ts.metrics.metrics_store 模組
  • ts.metrics.process_memory_metric 模組
  • ts.metrics.system_metrics 模組
  • ts.metrics.unit 模組
  • 模組內容
• ts.model_service 封裝
  • 子模組
  • ts.model_service.model_service 模組
  • 模組內容
• ts.protocol 封裝
  • 子模組
  • ts.protocol.otf_message_handler 模組
  • 模組內容
• ts.torch_handler 封裝
  • 子封裝
    • ts.torch_handler.request_envelope 封裝
      • 子模組
      • ts.torch_handler.request_envelope.base 模組
      • ts.torch_handler.request_envelope.body 模組
      • ts.torch_handler.request_envelope.json 模組
      • ts.torch_handler.request_envelope.kserve 模組
      • ts.torch_handler.request_envelope.kservev2 模組
      • 模組內容
    • ts.torch_handler.unit_tests 封裝
      • 子封裝
      • 子模組
      • ts.torch_handler.unit_tests.test_base_handler 模組
      • ts.torch_handler.unit_tests.test_envelopes 模組
      • ts.torch_handler.unit_tests.test_image_classifier 模組
      • ts.torch_handler.unit_tests.test_image_segmenter 模組
      • ts.torch_handler.unit_tests.test_mnist_kf 模組
      • ts.torch_handler.unit_tests.test_object_detector 模組
      • 模組內容
  • 子模組
  • ts.torch_handler.base_handler 模組
  • ts.torch_handler.contractions 模組
  • ts.torch_handler.densenet_handler 模組
  • ts.torch_handler.image_classifier 模組
  • ts.torch_handler.image_segmenter 模組
  • ts.torch_handler.object_detector 模組
  • ts.torch_handler.text_classifier 模組
  • ts.torch_handler.text_handler 模組
  • ts.torch_handler.vision_handler 模組
  • 模組內容
• ts.utils 封裝
  • 子模組
  • ts.utils.timeit_decorator 模組
  • ts.utils.util 模組
  • 模組內容

子模組

ts.arg_parser 模組

此模組解析透過 torchserve 命令列給定的引數。模型伺服器在執行階段使用此模組。

class ts.arg_parser.ArgParser

基於： object

用於 torchserve 和 torchserve-export 命令的引數解析器 TODO：新增 readme 網址

static extract_args(args=None)

static model_service_worker_args()

用於後端工作者的 ArgParser。採用 socket 名稱和 socket 類型。:return

static ts_parser()

用於 torchserve 啟動服務的引數解析器

ts.context 模組

傳入請求的內容物件

class ts.context.Context(model_name, model_dir, manifest, batch_size, gpu, mms_version, limit_max_image_pixels=True, metrics=None, model_yaml_config=None)

基於： object

Context 儲存模型相關的 worker 資訊，某些資訊在載入時是固定的，而某些資訊則由服務設定。

get_all_request_header(idx: int) → Dict[str, str]

get_request_header(idx: int, key: str) → Optional[str]

get_request_id(idx: int = 0) → Optional[str]

get_response_content_type(idx: int) → Optional[str]

get_response_headers(idx: int) → Dict[str, str]

get_response_status(idx: int) → Tuple[int, str]

get_sequence_id(idx: int) → str

property metrics

property request_processor

set_all_response_status(code: int = 200, phrase: str = '') → None

設定個別請求的狀態碼 :param phrase: :param code: :return

set_response_content_type(idx: int, value: str) → None

set_response_header(idx, key, value)

set_response_status(code: int = 200, phrase: str = '', idx: int = 0)

設定個別請求的狀態碼 :param phrase: :param idx: 傳送到 handle() 方法的 list(data) 中的索引資料 :param code: :return

property system_properties

class ts.context.RequestProcessor(request_header: dict)

基於： object

請求處理器

add_response_property(key: str, value: str) → None

get_request_properties() → dict

get_request_property(key: str) → Optional[str]

get_response_header(key: str) → Optional[str]

取得回應標頭。

get_response_headers() → dict

取得所有回應標頭的字典。

get_response_status_code() → int

取得回應狀態碼。

get_response_status_phrase() → Optional[str]

取得回應狀態短語。

基於： object

report_status(code, reason_phrase=None) → None

報告狀態碼與原因短語。

ts.model_loader module

模型載入器模組。

• Model loader.

• 模型載入器。

• class ts.model_loader.ModelLoader

• 基礎模型載入器類別。

• Base Model Loader class.

• abstract load(model_name: str, model_dir: str, handler: Optional[str] = None, gpu_id: Optional[int] = None, batch_size: Optional[int] = None, envelope: Optional[str] = None, limit_max_image_pixels: Optional[bool] = True)

• 從檔案載入模型。

Load model from file.

Parameters:

參數：

基於： object

static get_model_loader()

class ts.model_loader.TsModelLoader

基於: ModelLoader

TorchServe 1.0 模型載入器

load(model_name: str, model_dir: str, handler: Optional[str] = None, gpu_id: Optional[int] = None, batch_size: Optional[int] = None, envelope: Optional[str] = None, limit_max_image_pixels: Optional[bool] = True, metrics_cache: Optional[MetricsCacheYamlImpl] = None) → Service

從檔案載入 TorchServe 1.0 模型。

模型載入器模組。

• Model loader.

• 模型載入器。

• class ts.model_loader.ModelLoader

• 基礎模型載入器類別。

• Base Model Loader class.

• abstract load(model_name: str, model_dir: str, handler: Optional[str] = None, gpu_id: Optional[int] = None, batch_size: Optional[int] = None, envelope: Optional[str] = None, limit_max_image_pixels: Optional[bool] = True)

• 從檔案載入模型。

• metrics_cache – MetricsCacheYamlImpl 物件

Load model from file.

ts.model_server 模組

定義 Model Server 進入點的檔案

ts.model_server.load_properties(file_path: str) → Dict[str, str]

將屬性檔案讀取到 map 中。

ts.model_server.start() → None

這是模型伺服器的進入點 :return

ts.model_service_worker 模組

ModelServiceWorker 是由 MMS 前端啟動的 worker。 通訊訊息格式：二進位編碼

class ts.model_service_worker.TorchModelServiceWorker(s_type: Optional[str] = None, s_name: Optional[str] = None, host_addr: Optional[str] = None, port_num: Optional[int] = None, metrics_config: Optional[str] = None, async_comm: Optional[bool] = False)

基於： object

後端工作單元，用於處理模型伺服器的 Python 服務代碼

handle_connection(cl_socket)

處理 socket 連線。

模型載入器模組。

cl_socket –

Load model from file.

handle_connection_async(cl_socket)

處理 socket 連線。

模型載入器模組。

cl_socket –

Load model from file.

load_model(load_model_request)

預期的指令 {

“command” : “load”, 字串 “modelPath” : “/path/to/model/file”, 字串 “modelName” : “name”, 字串 “gpu” : 若為 CPU 則為 None，否則為 gpu_id, 整數 “handler” : 若有提供，則為服務處理常式進入點, 字串 “envelope” : 若有提供，則為請求資料的封裝/解封裝名稱, 整數 “batchSize” : 批次大小, 整數 “limitMaxImagePixels”: 限制 pillow 影像 max_image_pixels, 布林值

}

模型載入器模組。

load_model_request –

Load model from file.

run_server()

執行後端工作程序並監聽 socket :return

ts.service 模組

CustomService 類別定義

class ts.service.Service(model_name, model_dir, manifest, entry_point, gpu, batch_size, limit_max_image_pixels=True, metrics_cache=None)

基於： object

自訂 entry_point 的封裝器

property context

predict(batch)

PREDICT 命令 = {

“command”: “predict”, “batch”: [ REQUEST_INPUT ]

} :param batch: 請求列表 :return

static retrieve_data_for_inference(batch)

REQUEST_INPUT = {

“requestId” : “111-222-3333”, “parameters” : [ PARAMETER ]

}

PARAMETER = {

“name” : 參數名稱 “contentType”: “http-content-types”, “value”: “val1”

}

模型載入器模組。

batch –

Load model from file.

set_cl_socket(cl_socket)

ts.service.emit_metrics(metrics)

發布在提供的字典中的指標

模型載入器模組。

• metrics (所有指標的字典) –

• metrics –

• metric_name (當鍵為) –

• object (值為指標) –

ts.version 模組

這是 TorchServe 的目前版本

模組內容

此模組執行以下操作：a. 啟動模型伺服器。b. 根據已配置的模型建立端點。c. 公開標準的 “ping” 和 “api-description” 端點。d. 等待提供推論請求。