ts.model_service 套件

子模組

ts.model_service.model_service 模組

ModelService 定義了基本模型服務的 API。

class ts.model_service.model_service.ModelService(model_name, model_dir, manifest, gpu=None)

基於： object

ModelService 封裝了模型服務使用的所有預處理、推論和後處理功能。它以靈活的方式定義，可以輕鬆擴展以支援不同的框架。

handle(data, context)

向後相容的處理函數。

參數:

• data –

• context –

傳回:

abstract inference(data)

用於執行預處理、推論和後處理函數的封裝函數。

參數:

data (物件列表) – 來自請求的原始輸入。

傳回:

要回傳的資料

回傳類型:

要回傳給客戶端的輸出列表。

initialize(context)

內部初始化 ModelService。

參數:

context – MMS context 物件

傳回:

abstract ping()

Ping 以取得系統的健康狀態。

傳回:

訊息 “health”: “healthy!”，表示系統健康。

回傳類型:

字串

signature()

模型服務的簽章。

傳回:

模型服務簽章。

回傳類型:

字典

class ts.model_service.model_service.SingleNodeService(model_name, model_dir, manifest, gpu=None)

基於： ModelService

SingleNodeModel 定義了載入單一模型的模型服務的抽象概念。

inference(data)

執行 preprocess、inference 和 postprocess 函式的包裝函式。

參數:

data (物件列表) – 來自請求的原始輸入。

傳回:

要回傳的資料

回傳類型:

要回傳給客戶端的輸出列表。

模組內容

模型服務程式碼