ts.metrics 封包

子模組

ts.metrics.dimension 模組

模型伺服器指標的維度類別

class ts.metrics.dimension.Dimension(name, value)

基於： object

定義鍵值對的維度類別

to_dict()

傳回一個字典

ts.metrics.metric 模組

模型伺服器的指標類別

class ts.metrics.metric.Metric(name, value, unit, dimensions, request_id=None, metric_method=None)

基於： object

用於產生指標並將其列印到工作執行個體標準輸出的類別

reset()

將指標值重設為 0

to_dict()

回傳一個有序字典 (Ordered Dictionary)

update(value)

Metric 類別的更新函式

參數:

value (int, float) – 要更新的指標

ts.metrics.metric_collector 模組

系統指標和程序指標腳本的單一啟動點

ts.metrics.metric_encoder 模組

用於 json dumps 的 Metric Encoder 類別

class ts.metrics.metric_encoder.MetricEncoder(*, skipkeys=False, ensure_ascii=True, check_circular=True, allow_nan=True, sort_keys=False, indent=None, separators=None, default=None)

基底類別: JSONEncoder

用於 json 編碼 Metric 物件的 Encoder 類別

default(obj)

只有在物件類型為 Metric 時才覆寫

ts.metrics.metrics_store 模組

指標收集模組

class ts.metrics.metrics_store.MetricsStore(request_ids, model_name)

基於： object

已棄用 (DEPRECATED) 的類別，用於建立、修改不同的指標。並將它們保存在字典中

add_counter(name, value, idx=None, dimensions=None)

新增計數器指標或遞增現有的計數器指標

參數:

• name (str) – 指標名稱

• value (int) – 指標值

• idx (int) – 批次 (batch) 中的 request_id 索引

• dimensions (list) – 指標的維度 (dimension) 列表

add_error(name, value, dimensions=None)

新增錯誤指標 :param name: 指標名稱 :type name: str :param value: 指標值，在此案例中為 str :type value: str :param dimensions: 指標的維度列表 :type dimensions: list

add_metric(name, value, unit, idx=None, dimensions=None)

新增一個具有自訂指標的通用指標

參數:

• name (str) – 指標名稱

• value (int, float) – 指標值

• idx (int) – 批次 (batch) 中的 request_id 索引

• unit (str) – 指標單位

• dimensions (list) – 指標的維度 (dimension) 列表

add_percent(name, value, idx=None, dimensions=None)

新增一個基於百分比的指標

參數:

• name (str) – 指標名稱

• value (int, float) – 指標值

• idx (int) – 批次 (batch) 中的 request_id 索引

• dimensions (list) – 指標的維度 (dimension) 列表

add_size(name, value, idx=None, unit='MB', dimensions=None)

新增基於大小的指標

參數:

• name (str) – 指標名稱

• value (int, float) – 指標值

• idx (int) – 批次 (batch) 中的 request_id 索引

• unit (str) – 指標單位，預設為 ‘MB’，也支援 ‘kB’, ‘GB’

• dimensions (list) – 指標的維度 (dimension) 列表

add_time(name, value, idx=None, unit='ms', dimensions=None)

新增基於時間的指標，例如延遲，預設單位為 ‘ms’

參數:

• name (str) – 指標名稱

• value (int) – 指標值

• idx (int) – 批次 (batch) 中的 request_id 索引

• unit (str) – 指標單位，預設為 ms，也接受 s

• dimensions (list) – 指標的維度 (dimension) 列表

ts.metrics.process_memory_metric 模組

在此收集處理程序記憶體使用率指標。傳遞一個 JSON，包含 PID 和 GPU ID 的集合。

ts.metrics.process_memory_metric.check_process_mem_usage(stdin)

傳回值：

mem_utilization

傳回類型：

float

ts.metrics.process_memory_metric.get_cpu_usage(pid)

使用 psutil 取得 CPU 記憶體使用率 :param pid: str :return: int

ts.metrics.system_metrics 模組

用於收集前端系統指標的模組

ts.metrics.system_metrics.collect_all(mod, num_of_gpu)

收集所有系統指標。

參數:

• mod –

• num_of_gpu –

傳回值：

ts.metrics.system_metrics.cpu_utilization()

ts.metrics.system_metrics.disk_available()

ts.metrics.system_metrics.disk_used()

ts.metrics.system_metrics.disk_utilization()

ts.metrics.system_metrics.gpu_utilization(num_of_gpu)

收集 GPU 指標。

參數:

num_of_gpu –

傳回值：

ts.metrics.system_metrics.memory_available()

ts.metrics.system_metrics.memory_used()

ts.metrics.system_metrics.memory_utilization()

ts.metrics.unit 模組

用於定義單位對應的模組

class ts.metrics.unit.Units

基於： object

定義元素的單位

模組內容

這是所有 Python worker 指標的資料夾。