torch_tensorrt.ts.ptq

這些組件是設計用於 TorchScript 前端的舊版量化實用程式。它們已被 TensorRT 模型優化器 工具組取代，該工具組可用於 dynamo 前端

類別

class torch_tensorrt.ts.ptq.DataLoaderCalibrator(*args: Any, **kwargs: Any)

在 TensorRT 中構建校準器類別，並使用 pytorch dataloader 載入/預處理在校準期間傳遞的數據。

參數

• dataloader (torch.utils.data.DataLoader) – pytorch dataloader 的一個實例，它遍歷給定的資料集。

• algo_type (CalibrationAlgo) – 校準算法的選擇。

• cache_file (str) – 緩存檔案的路徑。

• use_cache (bool) – 啟用使用現有緩存的標誌。

• device (Device) – 校正資料複製到的裝置。

class torch_tensorrt.ts.ptq.CacheCalibrator(*args: Any, **kwargs: Any)

在 TensorRT 中建構一個校正器類別，該類別直接使用預先存在的快取檔案進行校正。

參數

• cache_file (str) – 緩存檔案的路徑。

• algo_type (CalibrationAlgo) – 校準算法的選擇。

列舉 (Enums)

class torch_tensorrt.ts.ptq.CalibrationAlgo(value, names=None, *, module=None, qualname=None, type=None, start=1, boundary=None)

ENTROPY_CALIBRATION = <CalibrationAlgo.ENTROPY_CALIBRATION: 1>

ENTROPY_CALIBRATION_2 = <CalibrationAlgo.ENTROPY_CALIBRATION_2: 2>

LEGACY_CALIBRATION = <CalibrationAlgo.LEGACY_CALIBRATION: 0>

MINMAX_CALIBRATION = <CalibrationAlgo.MINMAX_CALIBRATION: 3>