結構輸入

• 定義於 檔案 torch_tensorrt.h

繼承關係

基底類型

• public CustomClassHolder

結構文件

struct Input : public CustomClassHolder

用於保存輸入範圍的結構 (由 TensorRT 最佳化設定檔使用)

此結構可以保存代表輸入形狀的單一向量，表示靜態輸入形狀，或一組三個輸入形狀，分別代表引擎允許的最小、最佳和最大輸入形狀。

公開函式

inline Input()

TORCHTRT_API Input(std::vector<int64_t> shape, TensorFormat format = TensorFormat::kContiguous)

從向量建構新的 Input 規格物件，以用於靜態輸入大小，選用引數允許使用者設定預期的輸入形狀張量格式。dtype (輸入的預期資料類型) 預設為 PyTorch / 傳統 TRT 慣例 (FP32 僅適用於 FP32，FP16 適用於 FP32 和 FP16，FP32 適用於 Int8)

參數

• shape – Input 張量形狀

• format – 輸入的預期張量格式 (預設為連續)

TORCHTRT_API Input(std::vector<int64_t> shape, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

從 c10::ArrayRef (tensor.sizes() 產生的類型)、向量建構新的 Input 規格物件，以用於靜態輸入大小，選用引數允許使用者設定預期的輸入形狀張量格式 dtype (輸入的預期資料類型) 預設為 PyTorch / 傳統 TRT 慣例 (FP32 僅適用於 FP32，FP16 適用於 FP32 和 FP16，FP32 適用於 Int8)

參數

• shape – Input 張量形狀

• tensor_domain – 張量輸入的允許範圍 [low, high)

• format – 輸入的預期張量格式 (預設為連續)

TORCHTRT_API Input(std::vector<int64_t> shape, DataType dtype, TensorFormat format = TensorFormat::kContiguous)

從向量建構新的 Input 規格物件，以用於靜態輸入大小，選用引數允許使用者設定預期的輸入形狀張量格式。

參數

• shape – Input 張量形狀

• dtype – 輸入的預期資料類型 (如果可偵測到，則預設為第一個張量計算中的權重類型，否則為 Float32)

• format – 輸入的預期張量格式 (預設為連續)

TORCHTRT_API Input(std::vector<int64_t> shape, DataType dtype, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

從向量建構新的 Input 規格物件，以用於靜態輸入大小，選用引數允許使用者設定預期的輸入形狀張量格式。

參數

• shape – Input 張量形狀

• dtype – 輸入的預期資料類型 (如果可偵測到，則預設為第一個張量計算中的權重類型，否則為 Float32)

• tensor_domain – 張量輸入的允許範圍 [low, high)

• format – 輸入的預期張量格式 (預設為連續)

TORCHTRT_API Input(c10::ArrayRef<int64_t> shape, TensorFormat format = TensorFormat::kContiguous)

從 c10::ArrayRef (tensor.sizes() 產生的類型)、向量建構新的 Input 規格物件，以用於靜態輸入大小，選用引數允許使用者設定預期的輸入形狀張量格式 dtype (輸入的預期資料類型) 預設為 PyTorch / 傳統 TRT 慣例 (FP32 僅適用於 FP32，FP16 適用於 FP32 和 FP16，FP32 適用於 Int8)

參數

• shape – Input 張量形狀

• format – 輸入的預期張量格式 (預設為連續)

TORCHTRT_API Input(c10::ArrayRef<int64_t> shape, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

從 c10::ArrayRef (tensor.sizes() 產生的類型)、向量建構新的 Input 規格物件，以用於靜態輸入大小，選用引數允許使用者設定預期的輸入形狀張量格式 dtype (輸入的預期資料類型) 預設為 PyTorch / 傳統 TRT 慣例 (FP32 僅適用於 FP32，FP16 適用於 FP32 和 FP16，FP32 適用於 Int8)

參數

• shape – Input 張量形狀

• tensor_domain – 張量輸入的允許範圍 [low, high)

• format – 輸入的預期張量格式 (預設為連續)

TORCHTRT_API Input(c10::ArrayRef<int64_t> shape, DataType dtype, TensorFormat format = TensorFormat::kContiguous)

從 c10::ArrayRef (tensor.sizes() 產生的類型)、向量建構新的 Input 規格物件，以用於靜態輸入大小，選用引數允許使用者設定預期的輸入形狀張量格式。

參數

• shape – Input 張量形狀

• dtype – 輸入的預期資料類型 (如果可偵測到，則預設為第一個張量計算中的權重類型，否則為 Float32)

• format – 輸入的預期張量格式 (預設為連續)

TORCHTRT_API Input(c10::ArrayRef<int64_t> shape, DataType dtype, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

從 c10::ArrayRef (tensor.sizes() 產生的類型)、向量建構新的 Input 規格物件，以用於靜態輸入大小，選用引數允許使用者設定預期的輸入形狀張量格式。

參數

• shape – Input 張量形狀

• dtype – 輸入的預期資料類型 (如果可偵測到，則預設為第一個張量計算中的權重類型，否則為 Float32)

• tensor_domain – 張量輸入的允許範圍 [low, high)

• format – 輸入的預期張量格式 (預設為連續)

TORCHTRT_API Input(std::vector<int64_t> min_shape, std::vector<int64_t> opt_shape, std::vector<int64_t> max_shape, TensorFormat format = TensorFormat::kContiguous)

從 c10::ArrayRef (tensor.sizes() 產生的類型) 建構新的 Input 規格物件，以用於動態輸入大小，適用於最小、最佳和最大支援大小。dtype (輸入的預期資料類型) 預設為 PyTorch / 傳統 TRT 慣例 (FP32 僅適用於 FP32，FP16 適用於 FP32 和 FP16，FP32 適用於 Int8)

參數

• min_shape – 輸入張量的最小形狀

• opt_shape – 輸入張量的目標最佳化形狀

• max_shape – 輸入張量的最大可接受形狀

• format – 輸入的預期張量格式 (預設為連續)

TORCHTRT_API Input(std::vector<int64_t> min_shape, std::vector<int64_t> opt_shape, std::vector<int64_t> max_shape, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

從 c10::ArrayRef (tensor.sizes() 產生的類型) 建構新的 Input 規格物件，以用於動態輸入大小，適用於最小、最佳和最大支援大小。dtype (輸入的預期資料類型) 預設為 PyTorch / 傳統 TRT 慣例 (FP32 僅適用於 FP32，FP16 適用於 FP32 和 FP16，FP32 適用於 Int8)

參數

• min_shape – 輸入張量的最小形狀

• opt_shape – 輸入張量的目標最佳化形狀

• max_shape – 輸入張量的最大可接受形狀

• tensor_domain – 張量輸入的允許範圍 [low, high)

• format – 輸入的預期張量格式 (預設為連續)

TORCHTRT_API Input(std::vector<int64_t> min_shape, std::vector<int64_t> opt_shape, std::vector<int64_t> max_shape, DataType dtype, TensorFormat format = TensorFormat::kContiguous)

從向量建構新的 Input 規格物件，以用於動態輸入大小，從向量取得最小形狀、最佳形狀和最大形狀支援大小，選用引數允許使用者設定預期的輸入形狀張量格式。

參數

• min_shape – 輸入張量的最小形狀

• opt_shape – 輸入張量的目標最佳化形狀

• max_shape – 輸入張量的最大可接受形狀

• dtype – 輸入的預期資料類型 (如果可偵測到，則預設為第一個張量計算中的權重類型，否則為 Float32)

• format – 輸入的預期張量格式 (預設為連續)

TORCHTRT_API Input(std::vector<int64_t> min_shape, std::vector<int64_t> opt_shape, std::vector<int64_t> max_shape, DataType dtype, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

從向量建構新的 Input 規格物件，以用於動態輸入大小，從向量取得最小形狀、最佳形狀和最大形狀支援大小，選用引數允許使用者設定預期的輸入形狀張量格式。

參數

• min_shape – 輸入張量的最小形狀

• opt_shape – 輸入張量的目標最佳化形狀

• max_shape – 輸入張量的最大可接受形狀

• dtype – 輸入的預期資料類型 (如果可偵測到，則預設為第一個張量計算中的權重類型，否則為 Float32)

• tensor_domain – 張量輸入的允許範圍 [low, high)

• format – 輸入的預期張量格式 (預設為連續)

TORCHTRT_API Input(c10::ArrayRef<int64_t> min_shape, c10::ArrayRef<int64_t> opt_shape, c10::ArrayRef<int64_t> max_shape, TensorFormat format = TensorFormat::kContiguous)

從 c10::ArrayRef (tensor.sizes() 產生的類型) 建構新的 Input 規格物件，以用於動態輸入大小，適用於最小、最佳和最大支援大小。dtype (輸入的預期資料類型) 預設為 PyTorch / 傳統 TRT 慣例 (FP32 僅適用於 FP32，FP16 適用於 FP32 和 FP16，FP32 適用於 Int8)

參數

• min_shape – 輸入張量的最小形狀

• opt_shape – 輸入張量的目標最佳化形狀

• max_shape – 輸入張量的最大可接受形狀

• format – 輸入的預期張量格式 (預設為連續)

TORCHTRT_API Input(c10::ArrayRef<int64_t> min_shape, c10::ArrayRef<int64_t> opt_shape, c10::ArrayRef<int64_t> max_shape, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

從 c10::ArrayRef (tensor.sizes() 產生的類型) 建構新的 Input 規格物件，以用於動態輸入大小，適用於最小、最佳和最大支援大小。dtype (輸入的預期資料類型) 預設為 PyTorch / 傳統 TRT 慣例 (FP32 僅適用於 FP32，FP16 適用於 FP32 和 FP16，FP32 適用於 Int8)

參數

• min_shape – 輸入張量的最小形狀

• opt_shape – 輸入張量的目標最佳化形狀

• max_shape – 輸入張量的最大可接受形狀

• tensor_domain – 張量輸入的允許範圍 [low, high)

• format – 輸入的預期張量格式 (預設為連續)

TORCHTRT_API Input(c10::ArrayRef<int64_t> min_shape, c10::ArrayRef<int64_t> opt_shape, c10::ArrayRef<int64_t> max_shape, DataType dtype, TensorFormat format = TensorFormat::kContiguous)

建構一個新的 Input 規格物件，其動態輸入大小來自 c10::ArrayRef (tensor.sizes() 產生的類型)，用於最小、最佳和最大支援大小。

參數

• min_shape – 輸入張量的最小形狀

• opt_shape – 輸入張量的目標最佳化形狀

• max_shape – 輸入張量的最大可接受形狀

• dtype – 輸入的預期資料類型 (如果可偵測到，則預設為第一個張量計算中的權重類型，否則為 Float32)

• format – 輸入的預期張量格式 (預設為連續)

TORCHTRT_API Input(c10::ArrayRef<int64_t> min_shape, c10::ArrayRef<int64_t> opt_shape, c10::ArrayRef<int64_t> max_shape, DataType dtype, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

建構一個新的 Input 規格物件，其動態輸入大小來自 c10::ArrayRef (tensor.sizes() 產生的類型)，用於最小、最佳和最大支援大小。

參數

• min_shape – 輸入張量的最小形狀

• opt_shape – 輸入張量的目標最佳化形狀

• max_shape – 輸入張量的最大可接受形狀

• dtype – 輸入的預期資料類型 (如果可偵測到，則預設為第一個張量計算中的權重類型，否則為 Float32)

• tensor_domain – 張量輸入的允許範圍 [low, high)

• format – 輸入的預期張量格式 (預設為連續)

TORCHTRT_API Input(at::Tensor tensor)

建構一個新的 Input 規格物件，使用 torch tensor 作為範例。tensor 的形狀、類型和版面配置會告知規格的值。

請注意：您無法透過此方法設定動態形狀，您必須使用替代的建構函式

參數

tensor – 參考 tensor 以設定形狀、類型和版面配置

Public Members

std::vector<int64_t> min_shape

引擎可接受的最小輸入大小。

std::vector<int64_t> opt_shape

引擎的最佳輸入大小 (針對給定核心最佳化的大小，接受最小最大範圍內的任何大小)

std::vector<int64_t> max_shape

引擎可接受的最大輸入大小。

std::vector<int64_t> shape

要饋送到 TensorRT 的 Input 形狀，在動態形狀的情況下，-1 將佔據可變維度的位置

DataType dtype

輸入的預期資料類型。

TensorFormat format

輸入的預期 tensor 格式。

std::vector<double> tensor_domain

tensor 輸入的預期允許域。