Torch-TensorRT

用於 NVIDIA GPU 的 PyTorch 推論程式碼的框架內編譯

Torch-TensorRT 是 PyTorch 的推論編譯器，透過 NVIDIA 的 TensorRT 深度學習最佳化器和執行階段，以 NVIDIA GPU 為目標。 它支援透過 torch.compile 介面的即時 (JIT) 編譯工作流程，以及提前 (AOT) 工作流程。 Torch-TensorRT 無縫整合到 PyTorch 生態系統中，支援優化的 TensorRT 程式碼與標準 PyTorch 程式碼的混合執行。

更多資訊 / 系統架構

• Torch-TensorRT 2.0

開始使用

• 安裝

使用者指南

• Torch-TensorRT 解釋

• 使用 Torch-TensorRT 的動態形狀

• 訓練後量化 (PTQ)

• 儲存使用 Torch-TensorRT 編譯的模型

• 部署 Torch-TensorRT 程式

• DLA

• 使用 Torch-TensorRT 編譯混合精度模型

教學

• Torch Compile 進階用法

• 使用 Torch-TensorRT 部署量化模型

• 引擎快取

• 引擎快取 (BERT)

• 使用新權重重新調整 Torch-TensorRT 程式

• 使用 Triton 提供 Torch-TensorRT 模型

• 使用 Cudagraphs 匯出 Torch

• 使用自定義轉換器重載 Torch-TensorRT 轉換器

• 在 TensorRT 引擎中使用具有 Torch-TensorRT 的自定義核心

• 可變的 Torch TensorRT 模組

• 權重串流

• 預先分配的輸出緩衝區

Dynamo 前端

• 用於 torch.compile 的 TensorRT 後端

• 使用 Torch-TensorRT 編譯匯出的程式

TorchScript 前端

• 建立 TorchScript 模組

• 在 Python 中使用 Torch-TensorRT

• 在 C++ 中使用 Torch-TensorRT

• 直接從 PyTorch 使用 Torch-TensorRT TorchScript 前端

FX 前端

• Torch-TensorRT (FX 前端) 使用者指南

模型動物園

• 使用 torch.compile 後端編譯具有動態形狀的 ResNet

• 使用 torch.compile 後端編譯 BERT

• 使用 torch.compile 後端編譯 Stable Diffusion 模型

• 使用 Torch-TensorRT torch.compile 前端編譯 GPT2

• 使用 dynamo 後端編譯 GPT2

• 使用 dynamo 後端編譯 Llama2

• 使用 dynamo 後端編譯 SAM2

• 舊版筆記本

Python API 文件

• torch_tensorrt

• torch_tensorrt.dynamo

• torch_tensorrt.logging

• torch_tensorrt.fx

• torch_tensorrt.ts

• torch_tensorrt.ts.ptq

C++ API 文件

• 命名空間 torch_tensorrt

• 命名空間 torch_tensorrt::logging

• 命名空間 torch_tensorrt::ptq

• 命名空間 torch_tensorrt::torchscript

CLI 文件

• torchtrtc

貢獻者文件

• 系統概觀

• 撰寫 Dynamo 轉換器

• 撰寫 Dynamo ATen 降低傳遞

• 撰寫 TorchScript 轉換器

• Torch-TensorRT 開發的實用連結

索引

• 支援的運算子

• 索引

• 搜尋頁面

舊版補充資訊 (TorchScript)

• 介紹性部落格文章

• GTC 2020 演講

• GTC 2020 秋季演講

• GTC 2021 演講

• GTC 2021 秋季演講

• PyTorch 生態系統日 2021

• PyTorch 開發者大會 2021

• PyTorch 開發者大會 2022