總覽¶
JetPack 6.1¶
Nvida JetPack 6.1 是 JetPack 6 的最新生產版本。此版本包含：CUDA 12.6、TensorRT 10.3、cuDNN 9.3、DLFW 24.09
您可以找到有關 JetPack 6.1 的更多詳細資訊
先決條件¶
確保您的 Jetson 開發者套件已刷入最新的 JetPack 6.1。您可以透過 sdk-manager 找到有關如何刷入 Jetson 開發板的更多詳細資訊
使用以下命令檢查目前的 Jetpack 版本
apt show nvidia-jetpack
確保您已安裝 JetPack Dev 元件。如果您需要在 Jetson 開發板上建置，則需要執行此步驟。
您只能安裝您需要的開發元件：例如，tensorrt-dev 將是所有 TRT 開發的中繼套件，或者安裝所有元件。
確保您已安裝 CUDA 12.6 (這應該會從 nvidia-jetpack 自動安裝)
# check the cuda version
nvcc --version
# if not installed or the version is not 12.6, install via the below cmd:
sudo apt-get update
sudo apt-get install cuda-toolkit-12-6
確保 libcusparseLt.so 存在於 /usr/local/cuda/lib64/
# if not exist, download and copy to the directory
wget https://developer.download.nvidia.com/compute/cusparselt/redist/libcusparse_lt/linux-sbsa/libcusparse_lt-linux-sbsa-0.5.2.1-archive.tar.xz
tar xf libcusparse_lt-linux-sbsa-0.5.2.1-archive.tar.xz
sudo cp -a libcusparse_lt-linux-sbsa-0.5.2.1-archive/include/* /usr/local/cuda/include/
sudo cp -a libcusparse_lt-linux-sbsa-0.5.2.1-archive/lib/* /usr/local/cuda/lib64/
建置 torch_tensorrt¶
安裝 bazel
wget -v https://github.com/bazelbuild/bazelisk/releases/download/v1.20.0/bazelisk-linux-arm64
sudo mv bazelisk-linux-arm64 /usr/bin/bazel
chmod +x /usr/bin/bazel
- 安裝 pip 和所需的 Python 套件
# install pip
wget https://bootstrap.pypa.io/get-pip.py
python get-pip.py
# install pytorch from nvidia jetson distribution: https://developer.download.nvidia.com/compute/redist/jp/v61/pytorch
python -m pip install torch https://developer.download.nvidia.com/compute/redist/jp/v61/pytorch/torch-2.5.0a0+872d972e41.nv24.08.17622132-cp310-cp310-linux_aarch64.whl
# install required python packages
python -m pip install -r toolchains/jp_workspaces/requirements.txt
# if you want to run the test cases, then install the test required python packages
python -m pip install -r toolchains/jp_workspaces/test_requirements.txt
建置並安裝 torch_tensorrt wheel 檔案
由於 torch_tensorrt 版本對應於特定的 torch 版本。JetPack 6.1 支援的 torch 版本來自 DLFW 24.08/24.09 (torch 2.5.0)。
請務必從 source release/2.5 分支建立 torch_tensorrt wheel 檔案（待辦事項：一旦 release/ngc 分支可用，lanl 會更新分支名稱）。
cuda_version=$(nvcc --version | grep Cuda | grep release | cut -d ',' -f 2 | sed -e 's/ release //g')
export TORCH_INSTALL_PATH=$(python -c "import torch, os; print(os.path.dirname(torch.__file__))")
export SITE_PACKAGE_PATH=${TORCH_INSTALL_PATH::-6}
export CUDA_HOME=/usr/local/cuda-${cuda_version}/
# replace the MODULE.bazel with the jetpack one
cat toolchains/jp_workspaces/MODULE.bazel.tmpl | envsubst > MODULE.bazel
# build and install torch_tensorrt wheel file
python setup.py install --user
