在 Jetson 上建置

1. 安裝 JetPack

JetPack 包含執行帶有 CUDA 的 PyTorch 所需的 CUDA 相關函式庫集合。

請參閱 https://developer.nvidia.com/embedded/learn/get-started-jetson-agx-orin-devkit 以取得最新的說明。

sudo bash -c 'echo "deb https://repo.download.nvidia.com/jetson/common r34.1 main" >> /etc/apt/sources.list.d/nvidia-l4t-apt-source.list'
sudo bash -c 'echo "deb https://repo.download.nvidia.com/jetson/t234 r34.1 main" >> /etc/apt/sources.list.d/nvidia-l4t-apt-source.list'

sudo apt update
sudo apt dist-upgrade

# REBOOT

sudo apt install nvidia-jetpack

檢查版本

要檢查已安裝的版本，您可以使用以下命令：

# JetPack
$ apt list --installed | grep nvidia-jetpack

nvidia-jetpack-dev/stable,now 5.0.1-b118 arm64 [installed,automatic]
nvidia-jetpack-runtime/stable,now 5.0.1-b118 arm64 [installed,automatic]
nvidia-jetpack/stable,now 5.0.1-b118 arm64 [installed]

# CUDA
$ apt list --installed | grep cuda-toolkit

cuda-toolkit-11-4-config-common/stable,now 11.4.243-1 all [installed,automatic]
cuda-toolkit-11-4/stable,now 11.4.14-1 arm64 [installed,automatic]
cuda-toolkit-11-config-common/stable,now 11.4.243-1 all [installed,automatic]
cuda-toolkit-config-common/stable,now 11.4.243-1 all [installed,automatic]

# cuDNN
$ apt list --installed | grep cudnn

libcudnn8-dev/stable,now 8.3.2.49-1+cuda11.4 arm64 [installed,automatic]
libcudnn8-samples/stable,now 8.3.2.49-1+cuda11.4 arm64 [installed,automatic]
libcudnn8/stable,now 8.3.2.49-1+cuda11.4 arm64 [installed,automatic]
nvidia-cudnn8-dev/stable,now 5.0.1-b118 arm64 [installed,automatic]
nvidia-cudnn8-runtime/stable,now 5.0.1-b118 arm64 [installed,automatic]

2. [選用] 安裝 jtop

由於 Tegra GPU 不支援 nvidia-smi 命令，因此建議安裝 jtop。

只有超級使用者才能安裝 jtop。因此請務必加上 -U，這樣執行 jtop 才不需要超級使用者權限。

3. 在使用者環境中安裝 pip

預設情況下，pip / pip3 命令使用來自系統目錄 /usr/bin/ 的命令，並且其 site-packages 目錄受到保護，未經 sudo 無法修改。

一種解決方法是在使用者目錄中安裝 pip。

https://forums.developer.nvidia.com/t/python-3-module-install-folder/181321

wget https://bootstrap.pypa.io/get-pip.py
python get-pip.py --user

之後，請驗證 pip 命令是否指向使用者目錄中的那個。

$ which pip
/home/USER/.local/bin/pip

4. 安裝 PyTorch

截至 PyTorch 1.13 和 torchaudio 0.13，沒有 Linux ARM64 的官方預先建置二進位檔案。Nvidia 提供 PyTorch 的自訂預先建置二進位檔案，適用於特定的 JetPack。

請參閱 https://docs.nvidia.com/deeplearning/frameworks/install-pytorch-jetson-platform/index.html 以取得有關如何安裝 PyTorch 的最新說明。

$ package=torch-1.13.0a0+340c4120.nv22.06-cp38-cp38-linux_aarch64.whl
$ wget "https://developer.download.nvidia.com/compute/redist/jp/v50/pytorch/${package}"
$ pip install --no-cache "${package}"

透過檢查版本和 CUDA 裝置的可存取性來驗證安裝。

$ python -c '

import torch
print(torch.__version__)
print(torch.cuda.is_available())
print(torch.empty((1, 2), device=torch.device("cuda")))
'
1.13.0a0+410ce96a.nv22.12
True
tensor([[0., 0.]], device='cuda:0')

5. 建置 TorchAudio

1. 安裝建置工具

pip install cmake ninja

2. 安裝相依性

sudo apt install ffmpeg libavformat-dev libavcodec-dev libavutil-dev libavdevice-dev libavfilter-dev

3. 建置 TorchAudio

git clone https://github.com/pytorch/audio
cd audio
USE_CUDA=1 pip install -v -e . --no-use-pep517

4. 檢查安裝

import torchaudio

print(torchaudio.__version__)

torchaudio.utils.ffmpeg_utils.get_build_config()

2.0.0a0+2ead941
--prefix=/usr --extra-version=0ubuntu0.1 --toolchain=hardened --libdir=/usr/lib/aarch64-linux-gnu --incdir=/usr/include/aarch64-linux-gnu --arch=arm64 --enable-gpl --disable-stripping --enable-avresample --disable-filter=resample --enable-avisynth --enable-gnutls --enable-ladspa --enable-libaom --enable-libass --enable-libbluray --enable-libbs2b --enable-libcaca --enable-libcdio --enable-libcodec2 --enable-libflite --enable-libfontconfig --enable-libfreetype --enable-libfribidi --enable-libgme --enable-libgsm --enable-libjack --enable-libmp3lame --enable-libmysofa --enable-libopenjpeg --enable-libopenmpt --enable-libopus --enable-libpulse --enable-librsvg --enable-librubberband --enable-libshine --enable-libsnappy --enable-libsoxr --enable-libspeex --enable-libssh --enable-libtheora --enable-libtwolame --enable-libvidstab --enable-libvorbis --enable-libvpx --enable-libwavpack --enable-libwebp --enable-libx265 --enable-libxml2 --enable-libxvid --enable-libzmq --enable-libzvbi --enable-lv2 --enable-omx --enable-openal --enable-opencl --enable-opengl --enable-sdl2 --enable-libdc1394 --enable-libdrm --enable-libiec61883 --enable-chromaprint --enable-frei0r --enable-libx264 --enable-shared