歡迎使用 PyTorch 教學

PyTorch 教學的新功能？

• 使用 torch.compiler.set_stance 進行動態編譯控制

• 透過使用巢狀張量和 torch.compile() 替換 nn.Transformer 來加速 PyTorch Transformers

• 了解 torch.export 流程和常見挑戰的解決方案

• 更新的 torch.export 教學 具有自動動態形狀 Dim.AUTO

• 更新的 用於 Python 運行時的 torch.export AOTInductor 教學

• 更新的 將用戶定義的 Triton Kernels 與 torch.compile 一起使用 具有新的 torch.library.triton_op

學習基礎知識

熟悉 PyTorch 的概念和模組。 在此快速入門指南中，學習如何加載數據、建構深度神經網路、訓練和保存模型。

PyTorch 入門

PyTorch 食譜

隨時可部署的 PyTorch 精簡程式碼範例。

探索 Recipes

---

學習基礎知識

使用 PyTorch 構建完整 ML 工作流程的分步指南。

入門

YouTube 上的 PyTorch 介紹

使用 PyTorch 構建完整 ML 工作流程的介紹。 遵循 YouTube 上的 PyTorch Beginner Series。

入門

透過範例學習 PyTorch

本教學透過獨立範例介紹 PyTorch 的基本概念。

入門

torch.nn 實際上是什麼？

使用 torch.nn 建立和訓練神經網路。

入門

使用 TensorBoard 可視化模型、資料和訓練

學習使用 TensorBoard 可視化數據和模型訓練。

可解釋性、入門、TensorBoard

在 PyTorch 中正確使用 `non_blocking` 和 `pin_memory()`

關於將資料從 CPU 複製到 GPU 的最佳實踐指南。

入門

TorchVision 物件偵測微調教學

微調預訓練的 Mask R-CNN 模型。

圖像/影片

電腦視覺遷移學習教學

使用遷移學習訓練用於圖像分類的卷積神經網路。

圖像/影片

優化 Vision Transformer 模型

將最先進的、基於注意力的 Transformer 模型應用於電腦視覺任務。

圖像/影片

對抗性範例生成

使用遷移學習訓練用於圖像分類的卷積神經網路。

圖像/影片

DCGAN 教學

訓練生成對抗網路 (GAN) 以生成新的名人。

圖像/影片

空間轉換器網路教學

學習如何使用視覺注意力機制來擴充您的網路。

圖像/影片

使用 TIAToolbox 在整個切片圖像上進行推論

學習如何使用 TIAToolbox 在整個切片圖像上執行推論。

圖像/影片

基於 USB 的半監督學習教學

學習如何使用 USB 和 PyTorch 訓練半監督學習演算法（在自定義數據上）。

圖像/影片

音訊 IO

學習使用 torchaudio 加載數據。

音訊

音訊重新取樣

學習使用 torchaudio 重新採樣音訊波形。

音訊

音訊資料擴增

學習使用 torchaudio 應用數據擴充。

音訊

音訊特徵提取

學習使用 torchaudio 提取特徵。

音訊

音訊特徵擴增

學習使用 torchaudio 擴充特徵。

音訊

音訊資料集

學習使用 torchaudio 資料集。

音訊

在 torchaudio 中使用 Wav2Vec2 進行自動語音辨識

學習如何使用 torchaudio 的預訓練模型來建構語音辨識應用程式。

音訊

語音指令分類

學習如何正確格式化音訊資料集，然後在該資料集上訓練/測試音訊分類器網路。

音訊

使用 torchaudio 進行文字轉語音

學習如何使用 torchaudio 的預訓練模型來建構文字轉語音應用程式。

音訊

在 torchaudio 中使用 Wav2Vec2 進行強制對齊

學習如何使用 torchaudio 的 Wav2Vec2 預訓練模型將文字與語音對齊

音訊

從頭開始的 NLP：使用字元級 RNN 對名稱進行分類

構建和訓練基本的字元級 RNN，以從頭開始分類單字，而無需使用 torchtext。 三個教學系列中的第一個。

NLP

從頭開始的 NLP：使用字元級 RNN 生成名稱

在使用字元級 RNN 對名稱進行分類後，學習如何從語言生成名稱。 三個教學系列中的第二個。

NLP

從頭開始的 NLP：使用序列到序列網路和注意力進行翻譯

這是關於「從零開始的 NLP」系列的第三個也是最後一個教學，我們將編寫自己的類別和函數來預處理資料，以執行我們的 NLP 建模任務。

NLP

(可選) 使用 TorchDynamo 後端將 PyTorch 模型匯出到 ONNX 並使用 ONNX Runtime 執行它

在 PyTorch 中建立圖像分類器模型，並在使用 ONNX Runtime 部署之前將其轉換為 ONNX。

生產環境,ONNX,後端

ONNX Registry 簡介

示範如何透過使用 ONNX Registry 來解決不支援的運算子。

生產環境,ONNX,後端

強化學習 (DQN)

學習如何使用 PyTorch 在 OpenAI Gym 的 CartPole-v0 任務上訓練深度 Q 學習 (DQN) 代理。

強化學習

使用 TorchRL 的強化學習 (PPO)

學習如何使用 PyTorch 和 TorchRL 在 Gym 的倒單擺任務上訓練近端策略優化代理。

強化學習

訓練一個玩 Mario 的 RL 代理程式

使用 PyTorch 訓練一個 Double Q-learning 代理來玩 Mario。

強化學習

循環 DQN

使用 TorchRL 訓練循環策略

強化學習

編寫 DDPG 損失函數

使用 TorchRL 編寫 DDPG 損失函數

強化學習

編寫您的環境和轉換

使用 TorchRL 編寫 Pendulum

強化學習

透過 Flask 使用 REST API 在 Python 中部署 PyTorch

使用 Flask 部署 PyTorch 模型，並使用預先訓練的 DenseNet 121 模型 (用於檢測圖像) 作為範例，公開用於模型推論的 REST API。

生產環境

TorchScript 簡介

TorchScript 簡介，它是 PyTorch 模型 (nn.Module 的子類別) 的中介表示法，然後可以在 C++ 等高效能環境中運行。

生產環境,TorchScript

在 C++ 中載入 TorchScript 模型

學習 PyTorch 如何提供從現有的 Python 模型到序列化表示法的轉換，該表示法可以純粹從 C++ 加載和執行，而無需依賴 Python。

生產環境,TorchScript

(可選) 使用 TorchScript 後端將 PyTorch 模型匯出到 ONNX 並使用 ONNX Runtime 執行它

將在 PyTorch 中定義的模型轉換為 ONNX 格式，然後使用 ONNX Runtime 運行它。

生產環境,ONNX

分析 PyTorch

學習如何分析 PyTorch 應用程式

效能分析

_static/img/thumbnails/default.png

分析 PyTorch

整體追蹤分析簡介

效能分析

_static/img/thumbnails/default.png

分析 PyTorch

使用整體追蹤分析進行追蹤差異

效能分析

_static/img/thumbnails/default.png

在 FX 中建立卷積/批次正規化融合器

建立一個簡單的 FX pass，將批次正規化融合到卷積中，以提高推論期間的效能。

FX

使用 FX 建立簡單的效能分析器

建立一個簡單的 FX 解釋器來記錄 op、模組和函數呼叫的運行時間並報告統計資訊

FX

(beta) PyTorch 中的 Channels Last 記憶體格式

了解 Channels Last 記憶體格式的概述，並了解它如何用於在記憶體中對 NCHW 張量進行排序，同時保留維度。

記憶體格式,最佳實踐,前端 API

使用 PyTorch C++ 前端

透過訓練 DCGAN（一種生成模型）來生成 MNIST 數字的圖像，來逐步了解使用 C++ 前端訓練模型的端到端範例。

前端 API,C++

PyTorch 自定義運算子登陸頁面

這是所有與 PyTorch 中的自定義運算子相關內容的登陸頁面。

擴充 PyTorch,前端 API,C++,CUDA

自訂 Python 運算子

在 Python 中建立自定義運算子。適用於將 Python 函數黑箱化以與 torch.compile 一起使用。

擴充 PyTorch,前端 API,C++,CUDA

編譯的 Autograd：為 ``torch.compile`` 捕捉更大的反向圖

學習如何使用編譯的 autograd 來捕捉更大的反向圖。

模型最佳化,CUDA

自訂 C++ 和 CUDA 運算子

如何使用自定義 C++ 和 CUDA 運算子擴充 PyTorch。

擴充 PyTorch,前端 API,C++,CUDA

自定義 C++ 和 CUDA 擴充

使用 numpy 建立一個沒有參數的神經網路層。然後使用 scipy 建立一個具有可學習權重的神經網路層。

擴充 PyTorch,前端 API,C++,CUDA

使用自定義 C++ 運算符擴展 TorchScript

在 C++ 中實作一個自定義 TorchScript 運算子，如何將其建置到共享函式庫中，如何在 Python 中使用它來定義 TorchScript 模型，以及最後如何將其加載到 C++ 應用程式中以進行推論工作負載。

擴充 PyTorch,前端 API,TorchScript,C++

使用自定義 C++ 類別擴展 TorchScript

這是自定義運算子教學的延續，並介紹了我們為將 C++ 類別同時綁定到 TorchScript 和 Python 而建立的 API。

擴充 PyTorch,前端 API,TorchScript,C++

TorchScript 中的動態並行

本教學介紹了在 TorchScript 中執行 *動態跨操作並行* 的語法。

前端 API,TorchScript,C++

Raspberry Pi 4 上的即時推論

本教學涵蓋如何在 Raspberry Pi 4 上以 30 fps 的速度運行量化和融合模型。

TorchScript,模型最佳化,圖像/影片,量化

C++ 前端中的 Autograd

autograd 套件有助於建立靈活和動態的神經網路。在本教學中，探索在 PyTorch C++ 前端中執行 autograd 的幾個範例

前端 API,C++

在 C++ 中註冊分派的運算符

dispatcher 是 PyTorch 的一個內部元件，負責確定當您呼叫 torch::add 等函數時，實際上應該運行什麼程式碼。

擴充 PyTorch,前端 API,C++

在 C++ 中為新的後端擴充 Dispatcher

學習如何擴充 dispatcher 以新增一個位於 pytorch/pytorch repo 外部的新裝置，並維護它以與原生 PyTorch 裝置保持同步。

擴充 PyTorch,前端 API,C++

透過 PrivateUse1 促進新的後端整合

學習如何整合一個位於 pytorch/pytorch repo 外部的新後端，並維護它以與原生 PyTorch 後端保持同步。

擴充 PyTorch,前端 API,C++

自定義函數教學：Double Backward

學習如何編寫支援 double backward 的自定義 autograd Function。

擴充 PyTorch,前端 API

自定義函數教學：融合卷積和批次正規化

學習如何建立一個自定義 autograd Function，將批次正規化融合到卷積中，以提高記憶體使用率。

擴充 PyTorch,前端 API

前向模式自動微分

學習如何使用前向模式自動微分。

前端 API

Jacobians、Hessians、hvp、vhp 等等

學習如何使用 torch.func 計算進階的自動微分量

前端 API

模型集成

學習如何使用 torch.vmap 集成模型

前端 API

每樣本梯度

學習如何使用 torch.func 計算每樣本梯度

前端 API

神經正切核

學習如何使用 torch.func 計算神經正切核

前端 API

PyTorch 中的效能分析

學習如何使用 PyTorch Profiler 來基準測試模組的效能。

模型最佳化,最佳實踐,效能分析

TensorBoard 中的效能分析

學習如何使用 TensorBoard 外掛程式來分析和分析模型的效能。

模型最佳化,最佳實踐,效能分析,TensorBoard

超參數調整教學

學習如何使用 Ray Tune 來找到模型效能最佳的超參數集。

模型最佳化,最佳實踐

參數化教學

學習如何使用 torch.nn.utils.parametrize 來約束您的參數 (例如，使它們正交、對稱正定、低秩...)

模型最佳化,最佳實踐

剪枝教學

學習如何使用 torch.nn.utils.prune 來稀疏化您的神經網路，以及如何擴充它以實作您自己的自定義修剪技術。

模型最佳化,最佳實踐

如何透過將最佳化器步驟融合到反向傳播中來節省記憶體

學習一種透過使用記憶體快照將最佳化器步驟融合到反向傳播中來節省記憶體的技術。

模型最佳化,最佳實踐,CUDA,前端 API

(beta) 使用半結構化稀疏性加速 BERT

訓練 BERT，將其修剪為 2:4 稀疏，然後加速它以使用半結構化稀疏性和 torch.compile 實現 2 倍的推論加速。

文字,模型最佳化

(beta) LSTM 詞語語言模型上的動態量化

將動態量化（最簡單的量化形式）應用於基於 LSTM 的下一個單字預測模型。

文字,量化,模型最佳化

(beta) BERT 上的動態量化

在 BERT（來自 Transformers 的雙向嵌入表示）模型上應用動態量化。

文字,量化,模型最佳化

(beta) 電腦視覺教學的量化遷移學習

使用量化模型擴充電腦視覺的轉移學習教學。

圖像/影片、量化、模型優化

(beta) 在 PyTorch 中使用 Eager Mode 進行靜態量化

本教學展示如何進行訓練後靜態量化。

量化

從第一原理理解 PyTorch Intel CPU 效能

使用 Intel® Extension for PyTorch 優化的 TorchServe 推論框架案例研究。

模型優化、生產環境

從第一原理理解 PyTorch Intel CPU 效能（第二部分）

使用 Intel® Extension for PyTorch 優化的 TorchServe 推論框架案例研究（第二部分）。

模型優化、生產環境

使用 Ax 進行多目標神經架構搜尋

學習如何使用 Ax 搜尋架構，找到準確度和延遲之間的最佳權衡。

模型優化、最佳實踐、Ax、TorchX

torch.compile 教學

使用最新的 PyTorch 編譯器解決方案 torch.compile，以最少的程式碼更改來加速您的模型。

模型優化

Inductor CPU 後端除錯和效能分析

學習如何使用、除錯和進行效能分析``torch.compile``搭配 Inductor CPU 後端。

模型優化

(beta) 使用 SCALED DOT PRODUCT ATTENTION 實作高效能 Transformer

本教學探索新的 torch.nn.functional.scaled_dot_product_attention 以及如何使用它來建構 Transformer 元件。

模型優化、注意力機制、Transformer

卷積神經網路中的知識蒸餾

學習如何使用更強大的模型作為教師來提高輕量級模型的準確性。

模型優化、圖像/影片

通過使用 Nested Tensors 和 torch.compile() 替換 nn.Transformer 來加速 PyTorch Transformers

本教學介紹使用原生 PyTorch 實作 Transformers 的建議最佳實踐。

Transformer

PyTorch 分散式概觀

簡要介紹 distributed 套件中的所有概念和功能。使用此文件找到最適合您應用程式的分散式訓練技術。

平行與分散式訓練

PyTorch 中的分散式資料並行 - 影片教學

此系列影片教學將引導您完成 PyTorch 中透過 DDP 進行的分散式訓練。

平行與分散式訓練

單機模型並行最佳實踐

學習如何實作模型平行，這是一種將單一模型分割到不同 GPU 上的分散式訓練技術，而不是在每個 GPU 上複製整個模型

平行與分散式訓練

分散式資料並行入門

了解何時使用分散式資料平行與資料平行的基礎知識，並完成一個設定範例。

平行與分散式訓練

使用 PyTorch 撰寫分散式應用程式

設定 PyTorch 的 distributed 套件、使用不同的通訊策略，並了解套件的一些內部結構。

平行與分散式訓練

使用 Tensor Parallel 進行大規模 Transformer 模型訓練

學習如何使用 Tensor Parallel 套件訓練大型模型。

平行與分散式訓練

使用 Cpp 擴充功能自定義進程組後端

使用自定義集體通訊實作擴展 ProcessGroup。

平行與分散式訓練

分散式 RPC 框架入門

學習如何使用 torch.distributed.rpc 套件建構分散式訓練。

平行與分散式訓練

使用分散式 RPC 框架實作參數伺服器

逐步完成一個使用 PyTorch 的分散式 RPC 框架實作參數伺服器的簡單範例。

平行與分散式訓練

分散式管線並行簡介

示範如何使用 torch.distributed.pipelining 實作管線平行處理

平行與分散式訓練

使用異步執行實作批次 RPC 處理

學習如何使用 rpc.functions.async_execution 來實作批次 RPC

平行與分散式訓練

將分散式資料並行與分散式 RPC 框架結合

逐步完成一個如何將分散式資料平行處理與分散式模型平行處理結合使用的簡單範例。

平行與分散式訓練

完全分片資料並行 (FSDP) 入門

學習如何使用 Fully Sharded Data Parallel 套件訓練模型。

平行與分散式訓練

使用完全分片資料並行 (FSDP) 進行進階模型訓練

使用 Fully Sharded Data Parallel 套件探索進階模型訓練。

平行與分散式訓練

Libuv TCPStore 後端介紹

TCPStore 現在使用新的伺服器後端，以實現更快的連線和更好的可擴展性。

平行與分散式訓練

匯出到 ExecuTorch 教學

了解如何使用 ExecuTorch，這是一個統一的 ML 堆疊，用於將 PyTorch 模型降低到邊緣裝置。

邊緣運算

在 C++ 中運行 ExecuTorch 模型教學

學習如何在 C++ 中載入和執行 ExecuTorch 模型

邊緣運算

使用 ExecuTorch SDK 對模型進行性能分析

探索如何使用 ExecuTorch SDK 來分析、除錯和視覺化 ExecuTorch 模型

邊緣運算

建立 ExecuTorch iOS 示範應用程式

探索如何設定 ExecuTorch iOS 示範應用程式，該應用程式使用 MobileNet v3 模型，利用三種不同的後端：XNNPACK、Core ML 和 Metal Performance Shaders (MPS) 來處理即時相機影像。

邊緣運算

建立 ExecuTorch Android 示範應用程式

學習如何設定 ExecuTorch Android 示範應用程式，用於使用 DeepLab v3 模型和 XNNPACK FP32 後端進行圖像分割任務。

邊緣運算

將模型降階為委派

通過應用委派，透過三種方法使用 ExecuTorch 加速您的程式：降低整個模組、將其與另一個模組組合以及分割模組的各個部分。

邊緣運算

TorchRec 介紹

TorchRec 是一個 PyTorch 領域程式庫，旨在提供大規模推薦系統所需的常見稀疏性和平行處理原語。

TorchRec, 推薦系統

探索 TorchRec 分片

本教學涵蓋使用 EmbeddingPlanner 和 DistributedModelParallel API 對嵌入表進行分片方案。

TorchRec, 推薦系統

TorchMultimodal 簡介

TorchMultimodal 是一個程式庫，提供模型、原語和範例，用於訓練多模態任務

TorchMultimodal

其他資源

PyTorch 範例

一組圍繞 PyTorch 在視覺、文字、強化學習方面的範例，您可以將其納入您現有的工作中。

查看範例

PyTorch 速查表

PyTorch 基本元素的快速概述。

開啟

GitHub 上的教學

從 GitHub 存取 PyTorch 教學。

前往 GitHub

在 Google Colab 上執行教學

了解如何將教學資料複製到 Google 雲端硬碟中，以便您可以在 Google Colab 上執行教學。

開啟