PyTorch/XLA 文件

PyTorch/XLA 是一個 Python 套件，它使用 XLA 深度學習編譯器來連接 PyTorch 深度學習框架和 Cloud TPU。

瞭解 Pytorch/XLA

• Pytorch/XLA 概觀
• XLA 裝置上的 PyTorch
• PyTorch/XLA API
• 動態形狀
• Eager Mode + Compile API
• PJRT 執行階段
• 疑難排解

瞭解加速器

• 瞭解 TPU
• 瞭解 GPU

PyTorch/XLA 功能

• 透過 Pallas 自訂核心
• Torch 匯出到 StableHLO
• 透過 Triton 自訂 GPU 核心
• 使用 scan 和 scan_layers 的指南

改善 Pytorch/XLA 工作負載效能

• 自動混合精度
• PyTorch/XLA SPMD 使用者指南
• PyTorch/XLA SPMD 進階主題
• 分散式檢查點
• 在 GPU 上執行 SPMD
• 如何執行 DistributedDataParallel(DDP)
• PyTorch XLA 中的 TorchDynamo 整合
• 使用 while_loop 最佳化記憶體使用率
• PyTorch XLA 中的 Fully Sharded Data Parallel
• 使用 SPMD 的 Fully Sharded Data Parallel
• XLA 的量化運算 (實驗性功能)
• Pytorch/XLA 中重新編譯的來源

貢獻給 Pytorch/XLA

• 設定開發環境
• Codegen 遷移指南
• OP Lowering 指南
• 自訂硬體外掛程式
• Pytorch/XLA 中的 Bazel