TorchRL¶

TorchRL 是一個用於 PyTorch 的開源強化學習 (RL) 函式庫。
您可以直接從 PyPI 安裝 TorchRL(在下面的專用章節中查看更多關於安裝說明)。
$ pip install torchrl
TorchRL 為 RL 提供基於 pytorch 和 python 的低階和高階抽象,旨在高效、模組化、有文件記錄且經過適當測試。該程式碼旨在支援 RL 的研究。它的大部分程式碼都是以高度模組化的方式用 python 編寫的,因此研究人員可以輕鬆地交換組件、轉換它們或以很少的努力編寫新的組件。
這個儲存庫試圖與現有的 pytorch 生態系統函式庫保持一致,它具有「資料集支柱」(環境)、轉換、模型、資料工具(例如收集器和容器)等。TorchRL 旨在盡可能減少依賴性(python 標準函式庫、numpy 和 pytorch)。常見的環境函式庫(例如 OpenAI gym)只是可選的。
在低階方面,torchrl 提供了一組高度可重複使用的函數,用於 成本函數、回報 和資料處理。
TorchRL 旨在實現高度模組化和良好的執行時效能。
要閱讀更多關於 TorchRL 哲學和超出此 API 參考的功能,請查看 TorchRL 論文。
安裝¶
TorchRL 版本與 PyTorch 同步,因此請確保您始終使用 最新版本的 PyTorch 享受該函式庫的最新功能(儘管核心功能保證與 pytorch>=2.0 向後相容)。可以透過以下方式安裝 Nightly 版本
$ pip install tensordict-nightly
$ pip install torchrl-nightly
或者,如果您願意為該函式庫做出貢獻,則可以透過 git clone
。
$ cd path/to/root
$ git clone https://github.com/pytorch/tensordict
$ git clone https://github.com/pytorch/rl
$ cd tensordict
$ python setup.py develop
$ cd ../rl
$ python setup.py develop
開始使用¶
一系列快速教學課程,讓您熟悉該函式庫的基本功能。如果您趕時間,您可以從 該系列的最後一個項目 開始,並在您想要了解更多時導覽到先前的項目!