使用 gym

什麼是 OpenAI Gym？

OpenAI Gym 是一個 Python 函式庫，它提供了在 RL 環境中編寫和使用環境的工具。 這些環境可以是模擬器或真實世界系統 (例如機器人或遊戲)。 由於其易用性，Gym 已被廣泛採用作為 RL 和控制中環境互動的主要 API 之一。

從歷史上看，Gym 最初是由 OpenAI 在 https://github.com/openai/gym 上啟動的。 從那以後，OpenAI 已停止維護它，並且該函式庫已被 Farama 基金會分支到 Gymnasium 中。

查看 Gym 文件，以取得有關安裝和使用的更多詳細資訊。

版本控制

眾所周知，OpenAI Gym 函式庫經歷了多次 BC 中斷性變更和重大的面向使用者的 API 修改。 實際上，TorchRL 已經過針對 gym 0.13 及更高版本的測試，並且應適用於任何介於兩者之間的版本。

但是，圍繞 Gym 構建的函式庫可能具有自定義的環境構建過程，該過程會中斷來自 GymEnv 類的自動包裝。 在這種情況下，最好先建立 gym 環境，然後使用 torchrl.envs.libs.gym.GymWrapper 包裝它。

如果您在使用特定版本的 gym 執行 TorchRL 時遇到問題，請隨時開啟一個 issue，我們很樂意對此進行調查。