GymWrapper¶

torchrl.envs.GymWrapper(*args, **kwargs)[原始碼]¶

OpenAI Gym 環境包裝器。

適用於 gymnasium 和 OpenAI/gym。

參數:

env (gym.Env) – 要包裝的環境。支援批次環境 (VecEnv 或 gym.VectorEnv)，並且環境批次大小將反映平行執行的環境數量。
categorical_action_encoding (bool, optional) – 如果 True，則分類規格將轉換為 TorchRL 等效項 (torchrl.data.Categorical)，否則將使用 one-hot 編碼 (torchrl.data.OneHot)。預設為 False。

關鍵字引數:

from_pixels (bool, optional) – 如果 True，則將嘗試從 env 傳回像素觀察。預設情況下，這些觀察將寫入 "pixels" 條目下。所使用的方法因 gym 版本而異，可能涉及 wrappers.pixel_observation.PixelObservationWrapper。預設為 False。
pixels_only (bool, optional) – 如果 True，則僅傳回像素觀察 (預設情況下在輸出 tensordict 中的 "pixels" 條目下)。如果 False，則在 from_pixels=True 時，將傳回觀察 (例如，狀態) 和像素。預設為 True。
frame_skip (int, optional) – 如果提供，表示要重複相同動作的步數。傳回的觀察結果將是序列的最後一個觀察結果，而獎勵將是各個步驟的獎勵總和。
device (torch.device, optional) – 如果提供，則資料要投放到的裝置。預設為 torch.device("cpu")。
batch_size (torch.Size, optional) – 環境的批次大小。應該與所有觀測值、完成狀態、獎勵、動作和資訊的前導維度相符。預設為 torch.Size([])。
allow_done_after_reset (bool, optional) – 如果 True，則允許環境在呼叫 reset() 後立即處於 done 狀態。預設為 False。
convert_actions_to_numpy (bool, optional) – 如果 True，動作將從 tensors 轉換為 numpy 陣列，並在傳遞給環境 step 函數之前移動到 CPU。如果環境在 GPU 上進行評估（例如 IsaacLab），請將此設定為 False。預設為 True。

變數:

available_envs (List[str]) – 要建構的環境列表。

注意

如果找不到屬性，此類別將嘗試從巢狀環境中檢索它

>>> from torchrl.envs import GymWrapper
>>> import gymnasium as gym
>>> env = GymWrapper(gym.make("Pendulum-v1"))
>>> print(env.spec.max_episode_steps)
200

範例

>>> import gymnasium as gym
>>> from torchrl.envs import GymWrapper
>>> base_env = gym.make("Pendulum-v1")
>>> env = GymWrapper(base_env)
>>> td = env.rand_step()
>>> print(td)
TensorDict(
    fields={
        action: Tensor(shape=torch.Size([1]), device=cpu, dtype=torch.float32, is_shared=False),
        next: TensorDict(
            fields={
                done: Tensor(shape=torch.Size([1]), device=cpu, dtype=torch.bool, is_shared=False),
                observation: Tensor(shape=torch.Size([3]), device=cpu, dtype=torch.float32, is_shared=False),
                reward: Tensor(shape=torch.Size([1]), device=cpu, dtype=torch.float32, is_shared=False),
                terminated: Tensor(shape=torch.Size([1]), device=cpu, dtype=torch.bool, is_shared=False),
                truncated: Tensor(shape=torch.Size([1]), device=cpu, dtype=torch.bool, is_shared=False)},
            batch_size=torch.Size([]),
            device=cpu,
            is_shared=False)},
    batch_size=torch.Size([]),
    device=cpu,
    is_shared=False)
>>> print(env.available_envs)
['ALE/Adventure-ram-v5', 'ALE/Adventure-v5', 'ALE/AirRaid-ram-v5', 'ALE/AirRaid-v5', 'ALE/Alien-ram-v5', 'ALE/Alien-v5',

注意

如果未提供其他讀取器，則將使用 default_info_dict_reader 讀取 info 字典。若要提供另一個讀取器，請參閱 set_info_dict_reader()。若要自動註冊 info_dict 內容，請參閱 torchrl.envs.GymLikeEnv.auto_register_info_dict()。對於並行 (Vectorized) 環境，info 字典讀取器會自動設定，不應手動設定。

注意

Gym spaces 並未完全涵蓋。如果以下 spaces 可以用 torch.Tensor、巢狀 tensor 和/或 tensordict 表示，則會將它們納入考量

spaces.Box

spaces.Sequence

spaces.Tuple

spaces.Discrete

spaces.MultiBinary

spaces.MultiDiscrete

spaces.Dict

在使用 gym spaces 時應考慮一些事項。例如，只有當 spaces 在語義上相同（相同的 dtype 和相同數量的維度）時，才支援 spaces 的 tuple。可以使用 nested_tensor() 支援參差不齊的維度，但那時應該只有一個 tuple 層級，並且資料應該沿著第一個維度堆疊（因為 nested_tensors 只能沿著第一個維度堆疊）。

查看 examples/envs/gym_conversion_examples.py 中的範例以了解更多資訊！

GymWrapper¶

文件

教學

資源