OpenSpielWrapper¶

torchrl.envs.OpenSpielWrapper(*args, **kwargs)[原始碼]¶

Google DeepMind OpenSpiel 環境封裝器。

GitHub: https://github.com/google-deepmind/open_spiel

文件: https://openspiel.readthedocs.io/en/latest/index.html

參數:

env (pyspiel.State) – 要封裝的遊戲。

關鍵字參數:

device (torch.device, optional) – 如果提供，資料要轉換到的裝置。預設為 None。
batch_size (torch.Size, optional) – 環境的批次大小。預設為 torch.Size([])。
allow_done_after_reset (bool, optional) – 如果為 True，則允許環境在呼叫 reset() 之後立即 done。預設為 False。
group_map (MarlGroupMapType or Dict[str, List[str]]], optional) – 如何在 tensordict 中對代理程式進行分組以進行輸入/輸出。有關更多資訊，請參閱 MarlGroupMapType。預設為 ALL_IN_ONE_GROUP。
categorical_actions (bool, optional) – 如果為 True，分類規格將轉換為 TorchRL 等效項 (torchrl.data.Categorical)，否則將使用 one-hot 編碼 (torchrl.data.OneHot)。預設為 False。
return_state (bool, optional) – 如果 True, 則 "state" 會包含在 reset() 和 step() 的輸出中。此狀態可以傳遞給 reset() 以重置到該狀態，而不是重置到初始狀態。預設值為 False。

變數:

available_envs – 可用於建構的環境

範例

>>> import pyspiel
>>> from torchrl.envs import OpenSpielWrapper
>>> from tensordict import TensorDict
>>> base_env = pyspiel.load_game('chess').new_initial_state()
>>> env = OpenSpielWrapper(base_env, return_state=True)
>>> td = env.reset()
>>> td = env.step(env.full_action_spec.rand())
>>> print(td)
TensorDict(
    fields={
        agents: TensorDict(
            fields={
                action: Tensor(shape=torch.Size([2, 4672]), device=cpu, dtype=torch.int64, is_shared=False)},
            batch_size=torch.Size([]),
            device=None,
            is_shared=False),
        next: TensorDict(
            fields={
                agents: TensorDict(
                    fields={
                        observation: Tensor(shape=torch.Size([2, 20, 8, 8]), device=cpu, dtype=torch.float32, is_shared=False),
                        reward: Tensor(shape=torch.Size([2, 1]), device=cpu, dtype=torch.float32, is_shared=False)},
                    batch_size=torch.Size([2]),
                    device=None,
                    is_shared=False),
                current_player: Tensor(shape=torch.Size([]), device=cpu, dtype=torch.int32, is_shared=False),
                done: Tensor(shape=torch.Size([1]), device=cpu, dtype=torch.bool, is_shared=False),
                state: NonTensorData(data=FEN: rnbqkbnr/pppppppp/8/8/8/8/PPPPPPPP/RNBQKBNR w KQkq - 0 1
                3009
                , batch_size=torch.Size([]), device=None),
                terminated: Tensor(shape=torch.Size([1]), device=cpu, dtype=torch.bool, is_shared=False)},
            batch_size=torch.Size([]),
            device=None,
            is_shared=False)},
    batch_size=torch.Size([]),
    device=None,
    is_shared=False)
>>> print(env.available_envs)
['2048', 'add_noise', 'amazons', 'backgammon', ...]

只要 return_state=True, reset() 就可以還原到特定狀態，而不是初始狀態。

>>> import pyspiel
>>> from torchrl.envs import OpenSpielWrapper
>>> from tensordict import TensorDict
>>> base_env = pyspiel.load_game('chess').new_initial_state()
>>> env = OpenSpielWrapper(base_env, return_state=True)
>>> td = env.reset()
>>> td = env.step(env.full_action_spec.rand())
>>> td_restore = td["next"]
>>> td = env.step(env.full_action_spec.rand())
>>> # Current state is not equal `td_restore`
>>> (td["next"] == td_restore).all()
False
>>> td = env.reset(td_restore)
>>> # After resetting, now the current state is equal to `td_restore`
>>> (td == td_restore).all()
True

OpenSpielWrapper¶

文件

教學課程

資源