VmasWrapper¶

torchrl.envs.VmasWrapper(*args, **kwargs)[來源]¶

Vmas 環境包裝器。

GitHub: https://github.com/proroklab/VectorizedMultiAgentSimulator

論文: https://arxiv.org/abs/2207.03530

參數:

env (vmas.simulator.environment.environment.Environment) – 要包裝的 vmas 環境。

關鍵字引數:

num_envs (int) – 向量化模擬環境的數量。VMAS 使用 PyTorch 執行向量化模擬。此引數表示應在一個批次中模擬的向量化環境的數量。它也將決定環境的批次大小。
device (torch.device, optional) – 用於模擬的裝置。預設為預設裝置。VMAS 建立的所有張量都將放置在此裝置上。
continuous_actions (bool, optional) – 是否使用連續動作。預設為 True。如果 False，則動作將是離散的。動作的數量和大小將取決於所選的場景。有關更多資訊，請參閱 VMAS 儲存庫。
max_steps (int, optional) – 任務的水平線。預設為 None (無限水平線)。每個 VMAS 場景都可以終止或不終止。如果指定了 max_steps，則當達到此水平線時，該場景也會終止（並且設定了 "terminated" 標誌）。與 gym 的 TimeLimit 轉換或 torchrl 的 StepCounter 不同，此引數不會在 tensordict 中設定 "truncated" 條目。
categorical_actions (bool, optional) – 如果環境動作是離散的，是否將它們轉換為分類或 one-hot。預設為 True。
group_map (MarlGroupMapType 或 Dict[str, List[str]], optional) – 如何在 tensordict 中對 agents 進行分組，以用於輸入/輸出。預設情況下，如果 agent 名稱遵循 "<name>_<int>" 慣例，它們將會依據 "<name>" 進行分組。如果它們沒有遵循此慣例，它們將會被全部放入一個名為 "agents" 的群組中。否則，可以指定一個群組對應或從一些預先製作的選項中選擇。請參閱 MarlGroupMapType 以獲取更多資訊。

變數:

group_map (Dict[str, List[str]]) – 如何在 tensordict 中對 agents 進行分組，以用於輸入/輸出。請參閱 MarlGroupMapType 以獲取更多資訊。
agent_names (list of str) – 環境中 agent 的名稱列表
agent_names_to_indices_map (Dict[str, int]) – 將 agent 名稱對應到其在環境中的索引的字典
unbatched_action_spec (TensorSpec) – 沒有向量化維度的 spec 版本
unbatched_observation_spec (TensorSpec) – 沒有向量化維度的 spec 版本
unbatched_reward_spec (TensorSpec) – 沒有向量化維度的 spec 版本
het_specs (bool) – 環境是否具有任何惰性 spec
het_specs_map (Dict[str, bool]) – 將每個群組對應到一個 flag 的字典，該 flag 代表該群組是否具有惰性 specs
available_envs (List[str]) – 可用於構建的 scenarios 列表。

警告

VMAS 回傳一個單一的 done flag，它無法區分環境何時達到 max_steps 以及終止。如果您認為 truncation 訊號是必要的，請將 max_steps 設為 None 並使用 StepCounter 轉換。

範例

>>>  env = VmasWrapper(
...      vmas.make_env(
...          scenario="flocking",
...          num_envs=32,
...          continuous_actions=True,
...          max_steps=200,
...          device="cpu",
...          seed=None,
...          # Scenario kwargs
...          n_agents=5,
...      )
...  )
>>>  print(env.rollout(10))
TensorDict(
    fields={
        agents: TensorDict(
            fields={
                action: Tensor(shape=torch.Size([32, 10, 5, 2]), device=cpu, dtype=torch.float32, is_shared=False),
                info: TensorDict(
                    fields={
                        agent_collision_rew: Tensor(shape=torch.Size([32, 10, 5, 1]), device=cpu, dtype=torch.float32, is_shared=False),
                        agent_distance_rew: Tensor(shape=torch.Size([32, 10, 5, 1]), device=cpu, dtype=torch.float32, is_shared=False)},
                    batch_size=torch.Size([32, 10, 5]),
                    device=cpu,
                    is_shared=False),
                observation: Tensor(shape=torch.Size([32, 10, 5, 18]), device=cpu, dtype=torch.float32, is_shared=False)},
            batch_size=torch.Size([32, 10, 5]),
            device=cpu,
            is_shared=False),
        done: Tensor(shape=torch.Size([32, 10, 1]), device=cpu, dtype=torch.bool, is_shared=False),
        next: TensorDict(
            fields={
                agents: TensorDict(
                    fields={
                        info: TensorDict(
                            fields={
                                agent_collision_rew: Tensor(shape=torch.Size([32, 10, 5, 1]), device=cpu, dtype=torch.float32, is_shared=False),
                                agent_distance_rew: Tensor(shape=torch.Size([32, 10, 5, 1]), device=cpu, dtype=torch.float32, is_shared=False)},
                            batch_size=torch.Size([32, 10, 5]),
                            device=cpu,
                            is_shared=False),
                        observation: Tensor(shape=torch.Size([32, 10, 5, 18]), device=cpu, dtype=torch.float32, is_shared=False),
                        reward: Tensor(shape=torch.Size([32, 10, 5, 1]), device=cpu, dtype=torch.float32, is_shared=False)},
                    batch_size=torch.Size([32, 10, 5]),
                    device=cpu,
                    is_shared=False),
                done: Tensor(shape=torch.Size([32, 10, 1]), device=cpu, dtype=torch.bool, is_shared=False),
                terminated: Tensor(shape=torch.Size([32, 10, 1]), device=cpu, dtype=torch.bool, is_shared=False)},
            batch_size=torch.Size([32, 10]),
            device=cpu,
            is_shared=False),
        terminated: Tensor(shape=torch.Size([32, 10, 1]), device=cpu, dtype=torch.bool, is_shared=False)},
    batch_size=torch.Size([32, 10]),
    device=cpu,
    is_shared=False)

VmasWrapper¶

文件

教學

資源