GAE

class torchrl.objectives.value.GAE(*args, **kwargs)

廣義優勢估計函式包裝器類別。

請參考「使用廣義優勢估計進行高維度連續控制」https://arxiv.org/pdf/1506.02438.pdf 以取得更多上下文。

參數:

• gamma (純量) – 指數平均折扣。

• lmbda (純量) – 軌跡折扣。

• value_network (TensorDictModule) – 用於檢索價值估算的價值運算子。

• average_gae (bool) – 如果 True，則將對結果 GAE 值進行標準化。預設值為 False。

• differentiable (bool, optional) –

  如果 True，則梯度會透過價值函數的計算進行傳播。預設值為 False。

  注意

  使函式呼叫不可微分的正確方法是在 torch.no_grad() 上下文管理器/裝飾器中裝飾它，或為函式模組傳遞分離的參數。

• vectorized (bool, optional) – 是否使用 lambda 回傳的向量化版本。預設值為 True。

• skip_existing (bool, optional) – 如果 True，則價值網路將跳過 tensordict 中已存在的模組輸出。預設值為 None，即 tensordict.nn.skip_existing() 的值不受影響。預設值為 “state_value”。

• advantage_key (str 或 str 的元組, optional) – [已棄用] 優勢條目的鍵。預設值為 "advantage"。

• value_target_key (str 或 str 的元組, optional) – [已棄用] 優勢條目的鍵。預設值為 "value_target"。

• value_key (str 或 str 的元組, optional) – [已棄用] 從輸入 tensordict 讀取的價值鍵。預設值為 "state_value"。

• shifted (bool, optional) – 如果 True，則使用單次對價值網路的呼叫來估計價值和下一個價值。這更快，但僅在以下情況下有效：(1) "next" 值僅偏移一個時間步長（例如，多步價值估計的情況並非如此），並且 (2) 在時間 t 和 t+1 使用的參數相同（在使用目標參數的情況下並非如此）。預設值為 False。

• device (torch.device, optional) – 模組的設備。

• time_dim (int, optional) – 輸入 tensordict 中對應於時間的維度。如果未提供，則預設為標記有 "time" 名稱的維度（如果有的話），否則預設為最後一個維度。可以在呼叫 value_estimate() 時覆蓋。負維度是相對於輸入 tensordict 而言的。

GAE 將傳回一個包含優勢值的 "advantage" 條目。它還將傳回一個包含回報值的 "value_target" 條目，該回報值將用於訓練價值網路。最後，如果 gradient_mode 為 True，則將傳回一個額外的、可微分的 "value_error" 條目，它僅表示回報值與價值網路輸出之間的差異（即，應將額外的距離損失應用於該帶符號的值）。

注意

與其他優勢函數一樣，如果 value_key 已經存在於輸入 tensordict 中，則 GAE 模組將忽略對價值網路的呼叫（如果有的話），而改為使用提供的價值。

forward(tensordict: TensorDictBase = None, *, params: Optional[List[Tensor]] = None, target_params: Optional[List[Tensor]] = None, time_dim: int | None = None) → TensorDictBase

計算給定 tensordict 中資料的 GAE。

如果提供了一個函數式模組，則可以將包含參數（以及相關的目標參數）的巢狀 TensorDict 傳遞給該模組。

參數:

tensordict (TensorDictBase) – 一個包含資料的 TensorDict（一個觀測鍵、"action"、("next", "reward")、("next", "done")、("next", "terminated") 和 "next" tensordict 狀態，由環境傳回），這些資料是計算價值估計和 GAE 所必需的。傳遞給此模組的資料結構應為 [*B, T, *F]，其中 B 是批次大小，T 是時間維度，而 F 是特徵維度。tensordict 的形狀必須為 [*B, T]。

關鍵字引數：

• params (TensorDictBase, optional) – 包含要傳遞到函數式價值網路模組的參數的巢狀 TensorDict。

• target_params (TensorDictBase, optional) – 包含要傳遞到函數式價值網路模組的目標參數的巢狀 TensorDict。

• time_dim (int, optional) – 輸入 tensordict 中對應於時間的維度。如果未提供，則預設為標記有 "time" 名稱的維度（如果有的話），否則預設為最後一個維度。負維度是相對於輸入 tensordict 而言的。

傳回：

一個更新後的 TensorDict，其中包含建構函式中定義的 advantage 和 value_error 鍵。

範例

>>> from tensordict import TensorDict
>>> value_net = TensorDictModule(
...     nn.Linear(3, 1), in_keys=["obs"], out_keys=["state_value"]
... )
>>> module = GAE(
...     gamma=0.98,
...     lmbda=0.94,
...     value_network=value_net,
...     differentiable=False,
... )
>>> obs, next_obs = torch.randn(2, 1, 10, 3)
>>> reward = torch.randn(1, 10, 1)
>>> done = torch.zeros(1, 10, 1, dtype=torch.bool)
>>> terminated = torch.zeros(1, 10, 1, dtype=torch.bool)
>>> tensordict = TensorDict({"obs": obs, "next": {"obs": next_obs}, "done": done, "reward": reward, "terminated": terminated}, [1, 10])
>>> _ = module(tensordict)
>>> assert "advantage" in tensordict.keys()

該模組也支援非 tensordict（即，未封裝的 tensordict）輸入

範例

>>> value_net = TensorDictModule(
...     nn.Linear(3, 1), in_keys=["obs"], out_keys=["state_value"]
... )
>>> module = GAE(
...     gamma=0.98,
...     lmbda=0.94,
...     value_network=value_net,
...     differentiable=False,
... )
>>> obs, next_obs = torch.randn(2, 1, 10, 3)
>>> reward = torch.randn(1, 10, 1)
>>> done = torch.zeros(1, 10, 1, dtype=torch.bool)
>>> terminated = torch.zeros(1, 10, 1, dtype=torch.bool)
>>> advantage, value_target = module(obs=obs, next_reward=reward, next_done=done, next_obs=next_obs, next_terminated=terminated)

value_estimate(tensordict, params: Optional[TensorDictBase] = None, target_params: Optional[TensorDictBase] = None, time_dim: Optional[int] = None, **kwargs)

取得價值估計，通常用作價值網路的目標價值。

如果狀態價值鍵存在於 tensordict.get(("next", self.tensor_keys.value)) 下，則將使用此價值，而無需重新呼叫價值網路。

參數:

• tensordict (TensorDictBase) – 包含要讀取之資料的 tensordict。

• target_params (TensorDictBase, optional) – 包含要傳遞到函數式價值網路模組的目標參數的巢狀 TensorDict。

• next_value ( torch.Tensor, optional) – 下一個狀態或狀態-行動對的值。與 target_params 互斥。

• **kwargs – 要傳遞給價值網路的關鍵字參數。

Returns: 對應於狀態價值的張量。