TargetReturn

class torchrl.envs.transforms.TargetReturn(target_return: float, mode: str = 'reduce', in_keys: Optional[Sequence[NestedKey]] = None, out_keys: Optional[Sequence[NestedKey]] = None, reset_key: Optional[NestedKey] = None)

為代理程式設定在環境中要達成的目標回報。

在目標條件式強化學習中，TargetReturn 被定義為從當前狀態到目標狀態或到 episode 結束時所獲得的預期累積獎勵。它被用作策略的輸入來指導其行為。對於一個經過訓練的策略，通常會選擇環境中的最大回報作為目標回報。然而，由於它被用作策略模組的輸入，因此應該進行相應的縮放。透過 TargetReturn 轉換，可以更新 tensordict 以包含使用者指定的目標回報。 mode 參數可用於指定是否在每個步驟中透過減去每個步驟獲得的獎勵來更新目標回報，或者保持恆定。

參數:

• target_return (float) – 代理程式要達成的目標回報。

• mode (str) – 用於更新目標回報的模式。可以是 "reduce" 或 "constant"。預設值："reduce"。

• in_keys (NestedKey 序列, optional) – 指向獎勵條目的鍵。預設為父環境的獎勵鍵。

• out_keys (NestedKey 的序列, 選填) – 指向目標鍵的鍵。預設為 in_keys 的副本，其中最後一個元素已替換為 "target_return"，如果這些鍵不是唯一的，則會引發例外。

• reset_key (NestedKey, 選填) – 用作部分重置指示器的重置鍵。必須是唯一的。如果未提供，則預設為父環境的唯一重置鍵（如果只有一個），否則會引發例外。

範例

>>> from torchrl.envs import GymEnv
>>> env = TransformedEnv(
...     GymEnv("CartPole-v1"),
...     TargetReturn(10.0, mode="reduce"))
>>> env.set_seed(0)
>>> torch.manual_seed(0)
>>> env.rollout(20)['target_return'].squeeze()
tensor([10.,  9.,  8.,  7.,  6.,  5.,  4.,  3.,  2.,  1.,  0., -1., -2., -3.])

forward(tensordict: TensorDictBase) → TensorDictBase

讀取輸入的 tensordict，並針對選定的鍵應用轉換。

transform_input_spec(input_spec: TensorSpec) → TensorSpec

轉換輸入規格，使結果規格符合轉換對應。

參數:

input_spec (TensorSpec) – 轉換前的規格

傳回:

轉換後預期的規格

transform_observation_spec(observation_spec: TensorSpec) → TensorSpec

轉換觀察規格，使結果規格符合轉換對應。

參數:

observation_spec (TensorSpec) – 轉換前的規格

傳回:

轉換後預期的規格