PPOLoss

class torchrl.objectives.PPOLoss(*args, **kwargs)

一個父 PPO 損失類別。

PPO（Proximal Policy Optimization，近端策略最佳化）是一種免模型、線上 RL 演算法，它利用記錄的（批次的）軌跡來執行多個最佳化步驟，同時主動防止更新後的策略與其原始參數組態產生過大的偏差。

PPO 損失有多種變體，具體取決於約束最佳化的實作方式：ClipPPOLoss 和 KLPENPPOLoss。與其子類別不同，此類別不實作任何正規化，因此應謹慎使用。

有關 PPO 的更多詳細資訊，請參閱：「Proximal Policy Optimization Algorithms」，https://arxiv.org/abs/1707.06347

參數:

• actor_network (ProbabilisticTensorDictSequential) – 策略運算子。

• critic_network (ValueOperator) – 值運算子。

關鍵字參數:

• entropy_bonus (bool, optional) – 如果 True，則會將熵獎勵新增至損失，以支持探索性策略。

• samples_mc_entropy (int, optional) – 如果從策略運算子檢索的分佈沒有熵的閉合形式公式，則將使用蒙地卡羅估計。samples_mc_entropy 將控制用於計算此估計的樣本數。預設為 1。

• entropy_coef (scalar, optional) – 計算總損失時的熵乘數。預設為 0.01。

• critic_coef (scalar, optional) – 計算總損失時的 critic 損失乘數。預設為 1.0。將 critic_coef 設定為 None，以從正向輸出中排除值損失。

• loss_critic_type (str, optional) – 值差異的損失函數。可以是 “l1”、“l2” 或 “smooth_l1” 之一。預設為 "smooth_l1"。

• normalize_advantage (bool, optional) – 如果 True，則在使用前會先將優勢正規化。預設為 False。

• separate_losses (bool, optional) – 如果 True，則 policy 和 critic 之間共享的參數將僅針對 policy loss 進行訓練。預設值為 False，也就是說，梯度會傳播到 policy 和 critic loss 的共享參數。

• advantage_key (str, optional) – [已棄用，請改用 set_keys(advantage_key=advantage_key)] 輸入 tensordict 的鍵，預期優勢值 (advantage) 會寫入此鍵。預設值為 "advantage"。

• value_target_key (str, optional) – [已棄用，請改用 set_keys(value_target_key=value_target_key)] 輸入 tensordict 的鍵，預期目標狀態值會寫入此鍵。預設值為 "value_target"。

• value_key (str, optional) – [已棄用，請改用 set_keys(value_key)] 輸入 tensordict 的鍵，預期狀態值會寫入此鍵。預設值為 "state_value"。

• functional (bool, optional) – 是否應將模組功能化。功能化允許 meta-RL 等功能，但會使分散式模型 (DDP、FSDP 等) 無法使用，並會產生一些成本。預設值為 True。

• reduction (str, optional) – 指定要應用於輸出的縮減 (reduction)："none" | "mean" | "sum"。"none"：不進行縮減，"mean"：輸出總和將除以輸出中的元素數量，"sum"：將對輸出進行總和。預設值："mean"。

• clip_value (float, optional) – 如果提供，它將用於計算 value 預測的截斷版本，相對於輸入 tensordict 值估計，並使用它來計算 value loss。截斷的目的是限制極端值預測的影響，有助於穩定訓練並防止大型更新。但是，如果 value 估計是由當前版本的 value 估計器完成的，則不會產生任何影響。預設值為 None。

注意

優勢值 (通常是 GAE) 可以由 loss function 或在 training loop 中計算。通常首選後者選項，但這取決於使用者選擇哪個選項。如果輸入 tensordict 中不存在優勢值鍵（預設為 "advantage），則將由 forward() 方法計算。

>>> ppo_loss = PPOLoss(actor, critic)
>>> advantage = GAE(critic)
>>> data = next(datacollector)
>>> losses = ppo_loss(data)
>>> # equivalent
>>> advantage(data)
>>> losses = ppo_loss(data)

可以使用 make_value_estimator() 建立自定義優勢值模組。預設值為 GAE，其超參數由 default_value_kwargs() 指定。

>>> ppo_loss = PPOLoss(actor, critic)
>>> ppo_loss.make_value_estimator(ValueEstimators.TDLambda)
>>> data = next(datacollector)
>>> losses = ppo_loss(data)

注意

如果 actor 和 value function 共享參數，則可以僅將 value network 的 head 傳遞給 PPO loss 模組，從而避免多次調用通用模組

>>> common = SomeModule(in_keys=["observation"], out_keys=["hidden"])
>>> actor_head = SomeActor(in_keys=["hidden"])
>>> value_head = SomeValue(in_keys=["hidden"])
>>> # first option, with 2 calls on the common module
>>> model = ActorValueOperator(common, actor_head, value_head)
>>> loss_module = PPOLoss(model.get_policy_operator(), model.get_value_operator())
>>> # second option, with a single call to the common module
>>> loss_module = PPOLoss(ProbabilisticTensorDictSequential(model, actor_head), value_head)

無論是否啟用 separate_losses，這都有效。

範例

>>> import torch
>>> from torch import nn
>>> from torchrl.data.tensor_specs import Bounded
>>> from torchrl.modules.distributions import NormalParamExtractor, TanhNormal
>>> from torchrl.modules.tensordict_module.actors import ProbabilisticActor, ValueOperator
>>> from torchrl.modules.tensordict_module.common import SafeModule
>>> from torchrl.objectives.ppo import PPOLoss
>>> from tensordict import TensorDict
>>> n_act, n_obs = 4, 3
>>> spec = Bounded(-torch.ones(n_act), torch.ones(n_act), (n_act,))
>>> base_layer = nn.Linear(n_obs, 5)
>>> net = nn.Sequential(base_layer, nn.Linear(5, 2 * n_act), NormalParamExtractor())
>>> module = SafeModule(net, in_keys=["observation"], out_keys=["loc", "scale"])
>>> actor = ProbabilisticActor(
...     module=module,
...     distribution_class=TanhNormal,
...     in_keys=["loc", "scale"],
...     spec=spec)
>>> module = nn.Sequential(base_layer, nn.Linear(5, 1))
>>> value = ValueOperator(
...     module=module,
...     in_keys=["observation"])
>>> loss = PPOLoss(actor, value)
>>> batch = [2, ]
>>> action = spec.rand(batch)
>>> data = TensorDict({"observation": torch.randn(*batch, n_obs),
...         "action": action,
...         "sample_log_prob": torch.randn_like(action[..., 1]),
...         ("next", "done"): torch.zeros(*batch, 1, dtype=torch.bool),
...         ("next", "terminated"): torch.zeros(*batch, 1, dtype=torch.bool),
...         ("next", "reward"): torch.randn(*batch, 1),
...         ("next", "observation"): torch.randn(*batch, n_obs),
...     }, batch)
>>> loss(data)
TensorDict(
    fields={
        entropy: Tensor(shape=torch.Size([]), device=cpu, dtype=torch.float32, is_shared=False),
        loss_critic: Tensor(shape=torch.Size([]), device=cpu, dtype=torch.float32, is_shared=False),
        loss_entropy: Tensor(shape=torch.Size([]), device=cpu, dtype=torch.float32, is_shared=False),
        loss_objective: Tensor(shape=torch.Size([]), device=cpu, dtype=torch.float32, is_shared=False)},
    batch_size=torch.Size([]),
    device=None,
    is_shared=False)

此類別也與非基於 tensordict 的模組相容，並且可以在不依賴任何 tensordict 相關的 primitive 的情況下使用。在這種情況下，預期的關鍵字引數為：["action", "sample_log_prob", "next_reward", "next_done", "next_terminated"] + actor 和 value network 的 in_keys。傳回值是一個 tensor 的 tuple，順序如下：["loss_objective"] + 如果設定了 entropy_bonus，則為 ["entropy", "loss_entropy"] + 如果 critic_coef 不是 None，則為 "loss_critic"。也可以使用 PPOLoss.select_out_keys() 方法篩選輸出鍵。

範例

>>> import torch
>>> from torch import nn
>>> from torchrl.data.tensor_specs import Bounded
>>> from torchrl.modules.distributions import NormalParamExtractor, TanhNormal
>>> from torchrl.modules.tensordict_module.actors import ProbabilisticActor, ValueOperator
>>> from torchrl.modules.tensordict_module.common import SafeModule
>>> from torchrl.objectives.ppo import PPOLoss
>>> n_act, n_obs = 4, 3
>>> spec = Bounded(-torch.ones(n_act), torch.ones(n_act), (n_act,))
>>> base_layer = nn.Linear(n_obs, 5)
>>> net = nn.Sequential(base_layer, nn.Linear(5, 2 * n_act), NormalParamExtractor())
>>> module = SafeModule(net, in_keys=["observation"], out_keys=["loc", "scale"])
>>> actor = ProbabilisticActor(
...     module=module,
...     distribution_class=TanhNormal,
...     in_keys=["loc", "scale"],
...     spec=spec)
>>> module = nn.Sequential(base_layer, nn.Linear(5, 1))
>>> value = ValueOperator(
...     module=module,
...     in_keys=["observation"])
>>> loss = PPOLoss(actor, value)
>>> loss.set_keys(sample_log_prob="sampleLogProb")
>>> _ = loss.select_out_keys("loss_objective")
>>> batch = [2, ]
>>> action = spec.rand(batch)
>>> loss_objective = loss(
...         observation=torch.randn(*batch, n_obs),
...         action=action,
...         sampleLogProb=torch.randn_like(action[..., 1]) / 10,
...         next_done=torch.zeros(*batch, 1, dtype=torch.bool),
...         next_terminated=torch.zeros(*batch, 1, dtype=torch.bool),
...         next_reward=torch.randn(*batch, 1),
...         next_observation=torch.randn(*batch, n_obs))
>>> loss_objective.backward()

注意

關於與非基於 tensordict 的模組的相容性，有一個例外。如果 actor network 是機率性的並且使用 CompositeDistribution，則此類別必須與 tensordict 一起使用，並且不能作為獨立於 tensordict 的模組運行。這是因為複合動作空間本質上依賴於 tensordict 提供的結構化資料表示來處理它們的動作。

forward(tensordict: TensorDictBase = None) → TensorDictBase

它旨在讀取一個輸入 TensorDict 並傳回另一個具有名為 “loss*” 的 loss 鍵的 tensordict。

然後，trainer 可以使用將 loss 分割為其組成部分來記錄整個訓練過程中的各種 loss 值。輸出 tensordict 中存在的其他純量也會被記錄。

參數:

tensordict – 一個輸入 tensordict，其中包含計算 loss 所需的值。

傳回:

一個新的 tensordict，沒有批次維度，包含各種將被命名為 “loss*” 的 loss 純量。至關重要的是，losses 以這個名稱傳回，因為它們將在反向傳播之前被 trainer 讀取。

property functional

模組是否為 functional。

除非已特別設計為非 functional，否則所有 losses 都是 functional。

loss_critic(tensordict: TensorDictBase) → Tensor

回傳評論者損失 (critic loss) 乘以 critic_coef 的結果，如果 critic_coef 不是 None 的話。

make_value_estimator(value_type: Optional[ValueEstimators] = None, **hyperparams)

數值函數建構子。

如果需要非預設的數值函數，必須使用此方法建立。

參數:

• value_type (ValueEstimators) – 一個 ValueEstimators 列舉型別，指示要使用的數值函數。 如果未提供，將使用儲存在 default_value_estimator 屬性中的預設值。 產生的數值估算器類別將註冊在 self.value_type 中，以便未來進行改進。

• **hyperparams – 用於數值函數的超參數。 如果未提供，將使用 default_value_kwargs() 指示的值。

範例

>>> from torchrl.objectives import DQNLoss
>>> # initialize the DQN loss
>>> actor = torch.nn.Linear(3, 4)
>>> dqn_loss = DQNLoss(actor, action_space="one-hot")
>>> # updating the parameters of the default value estimator
>>> dqn_loss.make_value_estimator(gamma=0.9)
>>> dqn_loss.make_value_estimator(
...     ValueEstimators.TD1,
...     gamma=0.9)
>>> # if we want to change the gamma value
>>> dqn_loss.make_value_estimator(dqn_loss.value_type, gamma=0.9)