DreamerValueLoss

class torchrl.objectives.DreamerValueLoss(*args, **kwargs)

Dreamer Value Loss。

計算 dreamer value 模型的損失。 value 損失是在預測值和 lambda 目標之間計算的。

參考資料：https://arxiv.org/abs/1912.01603。

參數:

• value_model (TensorDictModule) – value 模型。

• value_loss (str, optional) – 用於 value 損失的損失。預設值："l2"。

• discount_loss (bool, optional) – 如果 True，則損失會以 gamma 折扣因子進行折扣。預設值：False。

• gamma (float, optional) – gamma 折扣因子。預設值：0.99。

forward(fake_data) → Tensor

它旨在讀取一個輸入 TensorDict 並傳回另一個具有名為「loss*」的損失鍵的 tensordict。

然後，訓練器可以使用將損失分成幾個部分，記錄整個訓練過程中的各種損失值。輸出 tensordict 中存在的其他純量也會被記錄。

參數:

tensordict – 一個輸入 tensordict，其中包含計算損失所需的值。

傳回:

一個沒有批次維度的新 tensordict，包含各種損失純量，這些損失純量將被命名為「loss*」。損失必須以這個名稱傳回，因為它們會在反向傳播之前被訓練器讀取。