td0_advantage_estimate

class torchrl.objectives.value.functional.td0_advantage_estimate(gamma: float, state_value: Tensor, next_state_value: Tensor, reward: Tensor, done: Tensor, terminated: Optional[Tensor] = None)

軌跡的 TD(0) 優勢估計。

也稱為自舉時間差分或單步回報。

參數:

• gamma (scalar) – 指數平均折扣。

• state_value (Tensor) – 使用 old_state 輸入的值函數結果。

• next_state_value (Tensor) – 使用 new_state 輸入的值函數結果。

• reward (Tensor) – 在環境中採取動作的回報。

• done (Tensor) – 軌跡結束的布林旗標。

• terminated (Tensor) – episode 結束的布林旗標。如果未提供，則預設為 done。

所有張量（值、回報和 done）的形狀必須為 [*Batch x TimeSteps x *F]，其中 *F 為特徵維度。