SoftUpdate

class torchrl.objectives.SoftUpdate(loss_module: Union['DQNLoss', 'DDPGLoss', 'SACLoss', 'REDQLoss', 'TD3Loss'], *, eps: float = None, tau: Optional[float] = None)

雙重 DQN/DDPG 中用於目標網路更新的軟更新類別。

這是在「使用深度強化學習進行連續控制」中提出的，https://arxiv.org/pdf/1509.02971.pdf

必須指定一個且只有一個衰減因子（tau 或 eps）。

參數:

• loss_module (DQNLoss 或 DDPGLoss) – 應該更新目標網路的損失模組。

• eps (純量) –

  更新方程式中的 epsilon： .. math

  \theta_t = \theta_{t-1} * \epsilon + \theta_t * (1-\epsilon)
  

  與 tau 互斥。

• tau (純量) – Polyak tau。它等於 1-eps，並且與之互斥。