UpdateWeights

class torchrl.trainers.UpdateWeights(collector: DataCollectorBase, update_weights_interval: int)

收集器權重更新鉤子類別。

每當收集器策略權重位於與訓練器訓練的策略權重不同的裝置上時，都必須使用此鉤子。在這種情況下，這些權重必須以固定的間隔在裝置之間同步。如果裝置匹配，這將導致無操作。

參數:

• collector (DataCollectorBase) – 必須同步策略權重的資料收集器。

• update_weights_interval (int) – 必須進行同步的間隔（以收集的批次數量表示）。

範例

>>> update_weights = UpdateWeights(trainer.collector, T)
>>> trainer.register_op("post_steps", update_weights)

register(trainer: Trainer, name: str = 'update_weights')

在預設位置註冊訓練器中的鉤子。

參數:

• trainer (Trainer) – 必須註冊鉤子的訓練器。

• name (str) – 鉤子的名稱。

注意

若要在預設位置以外的位置註冊鉤子，請使用 register_op()。