LMHeadActorValueOperator

class torchrl.modules.tensordict_module.LMHeadActorValueOperator(*args, **kwargs)

從類似 huggingface 的*LMHeadModel 建構 Actor-Value 運算子。

此方法

• 將類似 huggingface 的*LMHeadModel 作為輸入

• 提取最終線性層，並將其用作 actor_head 的基礎層

  新增取樣層

• 將通用轉換器用作通用模型

• 新增線性評論器

參數:

base_model – 由 .transformer 模型和 .lm_head 線性層組成的 torch 模型