AdamW¶
- class torch.optim.AdamW(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0.01, amsgrad=False, *, maximize=False, foreach=None, capturable=False, differentiable=False, fused=None)[source][source]¶
實作 AdamW 演算法。
關於此演算法的更多細節，請參考 Decoupled Weight Decay Regularization。
- 參數
params (iterable) – 待優化的參數的 iterable 物件或 named_parameters，或是定義參數群組的 dicts 的 iterable 物件。 當使用 named_parameters 時，所有群組中的所有參數都應該被命名
lr (float, Tensor, optional) – 學習率 (預設值：1e-3)。並非所有實作都支援 Tensor 學習率。 如果您沒有指定 fused=True 或 capturable=True，請使用 float 學習率。
betas (Tuple[float, float], optional) – 用於計算梯度及其平方的移動平均的係數 (預設值：(0.9, 0.999))
eps (float, optional) – 加到分母以改善數值穩定性的項 (預設值：1e-8)
weight_decay (float, optional) – 權重衰減係數 (預設值：1e-2)
amsgrad (bool, optional) – 是否使用來自論文 On the Convergence of Adam and Beyond 的此演算法的 AMSGrad 變體 (預設值：False)
maximize (bool, optional) – 相對於參數最大化目標，而不是最小化 (預設值：False)
foreach (bool, optional) – 是否使用最佳化器的 foreach 實作。 如果使用者未指定 (因此 foreach 為 None)，我們將嘗試在 CUDA 上使用 foreach 而不是 for-loop 實作，因為它通常效能更高。 請注意，由於中間值是一個 tensorlist 而不是僅一個 tensor，因此 foreach 實作使用的峰值記憶體比 for-loop 版本多約 sizeof(params)。 如果記憶體受到限制，請一次批處理較少的參數通過最佳化器，或將此標誌切換為 False (預設值：None)
capturable (bool, optional) – 這個實例是否可以在 CUDA 圖中安全地捕獲。 傳遞 True 可能會損害未繪製效能，因此如果您不打算繪製捕獲此實例，請將其保留為 False (預設值：False)
differentiable (bool, optional) – 是否應該在訓練期間通過最佳化器步驟發生自動微分。 否則，step() 函數會在 torch.no_grad() 內容中執行。 設定為 True 會損害效能，因此如果您不打算通過此實例運行自動微分，請將其保留為 False (預設值：False)
fused (bool, optional) – 是否使用 fused 實作。 目前，支援 torch.float64、torch.float32、torch.float16 和 torch.bfloat16。 (預設值：None)
注意
foreach 和 fused 實作通常比 for-loop、單一 tensor 實作更快，其中 fused 在理論上是垂直和水平融合中最快的。 因此，如果使用者未指定任何標誌 (即，當 foreach = fused = None 時)，我們將嘗試在 tensors 全部在 CUDA 上時預設為 foreach 實作。 為什麼不是 fused？ 由於 fused 實作相對較新，我們希望給它足夠的 bake-in 時間。 若要指定 fused，請為 fused 傳遞 True。 若要強制執行 for-loop 實作，請為 foreach 或 fused 傳遞 False。
注意
適用於 MPS 的 Adam 和 AdamW 的原型實作支援 torch.float32 和 torch.float16。
- add_param_group(param_group)[source]¶
將參數群組新增至
Optimizer的 param_groups。當微調預訓練網路時，這會很有用，因為可以將凍結的層設為可訓練，並隨著訓練的進行將其添加到
Optimizer中。- 參數
param_group (dict) – 指定應優化的 Tensors 以及群組特定的優化選項。
- load_state_dict(state_dict)[source]¶
載入 optimizer 的狀態。
- 參數
state_dict (dict) – optimizer 狀態。應該是從呼叫
state_dict()返回的物件。
注意
參數的名稱（如果它們存在於
state_dict()中每個 param group 的 “param_names” 鍵下）不會影響載入過程。要將參數名稱用於自定義情況（例如，當載入的 state dict 中的參數與優化器中初始化的參數不同時），應實現自定義register_load_state_dict_pre_hook以適應載入的 dict。如果param_names存在於載入的 state dict 的param_groups中，它們將被保存並覆蓋優化器狀態中當前的名稱（如果存在）。如果它們不存在於載入的 state dict 中，則優化器的param_names將保持不變。
- register_load_state_dict_post_hook(hook, prepend=False)[source]¶
註冊一個 load_state_dict 後置 hook，它將在呼叫
load_state_dict()之後被呼叫。它應該具有以下簽名：hook(optimizer) -> None
optimizer參數是正在使用的優化器實例。在
self上呼叫load_state_dict之後，將使用參數self呼叫該 hook。 註冊的 hook 可用於在load_state_dict載入state_dict之後執行後處理。- 參數
hook (Callable) – 要註冊的使用者定義的 hook。
prepend (bool) – 如果為 True，則提供的 post
hook將在load_state_dict上所有已註冊的 post-hook 之前觸發。 否則，提供的hook將在所有已註冊的 post-hook 之後觸發。（預設：False）
- 返回
一個 handle，可用於通過呼叫
handle.remove()來刪除添加的 hook- 返回類型
torch.utils.hooks.RemoveableHandle
- register_load_state_dict_pre_hook(hook, prepend=False)[source]¶
註冊一個 load_state_dict 前置 hook，它將在呼叫
load_state_dict()之前被呼叫。它應該具有以下簽名：hook(optimizer, state_dict) -> state_dict or None
optimizer參數是正在使用的優化器實例，state_dict參數是使用者傳遞給load_state_dict的state_dict的淺層副本。 hook 可以就地修改 state_dict，或者選擇返回一個新的 state_dict。 如果返回 state_dict，它將被用於載入到優化器中。在
self上呼叫load_state_dict之前，將使用參數self和state_dict呼叫該 hook。 註冊的 hook 可用於在呼叫load_state_dict之前執行預處理。- 參數
hook (Callable) – 要註冊的使用者定義的 hook。
prepend (bool) – 如果為 True，則提供的 pre
hook將在load_state_dict上所有已註冊的 pre-hook 之前觸發。 否則，提供的hook將在所有已註冊的 pre-hook 之後觸發。（預設：False）
- 返回
一個 handle，可用於通過呼叫
handle.remove()來刪除添加的 hook- 返回類型
torch.utils.hooks.RemoveableHandle
- register_state_dict_post_hook(hook, prepend=False)[source]¶
註冊一個 state dict 後置 hook，它將在呼叫
state_dict()之後被呼叫。它應該具有以下簽名：
hook(optimizer, state_dict) -> state_dict or None
在
self上生成state_dict之後，將使用參數self和state_dict呼叫該 hook。 hook 可以就地修改 state_dict，或者選擇返回一個新的 state_dict。 註冊的 hook 可用於在返回state_dict之前對其執行後處理。- 參數
hook (Callable) – 要註冊的使用者定義的 hook。
prepend ( bool ) – 若為 True，則提供的 post
hook將在state_dict上所有已註冊的 post-hook 之前觸發。否則，提供的hook將在所有已註冊的 post-hook 之後觸發。（預設：False）
- 返回
一個 handle，可用於通過呼叫
handle.remove()來刪除添加的 hook- 返回類型
torch.utils.hooks.RemoveableHandle
- register_state_dict_pre_hook(hook, prepend=False)[source]¶
註冊一個 state dict pre-hook，它將在呼叫
state_dict()之前被呼叫。它應該具有以下簽名：
hook(optimizer) -> None
optimizer參數是正在使用的 optimizer 實例。在self上呼叫state_dict之前，hook 將使用參數self呼叫。註冊的 hook 可用於在呼叫state_dict之前執行預處理。- 參數
hook (Callable) – 要註冊的使用者定義的 hook。
prepend ( bool ) – 若為 True，則提供的 pre
hook將在state_dict上所有已註冊的 pre-hook 之前觸發。否則，提供的hook將在所有已註冊的 pre-hook 之後觸發。（預設：False）
- 返回
一個 handle，可用於通過呼叫
handle.remove()來刪除添加的 hook- 返回類型
torch.utils.hooks.RemoveableHandle
- register_step_post_hook(hook)[source]¶
註冊一個 optimizer step post hook，它將在 optimizer step 之後被呼叫。
它應該具有以下簽名：
hook(optimizer, args, kwargs) -> None
optimizer參數是正在使用的優化器實例。- 參數
hook (Callable) – 要註冊的使用者定義的 hook。
- 返回
一個 handle，可用於通過呼叫
handle.remove()來刪除添加的 hook- 返回類型
torch.utils.hooks.RemovableHandle
- register_step_pre_hook(hook)[source]¶
註冊一個 optimizer step pre hook，它將在 optimizer step 之前被呼叫。
它應該具有以下簽名：
hook(optimizer, args, kwargs) -> None or modified args and kwargs
optimizer參數是正在使用的 optimizer 實例。如果 args 和 kwargs 被 pre-hook 修改，則轉換後的值將作為一個包含 new_args 和 new_kwargs 的元組返回。- 參數
hook (Callable) – 要註冊的使用者定義的 hook。
- 返回
一個 handle，可用於通過呼叫
handle.remove()來刪除添加的 hook- 返回類型
torch.utils.hooks.RemovableHandle
- state_dict()[source]¶
將 optimizer 的狀態作為
dict返回。它包含兩個條目
state：一個 Dict，保存當前的最佳化狀態。其內容在不同的 optimizer 類之間有所不同，但有一些共同的特徵。例如，state 是按參數保存的，並且參數本身不被保存。
state是一個 Dictionary，將參數 ID 映射到一個 Dict，其中包含與每個參數對應的狀態。
param_groups：一個 List，包含所有參數組，其中每個參數組是一個 Dict。每個參數組都包含特定於 optimizer 的元數據，例如學習率和權重衰減，以及該組中參數的參數 ID 列表。如果一個 param group 使用
named_parameters()初始化，則名稱內容也將保存在 state dict 中。
注意：參數 ID 可能看起來像索引，但它們只是將狀態與 param_group 關聯的 ID。從 state_dict 加載時，optimizer 將壓縮 param_group
params(int IDs) 和 optimizerparam_groups(實際的nn.Parameters)，以便在沒有額外驗證的情況下匹配狀態。返回的 state dict 可能看起來像這樣
{ 'state': { 0: {'momentum_buffer': tensor(...), ...}, 1: {'momentum_buffer': tensor(...), ...}, 2: {'momentum_buffer': tensor(...), ...}, 3: {'momentum_buffer': tensor(...), ...} }, 'param_groups': [ { 'lr': 0.01, 'weight_decay': 0, ... 'params': [0] 'param_names' ['param0'] (optional) }, { 'lr': 0.001, 'weight_decay': 0.5, ... 'params': [1, 2, 3] 'param_names': ['param1', 'layer.weight', 'layer.bias'] (optional) } ] }
- zero_grad(set_to_none=True)[source]¶
重置所有最佳化的
torch.Tensor的梯度。- 參數
set_to_none (bool) – 不是設定為零，而是將梯度設定為 None。通常，這會減少記憶體佔用，並且可以適度提高效能。但是，它會改變某些行為。例如：1. 當使用者嘗試存取梯度並對其執行手動操作時，None 屬性或充滿 0 的 Tensor 行為會有所不同。2. 如果使用者請求
zero_grad(set_to_none=True)，然後執行反向傳播，則保證未收到梯度的參數的.grad為 None。3. 如果梯度為 0 或 None，torch.optim優化器的行為會有所不同（在一個情況下，它會以 0 的梯度執行 step，而在另一種情況下，它會完全跳過 step）。
