Adam¶
- class torch.optim.Adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0, amsgrad=False, *, foreach=None, maximize=False, capturable=False, differentiable=False, fused=None)[source][source]¶
實作 Adam 演算法。
關於此演算法的更多細節，請參考 Adam: A Method for Stochastic Optimization。
- 參數
params (iterable) – 可迭代的參數或具名的參數（named_parameters）以進行優化，或者可迭代的字典來定義參數群組。 當使用具名的參數（named_parameters）時，所有群組中的所有參數都應該被命名。
lr (float, Tensor, optional) – 學習率 (預設: 1e-3)。 並非我們所有的實作都支援 Tensor LR。 如果您沒有同時指定 fused=True 或 capturable=True，請使用 float LR。
betas (Tuple[float, float], optional) – 用於計算梯度及其平方的滾動平均值的係數 (預設: (0.9, 0.999))
eps (float, optional) – 加到分母以改善數值穩定性的項 (預設: 1e-8)
weight_decay (float, optional) – 權重衰減 (L2 懲罰) (預設: 0)
amsgrad (bool, optional) – 是否使用論文 On the Convergence of Adam and Beyond 中的 AMSGrad 變體 (預設: False)
foreach (bool, optional) – 是否使用 optimizer 的 foreach 實作。如果使用者沒有指定（因此 foreach 為 None），我們將嘗試在 CUDA 上使用 foreach 而不是 for-loop 實作，因為它通常具有顯著更高的效能。請注意，由於中介值是 tensorlist 而不是單個張量，因此 foreach 實作使用的峰值記憶體比 for-loop 版本多約 ~ sizeof(params)。如果記憶體過於昂貴，則一次批量處理較少的參數通過 optimizer，或將此標誌切換為 False（預設：None）
maximize (bool, optional) – 最大化相對於參數的目標，而不是最小化 (預設: False)
capturable (bool, optional) – 這個實例是否可以安全地在 CUDA 圖形中捕獲。傳遞 True 可能會損害未繪製圖形的效能，因此如果您不打算繪製圖形捕獲此實例，請將其保留為 False（預設：False）
differentiable (bool, optional) – 在訓練中，是否應該透過 optimizer 步驟進行自動微分 (autograd)。 否則，step() 函數會在 torch.no_grad() 內容中執行。 設定為 True 可能會損害效能，因此如果您不打算透過此實例執行自動微分，請將其保留為 False（預設：False）
fused (bool, optional) – 是否使用 fused 實作。 目前，支援 torch.float64、torch.float32、torch.float16 和 torch.bfloat16。（預設：None）
注意
foreach 和 fused 實作通常比 for-loop、單一張量實作更快，其中 fused 理論上在垂直和水平融合方面都是最快的。 因此，如果使用者沒有指定任何一個標誌（即，當 foreach = fused = None 時），當張量都在 CUDA 上時，我們將嘗試預設為 foreach 實作。 為什麼不是 fused？ 由於 fused 實作相對較新，我們希望給它足夠的烘烤時間。 若要指定 fused，請為 fused 傳遞 True。 若要強制執行 for-loop 實作，請為 foreach 或 fused 傳遞 False。
注意
用於 MPS 的 Adam 和 AdamW 的原型實作支援 torch.float32 和 torch.float16。
- add_param_group(param_group)[source]¶
將一個參數群組新增到
Optimizer的 param_groups 中。當對預訓練的網路進行微調時，這會很有用，因為可以使凍結的層可訓練，並在訓練過程中將它們新增到
Optimizer中。- 參數
param_group (dict) – 指定應優化的張量以及群組特定的優化選項。
- load_state_dict(state_dict)[source]¶
載入最佳化器狀態。
- 參數
state_dict ( dict ) – 最佳化器狀態。應為呼叫
state_dict()後回傳的物件。
注意
參數的名稱 (如果它們存在於
state_dict()中每個參數群組的 “param_names” 鍵下) 不會影響載入過程。 若要使用參數的名稱進行自定義操作 (例如，當載入的 state dict 中的參數與最佳化器中初始化的參數不同時)，應實作自定義的register_load_state_dict_pre_hook以相應地調整載入的 dict。 如果param_names存在於載入的 state dict 的param_groups中，它們將被儲存並覆蓋最佳化器狀態中目前的名稱 (如果存在)。 如果它們不存在於載入的 state dict 中，則最佳化器的param_names將保持不變。
- register_load_state_dict_post_hook(hook, prepend=False)[source]¶
註冊一個 load_state_dict 後置鉤子，它將在呼叫
load_state_dict()之後被呼叫。它應該具有以下簽名：hook(optimizer) -> None
optimizer參數是正在使用的最佳化器實例。在
self上呼叫load_state_dict之後，將使用參數self呼叫此鉤子。 註冊的鉤子可用於在load_state_dict載入state_dict之後執行後處理。- 參數
hook (Callable) – 要註冊的使用者定義鉤子。
prepend ( bool ) – 如果為 True，提供的後置
hook將在load_state_dict上所有已註冊的後置鉤子之前觸發。 否則，提供的hook將在所有已註冊的後置鉤子之後觸發。（預設值：False）
- 回傳
一個控制代碼，可以用於透過呼叫
handle.remove()來移除已新增的鉤子- 回傳類型
torch.utils.hooks.RemoveableHandle
- register_load_state_dict_pre_hook(hook, prepend=False)[source]¶
註冊一個 load_state_dict 前置鉤子，它將在呼叫
load_state_dict()之前被呼叫。它應該具有以下簽名：hook(optimizer, state_dict) -> state_dict or None
optimizer參數是正在使用的最佳化器實例，而state_dict參數是使用者傳遞給load_state_dict的state_dict的淺拷貝。 鉤子可以修改 state_dict 原地，或者選擇性地回傳一個新的。 如果回傳了一個 state_dict，它將被用於載入到最佳化器中。在
self上呼叫load_state_dict之前，將使用參數self和state_dict呼叫此鉤子。 註冊的鉤子可用於在進行load_state_dict呼叫之前執行前處理。- 參數
hook (Callable) – 要註冊的使用者定義鉤子。
prepend ( bool ) – 如果為 True，提供的後置
hook將在load_state_dict上所有已註冊的前置鉤子之前觸發。 否則，提供的hook將在所有已註冊的前置鉤子之後觸發。（預設值：False）
- 回傳
一個控制代碼，可以用於透過呼叫
handle.remove()來移除已新增的鉤子- 回傳類型
torch.utils.hooks.RemoveableHandle
- register_state_dict_post_hook(hook, prepend=False)[source]¶
註冊一個 state dict 後置鉤子，它將在呼叫
state_dict()之後被呼叫。它應該具有以下簽名：
hook(optimizer, state_dict) -> state_dict or None
在
self上產生state_dict之後，將使用參數self和state_dict呼叫此鉤子。 鉤子可以修改 state_dict 原地，或者選擇性地回傳一個新的。 註冊的鉤子可用於在回傳state_dict之前對其執行後處理。- 參數
hook (Callable) – 要註冊的使用者定義鉤子。
prepend ( bool ) – 如果為 True，提供的後置
hook將在state_dict上所有已註冊的後置鉤子之前觸發。 否則，提供的hook將在所有已註冊的後置鉤子之後觸發。（預設值：False）
- 回傳
一個控制代碼，可以用於透過呼叫
handle.remove()來移除已新增的鉤子- 回傳類型
torch.utils.hooks.RemoveableHandle
- register_state_dict_pre_hook(hook, prepend=False)[source]¶
註冊一個 state dict pre-hook，它會在呼叫
state_dict()之前被呼叫。它應該具有以下簽名：
hook(optimizer) -> None
optimizer參數是正在使用的優化器實例。在對self呼叫state_dict之前，hook 將使用參數self被呼叫。註冊的 hook 可用於在呼叫state_dict之前執行預處理。- 參數
hook (Callable) – 要註冊的使用者定義鉤子。
prepend (bool) – 如果為 True，則提供的 pre
hook將在state_dict上所有已註冊的 pre-hook 之前觸發。 否則，提供的hook將在所有已註冊的 pre-hook 之後觸發。（預設：False）
- 回傳
一個控制代碼，可以用於透過呼叫
handle.remove()來移除已新增的鉤子- 回傳類型
torch.utils.hooks.RemoveableHandle
- register_step_post_hook(hook)[source]¶
註冊一個優化器 step post hook，它將在優化器 step 之後被呼叫。
它應該具有以下簽名：
hook(optimizer, args, kwargs) -> None
optimizer參數是正在使用的最佳化器實例。- 參數
hook (Callable) – 要註冊的使用者定義鉤子。
- 回傳
一個控制代碼，可以用於透過呼叫
handle.remove()來移除已新增的鉤子- 回傳類型
torch.utils.hooks.RemovableHandle
- register_step_pre_hook(hook)[source]¶
註冊一個優化器 step pre hook，它將在優化器 step 之前被呼叫。
它應該具有以下簽名：
hook(optimizer, args, kwargs) -> None or modified args and kwargs
optimizer參數是正在使用的優化器實例。如果 args 和 kwargs 被 pre-hook 修改，則轉換後的值將作為包含 new_args 和 new_kwargs 的 tuple 回傳。- 參數
hook (Callable) – 要註冊的使用者定義鉤子。
- 回傳
一個控制代碼，可以用於透過呼叫
handle.remove()來移除已新增的鉤子- 回傳類型
torch.utils.hooks.RemovableHandle
- state_dict()[source]¶
將優化器的狀態回傳為
dict。它包含兩個條目
state：一個包含目前優化狀態的 Dict。其內容因優化器類別而異，但有一些共同特徵。例如，狀態是按參數儲存的，並且參數本身不會被儲存。
state是一個將參數 ID 對應到具有每個參數狀態的 Dict 的字典。
param_groups：一個包含所有參數群組的列表，其中每個參數群組是一個 Dict。每個參數群組都包含特定於優化器的元數據，例如學習率和權重衰減，以及群組中參數的參數 ID 列表。如果使用
named_parameters()初始化 param group，則名稱內容也將儲存在 state dict 中。
注意：參數 ID 看起來可能像索引，但它們只是將狀態與 param_group 關聯的 ID。從 state_dict 載入時，優化器將壓縮 param_group
params（int ID）和優化器param_groups（實際的nn.Parameters），以便在沒有額外驗證的情況下匹配狀態。回傳的 state dict 可能看起來像這樣
{ 'state': { 0: {'momentum_buffer': tensor(...), ...}, 1: {'momentum_buffer': tensor(...), ...}, 2: {'momentum_buffer': tensor(...), ...}, 3: {'momentum_buffer': tensor(...), ...} }, 'param_groups': [ { 'lr': 0.01, 'weight_decay': 0, ... 'params': [0] 'param_names' ['param0'] (optional) }, { 'lr': 0.001, 'weight_decay': 0.5, ... 'params': [1, 2, 3] 'param_names': ['param1', 'layer.weight', 'layer.bias'] (optional) } ] }
- zero_grad(set_to_none=True)[source]¶
重置所有優化的
torch.Tensor的梯度。- 參數
set_to_none (bool) – 將梯度設定為 None 而非設定為零。 通常，這將減少記憶體佔用，並且可以適度提高效能。 但是，它會更改某些行為。 例如：1. 當使用者嘗試存取梯度並對其執行手動操作時，None 屬性或充滿 0 的 Tensor 的行為將有所不同。 2. 如果使用者請求
zero_grad(set_to_none=True)，然後進行反向傳播，則保證對於未接收到梯度的參數，.grad為 None。 3. 如果梯度為 0 或 None，torch.optim優化器的行為會有所不同（在一個案例中，它以 0 的梯度執行 step，而在另一個案例中，它完全跳過 step）。
