NAdam¶

class torch.optim.NAdam(params, lr=0.002, betas=(0.9, 0.999), eps=1e-08, weight_decay=0, momentum_decay=0.004, decoupled_weight_decay=False, *, foreach=None, maximize=False, capturable=False, differentiable=False)[原始碼][原始碼]¶

實作 NAdam 演算法。

\begin{aligned} &\rule{110mm}{0.4pt} \\ &\textbf{input} : \gamma_t \text{ (lr)}, \: \beta_1,\beta_2 \text{ (betas)}, \: \theta_0 \text{ (params)}, \: f(\theta) \text{ (objective)} \\ &\hspace{13mm} \: \lambda \text{ (weight decay)}, \:\psi \text{ (momentum decay)} \\ &\hspace{13mm} \: \textit{decoupled\_weight\_decay}, \:\textit{maximize} \\ &\textbf{initialize} : m_0 \leftarrow 0 \text{ ( first moment)}, v_0 \leftarrow 0 \text{ ( second moment)} \\[-1.ex] &\rule{110mm}{0.4pt} \\ &\textbf{for} \: t=1 \: \textbf{to} \: \ldots \: \textbf{do} \\ &\hspace{5mm}\textbf{if} \: \textit{maximize}: \\ &\hspace{10mm}g_t \leftarrow -\nabla_{\theta} f_t (\theta_{t-1}) \\ &\hspace{5mm}\textbf{else} \\ &\hspace{10mm}g_t \leftarrow \nabla_{\theta} f_t (\theta_{t-1}) \\ &\hspace{5mm} \theta_t \leftarrow \theta_{t-1} \\ &\hspace{5mm} \textbf{if} \: \lambda \neq 0 \\ &\hspace{10mm}\textbf{if} \: \textit{decoupled\_weight\_decay} \\ &\hspace{15mm} \theta_t \leftarrow \theta_{t-1} - \gamma \lambda \theta_{t-1} \\ &\hspace{10mm}\textbf{else} \\ &\hspace{15mm} g_t \leftarrow g_t + \lambda \theta_{t-1} \\ &\hspace{5mm} \mu_t \leftarrow \beta_1 \big(1 - \frac{1}{2} 0.96^{t \psi} \big) \\ &\hspace{5mm} \mu_{t+1} \leftarrow \beta_1 \big(1 - \frac{1}{2} 0.96^{(t+1)\psi}\big)\\ &\hspace{5mm}m_t \leftarrow \beta_1 m_{t-1} + (1 - \beta_1) g_t \\ &\hspace{5mm}v_t \leftarrow \beta_2 v_{t-1} + (1-\beta_2) g^2_t \\ &\hspace{5mm}\widehat{m_t} \leftarrow \mu_{t+1} m_t/(1-\prod_{i=1}^{t+1}\mu_i)\\[-1.ex] & \hspace{11mm} + (1-\mu_t) g_t /(1-\prod_{i=1}^{t} \mu_{i}) \\ &\hspace{5mm}\widehat{v_t} \leftarrow v_t/\big(1-\beta_2^t \big) \\ &\hspace{5mm}\theta_t \leftarrow \theta_t - \gamma \widehat{m_t}/ \big(\sqrt{\widehat{v_t}} + \epsilon \big) \\ &\rule{110mm}{0.4pt} \\[-1.ex] &\bf{return} \: \theta_t \\[-1.ex] &\rule{110mm}{0.4pt} \\[-1.ex] \end{aligned}

關於該演算法的更多詳細資訊，請參考Incorporating Nesterov Momentum into Adam。

參數

params (iterable) – 要優化的參數的可迭代物件 (iterable) 或 named_parameters，或是定義參數群組的字典的可迭代物件。當使用 named_parameters 時，所有群組中的所有參數都應命名
lr (float, Tensor, optional) – 學習率 (預設值：2e-3)
betas (Tuple[float, float], optional) – 用於計算梯度及其平方的滾動平均值的係數 (預設值：(0.9, 0.999))
eps (float, optional) – 添加到分母以提高數值穩定性的項 (預設值：1e-8)
weight_decay (float, optional) – 權重衰減 (L2 懲罰) (預設值：0)
momentum_decay (float, optional) – 動量衰減 (預設值：4e-3)
decoupled_weight_decay (bool, optional) – 是否使用如 AdamW 中的解耦權重衰減來獲得 NAdamW (預設值：False)
foreach (bool, optional) – 是否使用最佳化器的 foreach 實作。如果使用者未指定 (因此 foreach 為 None)，我們將嘗試在 CUDA 上使用 foreach 而不是 for 迴圈實作，因為它通常效能更高。請注意，由於中間值是 tensorlist 而不是僅一個 tensor，因此 foreach 實作使用的峰值記憶體比 for 迴圈版本多約 sizeof(params)。如果記憶體受到限制，請一次批處理較少的參數通過最佳化器，或將此標誌切換為 False (預設值：None)
maximize (bool, optional) – 相對於參數最大化目標，而不是最小化 (預設值：False)
capturable (bool, optional) – 此實例是否可以安全地在 CUDA 圖中捕獲。傳遞 True 可能會損害未繪製的效能，因此如果您不打算繪製捕獲此實例，請將其保留為 False (預設值：False)
differentiable (bool, optional) – 是否應在訓練中透過最佳化器步驟發生自動微分。否則，step() 函數會在 torch.no_grad() 上下文中執行。設定為 True 可能會損害效能，因此如果您不打算透過此實例執行自動微分，請將其保留為 False (預設值：False)

add_param_group(param_group)[原始碼]¶

將參數群組新增到 Optimizer 的 param_groups。

當微調預先訓練的網路時，這可能很有用，因為可以使凍結層可訓練並將其添加到 Optimizer 中，隨著訓練的進行。

參數: param_group (dict) – 指定應優化的 Tensors 以及群組特定的最佳化選項。

load_state_dict(state_dict)[原始碼]¶

載入最佳化器狀態。

參數: state_dict (dict) – 最佳化器狀態。應該是從呼叫 state_dict() 返回的物件。

注意

參數的名稱（如果它們存在於 state_dict() 中每個參數群組的“param_names”鍵下）不會影響載入過程。若要將參數的名稱用於自訂案例（例如，當載入的狀態字典中的參數與最佳化器中初始化的參數不同時），應實作自訂 register_load_state_dict_pre_hook 以相應地調整載入的字典。如果 param_names 存在於載入的狀態字典 param_groups 中，則它們將被儲存並覆蓋最佳化器狀態中當前的名稱（如果存在）。如果它們不存在於載入的狀態字典中，則最佳化器 param_names 將保持不變。

register_load_state_dict_post_hook(hook, prepend=False)[原始碼]¶

註冊一個 load_state_dict 後置鉤子 (post-hook)，它會在 load_state_dict() 呼叫之後被呼叫。它應該具有以下簽名：

hook(optimizer) -> None

optimizer 參數是正在使用的優化器實例。

在 self 上呼叫 load_state_dict 之後，將使用參數 self 呼叫此鉤子。註冊的鉤子可用於在 load_state_dict 載入 state_dict 之後執行後處理。

參數

hook (Callable) – 要註冊的使用者定義鉤子。
prepend (bool) – 如果為 True，則提供的後置 hook 將在 load_state_dict 上所有已註冊的後置鉤子之前觸發。否則，提供的 hook 將在所有已註冊的後置鉤子之後觸發。(預設值：False)

返回

一個 handle，可用於透過呼叫 handle.remove() 來移除已新增的鉤子。

返回類型

torch.utils.hooks.RemoveableHandle

register_load_state_dict_pre_hook(hook, prepend=False)[source]¶

註冊一個 load_state_dict 前置鉤子 (pre-hook)，它會在 load_state_dict() 呼叫之前被呼叫。它應該具有以下簽名：

hook(optimizer, state_dict) -> state_dict or None

optimizer 參數是正在使用的優化器實例，而 state_dict 參數是用戶傳遞給 load_state_dict 的 state_dict 的淺拷貝。該鉤子可以就地修改 state_dict，或者選擇性地返回一個新的。如果返回 state_dict，它將被用於載入到優化器中。

在 self 上呼叫 load_state_dict 之前，將使用參數 self 和 state_dict 呼叫此鉤子。註冊的鉤子可用於在進行 load_state_dict 呼叫之前執行前處理。

參數

hook (Callable) – 要註冊的使用者定義鉤子。
prepend (bool) – 如果為 True，則提供的預先 hook 將在 load_state_dict 上所有已註冊的預先鉤子之前觸發。否則，提供的 hook 將在所有已註冊的預先鉤子之後觸發。(預設值：False)

返回

一個 handle，可用於透過呼叫 handle.remove() 來移除已新增的鉤子。

返回類型

torch.utils.hooks.RemoveableHandle

register_state_dict_post_hook(hook, prepend=False)[source]¶

註冊一個 state dict 後置鉤子 (post-hook)，它會在 state_dict() 呼叫之後被呼叫。

它應該具有以下簽名：

hook(optimizer, state_dict) -> state_dict or None

在 self 上產生 state_dict 之後，將使用參數 self 和 state_dict 呼叫此鉤子。該鉤子可以就地修改 state_dict，或者選擇性地返回一個新的。註冊的鉤子可用於在返回 state_dict 之前對其執行後處理。

參數

hook (Callable) – 要註冊的使用者定義鉤子。
prepend (bool) – 如果為 True，則提供的後置 hook 將在 state_dict 上所有已註冊的後置鉤子之前觸發。否則，提供的 hook 將在所有已註冊的後置鉤子之後觸發。(預設值：False)

返回

一個 handle，可用於透過呼叫 handle.remove() 來移除已新增的鉤子。

返回類型

torch.utils.hooks.RemoveableHandle

register_state_dict_pre_hook(hook, prepend=False)[source]¶

註冊一個 state dict 前置鉤子 (pre-hook)，它會在 state_dict() 呼叫之前被呼叫。

它應該具有以下簽名：

hook(optimizer) -> None

optimizer 參數是正在使用的優化器實例。在 self 上呼叫 state_dict 之前，將使用參數 self 呼叫此鉤子。註冊的鉤子可用於在進行 state_dict 呼叫之前執行前處理。

參數

hook (Callable) – 要註冊的使用者定義鉤子。
prepend (bool) – 如果為 True，提供的 pre hook 將會在 state_dict 上所有已註冊的 pre-hook 之前觸發。否則，提供的 hook 將會在所有已註冊的 pre-hook 之後觸發。(預設值: False)

返回

一個 handle，可用於透過呼叫 handle.remove() 來移除已新增的鉤子。

返回類型

torch.utils.hooks.RemoveableHandle

register_step_post_hook(hook)[原始碼]¶

註冊一個 optimizer step 後處理 hook，它將在 optimizer step 之後被呼叫。

它應該具有以下簽名：

hook(optimizer, args, kwargs) -> None

optimizer 參數是正在使用的優化器實例。

參數: hook (Callable) – 要註冊的使用者定義鉤子。
返回: 一個 handle，可用於透過呼叫 handle.remove() 來移除已新增的鉤子。
返回類型: torch.utils.hooks.RemovableHandle

register_step_pre_hook(hook)[原始碼]¶

註冊一個 optimizer step 預處理 hook，它將在 optimizer step 之前被呼叫。

它應該具有以下簽名：

hook(optimizer, args, kwargs) -> None or modified args and kwargs

optimizer 參數是正在使用的 optimizer 實例。如果 args 和 kwargs 被 pre-hook 修改，則轉換後的值會以包含 new_args 和 new_kwargs 的 tuple 形式回傳。

參數: hook (Callable) – 要註冊的使用者定義鉤子。
返回: 一個 handle，可用於透過呼叫 handle.remove() 來移除已新增的鉤子。
返回類型: torch.utils.hooks.RemovableHandle

state_dict()[原始碼]¶

回傳 optimizer 的狀態作為一個 dict。

它包含兩個項目

state：一個 Dict，持有當前的最佳化狀態。它的內容
在不同的 optimizer 類別之間有所不同，但有一些共同的特徵。例如，state 是按參數保存的，並且參數本身沒有被保存。state 是一個 Dictionary，將參數 IDs 對應到一個 Dict，其中包含每個參數的狀態。
param_groups：一個 List，包含所有的參數群組，其中每個
參數群組是一個 Dict。每個參數群組包含特定於 optimizer 的 metadata，例如學習速率和權重衰減，以及群組中參數的參數 IDs 的 List。如果使用 named_parameters() 初始化了參數群組，則名稱內容也將保存在 state dict 中。

注意：參數 IDs 可能看起來像索引，但它們只是將 state 與 param_group 關聯的 IDs。當從 state_dict 載入時，optimizer 將會壓縮 param_group params (int IDs) 和 optimizer param_groups (實際的 nn.Parameter s) 以便在沒有額外驗證的情況下匹配 state。

回傳的 state dict 可能看起來像這樣

{
    'state': {
        0: {'momentum_buffer': tensor(...), ...},
        1: {'momentum_buffer': tensor(...), ...},
        2: {'momentum_buffer': tensor(...), ...},
        3: {'momentum_buffer': tensor(...), ...}
    },
    'param_groups': [
        {
            'lr': 0.01,
            'weight_decay': 0,
            ...
            'params': [0]
            'param_names' ['param0']  (optional)
        },
        {
            'lr': 0.001,
            'weight_decay': 0.5,
            ...
            'params': [1, 2, 3]
            'param_names': ['param1', 'layer.weight', 'layer.bias'] (optional)
        }
    ]
}

返回類型: Dict[str, Any]

step(closure=None)[原始碼][原始碼]¶

執行單個最佳化步驟。

參數: closure (Callable, optional) – 一個重新評估模型並回傳損失的 closure。

zero_grad(set_to_none=True)[原始碼]¶

重置所有最佳化過的 torch.Tensor s 的梯度。

參數: set_to_none (bool) – 不設定為零，而是將 grads 設定為 None。這通常具有較低的記憶體佔用量，並且可以適度提高效能。但是，它會改變某些行為。例如：1. 當使用者嘗試存取梯度並對其執行手動運算時，None 屬性或充滿 0 的 Tensor 的行為會有所不同。 2. 如果使用者請求 zero_grad(set_to_none=True)，然後執行向後傳遞，則對於未收到梯度的參數，保證 .grad 為 None。 3. 如果梯度為 0 或 None，torch.optim optimizers 的行為會有所不同（在某種情況下，它使用梯度 0 執行 step，而在另一種情況下，它完全跳過 step）。

NAdam¶

文件

教學

資源