Adamax

class torch.optim.Adamax(params, lr=0.002, betas=(0.9, 0.999), eps=1e-08, weight_decay=0, foreach=None, *, maximize=False, differentiable=False, capturable=False)

實作 Adamax 演算法 (基於無窮範數的 Adam 變體)。

$$\begin{aligned} &\rule{110mm}{0.4pt} \\ &\textbf{input} : \gamma \text{ (lr)}, \beta_1, \beta_2 \text{ (betas)},\theta_0 \text{ (params)},f(\theta) \text{ (objective)}, \: \lambda \text{ (weight decay)}, \\ &\hspace{13mm} \epsilon \text{ (epsilon)} \\ &\textbf{initialize} : m_0 \leftarrow 0 \text{ ( first moment)}, u_0 \leftarrow 0 \text{ ( infinity norm)} \\[-1.ex] &\rule{110mm}{0.4pt} \\ &\textbf{for} \: t=1 \: \textbf{to} \: \ldots \: \textbf{do} \\ &\hspace{5mm}g_t \leftarrow \nabla_{\theta} f_t (\theta_{t-1}) \\ &\hspace{5mm}if \: \lambda \neq 0 \\ &\hspace{10mm} g_t \leftarrow g_t + \lambda \theta_{t-1} \\ &\hspace{5mm}m_t \leftarrow \beta_1 m_{t-1} + (1 - \beta_1) g_t \\ &\hspace{5mm}u_t \leftarrow \mathrm{max}(\beta_2 u_{t-1}, |g_{t}|+\epsilon) \\ &\hspace{5mm}\theta_t \leftarrow \theta_{t-1} - \frac{\gamma m_t}{(1-\beta^t_1) u_t} \\ &\rule{110mm}{0.4pt} \\[-1.ex] &\bf{return} \: \theta_t \\[-1.ex] &\rule{110mm}{0.4pt} \\[-1.ex] \end{aligned}$$

關於該演算法的更多詳細資訊，請參閱 Adam: A Method for Stochastic Optimization。

參數

• params (iterable) – 要優化的參數的可迭代物件，或 named_parameters，或定義參數群組的 dicts 的可迭代物件。 使用 named_parameters 時，所有群組中的所有參數都應命名

• lr (float, Tensor, optional) – 學習率 (預設：2e-3)

• betas (Tuple[float, float], optional) – 用於計算梯度及其平方的 running averages 的係數

• eps (float, optional) – 添加到分母以提高數值穩定性的項 (預設：1e-8)

• weight_decay (float, optional) – 權重衰減 (L2 懲罰) (預設：0)

• foreach (bool, optional) – 是否使用最佳化器的 foreach 實作。 如果使用者未指定 (因此 foreach 為 None)，我們將嘗試在 CUDA 上使用 foreach 而不是 for-loop 實作，因為它通常具有顯著更高的效能。 請注意，由於中間值是 tensorlist 而不是單個 tensor，因此 foreach 實作使用的峰值記憶體比 for-loop 版本多 ~ sizeof(params)。 如果記憶體受到限制，請一次批量處理較少的參數通過最佳化器，或將此標誌切換為 False (預設：None)

• maximize (bool, optional) – 相對於 params 最大化目標，而不是最小化 (預設：False)

• differentiable (bool, optional) – 是否應在訓練中透過最佳化器步驟發生 autograd。 否則，step() 函數會在 torch.no_grad() 環境中執行。 設定為 True 會降低效能，因此如果您不打算透過此實例執行 autograd，請將其保留為 False (預設：False)

• capturable (bool, optional) – 此實例是否可以安全地在 CUDA 圖形中捕獲。 傳遞 True 會降低未繪製圖形的效能，因此如果您不打算繪製圖形捕獲此實例，請將其保留為 False (預設：False)

add_param_group(param_group)

將 param group 新增至 Optimizer 的 param_groups。

當微調預先訓練的網路時，這很有用，因為可以使凍結的層可訓練，並在訓練進度中新增至 Optimizer。

參數

param_group (dict) – 指定應最佳化的 Tensors 以及群組特定的最佳化選項。

load_state_dict(state_dict)

載入最佳化器狀態。

參數

state_dict (dict) – 最佳化器狀態。 應該是從呼叫 state_dict() 傳回的物件。

注意

參數的名稱 (如果它們存在於 state_dict() 中每個參數組的 “param_names” 鍵下) 不會影響載入過程。 若要使用參數名稱進行自定義操作 (例如，當載入的 state dict 中的參數與優化器中初始化的參數不同時)，應實作自定義的 register_load_state_dict_pre_hook 以相應地調整載入的 dict。如果載入的 state dict 的 param_groups 中存在 param_names，它們將被儲存並覆蓋優化器狀態中目前的名稱 (如果存在)。 如果載入的 state dict 中不存在，優化器的 param_names 將保持不變。

register_load_state_dict_post_hook(hook, prepend=False)

註冊一個 load_state_dict 後置 hook，它會在呼叫 load_state_dict() 之後被呼叫。它應該具有以下簽名：

hook(optimizer) -> None

optimizer 參數是正在使用的優化器實例。

在對 self 呼叫 load_state_dict 之後，將使用參數 self 呼叫此 hook。 註冊的 hook 可用於在 load_state_dict 載入 state_dict 之後執行後處理。

參數

• hook (Callable) – 要註冊的用戶定義 hook。

• prepend (bool) – 如果為 True，則提供的後置 hook 將在 load_state_dict 上所有已註冊的後置 hook 之前觸發。 否則，提供的 hook 將在所有已註冊的後置 hook 之後觸發。 (預設值：False)

回傳值

一個可以透過呼叫 handle.remove() 來移除已新增 hook 的句柄。

回傳類型

torch.utils.hooks.RemoveableHandle

register_load_state_dict_pre_hook(hook, prepend=False)

註冊一個 load_state_dict 前置 hook，它會在呼叫 load_state_dict() 之前被呼叫。它應該具有以下簽名：

hook(optimizer, state_dict) -> state_dict or None

optimizer 參數是正在使用的優化器實例，而 state_dict 參數是使用者傳遞給 load_state_dict 的 state_dict 的淺層副本。 hook 可以就地修改 state_dict，或者選擇性地回傳一個新的 state_dict。如果回傳一個 state_dict，它將被用於載入到優化器中。

在對 self 呼叫 load_state_dict 之前，將使用參數 self 和 state_dict 呼叫此 hook。 註冊的 hook 可用於在呼叫 load_state_dict 之前執行預處理。

參數

• hook (Callable) – 要註冊的用戶定義 hook。

• prepend (bool) – 如果為 True，則提供的後置 hook 將在 load_state_dict 上所有已註冊的前置 hook 之前觸發。 否則，提供的 hook 將在所有已註冊的前置 hook 之後觸發。 (預設值：False)

回傳值

一個可以透過呼叫 handle.remove() 來移除已新增 hook 的句柄。

回傳類型

torch.utils.hooks.RemoveableHandle

register_state_dict_post_hook(hook, prepend=False)

註冊一個 state dict 後置 hook，它會在呼叫 state_dict() 之後被呼叫。

它應該具有以下簽名：

hook(optimizer, state_dict) -> state_dict or None

在 self 上產生 state_dict 之後，將使用參數 self 和 state_dict 呼叫此 hook。 hook 可以就地修改 state_dict，或者選擇性地回傳一個新的 state_dict。 註冊的 hook 可用於在回傳 state_dict 之前對其執行後處理。

參數

• hook (Callable) – 要註冊的用戶定義 hook。

• prepend (bool) – 如果為 True，則提供的後置 hook 將在 state_dict 上所有已註冊的後置 hook 之前觸發。 否則，提供的 hook 將在所有已註冊的後置 hook 之後觸發。 (預設值：False)

回傳值

一個可以透過呼叫 handle.remove() 來移除已新增 hook 的句柄。

回傳類型

torch.utils.hooks.RemoveableHandle

register_state_dict_pre_hook(hook, prepend=False)

註冊一個 state dict pre-hook，它會在呼叫 state_dict() 之前被呼叫。

它應該具有以下簽名：

hook(optimizer) -> None

optimizer 參數是正在使用的優化器實例。 在 self 上呼叫 state_dict 之前，將會以參數 self 呼叫這個 hook。 註冊的 hook 可用於在進行 state_dict 呼叫之前執行預先處理。

參數

• hook (Callable) – 要註冊的用戶定義 hook。

• prepend (bool) – 如果為 True，提供的 pre hook 將會在 state_dict 上所有已註冊的 pre-hook 之前觸發。 否則，提供的 hook 將在所有已註冊的 pre-hook 之後觸發 (預設: False)。

回傳值

一個可以透過呼叫 handle.remove() 來移除已新增 hook 的句柄。

回傳類型

torch.utils.hooks.RemoveableHandle

register_step_post_hook(hook)

註冊一個 optimizer step post hook，它將在 optimizer step 之後被呼叫。

它應該具有以下簽名：

hook(optimizer, args, kwargs) -> None

optimizer 參數是正在使用的優化器實例。

參數

hook (Callable) – 要註冊的用戶定義 hook。

回傳值

一個可以透過呼叫 handle.remove() 來移除已新增 hook 的句柄。

回傳類型

torch.utils.hooks.RemovableHandle

register_step_pre_hook(hook)

註冊一個 optimizer step pre hook，它將在 optimizer step 之前被呼叫。

它應該具有以下簽名：

hook(optimizer, args, kwargs) -> None or modified args and kwargs

optimizer 參數是正在使用的優化器實例。 如果 args 和 kwargs 被 pre-hook 修改，則轉換後的值將作為包含 new_args 和 new_kwargs 的元組返回。

參數

hook (Callable) – 要註冊的用戶定義 hook。

回傳值

一個可以透過呼叫 handle.remove() 來移除已新增 hook 的句柄。

回傳類型

torch.utils.hooks.RemovableHandle

state_dict()

將優化器的狀態作為 dict 傳回。

它包含兩個條目

• state: 一個持有目前優化狀態的 Dict。 它的內容

  在不同的優化器類別之間有所不同，但一些共同的特徵成立。 例如，狀態是按參數保存的，並且參數本身不會被保存。 state 是一個將參數 ID 映射到具有與每個參數對應的狀態的 Dict 的字典。

• param_groups: 包含所有參數組的列表，其中每個

  參數組是一個 Dict。 每個參數組包含特定於優化器的元數據，例如學習率和權重衰減，以及組中參數的參數 ID 列表。 如果一個參數組使用 named_parameters() 初始化，則名稱內容也將保存在 state dict 中。

注意: 參數 ID 可能看起來像索引，但它們只是將狀態與 param_group 關聯的 ID。 從 state_dict 加載時，優化器將壓縮 param_group params (int IDs) 和優化器 param_groups (實際的 nn.Parameter s) 以便在沒有額外驗證的情況下匹配狀態。

返回的 state dict 可能看起來像這樣

{
    'state': {
        0: {'momentum_buffer': tensor(...), ...},
        1: {'momentum_buffer': tensor(...), ...},
        2: {'momentum_buffer': tensor(...), ...},
        3: {'momentum_buffer': tensor(...), ...}
    },
    'param_groups': [
        {
            'lr': 0.01,
            'weight_decay': 0,
            ...
            'params': [0]
            'param_names' ['param0']  (optional)
        },
        {
            'lr': 0.001,
            'weight_decay': 0.5,
            ...
            'params': [1, 2, 3]
            'param_names': ['param1', 'layer.weight', 'layer.bias'] (optional)
        }
    ]
}

回傳類型

Dict[str, Any]

step(closure=None)

執行單一優化步驟。

參數

closure (Callable, optional) – 一個重新評估模型並返回損失的 closure。

zero_grad(set_to_none=True)

重設所有優化的 torch.Tensor s 的梯度。

參數

set_to_none (bool) – 將梯度設為 None，而不是設為零。通常這樣做可以減少記憶體佔用，並略微提升效能。然而，這會改變某些行為。例如：1. 當使用者嘗試存取梯度並對其執行手動操作時，None 屬性或包含 0 的 Tensor 將會有不同的行為。2. 如果使用者請求 zero_grad(set_to_none=True)，然後執行反向傳播，則保證對於沒有收到梯度的參數，其 .grad 為 None。3. 如果梯度為 0 或 None，torch.optim 優化器的行為會有所不同（在其中一種情況下，它會以梯度 0 執行 step，而在另一種情況下，它會完全跳過 step）。