RAdam¶

class torch.optim.RAdam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0, decoupled_weight_decay=False, *, foreach=None, maximize=False, capturable=False, differentiable=False)[來源][來源]¶

實作 RAdam 演算法。

\begin{aligned} &\rule{110mm}{0.4pt} \\ &\textbf{input} : \gamma \text{ (lr)}, \: \beta_1, \beta_2 \text{ (betas)}, \: \theta_0 \text{ (params)}, \:f(\theta) \text{ (objective)}, \: \lambda \text{ (weightdecay)}, \:\textit{maximize} \\ &\hspace{13mm} \epsilon \text{ (epsilon)}, \textit{decoupled\_weight\_decay} \\ &\textbf{initialize} : m_0 \leftarrow 0 \text{ ( first moment)}, v_0 \leftarrow 0 \text{ ( second moment)}, \\ &\hspace{18mm} \rho_{\infty} \leftarrow 2/(1-\beta_2) -1 \\[-1.ex] &\rule{110mm}{0.4pt} \\ &\textbf{for} \: t=1 \: \textbf{to} \: \ldots \: \textbf{do} \\ &\hspace{6mm}\textbf{if} \: \textit{maximize}: \\ &\hspace{12mm}g_t \leftarrow -\nabla_{\theta} f_t (\theta_{t-1}) \\ &\hspace{6mm}\textbf{else} \\ &\hspace{12mm}g_t \leftarrow \nabla_{\theta} f_t (\theta_{t-1}) \\ &\hspace{6mm} \theta_t \leftarrow \theta_{t-1} \\ &\hspace{6mm} \textbf{if} \: \lambda \neq 0 \\ &\hspace{12mm}\textbf{if} \: \textit{decoupled\_weight\_decay} \\ &\hspace{18mm} \theta_t \leftarrow \theta_{t} - \gamma \lambda \theta_{t} \\ &\hspace{12mm}\textbf{else} \\ &\hspace{18mm} g_t \leftarrow g_t + \lambda \theta_{t} \\ &\hspace{6mm}m_t \leftarrow \beta_1 m_{t-1} + (1 - \beta_1) g_t \\ &\hspace{6mm}v_t \leftarrow \beta_2 v_{t-1} + (1-\beta_2) g^2_t \\ &\hspace{6mm}\widehat{m_t} \leftarrow m_t/\big(1-\beta_1^t \big) \\ &\hspace{6mm}\rho_t \leftarrow \rho_{\infty} - 2 t \beta^t_2 /\big(1-\beta_2^t \big) \\[0.1.ex] &\hspace{6mm}\textbf{if} \: \rho_t > 5 \\ &\hspace{12mm} l_t \leftarrow \frac{\sqrt{ (1-\beta^t_2) }}{ \sqrt{v_t} +\epsilon } \\ &\hspace{12mm} r_t \leftarrow \sqrt{\frac{(\rho_t-4)(\rho_t-2)\rho_{\infty}}{(\rho_{\infty}-4)(\rho_{\infty}-2) \rho_t}} \\ &\hspace{12mm}\theta_t \leftarrow \theta_t - \gamma \widehat{m_t} r_t l_t \\ &\hspace{6mm}\textbf{else} \\ &\hspace{12mm}\theta_t \leftarrow \theta_t - \gamma \widehat{m_t} \\ &\rule{110mm}{0.4pt} \\[-1.ex] &\bf{return} \: \theta_t \\[-1.ex] &\rule{110mm}{0.4pt} \\[-1.ex] \end{aligned}

關於演算法的更多詳細資訊，請參閱On the variance of the adaptive learning rate and beyond。

此實作提供一個選項，可以使用 Adam 中原始的 weight_decay 實作（其中 weight_decay 應用於梯度），或者使用來自 AdamW 的實作（其中 weight_decay 應用於權重），透過 decoupled_weight_decay 選項。當 decoupled_weight_decay 設定為 False（預設值）時，它使用原始的 Adam 樣式權重衰減，否則，它使用 AdamW 樣式，這更接近 RAdam 論文中作者的實作。關於解耦權重衰減的更多資訊可以在Decoupled Weight Decay Regularization中找到。

參數

params (iterable) – 可迭代的參數或 named_parameters 用於優化，或是定義參數群組的可迭代的字典。當使用 named_parameters 時，所有群組中的所有參數都應該被命名
lr (float, Tensor, optional) – 學習率 (預設值: 1e-3)
betas (Tuple[float, float], optional) – 用於計算梯度及其平方的運行平均值的係數 (預設值: (0.9, 0.999))
eps (float, optional) – 添加到分母以提高數值穩定性的項 (預設值: 1e-8)
weight_decay (float, optional) – 權重衰減 (L2 懲罰) (預設值: 0)
decoupled_weight_decay (bool, optional) – 是否使用 AdamW 中的解耦權重衰減以獲得 RAdamW (預設值: False)
foreach (bool, optional) – 是否使用優化器的 foreach 實作。如果使用者未指定（因此 foreach 為 None），我們將嘗試在 CUDA 上使用 foreach 而不是 for 迴圈實作，因為它通常性能更高。請注意，由於中間值是 tensorlist 而不是僅僅一個 tensor，foreach 實作使用的峰值記憶體比 for 迴圈版本多約 ~ sizeof(params)。如果記憶體過於昂貴，請一次批量處理較少的參數通過優化器，或將此標誌切換為 False (預設值: None)
maximize (bool, optional) – 最大化相對於參數的目標，而不是最小化 (預設值: False)
capturable (bool, optional) – 此實例是否可以在 CUDA 圖中安全捕獲。傳遞 True 會損害未圖形化的性能，因此如果您不打算圖形捕獲此實例，請將其保留為 False (預設值: False)
differentiable (bool, optional) – 是否應該在訓練期間通過優化器步驟進行 autograd。否則，step() 函數在 torch.no_grad() 環境中運行。設定為 True 會損害性能，因此如果您不打算通過此實例運行 autograd，請將其保留為 False (預設值: False)

add_param_group(param_group)[source]¶

將參數群組添加到 Optimizer 的 param_groups。

當對預訓練網路進行微調時，這可能很有用，因為可以使凍結層可訓練並將其添加到 Optimizer 中，隨著訓練的進行。

參數: param_group (dict) – 指定應優化的 Tensors 以及群組特定的優化選項。

load_state_dict(state_dict)[source]¶

載入優化器狀態。

參數: state_dict (dict) – 優化器狀態。應該是從呼叫 state_dict() 返回的物件。

注意

參數的名稱（如果它們存在於 state_dict() 中每個參數群組的 "param_names" 鍵下）不會影響載入過程。若要將參數的名稱用於自定義情況（例如，當載入的狀態字典中的參數與優化器中初始化的參數不同時），應實現自定義 register_load_state_dict_pre_hook 以適應載入的字典。如果 param_names 存在於載入的狀態字典 param_groups 中，它們將被保存並覆蓋優化器狀態中的當前名稱（如果存在）。如果它們不存在於載入的狀態字典中，優化器 param_names 將保持不變。

register_load_state_dict_post_hook(hook, prepend=False)[source]¶

註冊一個 load_state_dict 後置 hook，它將在呼叫 load_state_dict() 之後被呼叫。它應該具有以下簽名

hook(optimizer) -> None

optimizer 參數是正在使用的優化器實例。

在對 self 呼叫 load_state_dict 後，將使用參數 self 呼叫該 hook。註冊的 hook 可用於在 load_state_dict 載入 state_dict 之後執行後處理。

參數

hook (Callable) – 要註冊的用戶定義 hook。
prepend (bool) – 如果為 True，則提供的後處理 hook 將會在 load_state_dict 上所有已註冊的後處理 hook 之前觸發。否則，提供的 hook 將會在所有已註冊的後處理 hook 之後觸發。(預設值：False)

回傳

一個控制代碼，可用於透過呼叫 handle.remove() 來移除已新增的 hook

回傳類型

torch.utils.hooks.RemoveableHandle

register_load_state_dict_pre_hook(hook, prepend=False)[source]¶

註冊一個 load_state_dict 前處理 hook，它將在呼叫 load_state_dict() 之前被呼叫。它應具有以下簽名：

hook(optimizer, state_dict) -> state_dict or None

optimizer 參數是正在使用的 optimizer 實例，而 state_dict 參數是使用者傳遞給 load_state_dict 的 state_dict 的淺層副本。 hook 可以就地修改 state_dict，或者選擇性地回傳一個新的 state_dict。如果回傳一個 state_dict，它將被用於載入到 optimizer 中。

在 self 上呼叫 load_state_dict 之前，將使用參數 self 和 state_dict 呼叫 hook。註冊的 hook 可用於在呼叫 load_state_dict 之前執行前處理。

參數

hook (Callable) – 要註冊的用戶定義 hook。
prepend (bool) – 如果為 True，則提供的預處理 hook 將會在 load_state_dict 上所有已註冊的預處理 hook 之前觸發。否則，提供的 hook 將會在所有已註冊的預處理 hook 之後觸發。(預設值：False)

回傳

一個控制代碼，可用於透過呼叫 handle.remove() 來移除已新增的 hook

回傳類型

torch.utils.hooks.RemoveableHandle

register_state_dict_post_hook(hook, prepend=False)[source]¶

註冊一個 state dict 後處理 hook，它將在呼叫 state_dict() 之後被呼叫。

它應具有以下簽名：

hook(optimizer, state_dict) -> state_dict or None

在 self 上生成 state_dict 之後，將使用參數 self 和 state_dict 呼叫 hook。 hook 可以就地修改 state_dict，或者選擇性地回傳一個新的 state_dict。註冊的 hook 可用於在回傳 state_dict 之前對其執行後處理。

參數

hook (Callable) – 要註冊的用戶定義 hook。
prepend (bool) – 如果為 True，則提供的後處理 hook 將會在 state_dict 上所有已註冊的後處理 hook 之前觸發。否則，提供的 hook 將會在所有已註冊的後處理 hook 之後觸發。(預設值：False)

回傳

一個控制代碼，可用於透過呼叫 handle.remove() 來移除已新增的 hook

回傳類型

torch.utils.hooks.RemoveableHandle

register_state_dict_pre_hook(hook, prepend=False)[source]¶

註冊一個 state dict 前處理 hook，它將在呼叫 state_dict() 之前被呼叫。

它應具有以下簽名：

hook(optimizer) -> None

optimizer 參數是正在使用的 optimizer 實例。在 self 上呼叫 state_dict 之前，將使用參數 self 呼叫 hook。註冊的 hook 可用於在呼叫 state_dict 之前執行前處理。

參數

hook (Callable) – 要註冊的用戶定義 hook。
prepend (bool) – 如果為 True，則提供的預處理 hook 將會在 state_dict 上所有已註冊的預處理 hook 之前觸發。否則，提供的 hook 將會在所有已註冊的預處理 hook 之後觸發。(預設值：False)

回傳

一個控制代碼，可用於透過呼叫 handle.remove() 來移除已新增的 hook

回傳類型

torch.utils.hooks.RemoveableHandle

register_step_post_hook(hook)[source]¶

註冊一個 optimizer step 後處理 hook，它將在 optimizer step 之後被呼叫。

它應具有以下簽名：

hook(optimizer, args, kwargs) -> None

optimizer 參數是正在使用的優化器實例。

參數: hook (Callable) – 要註冊的用戶定義 hook。
回傳: 一個控制代碼，可用於透過呼叫 handle.remove() 來移除已新增的 hook
回傳類型: torch.utils.hooks.RemovableHandle

register_step_pre_hook(hook)[source]¶

註冊一個 optimizer step 前處理 hook，它將在 optimizer step 之前被呼叫。

它應具有以下簽名：

hook(optimizer, args, kwargs) -> None or modified args and kwargs

optimizer 參數是正在使用的 optimizer 實例。如果 args 和 kwargs 被 pre-hook 修改，則轉換後的值會以包含 new_args 和 new_kwargs 的 tuple 形式回傳。

參數: hook (Callable) – 要註冊的用戶定義 hook。
回傳: 一個控制代碼，可用於透過呼叫 handle.remove() 來移除已新增的 hook
回傳類型: torch.utils.hooks.RemovableHandle

state_dict()[source]¶

將 optimizer 的狀態作為 dict 回傳。

它包含兩個條目

state：一個保存當前優化狀態的 Dict。它的內容
在不同的優化器類別之間有所不同，但有一些共同特徵。例如，狀態是按參數保存的，並且參數本身不保存。state 是一個將參數 ID 映射到一個 Dict 的字典，該 Dict 包含與每個參數對應的狀態。
param_groups：一個包含所有參數群組的 List，其中每個
參數群組是一個 Dict。每個參數群組包含特定於最佳化器的元數據，例如學習率和權重衰減，以及群組中參數的參數 ID List。如果參數群組使用 named_parameters() 初始化，則名稱內容也會儲存在 state dict 中。

注意：參數 ID 看起來可能像索引，但它們只是將狀態與 param_group 關聯的 ID。從 state_dict 載入時，最佳化器會壓縮 param_group params (int IDs) 和最佳化器 param_groups (實際的 nn.Parameter s)，以便在沒有額外驗證的情況下匹配狀態。

一個返回的 state dict 可能看起來像這樣

{
    'state': {
        0: {'momentum_buffer': tensor(...), ...},
        1: {'momentum_buffer': tensor(...), ...},
        2: {'momentum_buffer': tensor(...), ...},
        3: {'momentum_buffer': tensor(...), ...}
    },
    'param_groups': [
        {
            'lr': 0.01,
            'weight_decay': 0,
            ...
            'params': [0]
            'param_names' ['param0']  (optional)
        },
        {
            'lr': 0.001,
            'weight_decay': 0.5,
            ...
            'params': [1, 2, 3]
            'param_names': ['param1', 'layer.weight', 'layer.bias'] (optional)
        }
    ]
}

回傳類型: Dict[str, Any]

step(closure=None)[source][source]¶

執行單次最佳化步驟。

參數: closure (Callable, optional) – 一個重新評估模型並返回損失的閉包函數。

zero_grad(set_to_none=True)[source]¶

重置所有已最佳化的 torch.Tensor s 的梯度。

參數: set_to_none (bool) – 將 grads 設定為 None 而不是設定為零。這通常會減少記憶體佔用，並且可以適度地提高效能。但是，它會改變某些行為。例如：1. 當使用者嘗試訪問梯度並對其執行手動操作時，None 屬性或充滿 0 的 Tensor 的行為將不同。 2. 如果使用者請求 zero_grad(set_to_none=True)，然後進行反向傳播，則可以保證對於未收到梯度的參數，.grads 為 None。 3. 如果梯度為 0 或 None，torch.optim 最佳化器的行為會有所不同（在一個情況下，它會以 0 的梯度執行步驟，而在另一種情況下，它會完全跳過該步驟）。

RAdam¶

文件

教學

資源