SGD¶

class torch.optim.SGD(params, lr=0.001, momentum=0, dampening=0, weight_decay=0, nesterov=False, *, maximize=False, foreach=None, differentiable=False, fused=None)[source][source]¶

實作隨機梯度下降法 (可選帶有動量)。

\begin{aligned} &\rule{110mm}{0.4pt} \\ &\textbf{input} : \gamma \text{ (lr)}, \: \theta_0 \text{ (params)}, \: f(\theta) \text{ (objective)}, \: \lambda \text{ (weight decay)}, \\ &\hspace{13mm} \:\mu \text{ (momentum)}, \:\tau \text{ (dampening)}, \:\textit{ nesterov,}\:\textit{ maximize} \\[-1.ex] &\rule{110mm}{0.4pt} \\ &\textbf{for} \: t=1 \: \textbf{to} \: \ldots \: \textbf{do} \\ &\hspace{5mm}g_t \leftarrow \nabla_{\theta} f_t (\theta_{t-1}) \\ &\hspace{5mm}\textbf{if} \: \lambda \neq 0 \\ &\hspace{10mm} g_t \leftarrow g_t + \lambda \theta_{t-1} \\ &\hspace{5mm}\textbf{if} \: \mu \neq 0 \\ &\hspace{10mm}\textbf{if} \: t > 1 \\ &\hspace{15mm} \textbf{b}_t \leftarrow \mu \textbf{b}_{t-1} + (1-\tau) g_t \\ &\hspace{10mm}\textbf{else} \\ &\hspace{15mm} \textbf{b}_t \leftarrow g_t \\ &\hspace{10mm}\textbf{if} \: \textit{nesterov} \\ &\hspace{15mm} g_t \leftarrow g_{t} + \mu \textbf{b}_t \\ &\hspace{10mm}\textbf{else} \\[-1.ex] &\hspace{15mm} g_t \leftarrow \textbf{b}_t \\ &\hspace{5mm}\textbf{if} \: \textit{maximize} \\ &\hspace{10mm}\theta_t \leftarrow \theta_{t-1} + \gamma g_t \\[-1.ex] &\hspace{5mm}\textbf{else} \\[-1.ex] &\hspace{10mm}\theta_t \leftarrow \theta_{t-1} - \gamma g_t \\[-1.ex] &\rule{110mm}{0.4pt} \\[-1.ex] &\bf{return} \: \theta_t \\[-1.ex] &\rule{110mm}{0.4pt} \\[-1.ex] \end{aligned}

Nesterov 動量基於On the importance of initialization and momentum in deep learning 中的公式。

參數

params (iterable) – 用於優化的參數的 iterable 或 named_parameters，或者定義參數群組的 dicts 的 iterable。當使用 named_parameters 時，所有群組中的所有參數都應被命名
lr (float, Tensor, optional) – 學習率 (預設值: 1e-3)
momentum (float, optional) – 動量因子 (預設值: 0)
dampening (float, optional) – 動量的抑制 (預設值: 0)
weight_decay (float, optional) – 權重衰減 (L2 懲罰) (預設值: 0)
nesterov (bool, optional) – 啟用 Nesterov 動量。僅在動量非零時適用。(預設值: False)
maximize (bool, optional) – 相對於參數最大化目標，而不是最小化 (預設值: False)
foreach (bool, optional) – 是否使用最佳化器的 foreach 實作。如果使用者未指定（因此 foreach 為 None），我們將嘗試在 CUDA 上使用 foreach 而不是 for 迴圈實作，因為它通常效能顯著更高。請注意，由於中間結果是 tensorlist 而不是單個張量，foreach 實作使用的峰值記憶體比 for 迴圈版本多約 sizeof(params)。如果記憶體受到限制，請一次批處理較少的參數通過最佳化器，或將此標誌切換為 False (預設值：None)
differentiable (bool, optional) – 是否應在訓練中透過優化器步驟進行 autograd。否則，step() 函數會在 torch.no_grad() 內容中執行。設定為 True 會降低效能，因此如果您不打算透過此實例執行 autograd，請將其保留為 False (預設值：False)
fused (bool, optional) – 是否使用融合實作。目前，支援 torch.float64、torch.float32、torch.float16 和 torch.bfloat16。(預設值：None)

注意

foreach 和 fused 實作通常比 for 迴圈、單張量實作更快，其中 fused 在理論上是垂直和水平融合中最快的。因此，如果使用者未指定任一標誌（即，當 foreach = fused = None 時），當張量都在 CUDA 上時，我們將嘗試預設為 foreach 實作。為什麼不是 fused？由於 fused 實作相對較新，我們希望給它足夠的預熱時間。要指定 fused，請為 fused 傳遞 True。要強制執行 for 迴圈實作，請為 foreach 或 fused 傳遞 False。

範例

>>> optimizer = torch.optim.SGD(model.parameters(), lr=0.1, momentum=0.9)
>>> optimizer.zero_grad()
>>> loss_fn(model(input), target).backward()
>>> optimizer.step()

注意

帶有 Momentum/Nesterov 的 SGD 的實作與 Sutskever et al. 以及其他框架中的實作略有不同。

考慮到動量的特殊情況，更新可以寫成

\begin{aligned} v_{t+1} & = \mu * v_{t} + g_{t+1}, \\ p_{t+1} & = p_{t} - \text{lr} * v_{t+1}, \end{aligned}

其中 $p$ 、 $g$ 、 $v$ 和 $\mu$ 分別代表參數、梯度、速度和動量。

這與 Sutskever et al. 以及其他採用以下形式更新的框架形成對比：

\begin{aligned} v_{t+1} & = \mu * v_{t} + \text{lr} * g_{t+1}, \\ p_{t+1} & = p_{t} - v_{t+1}. \end{aligned}

Nesterov 版本也以類似的方式修改。

此外，動量緩衝區的初始值設定為第一步的梯度值。這與將其初始化為全零的其他框架形成對比。

add_param_group(param_group)[原始碼]¶

新增一個參數群組到 Optimizer 的 param_groups。

當微調預訓練網路時，這可能很有用，因為可以使凍結層可訓練並在訓練過程中將其添加到 Optimizer 中。

參數: param_group (dict) – 指定應該優化的 Tensors 以及群組特定的優化選項。

load_state_dict(state_dict)[原始碼]¶

載入 optimizer 狀態。

參數: state_dict (dict) – optimizer 狀態。應該是從呼叫 state_dict() 返回的物件。

注意

參數的名稱（如果它們存在於 state_dict() 中每個參數群組的 “param_names” 鍵下）不會影響載入過程。要將參數名稱用於自訂案例（例如，當載入的狀態字典中的參數與 optimizer 中初始化的參數不同時），應實作自訂的 register_load_state_dict_pre_hook 以相應地調整載入的字典。如果載入的狀態字典 param_groups 中存在 param_names，它們將被保存並覆蓋 optimizer 狀態中的當前名稱（如果存在）。如果它們在載入的狀態字典中不存在，optimizer 的 param_names 將保持不變。

register_load_state_dict_post_hook(hook, prepend=False)[source]¶

註冊一個 load_state_dict 後置鉤子 (post-hook)，它將在 load_state_dict() 呼叫之後被呼叫。它應該具有以下簽名：

hook(optimizer) -> None

optimizer 參數是正在使用的 optimizer 實例。

在 self 上呼叫 load_state_dict 之後，將使用參數 self 呼叫此鉤子。註冊的鉤子可用於在 load_state_dict 已載入 state_dict 之後執行後處理。

參數

hook (Callable) – 要註冊的使用者定義鉤子。
prepend (bool) – 如果為 True，則提供的後置 hook 將在 load_state_dict 上所有已註冊的後置鉤子之前觸發。否則，提供的 hook 將在所有已註冊的後置鉤子之後觸發。(預設：False)

返回值

一個可用於通過呼叫 handle.remove() 來移除已添加鉤子的控制代碼 (handle)。

返回值類型

torch.utils.hooks.RemoveableHandle

register_load_state_dict_pre_hook(hook, prepend=False)[source]¶

註冊一個 load_state_dict 前置鉤子 (pre-hook)，它將在 load_state_dict() 呼叫之前被呼叫。它應該具有以下簽名：

hook(optimizer, state_dict) -> state_dict or None

optimizer 參數是正在使用的 optimizer 實例，而 state_dict 參數是使用者傳遞給 load_state_dict 的 state_dict 的淺拷貝。該鉤子可能會就地修改 state_dict，或者選擇性地返回一個新的。如果返回一個 state_dict，它將被用於載入到 optimizer 中。

在 self 上呼叫 load_state_dict 之前，將使用參數 self 和 state_dict 呼叫此鉤子。註冊的鉤子可用於在進行 load_state_dict 呼叫之前執行預處理。

參數

hook (Callable) – 要註冊的使用者定義鉤子。
prepend (bool) – 如果為 True，則提供的前置 hook 將在 load_state_dict 上所有已註冊的前置鉤子之前觸發。否則，提供的 hook 將在所有已註冊的前置鉤子之後觸發。(預設：False)

返回值

一個可用於通過呼叫 handle.remove() 來移除已添加鉤子的控制代碼 (handle)。

返回值類型

torch.utils.hooks.RemoveableHandle

register_state_dict_post_hook(hook, prepend=False)[source]¶

註冊一個 state dict 後置鉤子 (post-hook)，它將在 state_dict() 呼叫之後被呼叫。

它應該具有以下簽名：

hook(optimizer, state_dict) -> state_dict or None

在 self 上生成 state_dict 之後，將使用參數 self 和 state_dict 呼叫此鉤子。該鉤子可能會就地修改 state_dict，或者選擇性地返回一個新的。註冊的鉤子可用於在返回 state_dict 之前對其執行後處理。

參數

hook (Callable) – 要註冊的使用者定義鉤子。
prepend (bool) – 如果為 True，則提供的後置 hook 將在 state_dict 上所有已註冊的後置鉤子之前觸發。否則，提供的 hook 將在所有已註冊的後置鉤子之後觸發。(預設：False)

返回值

一個可用於通過呼叫 handle.remove() 來移除已添加鉤子的控制代碼 (handle)。

返回值類型

torch.utils.hooks.RemoveableHandle

register_state_dict_pre_hook(hook, prepend=False)[source]¶

註冊一個 state dict 前置鉤子 (pre-hook)，它將在 state_dict() 呼叫之前被呼叫。

它應該具有以下簽名：

hook(optimizer) -> None

optimizer 參數是正在使用的 optimizer 實例。在 self 上呼叫 state_dict 之前，將使用參數 self 呼叫此鉤子。註冊的鉤子可用於在進行 state_dict 呼叫之前執行預處理。

參數

hook (Callable) – 要註冊的使用者定義鉤子。
prepend (bool) – 如果為 True，提供的 pre hook 將會在 state_dict 上所有已註冊的 pre-hook 之前觸發。否則，提供的 hook 將會在所有已註冊的 pre-hook 之後觸發。(預設值：False)

返回值

一個可用於通過呼叫 handle.remove() 來移除已添加鉤子的控制代碼 (handle)。

返回值類型

torch.utils.hooks.RemoveableHandle

register_step_post_hook(hook)[原始碼]¶

註冊一個 optimizer step post hook，它將在 optimizer step 之後被呼叫。

它應該具有以下簽名：

hook(optimizer, args, kwargs) -> None

optimizer 參數是正在使用的 optimizer 實例。

參數: hook (Callable) – 要註冊的使用者定義鉤子。
返回值: 一個可用於通過呼叫 handle.remove() 來移除已添加鉤子的控制代碼 (handle)。
返回值類型: torch.utils.hooks.RemovableHandle

register_step_pre_hook(hook)[原始碼]¶

註冊一個 optimizer step pre hook，它將在 optimizer step 之前被呼叫。

它應該具有以下簽名：

hook(optimizer, args, kwargs) -> None or modified args and kwargs

optimizer 參數是被使用的 optimizer 實例。如果 args 和 kwargs 被 pre-hook 修改，那麼轉換後的值將以包含 new_args 和 new_kwargs 的 tuple 形式返回。

參數: hook (Callable) – 要註冊的使用者定義鉤子。
返回值: 一個可用於通過呼叫 handle.remove() 來移除已添加鉤子的控制代碼 (handle)。
返回值類型: torch.utils.hooks.RemovableHandle

state_dict()[原始碼]¶

以 dict 形式返回 optimizer 的狀態。

它包含兩個條目

state：一個 Dict，持有當前的優化狀態。其內容
在不同的 optimizer 類別之間有所不同，但有一些共同的特性。例如，state 是按參數儲存的，並且參數本身不會被儲存。state 是一個 Dictionary，將參數 ID 映射到一個 Dict，其中包含每個參數的對應狀態。
param_groups：一個 List，包含所有參數群組，其中每個
參數群組是一個 Dict。每個參數群組都包含特定於 optimizer 的元數據，例如學習率和權重衰減，以及該群組中參數的參數 ID 列表。如果使用 named_parameters() 初始化了參數群組，則名稱內容也將保存在 state dict 中。

注意：參數 ID 看起來可能像索引，但它們只是將狀態與 param_group 關聯的 ID。從 state_dict 載入時，optimizer 將壓縮 param_group params (int ID) 和 optimizer param_groups (實際的 nn.Parameter s) 以匹配狀態，而無需額外的驗證。

返回的 state dict 可能看起來像這樣

{
    'state': {
        0: {'momentum_buffer': tensor(...), ...},
        1: {'momentum_buffer': tensor(...), ...},
        2: {'momentum_buffer': tensor(...), ...},
        3: {'momentum_buffer': tensor(...), ...}
    },
    'param_groups': [
        {
            'lr': 0.01,
            'weight_decay': 0,
            ...
            'params': [0]
            'param_names' ['param0']  (optional)
        },
        {
            'lr': 0.001,
            'weight_decay': 0.5,
            ...
            'params': [1, 2, 3]
            'param_names': ['param1', 'layer.weight', 'layer.bias'] (optional)
        }
    ]
}

返回值類型: Dict[str, Any]

step(closure=None)[原始碼][原始碼]¶

執行單次優化步驟。

參數: closure (Callable, optional) – 一個重新評估模型並返回損失的閉包函數。

zero_grad(set_to_none=True)[原始碼]¶

重置所有優化過的 torch.Tensor 的梯度。

參數: set_to_none (bool) – 不是設定為零，而是將 grads 設定為 None。這通常會減少記憶體佔用，並且可以適度地提高效能。但是，它會更改某些行為。例如：1. 當使用者嘗試存取梯度並對其執行手動操作時，None 屬性或填滿 0 的 Tensor 行為會有不同。 2. 如果使用者要求 zero_grad(set_to_none=True)，然後進行反向傳播，則保證對於沒有收到梯度的參數，.grads 為 None。 3. 如果梯度為 0 或 None，torch.optim 優化器的行為會有所不同（在一個案例中，它以 0 的梯度執行 step，在另一個案例中，它完全跳過 step）。

SGD¶

文件

教學

資源