RMSprop¶

class torch.optim.RMSprop(params, lr=0.01, alpha=0.99, eps=1e-08, weight_decay=0, momentum=0, centered=False, capturable=False, foreach=None, maximize=False, differentiable=False)[source][source]¶

實作 RMSprop 演算法。

\begin{aligned} &\rule{110mm}{0.4pt} \\ &\textbf{input} : \alpha \text{ (alpha)}, \: \gamma \text{ (lr)}, \: \theta_0 \text{ (params)}, \: f(\theta) \text{ (objective)} \\ &\hspace{13mm} \lambda \text{ (weight decay)},\: \mu \text{ (momentum)}, \: centered, \: \epsilon \text{ (epsilon)} \\ &\textbf{initialize} : v_0 \leftarrow 0 \text{ (square average)}, \: \textbf{b}_0 \leftarrow 0 \text{ (buffer)}, \: g^{ave}_0 \leftarrow 0 \\[-1.ex] &\rule{110mm}{0.4pt} \\ &\textbf{for} \: t=1 \: \textbf{to} \: \ldots \: \textbf{do} \\ &\hspace{5mm}g_t \leftarrow \nabla_{\theta} f_t (\theta_{t-1}) \\ &\hspace{5mm}if \: \lambda \neq 0 \\ &\hspace{10mm} g_t \leftarrow g_t + \lambda \theta_{t-1} \\ &\hspace{5mm}v_t \leftarrow \alpha v_{t-1} + (1 - \alpha) g^2_t \hspace{8mm} \\ &\hspace{5mm} \tilde{v_t} \leftarrow v_t \\ &\hspace{5mm}if \: centered \\ &\hspace{10mm} g^{ave}_t \leftarrow g^{ave}_{t-1} \alpha + (1-\alpha) g_t \\ &\hspace{10mm} \tilde{v_t} \leftarrow \tilde{v_t} - \big(g^{ave}_{t} \big)^2 \\ &\hspace{5mm}if \: \mu > 0 \\ &\hspace{10mm} \textbf{b}_t\leftarrow \mu \textbf{b}_{t-1} + g_t/ \big(\sqrt{\tilde{v_t}} + \epsilon \big) \\ &\hspace{10mm} \theta_t \leftarrow \theta_{t-1} - \gamma \textbf{b}_t \\ &\hspace{5mm} else \\ &\hspace{10mm}\theta_t \leftarrow \theta_{t-1} - \gamma g_t/ \big(\sqrt{\tilde{v_t}} + \epsilon \big) \hspace{3mm} \\ &\rule{110mm}{0.4pt} \\[-1.ex] &\bf{return} \: \theta_t \\[-1.ex] &\rule{110mm}{0.4pt} \\[-1.ex] \end{aligned}

關於此演算法的更多細節，請參考 G. Hinton 的課堂筆記。以及居中的版本 Generating Sequences With Recurrent Neural Networks。此處的實作是在加上 epsilon 之前，先計算梯度平均值的平方根（注意 TensorFlow 會交換這兩個運算）。因此，有效的學習率為 $\gamma/(\sqrt{v} + \epsilon)$ ，其中 $\gamma$ 是排定的學習率，而 $v$ 是梯度平方的加權移動平均值。

參數

params (iterable) – 要最佳化的參數或 named_parameters 的可迭代物件，或定義參數群組的字典的可迭代物件。當使用 named_parameters 時，所有群組中的所有參數都應命名
lr (float, Tensor, optional) – 學習率 (預設值：1e-2)
alpha (float, optional) – 平滑常數 (預設值：0.99)
eps (float, optional) – 加到分母的項，以改善數值穩定性 (預設值：1e-8)
weight_decay (float, optional) – 權重衰減 (L2 懲罰) (預設值：0)
momentum (float, optional) – 動量因子 (預設值：0)
centered (bool, optional) – 如果 True，計算居中的 RMSProp，梯度會透過其變異數的估計值進行正規化
capturable (bool, optional) – 此實例是否可安全地在 CUDA 圖形中擷取。傳遞 True 可能會損害未繪製圖形的效能，因此如果您不打算繪製圖形來擷取此實例，請將其保留為 False（預設值：False）
foreach (bool, optional) – 是否使用最佳化器的 foreach 實作。如果使用者未指定（因此 foreach 為 None），我們將嘗試在 CUDA 上使用 foreach 而不是 for 迴圈實作，因為它通常效能更高。請注意，由於中間值是 tensorlist 而不是僅一個 tensor，因此 foreach 實作使用的峰值記憶體比 for 迴圈版本多約 sizeof(params)。如果記憶體受到限制，請一次批次處理較少的參數到最佳化器中，或將此標誌切換為 False（預設值：None）
maximize (bool, optional) – 相對於參數最大化目標，而不是最小化 (預設值：False)
differentiable (bool, optional) – autograd 是否應在訓練中透過最佳化器步驟發生。否則，step() 函數會在 torch.no_grad() 內容中執行。設定為 True 可能會損害效能，因此如果您不打算透過此實例執行 autograd，請將其保留為 False（預設值：False）

add_param_group(param_group)[原始碼]¶

新增一個參數群組到 Optimizer 的 param_groups。

當微調一個預訓練網路時，這會很有用，因為可以將凍結的層設為可訓練，並在訓練過程中將其添加到 Optimizer 中。

參數: param_group (dict) – 指定應該優化的 Tensors 以及群組特定的優化選項。

load_state_dict(state_dict)[原始碼]¶

載入優化器的狀態。

參數: state_dict (dict) – 優化器的狀態。應該是從呼叫 state_dict() 返回的物件。

注意

參數的名稱（如果它們存在於 state_dict() 中每個參數群組的 "param_names" 鍵下）將不會影響載入過程。要將參數名稱用於自定義情況（例如，當載入的狀態字典中的參數與優化器中初始化的參數不同時），應該實作一個自定義的 register_load_state_dict_pre_hook 以相應地調整載入的字典。如果 param_names 存在於載入的狀態字典 param_groups 中，它們將被保存並覆蓋優化器狀態中當前的名稱（如果存在）。如果它們不存在於載入的狀態字典中，優化器的 param_names 將保持不變。

register_load_state_dict_post_hook(hook, prepend=False)[原始碼]¶

註冊一個 load_state_dict 後置鉤子，它將在呼叫 load_state_dict() 之後被呼叫。它應該具有以下簽章

hook(optimizer) -> None

optimizer 參數是正在使用的優化器實例。

該鉤子將在 self 上呼叫 load_state_dict 之後，以參數 self 呼叫。註冊的鉤子可用於在 load_state_dict 載入 state_dict 後執行後處理。

參數

hook (Callable) – 要註冊的使用者定義鉤子。
prepend (bool) – 如果為 True，則提供的後置 hook 將在 load_state_dict 上所有已註冊的後置鉤子之前觸發。否則，提供的 hook 將在所有已註冊的後置鉤子之後觸發。（預設值：False）

傳回

一個句柄，可以用於通過呼叫 handle.remove() 來刪除添加的鉤子

傳回型別

torch.utils.hooks.RemoveableHandle

register_load_state_dict_pre_hook(hook, prepend=False)[原始碼]¶

註冊一個 load_state_dict 前置鉤子，它將在呼叫 load_state_dict() 之前被呼叫。它應該具有以下簽章

hook(optimizer, state_dict) -> state_dict or None

optimizer 參數是正在使用的優化器實例，state_dict 參數是使用者傳遞給 load_state_dict 的 state_dict 的淺層副本。鉤子可以就地修改 state_dict，或者選擇性地返回一個新的。如果返回 state_dict，它將被用於載入到優化器中。

該鉤子將在 self 上呼叫 load_state_dict 之前，以參數 self 和 state_dict 呼叫。註冊的鉤子可用於在呼叫 load_state_dict 之前執行預處理。

參數

hook (Callable) – 要註冊的使用者定義鉤子。
prepend (bool) – 如果為 True，則提供的前置 hook 將在 load_state_dict 上所有已註冊的前置鉤子之前觸發。否則，提供的 hook 將在所有已註冊的前置鉤子之後觸發。（預設值：False）

傳回

一個句柄，可以用於通過呼叫 handle.remove() 來刪除添加的鉤子

傳回型別

torch.utils.hooks.RemoveableHandle

register_state_dict_post_hook(hook, prepend=False)[source]¶

註冊一個 state dict 後置鉤子 (post-hook)，此鉤子會在 state_dict() 被呼叫後執行。

它應具有以下簽名：

hook(optimizer, state_dict) -> state_dict or None

此鉤子會在於 self 上產生 state_dict 之後，以參數 self 和 state_dict 被呼叫。此鉤子可能會就地修改 state_dict，或者選擇性地返回一個新的 state_dict。註冊的鉤子可用於在返回 state_dict 之前，對其執行後處理。

參數

hook (Callable) – 要註冊的使用者定義鉤子。
prepend (bool) – 如果為 True，則提供的後置 hook 會在 state_dict 上所有已註冊的後置鉤子之前觸發。否則，提供的 hook 將在所有已註冊的後置鉤子之後觸發。 (預設值：False)

傳回

一個句柄，可以用於通過呼叫 handle.remove() 來刪除添加的鉤子

傳回型別

torch.utils.hooks.RemoveableHandle

register_state_dict_pre_hook(hook, prepend=False)[source]¶

註冊一個 state dict 前置鉤子 (pre-hook)，此鉤子會在 state_dict() 被呼叫前執行。

它應具有以下簽名：

hook(optimizer) -> None

optimizer 參數是正在使用的 optimizer 實例。此鉤子會在呼叫 self 上的 state_dict 之前，以參數 self 被呼叫。註冊的鉤子可用於在呼叫 state_dict 之前執行預處理。

參數

hook (Callable) – 要註冊的使用者定義鉤子。
prepend (bool) – 如果為 True，則提供的前置 hook 會在 state_dict 上所有已註冊的前置鉤子之前觸發。否則，提供的 hook 將在所有已註冊的前置鉤子之後觸發。 (預設值：False)

傳回

一個句柄，可以用於通過呼叫 handle.remove() 來刪除添加的鉤子

傳回型別

torch.utils.hooks.RemoveableHandle

register_step_post_hook(hook)[source]¶

註冊一個 optimizer step 後置鉤子，它將在 optimizer step 之後被呼叫。

它應具有以下簽名：

hook(optimizer, args, kwargs) -> None

optimizer 參數是正在使用的優化器實例。

參數: hook (Callable) – 要註冊的使用者定義鉤子。
傳回: 一個句柄，可以用於通過呼叫 handle.remove() 來刪除添加的鉤子
傳回型別: torch.utils.hooks.RemovableHandle

register_step_pre_hook(hook)[source]¶

註冊一個 optimizer step 前置鉤子，它將在 optimizer step 之前被呼叫。

它應具有以下簽名：

hook(optimizer, args, kwargs) -> None or modified args and kwargs

optimizer 參數是正在使用的 optimizer 實例。如果 args 和 kwargs 被 pre-hook 修改，則轉換後的值將作為包含 new_args 和 new_kwargs 的 tuple 返回。

參數: hook (Callable) – 要註冊的使用者定義鉤子。
傳回: 一個句柄，可以用於通過呼叫 handle.remove() 來刪除添加的鉤子
傳回型別: torch.utils.hooks.RemovableHandle

state_dict()[source]¶

以 dict 形式返回 optimizer 的狀態。

它包含兩個條目

state：一個 Dict，包含當前的優化狀態。它的內容
在不同的 optimizer 類之間有所不同，但有一些共同的特性。例如，狀態是按參數保存的，並且參數本身沒有被保存。 state 是一個將參數 ID 映射到一個 Dict 的字典，該 Dict 具有與每個參數對應的狀態。
param_groups：一個包含所有參數組的 List，其中每個
參數組是一個 Dict。每個參數組都包含特定於 optimizer 的元數據，例如學習率和權重衰減，以及該組中參數的參數 ID 列表。如果使用 named_parameters() 初始化了一個參數組，則名稱內容也將保存在 state dict 中。

注意：參數 ID 看起來可能像索引，但它們只是將狀態與 param_group 關聯的 ID。從 state_dict 加載時，optimizer 將 zip param_group 的 params (int IDs) 和 optimizer 的 param_groups (實際的 nn.Parameter s) 以匹配狀態，而無需額外驗證。

返回的 state dict 可能看起來像這樣

{
    'state': {
        0: {'momentum_buffer': tensor(...), ...},
        1: {'momentum_buffer': tensor(...), ...},
        2: {'momentum_buffer': tensor(...), ...},
        3: {'momentum_buffer': tensor(...), ...}
    },
    'param_groups': [
        {
            'lr': 0.01,
            'weight_decay': 0,
            ...
            'params': [0]
            'param_names' ['param0']  (optional)
        },
        {
            'lr': 0.001,
            'weight_decay': 0.5,
            ...
            'params': [1, 2, 3]
            'param_names': ['param1', 'layer.weight', 'layer.bias'] (optional)
        }
    ]
}

傳回型別: Dict[str, Any]

step(closure=None)[原始碼][原始碼]¶

執行單一最佳化步驟。

參數: closure (Callable, optional) – 一個重新評估模型並回傳損失的閉包函數 (closure)。

zero_grad(set_to_none=True)[原始碼]¶

重設所有已最佳化 torch.Tensor 的梯度。

參數: set_to_none (bool) – 不要設定為零，而是將梯度設定為 None。通常這樣會降低記憶體佔用量，並且可以稍微提高效能。但是，它會改變某些行為。例如：1. 當使用者嘗試存取梯度並對其執行手動操作時，None 屬性或充滿 0 的 Tensor 將會表現出不同的行為。2. 如果使用者請求 zero_grad(set_to_none=True)，然後進行反向傳播，則保證對於沒有收到梯度的參數，.grad 將為 None。 3. 如果梯度為 0 或 None，torch.optim 最佳化器的行為會有所不同 (在其中一種情況下，它會以梯度 0 執行步驟，而在另一種情況下，它會完全跳過該步驟)。

RMSprop¶

文件

教學

資源