Adadelta

class torch.optim.Adadelta(params, lr=1.0, rho=0.9, eps=1e-06, weight_decay=0, foreach=None, *, capturable=False, maximize=False, differentiable=False)

實作 Adadelta 演算法。

$$\begin{aligned} &\rule{110mm}{0.4pt} \\ &\textbf{input} : \gamma \text{ (lr)}, \: \theta_0 \text{ (params)}, \: f(\theta) \text{ (objective)}, \: \rho \text{ (decay)}, \: \lambda \text{ (weight decay)} \\ &\textbf{initialize} : v_0 \leftarrow 0 \: \text{ (square avg)}, \: u_0 \leftarrow 0 \: \text{ (accumulate variables)} \\[-1.ex] &\rule{110mm}{0.4pt} \\ &\textbf{for} \: t=1 \: \textbf{to} \: \ldots \: \textbf{do} \\ &\hspace{5mm}g_t \leftarrow \nabla_{\theta} f_t (\theta_{t-1}) \\ &\hspace{5mm}if \: \lambda \neq 0 \\ &\hspace{10mm} g_t \leftarrow g_t + \lambda \theta_{t-1} \\ &\hspace{5mm} v_t \leftarrow v_{t-1} \rho + g^2_t (1 - \rho) \\ &\hspace{5mm}\Delta x_t \leftarrow \frac{\sqrt{u_{t-1} + \epsilon }}{ \sqrt{v_t + \epsilon} }g_t \hspace{21mm} \\ &\hspace{5mm} u_t \leftarrow u_{t-1} \rho + \Delta x^2_t (1 - \rho) \\ &\hspace{5mm}\theta_t \leftarrow \theta_{t-1} - \gamma \Delta x_t \\ &\rule{110mm}{0.4pt} \\[-1.ex] &\bf{return} \: \theta_t \\[-1.ex] &\rule{110mm}{0.4pt} \\[-1.ex] \end{aligned}$$

關於演算法的更多細節，請參考 ADADELTA: An Adaptive Learning Rate Method。

參數

• params (iterable) – 可迭代的參數 (parameters) 或具名參數 (named_parameters) 以進行最佳化，或定義參數群組 (parameter groups) 的可迭代的字典 (dicts)。 當使用 named_parameters 時，所有群組中的所有參數都應該被命名

• lr (float, Tensor, optional) – 在將 delta 應用於參數之前，縮放 delta 的係數（預設值：1.0）

• rho (float, optional) – 用於計算平方梯度移動平均的係數（預設值：0.9）。 較高的 rho 值將導致較慢的平均，這有助於防止學習過程中的震盪。

• eps (float, optional) – 添加到分母以提高數值穩定性的項（預設值：1e-6）。

• weight_decay (float, optional) – 權重衰減（L2 懲罰）（預設值：0）

• foreach (bool, optional) – 是否使用最佳化器的 foreach 實作。 如果使用者未指定（因此 foreach 為 None），我們將嘗試在 CUDA 上使用 foreach 來代替 for-loop 實作，因為它通常效能顯著提高。 請注意，由於中間值是一個張量列表 (tensorlist) 而不是僅一個張量，因此 foreach 實作使用的峰值記憶體比 for-loop 版本多約 ~ sizeof(params)。 如果記憶體受到限制，請一次性批量處理較少的參數透過最佳化器，或將此標誌切換為 False（預設值：None）

• capturable (bool, optional) – 此實例是否可以在 CUDA 圖中安全地捕獲 (capture)。 傳遞 True 可能會損害未繪製圖形的效能，因此如果您不打算繪製圖形來捕獲此實例，請將其保留為 False（預設值：False）

• maximize (bool, optional) – 相對於 params 最大化目標，而不是最小化（預設值：False）

• differentiable (bool, optional) – 是否應該在訓練期間透過最佳化器步驟進行自動微分 (autograd)。 否則，step() 函數會在 torch.no_grad() 上下文中執行。 設定為 True 可能會損害效能，因此如果您不打算透過此實例執行自動微分，請將其保留為 False（預設值：False）

add_param_group(param_group)

向 Optimizer 的 param_groups 添加參數群組。

當對預先訓練的網路進行微調時，這可能很有用，因為可以將凍結的層設為可訓練，並在訓練進展時將其添加到 Optimizer。

參數

param_group (dict) – 指定應最佳化的 Tensor 以及群組特定的最佳化選項。

load_state_dict(state_dict)

載入最佳化器狀態。

參數

state_dict (dict) – 最佳化器狀態。 應該是從呼叫 state_dict() 返回的物件。

注意

參數的名稱（如果它們存在於 state_dict() 中每個參數群組的 “param_names” 鍵下）不會影響載入過程。 若要將參數的名稱用於自訂情況（例如，當載入的狀態字典中的參數與最佳化器中初始化的參數不同時），應實作自訂的 register_load_state_dict_pre_hook 以適應載入的字典。 如果 param_names 存在於載入的狀態字典 param_groups 中，它們將被儲存並覆蓋目前最佳化器狀態中的名稱（如果存在）。 如果它們不存在於載入的狀態字典中，則最佳化器的 param_names 將保持不變。

register_load_state_dict_post_hook(hook, prepend=False)

註冊一個 load_state_dict 後置鉤子 (post-hook)，它將在 load_state_dict() 呼叫之後被呼叫。 它應該具有以下簽名：

hook(optimizer) -> None

optimizer 參數是正在使用的 optimizer 實例。

在 self 上呼叫 load_state_dict 之後，鉤子將以參數 self 被呼叫。 註冊的鉤子可用於在 load_state_dict 載入 state_dict 後執行後處理。

參數

• hook (Callable) – 要註冊的使用者定義鉤子。

• prepend (bool) – 如果為 True，則提供的後置 hook 將在 load_state_dict 上所有已註冊的後置鉤子之前觸發。 否則，提供的 hook 將在所有已註冊的後置鉤子之後觸發。(預設值：False)

返回

一個 handle，可用於透過呼叫 handle.remove() 來移除添加的鉤子

返回類型

torch.utils.hooks.RemoveableHandle

register_load_state_dict_pre_hook(hook, prepend=False)

註冊一個 load_state_dict 前置鉤子 (pre-hook)，它將在 load_state_dict() 呼叫之前被呼叫。 它應該具有以下簽名：

hook(optimizer, state_dict) -> state_dict or None

optimizer 參數是正在使用的 optimizer 實例，而 state_dict 參數是使用者傳遞給 load_state_dict 的 state_dict 的淺拷貝。 鉤子可能會就地修改 state_dict，或者選擇性地返回一個新的。 如果返回一個 state_dict，它將被用於載入到 optimizer 中。

在 self 上呼叫 load_state_dict 之前，鉤子將以參數 self 和 state_dict 被呼叫。 註冊的鉤子可用於在呼叫 load_state_dict 之前執行預處理。

參數

• hook (Callable) – 要註冊的使用者定義鉤子。

• prepend (bool) – 如果為 True，則提供的預置 hook 將在 load_state_dict 上所有已註冊的預置鉤子之前觸發。 否則，提供的 hook 將在所有已註冊的預置鉤子之後觸發。(預設值：False)

返回

一個 handle，可用於透過呼叫 handle.remove() 來移除添加的鉤子

返回類型

torch.utils.hooks.RemoveableHandle

register_state_dict_post_hook(hook, prepend=False)

註冊一個 state dict 後置鉤子 (post-hook)，它將在 state_dict() 呼叫之後被呼叫。

它應該具有以下簽名：

hook(optimizer, state_dict) -> state_dict or None

在 self 上生成 state_dict 之後，鉤子將以參數 self 和 state_dict 被呼叫。 鉤子可能會就地修改 state_dict，或者選擇性地返回一個新的。 註冊的鉤子可用於在返回 state_dict 之前對其執行後處理。

參數

• hook (Callable) – 要註冊的使用者定義鉤子。

• prepend (bool) – 如果為 True，則提供的後置 hook 將在 state_dict 上所有已註冊的後置鉤子之前觸發。 否則，提供的 hook 將在所有已註冊的後置鉤子之後觸發。(預設值：False)

返回

一個 handle，可用於透過呼叫 handle.remove() 來移除添加的鉤子

返回類型

torch.utils.hooks.RemoveableHandle

register_state_dict_pre_hook(hook, prepend=False)

註冊一個 state dict 前置鉤子 (pre-hook)，它將在 state_dict() 呼叫之前被呼叫。

它應該具有以下簽名：

hook(optimizer) -> None

optimizer 參數是正在使用的 optimizer 實例。 在 self 上呼叫 state_dict 之前，鉤子將以參數 self 被呼叫。 註冊的鉤子可用於在呼叫 state_dict 之前執行預處理。

參數

• hook (Callable) – 要註冊的使用者定義鉤子。

• prepend (bool) – 如果為 True，提供的 pre hook 將在 state_dict 上所有已註冊的 pre-hook 之前觸發。 否則，提供的 hook 將在所有已註冊的 pre-hook 之後觸發。（預設值：False）

返回

一個 handle，可用於透過呼叫 handle.remove() 來移除添加的鉤子

返回類型

torch.utils.hooks.RemoveableHandle

register_step_post_hook(hook)

註冊一個優化器 step 後置 hook，該 hook 將在優化器 step 之後被呼叫。

它應該具有以下簽名：

hook(optimizer, args, kwargs) -> None

optimizer 參數是正在使用的 optimizer 實例。

參數

hook (Callable) – 要註冊的使用者定義鉤子。

返回

一個 handle，可用於透過呼叫 handle.remove() 來移除添加的鉤子

返回類型

torch.utils.hooks.RemovableHandle

register_step_pre_hook(hook)

註冊一個優化器 step 前置 hook，該 hook 將在優化器 step 之前被呼叫。

它應該具有以下簽名：

hook(optimizer, args, kwargs) -> None or modified args and kwargs

optimizer 參數是被使用的優化器實例。如果 args 和 kwargs 被 pre-hook 修改，則轉換後的值將作為包含 new_args 和 new_kwargs 的元組返回。

參數

hook (Callable) – 要註冊的使用者定義鉤子。

返回

一個 handle，可用於透過呼叫 handle.remove() 來移除添加的鉤子

返回類型

torch.utils.hooks.RemovableHandle

state_dict()

將優化器的狀態作為 dict 返回。

它包含兩個條目

• state：一個保存當前優化狀態的字典。其內容

  在優化器類之間有所不同，但存在一些共同的特徵。 例如，狀態是按參數保存的，並且參數本身不保存。 state 是一個字典，將參數 ID 映射到一個包含與每個參數相對應的狀態的字典。

• param_groups：一個包含所有參數群組的列表，其中每個

  參數群組是一個字典。每個參數群組包含特定於優化器的元數據，例如學習率和權重衰減，以及群組中參數的參數 ID 列表。如果參數群組使用 named_parameters() 初始化，則名稱內容也將保存在 state dict 中。

注意：參數 ID 可能看起來像索引，但它們只是將狀態與 param_group 關聯的 ID。從 state_dict 加載時，優化器將壓縮 param_group 的 params (int IDs) 和優化器的 param_groups (實際的 nn.Parameter s) 以匹配狀態，而無需額外的驗證。

返回的 state dict 可能看起來像這樣

{
    'state': {
        0: {'momentum_buffer': tensor(...), ...},
        1: {'momentum_buffer': tensor(...), ...},
        2: {'momentum_buffer': tensor(...), ...},
        3: {'momentum_buffer': tensor(...), ...}
    },
    'param_groups': [
        {
            'lr': 0.01,
            'weight_decay': 0,
            ...
            'params': [0]
            'param_names' ['param0']  (optional)
        },
        {
            'lr': 0.001,
            'weight_decay': 0.5,
            ...
            'params': [1, 2, 3]
            'param_names': ['param1', 'layer.weight', 'layer.bias'] (optional)
        }
    ]
}

返回類型

Dict[str, Any]

step(closure=None)

執行單個優化步驟。

參數

closure (Callable, optional) – 一個重新評估模型並返回損失的閉包。

zero_grad(set_to_none=True)

重置所有優化過的 torch.Tensor 的梯度。

參數

set_to_none (bool) – 不是將梯度設置為零，而是將梯度設置為 None。 這通常具有較小的記憶體佔用空間，並且可以適度提高效能。 但是，它會更改某些行為。 例如：1. 當使用者嘗試存取梯度並對其執行手動操作時，None 屬性或充滿 0 的 Tensor 的行為會有所不同。 2. 如果使用者請求 zero_grad(set_to_none=True)，然後進行反向傳播，則保證對於沒有收到梯度的參數，.grad 為 None。 3. 如果梯度為 0 或 None，torch.optim 優化器的行為會有所不同（在一個案例中，它執行梯度為 0 的步驟，而在另一個案例中，它完全跳過該步驟）。