Adagrad¶

class torch.optim.Adagrad(params, lr=0.01, lr_decay=0, weight_decay=0, initial_accumulator_value=0, eps=1e-10, foreach=None, *, maximize=False, differentiable=False, fused=None)[source][source]¶

實作 Adagrad 演算法。

\begin{aligned} &\rule{110mm}{0.4pt} \\ &\textbf{input} : \gamma \text{ (lr)}, \: \theta_0 \text{ (params)}, \: f(\theta) \text{ (objective)}, \: \lambda \text{ (weight decay)}, \\ &\hspace{12mm} \tau \text{ (initial accumulator value)}, \: \eta\text{ (lr decay)}\\ &\textbf{initialize} : state\_sum_0 \leftarrow \tau \\[-1.ex] &\rule{110mm}{0.4pt} \\ &\textbf{for} \: t=1 \: \textbf{to} \: \ldots \: \textbf{do} \\ &\hspace{5mm}g_t \leftarrow \nabla_{\theta} f_t (\theta_{t-1}) \\ &\hspace{5mm} \tilde{\gamma} \leftarrow \gamma / (1 +(t-1) \eta) \\ &\hspace{5mm} \textbf{if} \: \lambda \neq 0 \\ &\hspace{10mm} g_t \leftarrow g_t + \lambda \theta_{t-1} \\ &\hspace{5mm}state\_sum_t \leftarrow state\_sum_{t-1} + g^2_t \\ &\hspace{5mm}\theta_t \leftarrow \theta_{t-1}- \tilde{\gamma} \frac{g_t}{\sqrt{state\_sum_t}+\epsilon} \\ &\rule{110mm}{0.4pt} \\[-1.ex] &\bf{return} \: \theta_t \\[-1.ex] &\rule{110mm}{0.4pt} \\[-1.ex] \end{aligned}

關於此演算法的更多詳細資訊，請參閱Adaptive Subgradient Methods for Online Learning and Stochastic Optimization。

參數

params (iterable) – 可迭代的參數或 named_parameters（用於優化），或定義參數群組的可迭代字典。當使用 named_parameters 時，所有群組中的所有參數都應被命名
lr (float, Tensor, optional) – 學習率 (預設: 1e-2)
lr_decay (float, optional) – 學習率衰減 (預設: 0)
weight_decay (float, optional) – 權重衰減 (L2 懲罰) (預設: 0)
initial_accumulator_value (float, optional) – 梯度平方和的初始值 (預設: 0)
eps (float, optional) – 添加到分母的項，以提高數值穩定性 (預設: 1e-10)
foreach (bool, optional) – 是否使用 optimizer 的 foreach 實作。如果使用者未指定 (因此 foreach 為 None)，我們會嘗試在 CUDA 上使用 foreach 而不是 for-loop 實作，因為它通常效能更高。請注意，由於中介值是 tensorlist 而不是僅僅一個 tensor，因此 foreach 實作使用的峰值記憶體比 for-loop 版本多約 ~ sizeof(params)。如果記憶體受到限制，請一次透過 optimizer 批次處理較少的參數，或將此標誌切換為 False (預設: None)
maximize (bool, optional) – 相對於參數最大化目標，而不是最小化 (預設: False)
differentiable (bool, optional) – 是否應該在訓練中通過 optimizer step 進行 autograd。否則，step() 函數將在 torch.no_grad() 內容中執行。如果您不打算通過此實例運行 autograd，則將其設置為 True 可能會降低效能，因此將其保留為 False (預設: False)
fused (bool, optional) – 是否使用融合實作 (僅限 CPU)。目前，支援 torch.float64、torch.float32、torch.float16 和 torch.bfloat16。(預設: None)。請注意，融合實作不支援稀疏或複數梯度。

add_param_group(param_group)[source]¶

將參數群組新增到 Optimizer 的 param_groups。

當微調預先訓練的網路時，這可能很有用，因為可以將凍結層設為可訓練並在訓練過程中新增到 Optimizer。

參數: param_group (dict) – 指定應優化的張量以及群組特定的優化選項。

load_state_dict(state_dict)[source]¶

載入 optimizer 狀態。

參數: state_dict (dict) – optimizer 狀態。應是從呼叫 state_dict() 傳回的物件。

注意

參數的名稱（如果它們存在於 state_dict() 中每個參數群組的 "param_names" 鍵下）不會影響載入過程。若要將參數的名稱用於自訂案例（例如，當載入的狀態 dict 中的參數與 optimizer 中初始化的參數不同時），應實作自訂 register_load_state_dict_pre_hook 以相應地調整載入的 dict。如果 param_names 存在於載入的狀態 dict param_groups 中，它們將被儲存並覆蓋 optimizer 狀態中目前的名稱（如果存在）。如果它們不存在於載入的狀態 dict 中，則 optimizer param_names 將保持不變。

register_load_state_dict_post_hook(hook, prepend=False)[source]¶

註冊 load_state_dict 後置鉤子，它將在呼叫 load_state_dict() 之後呼叫。它應具有以下簽名

hook(optimizer) -> None

optimizer 參數是正在使用的 optimizer 實例。

在對 self 呼叫 load_state_dict 之後，將使用參數 self 呼叫鉤子。註冊的鉤子可用於在 load_state_dict 載入 state_dict 之後執行後處理。

參數

hook (Callable) – 要註冊的使用者定義的鉤子。
prepend (bool) – 如果為 True，則提供的後置 hook 將在 load_state_dict 上所有已註冊的後置鉤子之前觸發。否則，提供的 hook 將在所有已註冊的後置鉤子之後觸發。(預設: False)

傳回

一個 handle，可用於透過呼叫 handle.remove() 來移除新增的鉤子

傳回類型

torch.utils.hooks.RemoveableHandle

register_load_state_dict_pre_hook(hook, prepend=False)[原始碼]¶

註冊一個 load_state_dict 的 pre-hook，它會在呼叫 load_state_dict() 之前被呼叫。它應該具有以下簽名：

hook(optimizer, state_dict) -> state_dict or None

optimizer 參數是被使用的 optimizer 實例，而 state_dict 參數是使用者傳遞給 load_state_dict 的 state_dict 的淺拷貝。這個 hook 可以就地修改 state_dict，或者選擇性地返回一個新的 state_dict。如果返回了一個 state_dict，它將被用於載入到 optimizer 中。

在 self 上呼叫 load_state_dict 之前，這個 hook 會使用參數 self 和 state_dict 呼叫。註冊的 hook 可以用於在呼叫 load_state_dict 之前執行預處理。

參數

hook (Callable) – 要註冊的使用者定義的鉤子。
prepend (bool) – 如果為 True，提供的 pre-hook 將會在 load_state_dict 上所有已經註冊的 pre-hook 之前觸發。否則，提供的 hook 將在所有已經註冊的 pre-hook 之後觸發。（預設值：False）

傳回

一個 handle，可用於透過呼叫 handle.remove() 來移除新增的鉤子

傳回類型

torch.utils.hooks.RemoveableHandle

register_state_dict_post_hook(hook, prepend=False)[原始碼]¶

註冊一個 state dict 的 post-hook，它會在呼叫 state_dict() 之後被呼叫。

它應該具有以下簽名：

hook(optimizer, state_dict) -> state_dict or None

在 self 上產生一個 state_dict 之後，這個 hook 會使用參數 self 和 state_dict 呼叫。這個 hook 可以就地修改 state_dict，或者選擇性地返回一個新的 state_dict。註冊的 hook 可以用於在返回 state_dict 之前對其執行後處理。

參數

hook (Callable) – 要註冊的使用者定義的鉤子。
prepend (bool) – 如果為 True，提供的 post-hook 將會在 state_dict 上所有已經註冊的 post-hook 之前觸發。否則，提供的 hook 將在所有已經註冊的 post-hook 之後觸發。（預設值：False）

傳回

一個 handle，可用於透過呼叫 handle.remove() 來移除新增的鉤子

傳回類型

torch.utils.hooks.RemoveableHandle

register_state_dict_pre_hook(hook, prepend=False)[原始碼]¶

註冊一個 state dict 的 pre-hook，它會在呼叫 state_dict() 之前被呼叫。

它應該具有以下簽名：

hook(optimizer) -> None

optimizer 參數是被使用的 optimizer 實例。在 self 上呼叫 state_dict 之前，這個 hook 會使用參數 self 呼叫。註冊的 hook 可以用於在呼叫 state_dict 之前執行預處理。

參數

hook (Callable) – 要註冊的使用者定義的鉤子。
prepend (bool) – 如果為 True，提供的 pre-hook 將會在 state_dict 上所有已經註冊的 pre-hook 之前觸發。否則，提供的 hook 將在所有已經註冊的 pre-hook 之後觸發。（預設值：False）

傳回

一個 handle，可用於透過呼叫 handle.remove() 來移除新增的鉤子

傳回類型

torch.utils.hooks.RemoveableHandle

register_step_post_hook(hook)[原始碼]¶

註冊一個 optimizer step 的 post-hook，它會在 optimizer step 之後被呼叫。

它應該具有以下簽名：

hook(optimizer, args, kwargs) -> None

optimizer 參數是正在使用的 optimizer 實例。

參數: hook (Callable) – 要註冊的使用者定義的鉤子。
傳回: 一個 handle，可用於透過呼叫 handle.remove() 來移除新增的鉤子
傳回類型: torch.utils.hooks.RemovableHandle

register_step_pre_hook(hook)[原始碼]¶

註冊一個 optimizer step 的 pre-hook，它會在 optimizer step 之前被呼叫。

它應該具有以下簽名：

hook(optimizer, args, kwargs) -> None or modified args and kwargs

optimizer 參數是被使用的 optimizer 實例。如果 pre-hook 修改了 args 和 kwargs，那麼轉換後的值會以包含 new_args 和 new_kwargs 的 tuple 形式返回。

參數: hook (Callable) – 要註冊的使用者定義的鉤子。
傳回: 一個 handle，可用於透過呼叫 handle.remove() 來移除新增的鉤子
傳回類型: torch.utils.hooks.RemovableHandle

state_dict()[原始碼]¶

以 dict 形式返回 optimizer 的狀態。

它包含兩個條目：

state：一個包含目前最佳化狀態的 Dictionary。它的內容
在不同的 optimizer 類別之間有所不同，但有一些共同的特徵。例如，狀態是針對每個參數保存的，並且參數本身不會被保存。state 是一個 Dictionary，它將參數 id 映射到一個包含與每個參數對應的狀態的 Dictionary。
param_groups：包含所有參數群組的 List，其中每個
參數群組都是一個 Dict。每個參數群組包含特定於優化器的元數據，例如學習率和權重衰減，以及群組中參數的參數 ID 列表。如果一個參數群組使用 named_parameters() 初始化，則名稱內容也將保存在 state dict 中。

注意：參數 ID 看起來可能像索引，但它們只是將狀態與 param_group 關聯起來的 ID。從 state_dict 加載時，優化器將壓縮 param_group 的 params (int ID) 和優化器的 param_groups (實際的 nn.Parameter s) ，以便在沒有額外驗證的情況下匹配狀態。

返回的 state dict 可能如下所示

{
    'state': {
        0: {'momentum_buffer': tensor(...), ...},
        1: {'momentum_buffer': tensor(...), ...},
        2: {'momentum_buffer': tensor(...), ...},
        3: {'momentum_buffer': tensor(...), ...}
    },
    'param_groups': [
        {
            'lr': 0.01,
            'weight_decay': 0,
            ...
            'params': [0]
            'param_names' ['param0']  (optional)
        },
        {
            'lr': 0.001,
            'weight_decay': 0.5,
            ...
            'params': [1, 2, 3]
            'param_names': ['param1', 'layer.weight', 'layer.bias'] (optional)
        }
    ]
}

傳回類型: Dict[str, Any]

step(closure=None)[source][source]¶

執行單個優化步驟。

參數: closure (Callable, optional) – 一個重新評估模型並返回損失的閉包函數。

zero_grad(set_to_none=True)[source]¶

重置所有已優化的 torch.Tensor 的梯度。

參數: set_to_none (bool) – 將梯度設為 None，而不是設為零。通常，這會減少記憶體佔用，並可能適度地提高效能。但是，它會改變某些行為。例如：1. 當使用者嘗試存取梯度並對其執行手動操作時，None 屬性或包含 0 的 Tensor 的行為會有所不同。2. 如果使用者請求 zero_grad(set_to_none=True)，然後是反向傳播，則保證對於未收到梯度的參數，.grads 將為 None。3. 如果梯度為 0 或 None，torch.optim 優化器的行為會有所不同（在其中一種情況下，它會以 0 的梯度執行步驟，而在另一種情況下，它會完全跳過該步驟）。

Adagrad¶

文件

教學

資源