ASGD¶

class torch.optim.ASGD(params, lr=0.01, lambd=0.0001, alpha=0.75, t0=1000000.0, weight_decay=0, foreach=None, maximize=False, differentiable=False, capturable=False)[原始碼][原始碼]¶

實作平均隨機梯度下降法 (Averaged Stochastic Gradient Descent)。

此方法已於 Acceleration of stochastic approximation by averaging 中提出。

參數

params (iterable) – 待優化的參數的 iterable，或 named_parameters，或定義參數群組的 dicts 的 iterable。當使用 named_parameters 時，所有群組中的所有參數都應該被命名
lr (float, Tensor, optional) – 學習率 (預設值：1e-2)
lambd (float, optional) – 衰減項 (預設值：1e-4)
alpha (float, optional) – eta 更新的次方 (預設值：0.75)
t0 (float, optional) – 開始平均的點 (預設值：1e6)
weight_decay (float, optional) – 權重衰減 (L2 懲罰) (預設值：0)
foreach (bool, optional) – 是否使用最佳化器的 foreach 實作。如果使用者未指定 (因此 foreach 為 None)，我們將嘗試在 CUDA 上使用 foreach 而不是 for-loop 實作，因為它通常具有顯著更高的效能。請注意，由於中間值是一個 tensorlist 而不是僅一個 tensor，因此 foreach 實作使用的峰值記憶體比 for-loop 版本多約 ~ sizeof(params)。如果記憶體過於昂貴，請一次批次處理較少的參數通過最佳化器，或將此旗標切換為 False (預設值：None)
maximize (bool, optional) – 相對於參數最大化目標，而不是最小化 (預設值：False)
differentiable (bool, optional) – 是否應該在訓練期間通過最佳化器步驟發生 autograd。否則，step() 函數在 torch.no_grad() 內容中運行。設定為 True 可能會降低效能，因此如果您不打算通過此實例運行 autograd，請將其保留為 False (預設值：False)
capturable (bool, optional) – 此實例是否可以安全地在 CUDA 圖形中捕獲。傳遞 True 可能會降低未繪製圖形的效能，因此如果您不打算繪製捕獲此實例，請將其保留為 False (預設值：False)

add_param_group(param_group)[原始碼]¶

新增一個參數群組到 Optimizer 的 param_groups。

當微調一個預先訓練的網路時，這會很有用，因為凍結的層可以變成可訓練的，並在訓練過程中添加到 Optimizer 。

參數: param_group (dict) – 指定哪些 Tensors 應該被最佳化，以及群組特定的最佳化選項。

load_state_dict(state_dict)[原始碼]¶

載入最佳化器的狀態。

參數: state_dict (dict) – 最佳化器狀態。應該是從呼叫 state_dict() 返回的物件。

備註

參數的名稱（如果它們存在於 state_dict() 中每個 param group 的 “param_names” 鍵下）將不會影響載入過程。若要將參數的名稱用於自定義案例（例如，當載入狀態字典中的參數與最佳化器中初始化的參數不同時），應實作自定義 register_load_state_dict_pre_hook 以相應地調整載入的字典。如果 param_names 存在於載入的 state dict param_groups 中，它們將被儲存並覆寫最佳化器狀態中目前存在的名稱。如果它們不存在於載入的 state dict 中，則最佳化器 param_names 將保持不變。

register_load_state_dict_post_hook(hook, prepend=False)[原始碼]¶

註冊一個 load_state_dict 後置鉤子，它將在呼叫 load_state_dict() 之後被呼叫。它應該具有以下簽名

hook(optimizer) -> None

optimizer 參數是正在使用的最佳化器實例。

在 self 上呼叫 load_state_dict 之後，hook 會以引數 self 被呼叫。註冊的 hook 可用於在 load_state_dict 載入 state_dict 之後執行後處理。

參數

hook (Callable) – 要註冊的使用者定義 hook。
prepend (bool) – 如果為 True，提供的 post hook 將在 load_state_dict 上所有已註冊的 post-hook 之前觸發。否則，提供的 hook 將在所有已註冊的 post-hook 之後觸發。(預設值：False)

回傳

一個控制代碼，可用於呼叫 handle.remove() 來移除已新增的 hook

回傳類型

torch.utils.hooks.RemoveableHandle

register_load_state_dict_pre_hook(hook, prepend=False)[source]¶

註冊一個 load_state_dict pre-hook，它會在呼叫 load_state_dict() 之前被呼叫。它應該具有以下簽章

hook(optimizer, state_dict) -> state_dict or None

optimizer 引數是被使用的 optimizer 實例，而 state_dict 引數是使用者傳遞給 load_state_dict 的 state_dict 的淺層副本。hook 可以在原地修改 state_dict，或者選擇性地傳回一個新的 state_dict。如果傳回一個 state_dict，它將被用於載入到 optimizer 中。

在 self 上呼叫 load_state_dict 之前，hook 會以引數 self 和 state_dict 被呼叫。註冊的 hook 可用於在進行 load_state_dict 呼叫之前執行預處理。

參數

hook (Callable) – 要註冊的使用者定義 hook。
prepend (bool) – 如果為 True，提供的 pre hook 將在 load_state_dict 上所有已註冊的 pre-hook 之前觸發。否則，提供的 hook 將在所有已註冊的 pre-hook 之後觸發。(預設值：False)

回傳

一個控制代碼，可用於呼叫 handle.remove() 來移除已新增的 hook

回傳類型

torch.utils.hooks.RemoveableHandle

register_state_dict_post_hook(hook, prepend=False)[source]¶

註冊一個 state dict post-hook，它會在呼叫 state_dict() 之後被呼叫。

它應該具有以下簽章

hook(optimizer, state_dict) -> state_dict or None

在 self 上產生 state_dict 之後，hook 會以引數 self 和 state_dict 被呼叫。hook 可以在原地修改 state_dict，或者選擇性地傳回一個新的 state_dict。註冊的 hook 可用於在傳回 state_dict 之前對其執行後處理。

參數

hook (Callable) – 要註冊的使用者定義 hook。
prepend (bool) – 如果為 True，提供的 post hook 將在 state_dict 上所有已註冊的 post-hook 之前觸發。否則，提供的 hook 將在所有已註冊的 post-hook 之後觸發。(預設值：False)

回傳

一個控制代碼，可用於呼叫 handle.remove() 來移除已新增的 hook

回傳類型

torch.utils.hooks.RemoveableHandle

register_state_dict_pre_hook(hook, prepend=False)[source]¶

註冊一個 state dict pre-hook，它會在呼叫 state_dict() 之前被呼叫。

它應該具有以下簽章

hook(optimizer) -> None

optimizer 引數是被使用的 optimizer 實例。在 self 上呼叫 state_dict 之前，hook 會以引數 self 被呼叫。註冊的 hook 可用於在進行 state_dict 呼叫之前執行預處理。

參數

hook (Callable) – 要註冊的使用者定義 hook。
prepend (bool) – 如果為 True，提供的 pre hook 將在 state_dict 上所有已註冊的 pre-hook 之前觸發。否則，提供的 hook 將在所有已註冊的 pre-hook 之後觸發。(預設值：False)

回傳

一個控制代碼，可用於呼叫 handle.remove() 來移除已新增的 hook

回傳類型

torch.utils.hooks.RemoveableHandle

register_step_post_hook(hook)[source]¶

註冊一個 optimizer step post hook，它將在 optimizer step 之後被呼叫。

它應該具有以下簽章

hook(optimizer, args, kwargs) -> None

optimizer 參數是正在使用的最佳化器實例。

參數: hook (Callable) – 要註冊的使用者定義 hook。
回傳: 一個控制代碼，可用於呼叫 handle.remove() 來移除已新增的 hook
回傳類型: torch.utils.hooks.RemovableHandle

register_step_pre_hook(hook)[source]¶

註冊一個 optimizer step pre hook，它將在 optimizer step 之前被呼叫。

它應該具有以下簽章

hook(optimizer, args, kwargs) -> None or modified args and kwargs

optimizer 參數是正在使用的 optimizer 實例。如果 args 和 kwargs 被 pre-hook 修改，則轉換後的值將作為一個包含 new_args 和 new_kwargs 的 tuple 回傳。

參數: hook (Callable) – 要註冊的使用者定義 hook。
回傳: 一個控制代碼，可用於呼叫 handle.remove() 來移除已新增的 hook
回傳類型: torch.utils.hooks.RemovableHandle

state_dict()[source]¶

將 optimizer 的狀態作為 dict 回傳。

它包含兩個條目

state: 一個包含目前優化狀態的 Dict。它的內容
在不同的 optimizer 類別之間有所不同，但有一些共同的特徵。例如，state 是基於每個參數儲存的，並且參數本身不會被儲存。state 是一個 Dictionary，將參數 ID 映射到一個 Dict，其中包含對應於每個參數的狀態。
param_groups: 一個包含所有參數群組的 List，其中每個
參數群組是一個 Dict。每個參數群組包含特定於 optimizer 的元數據，例如學習率和權重衰減，以及群組中參數 ID 的 List。如果使用 named_parameters() 初始化了參數群組，則名稱內容也將儲存在 state dict 中。

注意：參數 ID 看起來可能像索引，但它們只是將 state 與 param_group 關聯的 ID。從 state_dict 載入時，optimizer 將壓縮 param_group 的 params（int ID）和 optimizer 的 param_groups（實際的 nn.Parameter s），以便在沒有額外驗證的情況下匹配 state。

回傳的 state dict 可能看起來像這樣

{
    'state': {
        0: {'momentum_buffer': tensor(...), ...},
        1: {'momentum_buffer': tensor(...), ...},
        2: {'momentum_buffer': tensor(...), ...},
        3: {'momentum_buffer': tensor(...), ...}
    },
    'param_groups': [
        {
            'lr': 0.01,
            'weight_decay': 0,
            ...
            'params': [0]
            'param_names' ['param0']  (optional)
        },
        {
            'lr': 0.001,
            'weight_decay': 0.5,
            ...
            'params': [1, 2, 3]
            'param_names': ['param1', 'layer.weight', 'layer.bias'] (optional)
        }
    ]
}

回傳類型: Dict[str, Any]

step(closure=None)[source][source]¶

執行單次最佳化步驟。

參數: closure (Callable, optional) – 一個重新評估模型並回傳 loss 的 closure。

zero_grad(set_to_none=True)[source]¶

重置所有優化的 torch.Tensor s 的梯度。

參數: set_to_none (bool) – 不是將梯度設為零，而是將梯度設為 None。這通常會降低記憶體佔用量，並且可以適度提高效能。但是，它會改變某些行為。例如：1. 當使用者嘗試存取梯度並對其執行手動操作時，None 屬性或充滿 0 的 Tensor 的行為會有所不同。 2. 如果使用者請求 zero_grad(set_to_none=True)，然後進行反向傳播，則對於沒有收到梯度的參數，保證 .grads 為 None。 3. 如果梯度為 0 或 None，torch.optim optimizers 的行為會有所不同（在一种情況下，它以梯度 0 執行步驟，而在另一種情況下，它完全跳過該步驟）。

ASGD¶

文件

教學

資源