L1Unstructured

class torch.nn.utils.prune.L1Unstructured(amount)

藉由將 L1 範數 (L1-norm) 最低的單元歸零，來剪除張量中（目前未剪除的）單元。

參數

amount (int 或 float) – 要剪除的參數數量。如果 float，則應介於 0.0 和 1.0 之間，並表示要剪除的參數比例。如果 int，則表示要剪除的參數的絕對數量。

classmethod apply(module, name, amount, importance_scores=None)

動態地新增剪枝功能並重新參數化張量。

新增一個前向預先鉤子 (forward pre-hook)，允許動態地進行剪枝，並且根據原始張量和剪枝遮罩 (pruning mask) 重新參數化張量。

參數

• module (nn.Module) – 包含要剪除的張量的模組。

• name (str) – module 內將進行剪枝的參數名稱。

• amount (int 或 float) – 要剪除的參數數量。如果 float，則應介於 0.0 和 1.0 之間，並表示要剪除的參數比例。如果 int，則表示要剪除的參數的絕對數量。

• importance_scores (torch.Tensor) – 重要性分數 (importance scores) 的張量（與模組參數的形狀相同），用於計算剪枝的遮罩。此張量中的值表示要剪除的參數中對應元素的重要性。如果未指定或為 None，則將使用模組參數代替。

apply_mask(module)

簡單地處理要剪除的參數與產生的遮罩之間的乘法。

從模組中提取遮罩和原始張量，並傳回張量的剪除版本。

參數

module (nn.Module) – 包含要剪除的張量的模組。

傳回

輸入張量的剪除版本

傳回類型

pruned_tensor (torch.Tensor)

prune(t, default_mask=None, importance_scores=None)

計算並傳回輸入張量 t 的剪除版本。

根據 compute_mask() 中指定的剪枝規則。

參數

• t (torch.Tensor) – 要剪除的張量（與 default_mask 的維度相同）。

• importance_scores (torch.Tensor) – 重要性分數的張量（與 t 的形狀相同），用於計算剪除 t 的遮罩。此張量中的值表示要剪除的 t 中對應元素的重要性。如果未指定或為 None，則將使用張量 t 代替。

• default_mask (torch.Tensor, optional) – 來自先前剪枝迭代的遮罩（如果有的話）。在確定剪枝應作用於張量的哪個部分時，應考慮此遮罩。如果為 None，則預設為一個全 1 的遮罩。

傳回

張量 t 的剪除版本。

remove(module)

從模組中移除剪枝的重新參數化。

名為 name 的剪除參數將永久保持剪除狀態，並且名為 name+'_orig' 的參數將從參數列表中移除。同樣地，名為 name+'_mask' 的緩衝區將從緩衝區中移除。

注意

剪枝本身不會被取消或反轉！