torch.nn.utils.get_total_norm

torch.nn.utils.get_total_norm(tensors, norm_type=2.0, error_if_nonfinite=False, foreach=None)

計算張量 iterable 的範數。

範數是在個別張量的範數上計算的，就好像個別張量的範數被串聯成單個向量一樣。

參數

• tensors (Iterable[Tensor] or Tensor) – 一個張量 Iterable 或一個將被正規化的單個張量

• norm_type ( float) – 所使用的 p-norm 的類型。可以是 'inf'，代表無窮範數。

• error_if_nonfinite ( bool) – 如果為 True，當 tensors 的總範數為 nan、inf 或 -inf 時，會拋出錯誤。預設值：False

• foreach ( bool) – 使用更快的基於 foreach 的實作。如果為 None，則 CUDA 和 CPU 原生張量使用 foreach 實作，而對於其他裝置類型，則靜默地回退到較慢的實作。預設值：None

返回

張量的總範數（視為單一向量）。

返回類型

Tensor