RMSNorm

class torch.nn.RMSNorm(normalized_shape, eps=None, elementwise_affine=True, device=None, dtype=None)

對輸入的小批量資料應用均方根層歸一化 (Root Mean Square Layer Normalization)。

此層實作了論文 Root Mean Square Layer Normalization 中描述的運算。

$$y_i = \frac{x_i}{\mathrm{RMS}(x)} * \gamma_i, \quad \text{where} \quad \text{RMS}(x) = \sqrt{\epsilon + \frac{1}{n} \sum_{i=1}^{n} x_i^2}$$

RMS 是在最後 D 個維度上計算的，其中 D 是 normalized_shape 的維度。 例如，如果 normalized_shape 是 (3, 5)（一個二維形狀），則 RMS 是在輸入的最後 2 個維度上計算的。

參數

• normalized_shape ( int 或 list 或 torch.Size) –

  期望輸入的 shape (形狀)，來自大小為

  $$[* \times \text{normalized\_shape}[0] \times \text{normalized\_shape}[1] \times \ldots \times \text{normalized\_shape}[-1]]$$

  如果使用單一整數，則會將其視為單例列表，並且此模組將在最後一個維度上進行正規化，該維度的預期大小為該特定大小。

• eps ( Optional[float]) – 加到分母以確保數值穩定性的值。預設值： torch.finfo(x.dtype).eps()

• elementwise_affine ( bool) – 一個布林值，當設定為 True 時，此模組具有可學習的逐元素仿射參數，這些參數初始化為 1 (對於權重)。預設值： True。

Shape (形狀)

• Input (輸入): $(N, *)$

• Output (輸出): $(N, *)$ (與輸入相同的形狀)

Examples (範例)

>>> rms_norm = nn.RMSNorm([2, 3])
>>> input = torch.randn(2, 2, 3)
>>> rms_norm(input)

extra_repr()

關於模組的額外資訊。

Return type (回傳類型)

str

forward(x)

執行前向傳遞。

Return type (回傳類型)

Tensor

reset_parameters()

基於 __init__ 中使用的初始化重置參數。