GLU

class torch.nn.GLU(dim=-1)

應用閘控線性單元函數。

${GLU}(a, b)= a \otimes \sigma(b)$ 其中 $a$ 是輸入矩陣的前半部分，而 $b$ 是後半部分。

參數

dim (int) – 分割輸入的維度。預設值：-1

形狀

• 輸入： $(\ast_1, N, \ast_2)$，其中 * 表示任意數量的額外維度

• 輸出： $(\ast_1, M, \ast_2)$，其中 $M=N/2$

範例

>>> m = nn.GLU()
>>> input = torch.randn(4, 2)
>>> output = m(input)