SELU

class torch.nn.SELU(inplace=False)

逐元素套用 SELU 函數。

$$\text{SELU}(x) = \text{scale} * (\max(0,x) + \min(0, \alpha * (\exp(x) - 1)))$$

其中 $\alpha = 1.6732632423543772848170429916717$ 且 $\text{scale} = 1.0507009873554804934193349852946$。

警告

當使用 kaiming_normal 或 kaiming_normal_ 進行初始化時，為了獲得自正規化神經網路，應該使用 nonlinearity='linear'，而不是 nonlinearity='selu'。詳情請參考 torch.nn.init.calculate_gain()。

更多細節請參考論文 Self-Normalizing Neural Networks 。

參數

inplace (bool, optional) – 是否選擇性地進行原地 (in-place) 操作。預設值：False

形狀

• 輸入：$(*)$，其中 $*$ 代表任意數量的維度。

• 輸出：$(*)$，與輸入相同的形狀。

範例

>>> m = nn.SELU()
>>> input = torch.randn(2)
>>> output = m(input)