torch.nn.functional.silu

torch.nn.functional.silu(input, inplace=False)

逐元素套用 Sigmoid Linear Unit (SiLU) 函數。

SiLU 函數也稱為 swish 函數。

$$\text{silu}(x) = x * \sigma(x), \text{where } \sigma(x) \text{ is the logistic sigmoid.}$$

注意

請參閱 Gaussian Error Linear Units (GELUs)，其中最初提出了 SiLU (Sigmoid Linear Unit)；並參閱 Sigmoid-Weighted Linear Units for Neural Network Function Approximation in Reinforcement Learning 和 Swish: a Self-Gated Activation Function，其中 SiLU 後來被實驗使用。

請參閱 SiLU 以取得更多詳細資訊。

回傳類型

Tensor