torch.nn.attention.bias

定義與 scaled_dot_product_attention 搭配使用的 bias 子類別

CausalBias

CausalBias

一種表示因果注意模式的 bias。

causal_lower_right	建立右下三角形因果 bias。
causal_upper_left	建立左上三角形因果 bias。
CausalVariant	用於注意機制中因果變體的枚舉。