torch.nn.attention.bias.causal_upper_left

torch.nn.attention.bias.causal_upper_left(*size)

建立一個左上三角因果偏差。

此函數生成一個左上三角矩陣，以表示因果注意力偏差，並設置對角線偏移量，使包含的值與矩陣的左上角對齊。 這等效於 scaled_dot_product_attention 中的 is_causal=True 參數。

以下為建構此偏差的等效 Pytorch 程式碼：

torch.tril(torch.ones(size, dtype=torch.bool))

例如，如果 shape=(3,4)，則具體化的偏差張量將為：

[[1, 0, 0, 0],
 [1, 1, 0, 0],
 [1, 1, 1, 0]]

參數

size – 偏差矩陣的大小。

回傳

UPPER_LEFT 三角形因果偏差變體。

回傳類型

CausalBias