torch.nn.attention.bias.causal_lower_right

torch.nn.attention.bias.causal_lower_right(*size)

建立一個右下三角因果偏差。

此函數產生一個右下三角矩陣，以表示因果注意力偏差，其對角線偏移設定為使包含的值與矩陣的右下角對齊。

用於建構此偏差的等效 pytorch 程式碼為

diagonal_offset = size[1] - size[0]
torch.tril(
    torch.ones(size, dtype=torch.bool),
    diagonal=diagonal_offset,
)

例如，若 shape=(3,4)，則實現的偏差張量將為

[[1, 1, 0, 0],
 [1, 1, 1, 0],
 [1, 1, 1, 1]]

參數

size – 偏置矩陣的大小。

回傳

LOWER_RIGHT 三角形因果偏置變體。

回傳類型

CausalBias