torcharrow.functional.add_tokens

torcharrow.functional.add_tokens(input_col: Union[ListColumn, List[Union[str, int]]], tokens: Union[ListColumn, List[Union[str, int]]], begin: bool) → NumericalColumn

將一串符號/索引附加或前置到一個欄位。這是將 EOS 和 BOS 符號添加到文字的常見操作。

參數：

• input_col (輸入符號/索引列表) –

• tokens (要附加或前置的符號/索引列表) –

• begin (布林值，用於決定是前置還是附加符號/索引) –

範例

>>> import torcharrow as ta
>>> from torcharrow import functional
>>> a = ta.column([[1, 2], [3, 4, 5]])
>>> functional.add_tokens(a, [0], begin=True)
0  [0, 1, 2]
1  [0, 3, 4, 5]
dtype: List(Int64(nullable=True), nullable=True), length: 2, null_count: 0