torchaudio.models.emformer_rnnt_model¶
- torchaudio.models.emformer_rnnt_model(*, input_dim: int, encoding_dim: int, num_symbols: int, segment_length: int, right_context_length: int, time_reduction_input_dim: int, time_reduction_stride: int, transformer_num_heads: int, transformer_ffn_dim: int, transformer_num_layers: int, transformer_dropout: float, transformer_activation: str, transformer_left_context_length: int, transformer_max_memory_size: int, transformer_weight_init_scale_strategy: str, transformer_tanh_on_mem: bool, symbol_embedding_dim: int, num_lstm_layers: int, lstm_layer_norm: bool, lstm_layer_norm_epsilon: float, lstm_dropout: float) RNNT[原始碼]¶
建構基於 Emformer 的
RNNT。注意
對於非串流推論，期望在輸入序列上調用 transcribe，並將其與 right_context_length 幀右側串聯。
對於串流推論，期望在包含 segment_length 幀的輸入區塊上調用 transcribe_streaming，並將其與 right_context_length 幀右側串聯。
- 參數:
input_dim (int) – 傳遞到轉錄網路的輸入序列幀的維度。
encoding_dim (int) – 傳遞到聯合網路的轉錄和預測網路產生的編碼的維度。
num_symbols (int) – 目標 token 集合的基數。
segment_length (int) – 輸入片段的長度，以幀數表示。
right_context_length (int) – 右側上下文的長度，以幀數表示。
time_reduction_input_dim (int) – 在應用時間縮減區塊之前，縮放輸入序列中每個元素的維度。
time_reduction_stride (int) – 縮減輸入序列長度的因子。
transformer_num_heads (int) – 每個 Emformer 層中的注意力頭數。
transformer_ffn_dim (int) – 每個 Emformer 層的前饋網路的隱藏層維度。
transformer_num_layers (int) – 要實例化的 Emformer 層數。
transformer_left_context_length (int) – Emformer 考量的左側上下文長度。
transformer_dropout (float) – Emformer dropout 概率。
transformer_activation (str) – 在每個 Emformer 層的前饋網路中使用的激活函數。必須是 (“relu”, “gelu”, “silu”) 之一。
transformer_max_memory_size (int) – 要使用的最大記憶體元素數量。
transformer_weight_init_scale_strategy (str) – 每層權重初始化縮放策略。必須是 (“depthwise”, “constant”,
None) 之一。transformer_tanh_on_mem (bool) – 如果
True，則對記憶體元素應用 tanh。symbol_embedding_dim (int) – 每個目標 token 嵌入的維度。
num_lstm_layers (int) – 要實例化的 LSTM 層數。
lstm_layer_norm (bool) – 如果
True，則為 LSTM 層啟用層歸一化。lstm_layer_norm_epsilon (float) – 在 LSTM 層歸一化層中使用的 epsilon 值。
lstm_dropout (float) – LSTM dropout 概率。
- 返回:
Emformer RNN-T 模型。
- 返回類型:
