torchaudio.prototype.models.emformer_hubert_model¶
- torchaudio.prototype.models.emformer_hubert_model(extractor_input_dim: int, extractor_output_dim: int, extractor_use_bias: bool, extractor_stride: int, encoder_input_dim: int, encoder_output_dim: int, encoder_num_heads: int, encoder_ffn_dim: int, encoder_num_layers: int, encoder_segment_length: int, encoder_left_context_length: int, encoder_right_context_length: int, encoder_dropout: float, encoder_activation: str, encoder_max_memory_size: int, encoder_weight_init_scale_strategy: Optional[str], encoder_tanh_on_mem: bool, aux_num_out: Optional[int]) Wav2Vec2Model[原始碼]¶
建置自訂的 Emformer HuBERT 模型。
- 參數:
extractor_input_dim (int) – 特徵提取器的輸入維度。
extractor_output_dim (int) – 特徵提取器後的輸出維度。
extractor_use_bias (bool) – 若為
True，則在特徵提取器的線性層中啟用偏置參數。extractor_stride (int) – 特徵提取器中要合併以產生輸出幀的幀數。
encoder_input_dim (int) – Emformer 層的輸入維度。
encoder_output_dim (int) – EmformerEncoder 後的輸出維度。
encoder_num_heads (int) – 每個 Emformer 層中的注意力頭數。
encoder_ffn_dim (int) – Emformer 中前饋網路的隱藏層維度。
encoder_num_layers (int) – 要實例化的 Emformer 層數。
encoder_segment_length (int) – 每個輸入片段的長度。
encoder_left_context_length (int) – 左側上下文的長度。
encoder_right_context_length (int) – 右側上下文的長度。
encoder_dropout (float) – Dropout 機率。
encoder_activation (str) – 每個 Emformer 層的前饋網路中要使用的啟動函數。必須是 (“relu”, “gelu”, “silu”) 之一。
encoder_max_memory_size (int) – 要使用的最大記憶體元素數量。
encoder_weight_init_scale_strategy (str 或 None) – 每層權重初始化縮放策略。必須是 (“depthwise”, “constant”,
None) 之一。encoder_tanh_on_mem (bool) – 若為
True，則將 tanh 應用於記憶體元素。aux_num_out (int 或 None) – 當提供時，在編碼器頂部附加一個額外的線性層，可用於微調。
- 返回:
產生的
torchaudio.models.Wav2Vec2Model模型，帶有torchaudio.models.Emformer編碼器。- 返回類型:
