LSTM

class torch.nn.LSTM(input_size, hidden_size, num_layers=1, bias=True, batch_first=False, dropout=0.0, bidirectional=False, proj_size=0, device=None, dtype=None)

將多層長短期記憶 (LSTM) RNN 應用於輸入序列。對於輸入序列中的每個元素，每一層計算以下函數：

$$\begin{array}{ll} \\ i_t = \sigma(W_{ii} x_t + b_{ii} + W_{hi} h_{t-1} + b_{hi}) \\ f_t = \sigma(W_{if} x_t + b_{if} + W_{hf} h_{t-1} + b_{hf}) \\ g_t = \tanh(W_{ig} x_t + b_{ig} + W_{hg} h_{t-1} + b_{hg}) \\ o_t = \sigma(W_{io} x_t + b_{io} + W_{ho} h_{t-1} + b_{ho}) \\ c_t = f_t \odot c_{t-1} + i_t \odot g_t \\ h_t = o_t \odot \tanh(c_t) \\ \end{array}$$

其中 $h_t$ 是時間點 t 的隱藏狀態 (hidden state)，$c_t$ 是時間點 t 的細胞狀態 (cell state)，$x_t$ 是時間點 t 的輸入 (input)，$h_{t-1}$ 是時間點 t-1 時該層的隱藏狀態，或是時間點 0 時的初始隱藏狀態，而 $i_t$、$f_t$、$g_t$、$o_t$ 分別是輸入閘 (input gate)、遺忘閘 (forget gate)、細胞閘 (cell gate) 和輸出閘 (output gate)。$\sigma$ 是 sigmoid 函數，而 $\odot$ 是 Hadamard 乘積。

在一個多層 LSTM 中，第 $l$ 層（$l \ge 2$）的輸入 $x^{(l)}_t$ 是前一層的隱藏狀態 $h^{(l-1)}_t$ 乘以 dropout $\delta^{(l-1)}_t$，其中每個 $\delta^{(l-1)}_t$ 是一個 Bernoulli 隨機變數，其機率為 dropout 時為 $0$。

如果指定 proj_size > 0，將會使用帶有投影的 LSTM。這會以下列方式改變 LSTM cell。首先，$h_t$ 的維度將會從 hidden_size 變更為 proj_size ( $W_{hi}$ 的維度也會相應改變)。其次，每一層的輸出隱藏狀態會乘以一個可學習的投影矩陣：$h_t = W_{hr}h_t$。請注意，因此，LSTM 網路的輸出形狀也會不同。 請參閱下面的「輸入/輸出」部分，以了解所有變數的確切維度。 您可以在 https://arxiv.org/abs/1402.1128 中找到更多詳細資訊。

參數

• input_size – 輸入 x 中預期的特徵數量

• hidden_size – 隱藏狀態 h 中的特徵數量

• num_layers – 遞迴層的數量。 例如，設定 num_layers=2 表示將兩個 LSTM 堆疊在一起以形成一個 堆疊 LSTM，第二個 LSTM 接收第一個 LSTM 的輸出並計算最終結果。 預設值：1

• bias – 如果 False，則該層不使用偏差權重 b_ih 和 b_hh。 預設值：True

• batch_first – 如果 True，則輸入和輸出張量以 (batch, seq, feature) 而非 (seq, batch, feature) 的形式提供。 請注意，這不適用於隱藏或 cell 狀態。 有關詳細資訊，請參閱下面的「輸入/輸出」部分。 預設值：False

• dropout – 如果非零，則在每個 LSTM 層（最後一層除外）的輸出上引入一個 Dropout 層，dropout 概率等於 dropout。 預設值：0

• bidirectional – 如果 True，則變為雙向 LSTM。 預設值：False

• proj_size – 如果 > 0，將使用具有相應大小投影的 LSTM。 預設值：0

輸入： input, (h_0, c_0)

• input: 輸入張量形狀為 $(L, H_{in})$，適用於非批次輸入 (unbatched input)；當 batch_first=False 時，形狀為 $(L, N, H_{in})$；當 batch_first=True 時，形狀為 $(N, L, H_{in})$，其中包含輸入序列的特徵。 輸入也可以是 packed variable length sequence。詳情請參閱 torch.nn.utils.rnn.pack_padded_sequence() 或 torch.nn.utils.rnn.pack_sequence() 。

• h_0: 輸入張量形狀為 $(D * \text{num\_layers}, H_{out})$，適用於非批次輸入 (unbatched input)；或 $(D * \text{num\_layers}, N, H_{out})$，包含輸入序列中每個元素的初始隱藏狀態。如果未提供 (h_0, c_0)，則預設為零。

• c_0：形狀為 $(D * \text{num\_layers}, H_{cell})$ 的張量，適用於未批次處理的輸入；或形狀為 $(D * \text{num\_layers}, N, H_{cell})$ 的張量，包含輸入序列中每個元素的初始 cell 狀態。如果未提供 (h_0, c_0)，則預設為零。

其中

$$\begin{aligned} N ={} & \text{batch size} \\ L ={} & \text{sequence length} \\ D ={} & 2 \text{ if bidirectional=True otherwise } 1 \\ H_{in} ={} & \text{input\_size} \\ H_{cell} ={} & \text{hidden\_size} \\ H_{out} ={} & \text{proj\_size if } \text{proj\_size}>0 \text{ otherwise hidden\_size} \\ \end{aligned}$$

輸出： output, (h_n, c_n)

• output：形狀為 $(L, D * H_{out})$ 的張量（tensor），適用於非批次（unbatched）輸入；形狀為 $(L, N, D * H_{out})$，當 batch_first=False 時；或形狀為 $(N, L, D * H_{out})$，當 batch_first=True 時。包含 LSTM 最後一層在每個時間步 t 的輸出特徵 (h_t)。如果輸入是 torch.nn.utils.rnn.PackedSequence，則輸出也將會是一個 packed sequence。當 bidirectional=True 時，output 將包含序列中每個時間步的前向和反向隱藏狀態的串聯。

• h_n：形狀為 $(D * \text{num\_layers}, H_{out})$ 的張量，適用於非批次輸入；或形狀為 $(D * \text{num\_layers}, N, H_{out})$，包含序列中每個元素的最終隱藏狀態。當 bidirectional=True 時，h_n 將分別包含最終的前向和反向隱藏狀態的串聯。

• c_n: 形狀為 $(D * \text{num\_layers}, H_{cell})$ 的張量，適用於非批次輸入；或形狀為 $(D * \text{num\_layers}, N, H_{cell})$ 的張量，包含序列中每個元素的最終 cell 狀態。當 bidirectional=True 時，c_n 將分別包含正向和反向 cell 狀態的串聯。

變數

• weight_ih_l[k] – 第 $\text{k}^{th}$ 層的可學習輸入到隱藏層的權重 (W_ii|W_if|W_ig|W_io)，當 k = 0 時，形狀為 (4*hidden_size, input_size)。 否則，形狀為 (4*hidden_size, num_directions * hidden_size)。 如果指定了 proj_size > 0，則當 k > 0 時，形狀為 (4*hidden_size, num_directions * proj_size)。

• weight_hh_l[k] – 第 $\text{k}^{th}$ 層的可學習隱藏層到隱藏層的權重 (W_hi|W_hf|W_hg|W_ho)，形狀為 (4*hidden_size, hidden_size)。如果指定了 proj_size > 0，則形狀將為 (4*hidden_size, proj_size)。

• bias_ih_l[k] – 第 $\text{k}^{th}$ 層的可學習輸入到隱藏層的偏差 (b_ii|b_if|b_ig|b_io)，形狀為 (4*hidden_size)

• bias_hh_l[k] – 第 $\text{k}^{th}$ 層的可學習隱藏層到隱藏層的偏差 (b_hi|b_hf|b_hg|b_ho)，形狀為 (4*hidden_size)

• weight_hr_l[k] – 第 $\text{k}^{th}$ 層的可學習投影權重，形狀為 (proj_size, hidden_size)。 僅當指定了 proj_size > 0 時才存在。

• weight_ih_l[k]_reverse – 類似於反向的 weight_ih_l[k]。僅當 bidirectional=True 時才存在。

• weight_hh_l[k]_reverse – 類似於反向的 weight_hh_l[k]。僅當 bidirectional=True 時才存在。

• bias_ih_l[k]_reverse – 類似於反向的 bias_ih_l[k]。僅當 bidirectional=True 時才存在。

• bias_hh_l[k]_reverse – 類似於反向的 bias_hh_l[k]。僅當 bidirectional=True 時才存在。

• weight_hr_l[k]_reverse – 類似於反向的 weight_hr_l[k]。僅當指定了 bidirectional=True 且 proj_size > 0 時才存在。

注意

所有的權重和偏差值都從 $\mathcal{U}(-\sqrt{k}, \sqrt{k})$ 初始化，其中 $k = \frac{1}{\text{hidden\_size}}$。

注意

對於雙向 LSTMs，正向和反向分別是方向 0 和 1。當 batch_first=False 時，分割輸出層的範例：output.view(seq_len, batch, num_directions, hidden_size)。

注意

對於雙向 LSTMs，h_n 不等於 output 的最後一個元素；前者包含最終的正向和反向隱藏狀態，而後者包含最終的正向隱藏狀態和初始的反向隱藏狀態。

注意

未分批輸入會忽略 batch_first 參數。

注意

proj_size 應小於 hidden_size。

警告

對於某些版本的 cuDNN 和 CUDA 上的 RNN 函數，存在已知的不確定性問題。您可以透過設定以下環境變數來強制執行確定性行為

在 CUDA 10.1 上，設定環境變數 CUDA_LAUNCH_BLOCKING=1。這可能會影響效能。

在 CUDA 10.2 或更高版本上，設定環境變數（注意前導冒號符號） CUBLAS_WORKSPACE_CONFIG=:16:8 或 CUBLAS_WORKSPACE_CONFIG=:4096:2。

請參閱 cuDNN 8 發行說明 以取得更多資訊。

注意

如果滿足以下條件：1) 啟用 cudnn，2) 輸入資料位於 GPU 上 3) 輸入資料具有 dtype torch.float16 4) 使用 V100 GPU，5) 輸入資料不在 PackedSequence 格式中，則可以選擇持久演算法來提高效能。

範例

>>> rnn = nn.LSTM(10, 20, 2)
>>> input = torch.randn(5, 3, 10)
>>> h0 = torch.randn(2, 3, 20)
>>> c0 = torch.randn(2, 3, 20)
>>> output, (hn, cn) = rnn(input, (h0, c0))