基本原理
LSTM，长短期记忆 RNN，是 RNN 的变体，优点在于能学习长期依赖的信息，相当于有记忆功能。
LSTM 的关键就是 细胞状态（cell state），水平线在图上方贯穿运行。细胞状态类似于传送带，直接在整个链上运行，只有一些少量的线性交互。信息在上面流传比较容易保持不变。
LSTM 有通过精心设计的称作为”门”的结构来 去除或者增加信息到细胞状态的能力。门是一种让信息选择式通过的方法。他们包含一个 sigmoid 神经网络层和一个按位的乘法操作。 sigmoid 层输出 0 到 1 之间的数值，该数值控制着多少量的信息可以通过。0 代表不允许任何信息通过，1 代表任何信息都可通过。
LSTM 拥有三个门，来保护和控制细胞状态。
首先是 遗忘门，它决定会从细胞状态中丢弃什么信息。f t = 0 f_t = 0 f t =0 表示完全舍弃，f t = 1 f_t = 1 f t =1 表示完全保留。
然后是确定什么样的新信息被存放在细胞状态中。这里包含两个部分。第一， sigmoid 层称 “输入门层” 决定什么值我们将要更新。然后，一个 tanh 层创建一个新的候选值向量。C ~ t \tilde{C}_t C ~t 会被加入到状态中。
然后就是对细胞状态进行更新。
最终，需要确定输出值 h t h_t h t 。这个输出将会基于当前的细胞状态，但是也是一个过滤后的版本。首先，运行一个 sigmoid 层来确定隐藏状态的哪个部分将输出出去。接着，把细胞状态通过 tanh 进行处理（得到一个在 -1 到 1 之间的值）并将它和 sigmoid 门的输出相乘，最终输出该部分。
于是，整个传播过程由公式表示如下：
i t = σ ( W i i x t + b i i + W h i h t − 1 + b h i ) f t = σ ( W i f x t + b i f + W h f h t − 1 + b h f ) g t = tanh ( W i g x t + b i g + W h g h t − 1 + b h g ) o t = σ ( W i o x t + b i o + W h o h t − 1 + b h o ) c t = f t ⊙ c t − 1 + i t ⊙ g t h t = o t ⊙ tanh ( c t ) \begin{aligned} i_{t} &=\sigma\left(W_{i i} x_{t}+b_{i i}+W_{h i} h_{t-1}+b_{h i}\right) \ f_{t} &=\sigma\left(W_{i f} x_{t}+b_{i f}+W_{h f} h_{t-1}+b_{h f}\right) \ g_{t} &=\tanh \left(W_{i g} x_{t}+b_{i g}+W_{h g} h_{t-1}+b_{h g}\right) \ o_{t} &=\sigma\left(W_{i o} x_{t}+b_{i o}+W_{h o} h_{t-1}+b_{h o}\right) \ c_{t} &=f_{t} \odot c_{t-1}+i_{t} \odot g_{t} \ h_{t} &=o_{t} \odot \tanh \left(c_{t}\right) \end{aligned}i t f t g t o t c t h t =σ(W i i x t +b i i +W h i h t −1 +b h i )=σ(W i f x t +b i f +W h f h t −1 +b h f )=tanh (W i g x t +b i g +W h g h t −1 +b h g )=σ(W i o x t +b i o +W h o h t −1 +b h o )=f t ⊙c t −1 +i t ⊙g t =o t ⊙tanh (c t )
参考：https://www.jianshu.com/p/9dc9f41f0b29
Original: https://blog.csdn.net/weixin_41960890/article/details/123967169
Author: 见见大魔王
Title: LSTM原理理解与学习
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/692217/
转载文章受原作者版权保护。转载请注明原作者出处！