AI金融:LSTM预测股票

长短记忆神经网络——通常称作LSTM,是一种特殊的RNN,能够学习长的依赖关系。 他们由Hochreiter&Schmidhuber引入,并被许多人进行了改进和普及。他们在各种各样的问题上工作的非常好,现在被广泛使用。

LSTM是为了避免长依赖问题而精心设计的。 记住较长的历史信息实际上是他们的默认行为,而不是他们努力学习的东西。

所有循环神经网络都具有神经网络的重复模块链的形式。 在标准的RNN中,该重复模块将具有非常简单的结构,例如单个tanh层。

LSTM也拥有这种链状结构,但是重复模块则拥有不同的结构。与神经网络的简单的一层相比,LSTM拥有四层,这四层以特殊的方式进行交互。

LSTM的关键是细胞状态,表示细胞状态的这条线水平的穿过图的顶部。

细胞的状态类似于传送带,细胞的状态运行在整个链条上,只有几个小的线性操作在它上面作用,信息可以很容易地在整个链条上流动。

[En]

The state of the cell is similar to the conveyor belt, the state of the cell runs on the whole chain, only a few small linear operations act on it, and the information can easily flow through the whole chain.

门(Gate)是一种可选地让信息通过的方式。 它由一个Sigmoid神经网络层和一个点乘法运算组成。

Sigmoid神经网络层输出0和1之间的数字,这个数字描述每个组件有多少信息可以通过, 0表示不通过任何信息,1表示全部通过

LSTM有三个门,用于保护和控制细胞的状态。

LSTM的第一步是决定我们要从细胞状态中丢弃什么信息。 该决定由被称为”忘记门”的Sigmoid层实现。它查看ht-1(前一个输出)和xt(当前输入),并为单元格状态Ct-1(上一个状态)中的每个数字输出0和1之间的数字。1代表完全保留,而0代表彻底删除。

让我们回到语言模型的例子,并尝试根据之前的语料库预测下一个单词。在这样的问题中,单元格状态可能包括当前受试者的性别,因此决定使用正确的代词。当我们看到一个新主题时,我们想要忘记旧主题的性别。

[En]

Let’s go back to the example of the language model and try to predict the next word based on the previous corpus. In such a problem, the cell state may include the gender of the current subject, thus deciding to use the correct pronoun. When we see a new theme, we want to forget the gender of the old theme.

下一步是决定我们要在细胞状态中存储什么信息。 这部分分为两步。 首先,称为”输入门层”的Sigmoid层决定了我们将更新哪些值。 接下来一个tanh层创建候选向量Ct,该向量将会被加到细胞的状态中。 在下一步中,我们将结合这两个向量来创建更新值。

在我们的语言模型的示例中,我们希望将新主题的性别添加到单元格状态,以替换我们已经忘记的旧对象。

[En]

In the example of our language model, we want to add the gender of the new topic to the cell state to replace the old objects we have forgotten.

现在是时候去更新上一个状态值Ct−1了,将其更新为Ct。签名的步骤以及决定了应该做什么,我们只需实际执行即可。

我们将上一个状态值乘以ft,以此表达期待忘记的部分。之后我们将得到的值加上 it∗C̃ t。这个得到的是新的候选值, 按照我们决定更新每个状态值的多少来衡量.

在语言模型的示例中,它对应于实际删除关于旧主题的性别的信息并添加新信息,如前面的步骤所述。

[En]

In the example of the language model, it corresponds to the actual deletion of information about the gender of the old topic and the addition of new information, as described in the previous steps.

最后,我们需要决定我们要输出什么。 此输出将基于我们的细胞状态,但将是一个过滤版本。 首先,我们运行一个sigmoid层,它决定了我们要输出的细胞状态的哪些部分。 然后,我们将单元格状态通过tanh(将值规范化到-1和1之间),并将其乘以Sigmoid门的输出,至此我们只输出了我们决定的那些部分。

以语言模型为例,由于您只看到一个主题,因此考虑到稍后可能出现的单词,它可能需要输出与动词相关的信息。例如,它可能会输出主题是单数还是复数,以便我们知道动词应该如何组合在一起。

[En]

For the example of a language model, since you see only one topic, considering the words that may appear later, it may need to output information related to verbs. For example, it might output whether the theme is singular or plural so that we know how verbs should be grouped together.

Original: https://www.cnblogs.com/Anita9002/p/11028575.html
Author: Anita-ff
Title: AI金融:LSTM预测股票

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/7638/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

免费咨询
免费咨询
扫码关注
扫码关注
联系站长

站长Johngo!

大数据和算法重度研究者!

持续产出大数据、算法、LeetCode干货,以及业界好资源!

2022012703491714

微信来撩,免费咨询:xiaozhu_tec

分享本页
返回顶部