28. 深度学习进阶 - LSTM

我就是我 2024-02-05 13:43 53阅读 0赞

#### 文章目录 ####

![在这里插入图片描述][d41d720a0a6041a7bb5776b85cc8a4b4.png]

Hi, 你好。我是茶桁。

我们上一节课，用了一个示例来展示了一下我们为什么要用RNN神经网络，它和全连接的神经网络具体有什么区别。

这节课，我们就着上一节课的内容继续往后讲，没看过上节课的，建议回头去好好看看，特别是对代码的进程顺序好好的弄清楚。

全连接的模型得很仔细的去改变它的结构，然后再给它加很多东西，效果才能变好：

self.linear_with_tanh = nn.Sequential(
        nn.Linear(10, self.hidden_size),
        nn.Tanh(),
        nn.Linear(self.hidden_size, self.hidden_size),
        nn.Tanh(),
        nn.Linear(self.hidden_size, output_size)
    )

但是对于RNN模型来说，我们只用了两个函数：

self.rnn = nn.RNN(x_size, hidden_size, n_layers, batch_first=True)
    self.out = nn.Linear(hidden_size, output_size)

这是一个很本质的问题, 也比较重要。为什么RNN的模型这么简单，它的效果比更复杂的全连接要好呢？

这个和我们平时生活中做各种事情其实都很类似，他背后的原因是他的信息保留的更多。RNN模型厉害的本质是在运行的过程中把更多的信息记录下来，而全连接没有记录。

对于RNN模型，还有两个点大家需要注意。

第一个，有一种叫做stacked的RNN的模型。我们RNN模型每一次输出都有一个output和hidden，把outputs和hidden作为它的输入再传给另外一个RNN模型，模型就变得更复杂，理论上可以解决些更复杂的场景。我们把这种就叫做stacked RNN。

![Alt text][]

还有一种形式，Bidirectional RNN，双向RNN。有一个很著名的文本模型Bert, 那个B就是双向的意思。

我们回过头来看上节课我们讲过的两种网络：

h t = σ h ( W h x t + U h h t − 1 + b h ) y t = σ y ( W y h t + b y ) \\begin\{align\*\} h\_t & = \\sigma\_h(W\_hx\_t + U\_hh\_\{t-1\} + b\_h) \\\\ y\_t & = \\sigma\_y(W\_yh\_t + b\_y) \\end\{align\*\} htyt=σh(Whxt\+Uhht−1\+bh)=σy(Wyht\+by)

在这个里面，每一时刻的y\_t只和y\_\{t-1\} 有关系，如果把所有的x一次性给到模型的时候，其实我们在这里可以给它加一个东西：

h t = σ h ( W h x t + U h h t − 1 + V h ∗ h t + 1 + b h ) \\begin\{align\*\} h\_t & = \\sigma\_h(W\_hx\_t + U\_hh\_\{t-1\} + V\_h \* h\_\{t+1\} + b\_h) \\end\{align\*\} ht=σh(Whxt\+Uhht−1\+Vh∗ht\+1\+bh)

还可以写成这样，那这样的话它实现的就是每一时刻的t既和前一次有关系  
和后一刻有关系。这样我们每一次的值不仅和前面有关，还和后面有关。就叫做双向RNN。

![Alt text][Alt text 1]

对于RNN来说，它有一个很严重的问题，就是之前说过的，它的vanishing和exploding的问题会很明显, 也就是梯度消失和爆炸问题。

![在这里插入图片描述][d19eece57ab54dc0b1af856fe54a00d2.png]

想一下，现在如果有一个loss，那它最终的loss是不是对于\{x1, x2, …, xn\}都有关系，比方说现在要求 ∂ l o s s ∂ w 1 \\frac\{\\partial loss\}\{\\partial w\_1\} ∂w1∂loss, 假如说现在h是100， 那这种调用关系就是

∂ l o s s ∂ w 1 = ∂ h 100 ∂ h 99 ⋅ ∂ h 99 ∂ h 98 ⋅ . . . ⋅ ∂ h 0 ∂ w 1 \\begin\{align\*\} \\frac\{\\partial loss\}\{\\partial w\_1\} = \\frac\{\\partial h\_\{100\}\}\{\\partial h\_\{99\}\} \\cdot \\frac\{\\partial h\_\{99\}\}\{\\partial h\_\{98\}\} \\cdot ... \\cdot \\frac\{\\partial h\_\{0\}\}\{\\partial w\_\{1\}\} \\end\{align\*\} ∂w1∂loss=∂h99∂h100⋅∂h98∂h99⋅...⋅∂w1∂h0

loss对于w1求偏导的时候，其实loss最先接受的是离他最近的, 假如说是h100。h100调用了h99,h99调用h98，就这个调用过程，这一串东西会变得很长。

我们之前课程说过一些情况，怎么去解决这个问题呢？对于RNN模型来说梯度爆炸很好解决，就直接设定一个阈值就可以了，起码也是能学习的。

![在这里插入图片描述][7497490e99f9468eab2871af0bf262fd.png]

要讲的是想一种方法怎么样来解决梯度消失的问题。这个梯度消失的解决方法，就叫LSTM。要解决梯度消失，就是要用LSTM: Long Short-Term Memory，长短记忆模型，既能保持长信息，又能保持短信息。

在之前那个很长的过程中，怎么样能够让它不消散呢？LSTM的核心思想是通过门控机制来控制信息的流动和及已的更新，包含了Input Gate, Forget Gate，Cell State以及Output Gate。这些会一起协作来处理序列数据。

其中Input Gate控制着新信息的输入，以及信息对细胞状态的影响。 Forget Gate控制着细胞状态中哪些信息应该被易王，Cell State用于传递信息，是LSTM的核心，Output Gate控制着细胞状态如何影响输出。

这里每一个门控单元都由一个Sigmoid激活函数来控制信息的流动，以及一个Tanh激活函数来确定信息的值。

I n p u t G a t e i t = σ ( W i ⋅ \[ h t − 1 , x t \] + b i ) C ′ t = tanh ⁡ ( W c ⋅ \[ h t − 1 , x t \] + b c ) C t = f t ⋅ C t − 1 + i t ⋅ C t ′ F o r g e t G a t e f t = σ ( W f ⋅ \[ h t − 1 , x t \] + b f ) C t = f t ⋅ C t − 1 + i t ⋅ C t ′ O u t p u t G a t e o t = σ ( W o ⋅ \[ h t − 1 , x t \] + b o ) h t = o t ⋅ tanh ⁡ ( C t ) \\begin\{align\*\} Input Gate \\\\ i\_t & = \\sigma(W\_i \\cdot \[h\_\{t-1\}, x\_t\] + b\_i) \\\\ C't & = \\tanh(W\_c \\cdot \[h\{t-1\}, x\_t\] + b\_c) \\\\ C\_t & = f\_t \\cdot C\_\{t-1\} + i\_t \\cdot C'\_t \\\\ Forget Gate \\\\ f\_t & = \\sigma(W\_f \\cdot \[h\_\{t-1\}, x\_t\] + b\_f) \\\\ C\_t & = f\_t \\cdot C\_\{t-1\} + i\_t \\cdot C'\_t \\\\ Output Gate \\\\ o\_t & = \\sigma(W\_o \\cdot \[h\_\{t-1\}, x\_t\] + b\_o) \\\\ h\_t & = o\_t \\cdot \\tanh(C\_t) \\end\{align\*\} InputGateitC′tCtForgetGateftCtOutputGateotht=σ(Wi⋅\[ht−1,xt\]\+bi)=tanh(Wc⋅\[ht−1,xt\]\+bc)=ft⋅Ct−1\+it⋅Ct′=σ(Wf⋅\[ht−1,xt\]\+bf)=ft⋅Ct−1\+it⋅Ct′=σ(Wo⋅\[ht−1,xt\]\+bo)=ot⋅tanh(Ct)

其中， h t − 1 h\_\{t-1\} ht−1 是前一个时间步的隐藏状态， x t x\_t xt 是当前时间步的输入， W i , W f , W o , W c W\_i, W\_f, W\_o, W\_c Wi,Wf,Wo,Wc 是权重矩阵， b i , b f , b o , b c b\_i, b\_f, b\_o, b\_c bi,bf,bo,bc 是偏置。

![Alt text][Alt text 2]

LSTM输入的是一个序列数据，可以是文本、时间序列，音频信号等等。那每个时间步的输入是序列中的饿一个元素，比如一个单词、一个时间点的观测值等等。

假设我们有一个序列 x = \[x1, x2, …, xt\]， 其中t就代表的是时间步。

xt进来的时候, 之前我们是只接收一个hidden state, 现在我们多接收了一个 C t − 1 C\_\{t-1\} Ct−1，这个就是我们的Cell，这一步的 C t − 1 C\_\{t-1\} Ct−1其实就是上一步的 C t C\_t Ct。

在训练开始时，需要初始化LSTM单元的隐藏状态h0和细胞状态c0。通常我们初始化它们为全零向量。

最开始的时候，我们要进入Input Gate, 对于每个时间步t, 计算输入门的激活值 i t i\_t it，控制新信息的输入。使用Sigmoid函数来计算输入门的值：

i t = σ ( W i ⋅ \[ h t − 1 , x t \] + b i ) i\_t = \\sigma (W\_i \\cdot \[h\_\{t-1\}, x\_t\] + b\_i) it=σ(Wi⋅\[ht−1,xt\]\+bi)

然后，计算新的侯选值 C t ′ C'\_t Ct′， 这是在当前时间步考虑的新信息。使用tanh激活函数来计算侯选值：

C t ′ = t a n h ( W c ⋅ \[ h t − 1 , x t \] + b c ) C'\_t = tanh(W\_c \\cdot \[h\_\{t-1\}, x\_t\] + b\_c) Ct′=tanh(Wc⋅\[ht−1,xt\]\+bc)

接下来我们就要更新细胞状态了，细胞状态 C t C\_t Ct更新是通过遗忘门 f t f\_t ft和输入门 i t i\_t it控制的。遗忘门控制着哪些信息应该被遗忘，输入门控制新信息对细胞状态的影响：

C t = f t ⋅ C t − 1 + i t ⋅ C t ′ C\_t = f\_t \\cdot C\_\{t-1\} + i\_t \\cdot C'\_t Ct=ft⋅Ct−1\+it⋅Ct′

那遗忘门决定哪些信息应该被遗忘，使用的就是Sigmoid函数计算遗忘门的激活值。

f t = σ ( W f ⋅ \[ h t − 1 , x t \] + b f ) f\_t = \\sigma(W\_f \\cdot \[h\_\{t-1\}, x\_t\] + b\_f) ft=σ(Wf⋅\[ht−1,xt\]\+bf)

接着，计算输出门 O t O\_t Ot, 控制着细胞状态如何影响输出和隐藏状态。一样，我们还是使用Sigmoid函数计算。

o t = σ ( W o ⋅ \[ h t − 1 , x t \] + b o ) o\_t = \\sigma(W\_o \\cdot \[h\_\{t-1\}, x\_t\] + b\_o) ot=σ(Wo⋅\[ht−1,xt\]\+bo)

使用输出门的值 o t o\_t ot来计算最终的隐藏状态 h t h\_t ht和输出。 隐藏状态和输出都是根据细胞状态和输出门的值来计算的：

h t = o t ⋅ t a n h ( C t ) h\_t = o\_t \\cdot tanh(C\_t) ht=ot⋅tanh(Ct)

接下来就容易了，我们迭代重复上述过程，处理序列中的每一个时间步，直到处理完整个序列。

LSTM的输出可以是隐藏状态 h t h\_t ht, 也可以是细胞状态 C t C\_t Ct， 具体是取决于应用的需求。

后来大家就发现了一种改进的LSTM，其中门控机制允许细胞状态窥视现前的细胞状态的信息，而不仅仅是根据当前时间步的输入和隐藏状态来决定。 这个机制在LSTM单源种引入了额外的权重和连接，以允许细胞状态在门控过程中访问现前的细胞状态，我们称之为窥视孔连接: Peephole connections。

f t = σ ( W f ⋅ \[ C t − 1 , h t − 1 , x t \] + b f ) i t = σ ( W i ⋅ \[ C t − 1 , h t − 1 , x t \] + b i ) o t = σ ( W o ⋅ \[ C t − 1 , h t − 1 , x t \] + b o ) \\begin\{align\*\} f\_t = \\sigma(W\_f \\cdot \[C\_\{t-1\}, h\_\{t-1\}, x\_t\] + b\_f) \\\\ i\_t = \\sigma(W\_i \\cdot \[C\_\{t-1\}, h\_\{t-1\}, x\_t\] + b\_i) \\\\ o\_t = \\sigma(W\_o \\cdot \[C\_\{t-1\}, h\_\{t-1\}, x\_t\] + b\_o) \\\\ \\end\{align\*\} ft=σ(Wf⋅\[Ct−1,ht−1,xt\]\+bf)it=σ(Wi⋅\[Ct−1,ht−1,xt\]\+bi)ot=σ(Wo⋅\[Ct−1,ht−1,xt\]\+bo)

之前，我们是xt和x\_\{t-1\}决定的f，那现在又把c\_\{t-1\}加上了。就是多加了一些信息。

除此之外它有一个方法GRU，这个是2014年提出来的，Geted Recurrent Unit，它是LSTM的一个简化版本。

它最核心的内容：

h t = ( 1 − z t ) ⋅ h t − 1 + z t ⋅ h t ′ \\begin\{align\*\} h\_t = (1-z\_t) \\cdot h\_\{t-1\} + z\_t \\cdot h'\_t \\end\{align\*\} ht=(1−zt)⋅ht−1\+zt⋅ht′

咱们刚刚是 C t = f t ⋅ C t − 1 + i t ⋅ C t ′ C\_t = f\_t \\cdot C\_\{t-1\} + i\_t \\cdot C'\_t Ct=ft⋅Ct−1\+it⋅Ct′，也就是遗忘加上输入，那我们对过去保留越多的时候，  
输入就会越小，那对过去保留越小的时候，输入就会越大。

所以既然f也是1-0，i也是0-1，f大的时候i就小，f小的时候i就大，那么能不能写成f=(1-i)？

于是，GRU就这样实现了, 它其实最核心的就做了这样一件事， f=(1-i)。

z t = σ ( W z ⋅ \[ h t − 1 , x t \] ) r t = σ ( W r ⋅ \[ h t − 1 , x t \] ) h t ′ = tanh ⁡ ( W ⋅ \[ r t ⋅ h t − 1 , x t \] ) h t = ( 1 − z t ) ⋅ h t − 1 + z t ⋅ h t ′ \\begin\{align\*\} z\_t & = \\sigma(W\_z \\cdot \[h\_\{t-1\}, x\_t\]) \\\\ r\_t & = \\sigma(W\_r \\cdot \[h\_\{t-1\}, x\_t\]) \\\\ h'\_t & = \\tanh(W \\cdot \[r\_t \\cdot h\_\{t-1\}, x\_t\]) \\\\ h\_t & = (1-z\_t) \\cdot h\_\{t-1\} + z\_t \\cdot h'\_t \\end\{align\*\} ztrtht′ht=σ(Wz⋅\[ht−1,xt\])=σ(Wr⋅\[ht−1,xt\])=tanh(W⋅\[rt⋅ht−1,xt\])=(1−zt)⋅ht−1\+zt⋅ht′

这个z其实和i是一样的东西，只是原作者为了发表论文方便而改了个名称。

[https://arxiv.org/pdf/1406.1078v3.pdf][https_arxiv.org_pdf_1406.1078v3.pdf]

r t r\_t rt是来控制上一时刻的 h t h\_t ht在我们此时此刻的重要性、影响程度。那我们可以将 r t ⋅ h t − 1 r\_t \\cdot h\_\{t-1\} rt⋅ht−1看成是关于及已的， 1 − z t 1-z\_t 1−zt也是关于记忆的。

GRU这样做之后有什么好处呢?

原来我们有三个门: f, i, o， 那现在变成了两个，z和r。为什么就更好了呢？我们在PyTorch里面往往用的是GRU。

大家想一下，是不是少了一个门其实就少了一个矩阵？我们看公式的时候， W f W\_f Wf是一个数学符号，但是在背后其实是一个矩阵，是一个矩阵的话少了一个矩阵意味着参数就少多了，运算就更快了等等。

但其实这些都不是最关键的，最关键的是减少过拟合了。我们之前的课程中一再强调，过拟合之所以产生，最主要的原因是数据不够或者说是模型太复杂。

但是在现有的数据情况下，为了让数据发挥出最大效力，你把需要训练的模型变简单，参数变少，就没有那么复杂了。

关于RNN模型，我们后面还会介绍一些具体的示例。

[d41d720a0a6041a7bb5776b85cc8a4b4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/e69ea782a1e7436fa6fb2c0bcb7a70bb.png
[Alt text]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/5e4f968ec790406f98df1fd4ab3fcef4.png
[Alt text 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/c47337aa53db4389a1b0f58a06e7c71e.png
[d19eece57ab54dc0b1af856fe54a00d2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/f3c2d698b51c4b2cb27309e3770268ee.png
[7497490e99f9468eab2871af0bf262fd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/e44fe3f8f6584958867dc928ce4d84fe.png
[Alt text 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/05c05b94319f4346a313eb3ab9b41ea1.png
[https_arxiv.org_pdf_1406.1078v3.pdf]: https://arxiv.org/pdf/1406.1078v3.pdf