深度学习语言模型(1)-word2vec的发展历程

落日映苍穹つ 2022-05-12 11:18 276阅读 0赞

详细参考:[https://blog.csdn.net/itplus/article/details/37969519,讲得比较细][https_blog.csdn.net_itplus_article_details_37969519]  
目录:  
[深度学习语言模型(1)-word2vec的发展历程][1_-word2vec]  
[深度学习语言模型(2)-词向量，神经概率网络模型(keras版本)][2_-_keras]  
[深度学习语言模型(3)-word2vec负采样(Negative Sampling) 模型(keras版本)][3_-word2vec_Negative Sampling_ _keras]

一.概率语言模型  
比方有下面一句话：  
“我今天打篮球”  
经过分词以后有:我，今天，打，篮球  
那么对于这样的一个句子，出现概率P(S)可以表示为:  
P(S) = P(我)\*P(今天|我)\*P(打|我，今天)\*P(篮球|我，今天，打)  
也就是说每个词都依赖于前面的词。  
这样就会有一个问题:  
1.当一个常的句子出现，都依赖于前面那么多词，导致计算量过大  
2.因为词和词之间都有多种可能组成方式，导致数据过于稀疏  
3.数据过于稀疏，也导致了参数过多

回想一下，如果一个很长的句子，那么第1000个词会依赖于第一个词吗？这种可能性很小啊，所以这里提出了使用  
N\_gram，也就是说当前的词只依赖于前面N-1个词。比如这里为N=2，则只依赖于前面一个词  
则"我今天打篮球"经过分词2\_gram就变成:  
P(S) = P(我)P(今天|我)\*P(打|今天)\*P(篮球|打)，这样是不是好很多，也就是说如果N变大，那么参数模型的数量和计算量跟着更大。

虽然有了N\_Gram能稍微解决了参数和计算量过大问题，但还是存在很多的缺陷。再回过头来看一下语言模型，语言模型的本质其实就是词的组成，词的编码可以使用one-hot，但是one-hot存在很多缺陷:  
1.有多少词就有多少编号，导致数据过于稀疏  
2.词和词之间没有什么联系  
为了解决one-hot的问题，怎么把一个词转换成更有意义的向量，就有了词向量这个概念。

二.词向量  
(1)词向量就是说使用一个固定的维度的向量，去表示所有的词，如下图就是使用一个2维的向量去表示，会发现属性相近，意思相近的词会会靠得更近，它们的距离也就越短。  
![这里写图片描述][70]  
不同的语言，经过训练的词向量，也会发现它们的分布也会变得很像,左边为英语，右边为西班牙语:  
![这里写图片描述][70 1]  
(2)那么词向量是如何得来的呢？其实是对一个语言模型训练后得到的。那么一个语言模型一般分两种情况：  
1.CBOW（continuous Bag-of-Words Model）,根据上下文，预测当前词语出现概率的模型）  
2.Skip-gram，根据当前词预测上下文  
CBOW和Skip-gram刚好相反  
(3)那么一个语言模型的训练数据是如何定义的？  
1.CBOW  
输入的上下文，即w(t-2),w(t-1),w(t+1)w(t+2),然后经过神经网络，输出当前值，即w(t）  
训练的时候是,要根据windows的滑动窗口的值，比如说windows\_size=2（即左边两个，右边两个）  
比如有句子:“我今天打篮球”，则有  
输入x=\[0,0,今天,打\],label=我;0表示填充，然后继续滑动  
输入x=\[0,我,打,篮球\],label=今天;然后继续滑动  
…  
输入x=\[今天,打,0,0\],label=篮球;  
2.Skip-gram  
和CBOW相反

三.词向量的训练3种方式(都采用CBOW的数据):  
1.神经概率网络模型(2003年)，步骤如下:  
（1）输入层，将每一个词都使用随机的100维向量表示  
（2）投影层，将一个上下文的词拼接起来，比如滑动窗口是3，则有(batch\_size,6,100)  
（3）隐藏层，就是一个全连接层，比如(100,1024)  
（4）输出层，使用softmax分类器，类别就是所有词的id,比如现在有50000个词，则，输出层(1024,50000)  
在反向传播过程中，不仅更新输出层，隐藏层的权重，还要更新投影层中的x,即词相对应的100维向量。  
优点:  
（1）即使两个句子出现的次数由很大悬殊，但相似的句子会几乎被同等对待，比如"我今天打篮球"和"我今天打羽毛球"。但还是由点差别，差别来自于两句子中的篮球和羽毛球出现不等，因为在训练过程中训练篮球时，羽毛球的label=0，在训练羽毛球时，篮球的label=0，所以会收到次数的影响，如果不想受到次数的影响，则可以采用将在训练篮球的时候，羽毛球的label=1,训练羽毛球的时候，篮球的label=1。或者采用下述的两种训练方式，在训练充足的情况下差距会变小。  
缺点:  
（1）如果词的量过大，后面的输出层权重参数过多，导致内存不足

2.word2vec（Hierarchical Softmax）模型  
（1）输入层，将每一个词都使用随机的100维向量表示  
（2）投影层，将一个上下文的词拼接起来，比如滑动窗口是3，则有(batch\_size,6,100),然后累加，变成(batch\_size,100)  
（3）Hierarchical Softmax层，即分层思想，即采用多次二分类来代替多分类(其实这个在SVM多分类中也有用)。这里的分类器根据词语的词频构造Huffman树，经常出现的词语  
路径就越短，编码也就越短，比如下图中的"足球",编码为1001，也就是说它只需要进行4次2分类，然后概率累乘，利用交叉熵求向上梯度，然后树的每个判断节点都相当于输出层，所以每个节点(100,2)个参数。  
之前在投影层的时候是将词向量都相加了，那么在反向传播的时候是将每个词向量都+上投影层累加后词向量w的梯度。  
优点:  
(1)相对于神经概率网络模型来说，没有隐藏层  
(2)相对于神经概率网络模型来说，输出层只计算和更新相对应的词的权重参数，而不是更新整个输出层，比如上述"足球",只用计算和训练  
1001节点的权重参数，也就4\*(100,2)个权重参数  
缺点:  
(1)如果词语的数量过于庞大，还是存在计算复杂度很高的问题  
3.word2vec （Negative Sampling）模型，是对Hierarchical Softmax的改善  
（1）输入层，将每一个词都使用随机的100维向量表示  
（2）投影层，将一个上下文的词拼接起来，比如滑动窗口是3，则有(batch\_size,6,100),然后累加，变成(batch\_size,100)  
（3）输出层，还是采用二分类的思想，就是说当前词为正例，不是当前词的全部为反例，那么负样本的构成为从所有词语中随机获取(也不是随机，还是依据词频随机)，然后输出层  
的大小依旧是(100,50000)，但是重要重要的是，在计算和训练的时候，只会使用需要计算和训练出现的词，因为50000个神经元都对应的是一个词的概率。所以这边只会抽出正例词  
和负例词相应的神经元进行训练，比如1个正例+16个负例，则输出层只会拿（100，17）进行2分类训练。

[https_blog.csdn.net_itplus_article_details_37969519]: https://blog.csdn.net/itplus/article/details/37969519,%E8%AE%B2%E5%BE%97%E6%AF%94%E8%BE%83%E7%BB%86
[1_-word2vec]: https://blog.csdn.net/u011311291/article/details/82744618
[2_-_keras]: https://blog.csdn.net/u011311291/article/details/82745240
[3_-word2vec_Negative Sampling_ _keras]: https://blog.csdn.net/u011311291/article/details/82778490
[70]: /images/20220512/07d324a175a14e4b9342b83f9e9b1abd.png
[70 1]: /images/20220512/e23946da539241a0a4029270c81ef14f.png