基于Python完成中文句向量探索性研究

比眉伴天荒 2023-10-15 10:44 3阅读 0赞

[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88253754  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88253754

## 中文文本相似度–句向量 ##

### 整体实验设计 ###

#### 一、文本相似度的三种常用方法 ####

本文主要利用余弦相似度衡量句子之间的相似度，因此如何生成优质的句向量至关重要。

<table> 
 <thead> 
  <tr> 
   <th align="center">相似度</th> 
   <th align="center">具体做法</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">Jaccard 系数</td> 
   <td align="center">分词<br>未分词</td> 
  </tr> 
  <tr> 
   <td align="center">编辑距离</td> 
   <td align="center">最小操作次数</td> 
  </tr> 
  <tr> 
   <td align="center">余弦相似度</td> 
   <td align="center">Word2vec+ 词 + 加权平均<br>Word2vec+ 字 + 加权平均<br>Word2vec+ 词 +Qucik-thoughts<br>Word2vec+ 字 +Quick-thoughts<br>字 + 融合 Transformer 的 Quick-thoughts<br>词 + 融合 Transformer 的 Quick-thoughts</td> 
  </tr> 
 </tbody> 
</table>

#### 二、实验步骤 ####

##### 第一步：数据标注 #####

1.  计划标注：
    
     *  人工标注验证集（大约 4000 条数据，需要 20 天左右，10 月 25 日之前完成。）
     *  思路：133 个类别，每个类别标注 30 条数据。
     *  方法：利用关键词筛选出每个类别对应的数据。
2.  实际标注：
    
     *  实际只标注了 2000 条数据
     *  1500 条有对应的类别，500 条没有作为反例，共涉及 80 个类别。

##### 第二步：训练词向量 #####

*  方法：Word2vec
 *  具体做法：
    
    1.  下载最新的中文维基百科数据集（1.5g)
    2.  进行一系列预处理操作：
        
         *  [wikiextractor][] 解压，提取压缩包文本信息 wiki\_00
         *  繁转简：opencc-> wiki.zh.txt
         *  分句 + 数据清洗（只保留数字、英文和汉字）：fen\_ju.py-> new\_sentence.txt
         *  是否分词: jieba
         *  是否去停词：停词表
         *  统计句子长度、词频、字频，生成字典
    3.  分词后训练 word2vec 模型,生成 2 种词向量。
        
         *  分词 + 去停词 +300 维
         *  未分词 + 去停词 +300 维

##### 第三步：无监督学习的句向量生成算法 #####

1.  在文本相似度任务中比较各种句向量生成算法的效果
    
    1.  加权平均算法
    2.  Quick-Thoughts 算法
    3.  将 Transformer 融入 Quick-Thought 算法中，观察其效果
    4.  比较分词与未分词的差别
2.  具体做法
    
     *  实际数据共有 1982 条进行预测，预定义语句 5166 条，因为部分数据预处理后为空
     *  本文修改了 f1 的计算方式—因为数据中存在没有对应的预定义操作的句子
     *  对于深度学习模型，本文的实验环境有限，只选择了 80 万条训练样本
    
    1.  方法一：基于词向量的简单平均算法. 共耗时 1771.08s.
        
        <table> 
         <thead> 
          <tr> 
           <th align="center">阈值</th> 
           <th align="center">P</th> 
           <th align="center">R</th> 
           <th align="center">F1</th> 
          </tr> 
         </thead> 
         <tbody> 
          <tr> 
           <td align="center">0.5</td> 
           <td align="center">0.6846</td> 
           <td align="center">0.7070</td> 
           <td align="center">0.6956</td> 
          </tr> 
          <tr> 
           <td align="center">0.6</td> 
           <td align="center">0.6868</td> 
           <td align="center">0.7070</td> 
           <td align="center">0.6968</td> 
          </tr> 
          <tr> 
           <td align="center">0.7</td> 
           <td align="center">0.6931</td> 
           <td align="center">0.7070</td> 
           <td align="center">0.7000</td> 
          </tr> 
          <tr> 
           <td align="center">0.8</td> 
           <td align="center">0.8070</td> 
           <td align="center">0.7050</td> 
           <td align="center">0.7526</td> 
          </tr> 
          <tr> 
           <td align="center">0.9</td> 
           <td align="center">0.9525</td> 
           <td align="center">0.6167</td> 
           <td align="center">0.7487</td> 
          </tr> 
         </tbody> 
        </table>
    2.  方法二：基于字向量的简单平均算法，共耗时 1762.93s.
        
        <table> 
         <thead> 
          <tr> 
           <th align="center">阈值</th> 
           <th align="center">P</th> 
           <th align="center">R</th> 
           <th align="center">F1</th> 
          </tr> 
         </thead> 
         <tbody> 
          <tr> 
           <td align="center">0.5</td> 
           <td align="center">0.6970</td> 
           <td align="center">0.7492</td> 
           <td align="center">0.7221</td> 
          </tr> 
          <tr> 
           <td align="center">0.6</td> 
           <td align="center">0.6996</td> 
           <td align="center">0.7492</td> 
           <td align="center">0.7235</td> 
          </tr> 
          <tr> 
           <td align="center">0.7</td> 
           <td align="center">0.7703</td> 
           <td align="center">0.7492</td> 
           <td align="center">0.7596</td> 
          </tr> 
          <tr> 
           <td align="center">0.8</td> 
           <td align="center">0.8749</td> 
           <td align="center">0.7391</td> 
           <td align="center">0.8013</td> 
          </tr> 
          <tr> 
           <td align="center">0.9</td> 
           <td align="center">0.9607</td> 
           <td align="center">0.5719</td> 
           <td align="center">0.7170</td> 
          </tr> 
         </tbody> 
        </table>
    3.  方法三：基于词向量的加权平均算法. 共耗时 1834.97s.
        
        <table> 
         <thead> 
          <tr> 
           <th align="center">阈值</th> 
           <th align="center">P</th> 
           <th align="center">R</th> 
           <th align="center">F1</th> 
          </tr> 
         </thead> 
         <tbody> 
          <tr> 
           <td align="center">0.5</td> 
           <td align="center">0.687219</td> 
           <td align="center">0.715719</td> 
           <td align="center">0.701180</td> 
          </tr> 
          <tr> 
           <td align="center">0.6</td> 
           <td align="center">0.687219</td> 
           <td align="center">0.715719</td> 
           <td align="center">0.701180</td> 
          </tr> 
          <tr> 
           <td align="center">0.7</td> 
           <td align="center">0.701180</td> 
           <td align="center">0.715719</td> 
           <td align="center">0.708375</td> 
          </tr> 
          <tr> 
           <td align="center">0.8</td> 
           <td align="center">0.838095</td> 
           <td align="center">0.706355</td> 
           <td align="center">0.766606</td> 
          </tr> 
          <tr> 
           <td align="center">0.9</td> 
           <td align="center">0.923699</td> 
           <td align="center">0.534448</td> 
           <td align="center">0.677119</td> 
          </tr> 
         </tbody> 
        </table>
    4.  方法四：基于字向量的加权平均算法. 共耗时 1787.23s.
        
        <table> 
         <thead> 
          <tr> 
           <th align="center">阈值</th> 
           <th align="center">P</th> 
           <th align="center">R</th> 
           <th align="center">F1</th> 
          </tr> 
         </thead> 
         <tbody> 
          <tr> 
           <td align="center">0.5</td> 
           <td align="center">0.692551</td> 
           <td align="center">0.733779</td> 
           <td align="center">0.712569</td> 
          </tr> 
          <tr> 
           <td align="center">0.6</td> 
           <td align="center">0.692988</td> 
           <td align="center">0.733779</td> 
           <td align="center">0.712801</td> 
          </tr> 
          <tr> 
           <td align="center">0.7</td> 
           <td align="center">0.754301</td> 
           <td align="center">0.733110</td> 
           <td align="center">0.743555</td> 
          </tr> 
          <tr> 
           <td align="center">0.8</td> 
           <td align="center">0.879508</td> 
           <td align="center">0.717726</td> 
           <td align="center">0.790424</td> 
          </tr> 
          <tr> 
           <td align="center">0.9</td> 
           <td align="center">0.949233</td> 
           <td align="center">0.537793</td> 
           <td align="center">0.686593</td> 
          </tr> 
         </tbody> 
        </table>
    5.  方法五：基于字向量和词向量的加权平均算法. 共耗时 1762.93s.  
          
        生成的句向量是 600 维
        
        <table> 
         <thead> 
          <tr> 
           <th align="center">阈值</th> 
           <th align="center">P</th> 
           <th align="center">R</th> 
           <th align="center">F1</th> 
          </tr> 
         </thead> 
         <tbody> 
          <tr> 
           <td align="center">0.5</td> 
           <td align="center">0.697328</td> 
           <td align="center">0.750502</td> 
           <td align="center">0.722938</td> 
          </tr> 
          <tr> 
           <td align="center">0.6</td> 
           <td align="center">0.698195</td> 
           <td align="center">0.750502</td> 
           <td align="center">0.723404</td> 
          </tr> 
          <tr> 
           <td align="center">0.7</td> 
           <td align="center">0.763624</td> 
           <td align="center">0.749833</td> 
           <td align="center">0.756666</td> 
          </tr> 
          <tr> 
           <td align="center">0.8</td> 
           <td align="center">0.890433</td> 
           <td align="center">0.728428</td> 
           <td align="center">0.801325</td> 
          </tr> 
          <tr> 
           <td align="center">0.9</td> 
           <td align="center">0.950423</td> 
           <td align="center">0.525753</td> 
           <td align="center">0.677003</td> 
          </tr> 
         </tbody> 
        </table>
    6.  方法六：基于词向量的 Quick\_Thoughts 算法
        
        1.  生成训练样本 Tfrecords 文件—preprocess\_dataset.py
        2.  训练模型—train.py
            
            <table> 
             <thead> 
              <tr> 
               <th align="center">需要调节的参数</th> 
               <th align="center">解释说明</th> 
               <th align="center">示例</th> 
              </tr> 
             </thead> 
             <tbody> 
              <tr> 
               <td align="center">word2vec_path</td> 
               <td align="center">word2vec 文件的目录</td> 
               <td align="center">…/data/sent_word_n/</td> 
              </tr> 
              <tr> 
               <td align="center">output_dir</td> 
               <td align="center">生成句向量的目录</td> 
               <td align="center">…/output/sent_char_n/</td> 
              </tr> 
              <tr> 
               <td align="center">input_file_pattern</td> 
               <td align="center">tfrecord 文件的命名格式</td> 
               <td align="center">…/output/sent_word_n/train-???-of-00010</td> 
              </tr> 
              <tr> 
               <td align="center">train_dir</td> 
               <td align="center">模型文件的保存位置</td> 
               <td align="center">…model/train/sent_char_n</td> 
              </tr> 
             </tbody> 
            </table>
        3.  预测：生成句向量—predict.py
        4.  训练结果
            
             *  生成句向量消耗的时间：14.37s（小爱数据，1982 条），24.17s（预定义数据集，5166 条）
             *  整个预测过程共消耗 21950.48s
                
                <table> 
                 <thead> 
                  <tr> 
                   <th align="center">阈值</th> 
                   <th align="center">P</th> 
                   <th align="center">R</th> 
                   <th align="center">F1 值</th> 
                  </tr> 
                 </thead> 
                 <tbody> 
                  <tr> 
                   <td align="center">0.5</td> 
                   <td align="center">0.655587</td> 
                   <td align="center">0.620067</td> 
                   <td align="center">0.637332</td> 
                  </tr> 
                  <tr> 
                   <td align="center">0.6</td> 
                   <td align="center">0.655587</td> 
                   <td align="center">0.620067</td> 
                   <td align="center">0.637332</td> 
                  </tr> 
                  <tr> 
                   <td align="center">0.7</td> 
                   <td align="center">0.655587</td> 
                   <td align="center">0.620067</td> 
                   <td align="center">0.637332</td> 
                  </tr> 
                  <tr> 
                   <td align="center">0.8</td> 
                   <td align="center">0.661670</td> 
                   <td align="center">0.620067</td> 
                   <td align="center">0.640193</td> 
                  </tr> 
                  <tr> 
                   <td align="center">0.9</td> 
                   <td align="center">0.717054</td> 
                   <td align="center">0.618729</td> 
                   <td align="center">0.664273</td> 
                  </tr> 
                  <tr> 
                   <td align="center">0.94</td> 
                   <td align="center">0.847909</td> 
                   <td align="center">0.596656</td> 
                   <td align="center">0.700432</td> 
                  </tr> 
                 </tbody> 
                </table>
    7.  方法七：基于字向量的 Quick-Thoughts 算法
        
         *  训练结果：
            
             *  生成句向量消耗的时间：  
                13.72s（小爱数据，1982 条），23.98s（预定义数据集，5166 条）
             *  共消耗 21926.511472 s
                
                <table> 
                 <thead> 
                  <tr> 
                   <th align="center">阈值</th> 
                   <th align="center">P</th> 
                   <th align="center">R</th> 
                   <th align="center">F1 值</th> 
                  </tr> 
                 </thead> 
                 <tbody> 
                  <tr> 
                   <td align="center">0.5</td> 
                   <td align="center">0.673374</td> 
                   <td align="center">0.671572</td> 
                   <td align="center">0.672472</td> 
                  </tr> 
                  <tr> 
                   <td align="center">0.6</td> 
                   <td align="center">0.673374</td> 
                   <td align="center">0.671572</td> 
                   <td align="center">0.672472</td> 
                  </tr> 
                  <tr> 
                   <td align="center">0.7</td> 
                   <td align="center">0.673826</td> 
                   <td align="center">0.671572</td> 
                   <td align="center">0.672697</td> 
                  </tr> 
                  <tr> 
                   <td align="center">0.8</td> 
                   <td align="center">0.679756</td> 
                   <td align="center">0.671572</td> 
                   <td align="center">0.675639</td> 
                  </tr> 
                  <tr> 
                   <td align="center">0.9</td> 
                   <td align="center">0.839361</td> 
                   <td align="center">0.667559</td> 
                   <td align="center">0.743666</td> 
                  </tr> 
                  <tr> 
                   <td align="center">0.92</td> 
                   <td align="center">0.900742</td> 
                   <td align="center">0.649498</td> 
                   <td align="center">0.754761</td> 
                  </tr> 
                 </tbody> 
                </table>
    8.  方法八：融合 Transformer 的 Quick-Thoughts 算法（分词, 2700 维）
        
        1.  Transform 的编码器得到的是一个\[seq\_length, dim\]的向量，  
            因此探索 Transformer 编码器生成句向量的处理方式，然后与 Quick-Thoughts 融合
            
             *  生成句向量消耗的时间：26.67s（小爱数据，1982 条），40.14s（预定义数据集，5166 条）
             *  模型参数设置（调整后得到的最优参数）：
                
                <table> 
                 <thead> 
                  <tr> 
                   <th align="center">参数</th> 
                   <th align="center">取值</th> 
                  </tr> 
                 </thead> 
                 <tbody> 
                  <tr> 
                   <td align="center">num_head</td> 
                   <td align="center">2</td> 
                  </tr> 
                  <tr> 
                   <td align="center">learing_rate</td> 
                   <td align="center">0.001</td> 
                  </tr> 
                  <tr> 
                   <td align="center">dim</td> 
                   <td align="center">2700</td> 
                  </tr> 
                  <tr> 
                   <td align="center">dropout_rate</td> 
                   <td align="center">0.3</td> 
                  </tr> 
                  <tr> 
                   <td align="center">batch_zie</td> 
                   <td align="center">128</td> 
                  </tr> 
                  <tr> 
                   <td align="center">num_ceng</td> 
                   <td align="center">2</td> 
                  </tr> 
                 </tbody> 
                </table>
             *  预测结果对比：
                
                <table> 
                 <thead> 
                  <tr> 
                   <th align="center">处理方式</th> 
                   <th align="center">F1 值（最优）</th> 
                   <th align="center">预测消耗总时间（s）</th> 
                  </tr> 
                 </thead> 
                 <tbody> 
                  <tr> 
                   <td align="center">简单平均</td> 
                   <td align="center">0.63</td> 
                   <td align="center">26122.49</td> 
                  </tr> 
                  <tr> 
                   <td align="center">直接求和</td> 
                   <td align="center">0.33</td> 
                   <td align="center">24774.29</td> 
                  </tr> 
                  <tr> 
                   <td align="center">标准化后平均</td> 
                   <td align="center">0.40</td> 
                   <td align="center">24528.78</td> 
                  </tr> 
                  <tr> 
                   <td align="center">标准化后求和</td> 
                   <td align="center">0.39</td> 
                   <td align="center">27671.44</td> 
                  </tr> 
                  <tr> 
                   <td align="center">对简单平均后的向量进行标准化</td> 
                   <td align="center">0.45</td> 
                   <td align="center">24164.85</td> 
                  </tr> 
                  <tr> 
                   <td align="center">对直接求和后的向量进行标准化</td> 
                   <td align="center">0.1</td> 
                   <td align="center">21877.37</td> 
                  </tr> 
                 </tbody> 
                </table>
                
                最优的 F1 值为 0.69，阈值为 0.999588。
            
            **结论：对于 Transformer 模型生成的词向量进行简单平均效果最好**
    9.  方法九：融合 Transformer 的 Quick-Thoughts 算法（未分词，2700 维）
        
         *  基于字向量的 Transformer 模型：
            
            1.  损失函数值：1102.33
            2.  训练时间： 48704.05
        
        **结果：最优的 F1 值为 0.75，阈值为 0.999442。**
    10. 方法十：Transformer 编码器 + 简单平均
        
        <table> 
         <thead> 
          <tr> 
           <th align="center">模型</th> 
           <th align="center">阈值</th> 
           <th align="center">最优的 F1 值</th> 
           <th align="center">预测时间</th> 
           <th align="center">日志文件名</th> 
          </tr> 
         </thead> 
         <tbody> 
          <tr> 
           <td align="center">基于字向量的 Transformer 模型</td> 
           <td align="center">0.999991</td> 
           <td align="center">0.41</td> 
           <td align="center">8686.1</td> 
           <td align="center">tr_char</td> 
          </tr> 
          <tr> 
           <td align="center">基于词向量的 Transformer 模型</td> 
           <td align="center">0.999999</td> 
           <td align="center">0.30</td> 
           <td align="center">9753.86</td> 
           <td align="center">tr_word</td> 
          </tr> 
         </tbody> 
        </table>
        
        **结论：仅利用 Transformer 编码器无法揭示句子之间的相似程度。**

##### 第四步：训练细节 #####

**利用 sent\_word\_rem 数据集对 Transformer 进行调参**

1.  **第一次调参时模型存在部分错误：**
    
    1.  mask 应该相乘而不是相加
    2.  多头注意力的输出应该添加一个线性连接层
    3.  多头注意力层和全连接层没有添加 drpout
    4.  词向量矩阵应该随机正态化，没有对词向量矩阵和切分后的 q 进行归一化
2.  第一调参得到的部分错误结果
    
     *  （1）观察预先训练的词向量对模型结果的影响
        
        <table> 
         <thead> 
          <tr> 
           <th align="center">词向量表示方式</th> 
           <th align="center">损失函数值</th> 
          </tr> 
         </thead> 
         <tbody> 
          <tr> 
           <td align="center">预先训练</td> 
           <td align="center">1257.96</td> 
          </tr> 
          <tr> 
           <td align="center">随机初始化</td> 
           <td align="center">1224.76</td> 
          </tr> 
         </tbody> 
        </table>
     *  （2）编码器和解码器层数对模型结果的影响
        
        <table> 
         <thead> 
          <tr> 
           <th align="center">层数</th> 
           <th align="center">损失函数值</th> 
           <th align="center">训练模型消耗时间（s)</th> 
          </tr> 
         </thead> 
         <tbody> 
          <tr> 
           <td align="center">2</td> 
           <td align="center">1224.76</td> 
           <td align="center">63801.97</td> 
          </tr> 
          <tr> 
           <td align="center">5</td> 
           <td align="center"></td> 
           <td align="center">batch_size=128</td> 
          </tr> 
         </tbody> 
        </table>
     *  （3）编码维度对模型的结果影响
        
        <table> 
         <thead> 
          <tr> 
           <th align="center">维度</th> 
           <th align="center">损失函数值</th> 
           <th align="center">训练模型消耗时间（s)</th> 
          </tr> 
         </thead> 
         <tbody> 
          <tr> 
           <td align="center">300</td> 
           <td align="center">1224.76</td> 
           <td align="center">63801.97</td> 
          </tr> 
         </tbody> 
        </table>
     *  （4）头数对模型结果的影响(双层，batch\_size=128)
        
        <table> 
         <thead> 
          <tr> 
           <th align="center">头数</th> 
           <th align="center">损失函数值</th> 
           <th align="center">训练模型消耗时间（s)</th> 
          </tr> 
         </thead> 
         <tbody> 
          <tr> 
           <td align="center">2</td> 
           <td align="center">1225.45</td> 
           <td align="center">67956.94</td> 
          </tr> 
          <tr> 
           <td align="center">4</td> 
           <td align="center">1224.76</td> 
           <td align="center">63801.97</td> 
          </tr> 
          <tr> 
           <td align="center">6</td> 
           <td align="center">1225.45</td> 
           <td align="center">68619.52</td> 
          </tr> 
         </tbody> 
        </table>
     *  （5）batch\_size 对模型的影响(双层，num\_head=4))
        
        <table> 
         <thead> 
          <tr> 
           <th align="center">batch_size</th> 
           <th align="center">损失函数值</th> 
           <th align="center">训练模型消耗时间（s)</th> 
          </tr> 
         </thead> 
         <tbody> 
          <tr> 
           <td align="center">128</td> 
           <td align="center">1224.76</td> 
           <td align="center">63801.97</td> 
          </tr> 
          <tr> 
           <td align="center">64</td> 
           <td align="center">608.16</td> 
           <td align="center">68647.59</td> 
          </tr> 
         </tbody> 
        </table>
3.  **第二次调参**
    
     *  batch\_size =128, ceng\_shu=2, num\_head=6
     *  （1）batch\_size 对模型的影响(双层，num\_head=4))
        
        <table> 
         <thead> 
          <tr> 
           <th align="center">batch_size</th> 
           <th align="center">损失函数值</th> 
           <th align="center">训练模型消耗时间（s)</th> 
          </tr> 
         </thead> 
         <tbody> 
          <tr> 
           <td align="center">512</td> 
           <td align="center">OOM</td> 
           <td align="center">OOM</td> 
          </tr> 
          <tr> 
           <td align="center">256</td> 
           <td align="center">2457.10</td> 
           <td align="center">70999.85</td> 
          </tr> 
          <tr> 
           <td align="center">128</td> 
           <td align="center">1242.77</td> 
           <td align="center">71327.49</td> 
          </tr> 
          <tr> 
           <td align="center">64</td> 
           <td align="center">623.93</td> 
           <td align="center">71453.79</td> 
          </tr> 
         </tbody> 
        </table>
        
        **问题**
        
            1. 为什么batch_size一般选择2的幂次？
                  <br>因为GPU对2的幂次的batch可以发挥更佳的性能
               2. batch_size对模型效果的影响？
                  （1）batch_size过大，训练消耗的时间会缩短，但是模型容易陷入局部最优点。
                     因为样本方差较小，可能会呆在一个局部最优点不动。
                  （2）batch_size过小，模型同样不易收敛，损失函数容易震荡
     *  （2）编码器和解码器层数对模型结果的影响（batch\_size=128,num\_head=2)
        
        <table> 
         <thead> 
          <tr> 
           <th align="center">层数</th> 
           <th align="center">损失函数值</th> 
           <th align="center">训练模型消耗时间（s)</th> 
          </tr> 
         </thead> 
         <tbody> 
          <tr> 
           <td align="center">2</td> 
           <td align="center">1143.48</td> 
           <td align="center">71261.14</td> 
          </tr> 
          <tr> 
           <td align="center">3</td> 
           <td align="center">1222.36</td> 
           <td align="center">83205.03</td> 
          </tr> 
          <tr> 
           <td align="center">4</td> 
           <td align="center">1224.50</td> 
           <td align="center">94817.31</td> 
          </tr> 
          <tr> 
           <td align="center">5</td> 
           <td align="center">1225.24</td> 
           <td align="center">106313.79</td> 
          </tr> 
          <tr> 
           <td align="center">6</td> 
           <td align="center">1229.86</td> 
           <td align="center">117888.51</td> 
          </tr> 
         </tbody> 
        </table>
     *  （3）编码维度对模型的结果影响
        
            batch_size=128,num_head=8,
             num_units=[512,2048],num_ceng=2
             dim = 200时，训练结果不稳定，参考loss.png(16,17)
             dim = 300时，num_head = 2
        
        <table> 
         <thead> 
          <tr> 
           <th align="center">维度</th> 
           <th align="center">损失函数值</th> 
           <th align="left">训练模型消耗时间（s)</th> 
          </tr> 
         </thead> 
         <tbody> 
          <tr> 
           <td align="center">200</td> 
           <td align="center">1143.52</td> 
           <td align="left">53102.00</td> 
          </tr> 
          <tr> 
           <td align="center">256</td> 
           <td align="center">1143.49</td> 
           <td align="left">63260.60</td> 
          </tr> 
          <tr> 
           <td align="center">300</td> 
           <td align="center">1143.48</td> 
           <td align="left">71201.66</td> 
          </tr> 
          <tr> 
           <td align="center">400</td> 
           <td align="center">1143.48</td> 
           <td align="left">94607.44</td> 
          </tr> 
          <tr> 
           <td align="center">512</td> 
           <td align="center">1143.47</td> 
           <td align="left">123626.50</td> 
          </tr> 
         </tbody> 
        </table>
     *  （4）头数对模型结果的影响(双层，batch\_size=128)
        
        <table> 
         <thead> 
          <tr> 
           <th align="center">头数</th> 
           <th align="center">损失函数值</th> 
           <th align="center">训练模型消耗时间（s)</th> 
          </tr> 
         </thead> 
         <tbody> 
          <tr> 
           <td align="center">2</td> 
           <td align="center">1143.48</td> 
           <td align="center">71261.14</td> 
          </tr> 
          <tr> 
           <td align="center">4</td> 
           <td align="center">1227.60</td> 
           <td align="center">71728.84</td> 
          </tr> 
          <tr> 
           <td align="center">5</td> 
           <td align="center">1143.78</td> 
           <td align="center">71856.85</td> 
          </tr> 
          <tr> 
           <td align="center">6</td> 
           <td align="center">1143.48</td> 
           <td align="center">71636.31</td> 
          </tr> 
          <tr> 
           <td align="center">10</td> 
           <td align="center">1143.48</td> 
           <td align="center">73083.46</td> 
          </tr> 
          <tr> 
           <td align="center">20</td> 
           <td align="center">1143.48</td> 
           <td align="center">74627.01</td> 
          </tr> 
         </tbody> 
        </table>
        
        **问题**
        
            1. 为什么头数为4的时候损失函数值比较高？
     *  （5）学习率对模型结果的影响（双层, num\_head = 6, batch\_size=128)
        
        <table> 
         <thead> 
          <tr> 
           <th align="center">rate</th> 
           <th align="center">损失函数值</th> 
           <th align="center">F1 值（最优）</th> 
           <th align="center">阈值</th> 
           <th align="center">训练模型消耗时间（s)</th> 
           <th align="center">预测消耗时间（s)</th> 
          </tr> 
         </thead> 
         <tbody> 
          <tr> 
           <td align="center">0.00005</td> 
           <td align="center">1235.80</td> 
           <td align="center">-</td> 
           <td align="center">-</td> 
           <td align="center">120375.26</td> 
           <td align="center">-</td> 
          </tr> 
          <tr> 
           <td align="center">0.0005</td> 
           <td align="center">1143.48</td> 
           <td align="center">-</td> 
           <td align="center">-</td> 
           <td align="center">71636.31</td> 
           <td align="center">-</td> 
          </tr> 
          <tr> 
           <td align="center">0.001</td> 
           <td align="center">1143.48</td> 
           <td align="center">0.69</td> 
           <td align="center">0.999588</td> 
           <td align="center">62813.25</td> 
           <td align="center">9296.24</td> 
          </tr> 
          <tr> 
           <td align="center">0.003</td> 
           <td align="center">1143.47</td> 
           <td align="center">-</td> 
           <td align="center">-</td> 
           <td align="center">72178.98</td> 
           <td align="center">-</td> 
          </tr> 
          <tr> 
           <td align="center">0.005</td> 
           <td align="center">1143.47</td> 
           <td align="center">-</td> 
           <td align="center">-</td> 
           <td align="center">71888.02</td> 
           <td align="center">-</td> 
          </tr> 
          <tr> 
           <td align="center">0.01</td> 
           <td align="center">1143.80</td> 
           <td align="center">0.69</td> 
           <td align="center">0.989927</td> 
           <td align="center">67776.89</td> 
           <td align="center">9477.49</td> 
          </tr> 
         </tbody> 
        </table>
     *  （6）探索直接输入预训练的词向量还是随机初始化效果较好  
        （num\_head =2, dim=300, num\_units=\[1200, 300\], loss\_19.png)
        
         *  开始主观设定阈值的取值范围是 0.5：1：0.01
            
            <table> 
             <thead> 
              <tr> 
               <th align="center">是否采用预训练的词向量作为输入</th> 
               <th align="center">损失函数值</th> 
               <th align="center">训练模型消耗时间（s)</th> 
              </tr> 
             </thead> 
             <tbody> 
              <tr> 
               <td align="center">是</td> 
               <td align="center">1143.51</td> 
               <td align="center">62143.24</td> 
              </tr> 
              <tr> 
               <td align="center">否</td> 
               <td align="center">1143.48</td> 
               <td align="center">71201.66</td> 
              </tr> 
             </tbody> 
            </table>
         *  然后调整阈值取值范围为最小值：最大值：（最大值-最小值）/20
            
            <table> 
             <thead> 
              <tr> 
               <th align="center">是否采用预训练的词向量作为输入</th> 
               <th align="center">F1 值（最优）</th> 
               <th align="center">训练模型消耗时间（s)</th> 
              </tr> 
             </thead> 
             <tbody> 
              <tr> 
               <td align="center">是</td> 
               <td align="center">0.63</td> 
               <td align="center">26122.49</td> 
              </tr> 
              <tr> 
               <td align="center">否</td> 
               <td align="center">0.63</td> 
               <td align="center">21611.44</td> 
              </tr> 
             </tbody> 
            </table>
        
        **结论**：利用预训练得到的词向量得到的输入，模型训练过程中会发生震荡，  
        但是最终的结果与随机初始化相差不大，而且利用预先训练的词向量训练模型消耗的时间较少。
     *  (7) 探索 dropout 的影响（随机初始化词向量）
        
            dim =300, num_head =2, num_units = [1200, 300],
            num_ceng =2, batch_size = 128, 
            learning_rate = 0.0005
            阈值是用（最大值-最小值）/20为步长挑选出来的
        
        <table> 
         <thead> 
          <tr> 
           <th align="center">rate</th> 
           <th align="center">损失函数值</th> 
           <th align="center">F1 值（最优）</th> 
           <th align="center">阈值</th> 
           <th align="center">训练模型消耗时间（s)</th> 
           <th align="center">预测消耗时间（s)</th> 
          </tr> 
         </thead> 
         <tbody> 
          <tr> 
           <td align="center">0.1</td> 
           <td align="center">1143.47</td> 
           <td align="center">0.69</td> 
           <td align="center">0.999607</td> 
           <td align="center">62943.26</td> 
           <td align="center">9107.41</td> 
          </tr> 
          <tr> 
           <td align="center">0.3</td> 
           <td align="center">1143.48</td> 
           <td align="center">0.69</td> 
           <td align="center">0.999605</td> 
           <td align="center">62623.19</td> 
           <td align="center">9271.86</td> 
          </tr> 
          <tr> 
           <td align="center">0.5</td> 
           <td align="center">1143.58</td> 
           <td align="center">0.69</td> 
           <td align="center">0.999606</td> 
           <td align="center">62186.54</td> 
           <td align="center">9137.37</td> 
          </tr> 
          <tr> 
           <td align="center">0.8</td> 
           <td align="center">1144.84</td> 
           <td align="center">0.69</td> 
           <td align="center">0.999590</td> 
           <td align="center">63128.25</td> 
           <td align="center">9588.84</td> 
          </tr> 
         </tbody> 
        </table>

**调参结果**

1. dim =300, num_head =2, num_units = [1200, 300],
          num_ceng =2, batch_size = 128, rate=0.3
       2. learning_rate = 0.0005, 梯度更新公式在论文的基础上乘以learning_rate效果更好
       3. 是否采用预训练的词向量对损失函数值影响不大（已有论文证明，而且本文的结果也证明是否采用预训练的词向量影响不大），但是采用预训练的词向量消耗的时间较短。
          在预测时对比两种模型在真是数据集中的效果，发现效果差别不大。
       4. 受硬件限制无法训练一个与原论文相同的6层512维的模型，大概需要三天左右才能训练结束。

##### 第五步：实验结果 #####

1.  实验环境:**2 核 8g 服务器**
2.  生成处理后的数据集需要的时间
    
    <table> 
     <thead> 
      <tr> 
       <th align="center">数据集</th> 
       <th align="center">生成字向量或者词向量(s)</th> 
       <th align="center">获取词频文件(s)</th> 
      </tr> 
     </thead> 
     <tbody> 
      <tr> 
       <td align="center">sent_char_n.txt</td> 
       <td align="center">4065.48</td> 
       <td align="center">445</td> 
      </tr> 
      <tr> 
       <td align="center">sent_char_rem.txt</td> 
       <td align="center">2663.45</td> 
       <td align="center">334</td> 
      </tr> 
      <tr> 
       <td align="center">sent_word_n.txt</td> 
       <td align="center">4594.10</td> 
       <td align="center">443</td> 
      </tr> 
      <tr> 
       <td align="center">sent_word_rem.txt</td> 
       <td align="center">3359.56</td> 
       <td align="center">366</td> 
      </tr> 
     </tbody> 
    </table>
3.  Quick-thoughts 训练过程统计
    
     *  第一次生成训练数据的时间
        
        <table> 
         <thead> 
          <tr> 
           <th align="center">数据集</th> 
           <th align="center">词或字的总数量</th> 
           <th align="center">词向量中字或词的数量</th> 
           <th align="center">统计词频(s)</th> 
           <th align="center">生成词典和词向量文件(s)</th> 
           <th align="center">样本中句子包含<br>最少的词数量</th> 
           <th align="center">样本中句子<br>包含最多的词数量</th> 
           <th align="center">训练时的词数量</th> 
          </tr> 
         </thead> 
         <tbody> 
          <tr> 
           <td align="center">sent_char_n.txt</td> 
           <td align="center">19354</td> 
           <td align="center">12820</td> 
           <td align="center">111.06</td> 
           <td align="center">10.43</td> 
           <td align="center">2</td> 
           <td align="center">874</td> 
           <td align="center">12820</td> 
          </tr> 
          <tr> 
           <td align="center">sent_char_rem.txt</td> 
           <td align="center">18936</td> 
           <td align="center">12403</td> 
           <td align="center">78.99</td> 
           <td align="center">10.28</td> 
           <td align="center">2</td> 
           <td align="center">767</td> 
           <td align="center">12403</td> 
          </tr> 
          <tr> 
           <td align="center">sent_word_n.txt</td> 
           <td align="center">3198221</td> 
           <td align="center">617297</td> 
           <td align="center">117.14</td> 
           <td align="center">140.89</td> 
           <td align="center">2</td> 
           <td align="center">432</td> 
           <td align="center">20000</td> 
          </tr> 
          <tr> 
           <td align="center">sent_word_rem.txt</td> 
           <td align="center">3196599</td> 
           <td align="center">615709</td> 
           <td align="center">92.02</td> 
           <td align="center">141.54</td> 
           <td align="center">2</td> 
           <td align="center">366</td> 
           <td align="center">20000</td> 
          </tr> 
         </tbody> 
        </table>
        
        <table> 
         <thead> 
          <tr> 
           <th align="center">数据集</th> 
           <th align="center">生成 TF 文件耗费时间（s)</th> 
           <th align="center">训练模型消耗时间（s)</th> 
          </tr> 
         </thead> 
         <tbody> 
          <tr> 
           <td align="center">sent_char_n.txt</td> 
           <td align="center">86.21</td> 
           <td align="center">29555.58</td> 
          </tr> 
          <tr> 
           <td align="center">sent_char_rem.txt</td> 
           <td align="center">76.69</td> 
           <td align="center">29743.32</td> 
          </tr> 
          <tr> 
           <td align="center">sent_word_n.txt</td> 
           <td align="center">70.86</td> 
           <td align="center">29528.91</td> 
          </tr> 
          <tr> 
           <td align="center">sent_word_rem.txt</td> 
           <td align="center">80.22</td> 
           <td align="center">29533.81</td> 
          </tr> 
         </tbody> 
        </table>
     *  第二次重新分句后生成训练数据的时间
        
        <table> 
         <thead> 
          <tr> 
           <th align="center">文件</th> 
           <th align="center">字或词的数目</th> 
           <th align="center">训练样本中长度<br>小于 30 的句子数量</th> 
           <th align="center">句子的最短长度</th> 
           <th align="center">句子的最大长度</th> 
           <th align="center">生成 record 文件<br>消耗的时间(s)</th> 
          </tr> 
         </thead> 
         <tbody> 
          <tr> 
           <td align="center">new_sent_char_rem.txt</td> 
           <td align="center">9591</td> 
           <td align="center">640195</td> 
           <td align="center">2</td> 
           <td align="center">997</td> 
           <td align="center">78.80</td> 
          </tr> 
          <tr> 
           <td align="center">new_sent_word_rem.txt</td> 
           <td align="center">20000</td> 
           <td align="center">938007</td> 
           <td align="center">2</td> 
           <td align="center">300</td> 
           <td align="center">72.19</td> 
          </tr> 
         </tbody> 
        </table>
4.  第一次训练的最终结果：
    
     *  第一次利用 Quick-Thoughts 预测时，阈值是固定的（0.9)。
     *  第一次利用融合模型预测的时候，阈值是从 0.5~1，步长为 0.01，所以预测时间较长。
     *  第一次利用融合模型预测时，基于词向量的融合模型效果较差，因此没有预测基于字向量的模型。
     *  第一次训练时部分日志文件丢失，无法获取准确的训练时间。
        
        <table> 
         <thead> 
          <tr> 
           <th align="center">模型</th> 
           <th align="center">阈值</th> 
           <th align="center">最优的 F1 值</th> 
           <th align="center">预测时间</th> 
          </tr> 
         </thead> 
         <tbody> 
          <tr> 
           <td align="center">基于词向量的简单平均（去停词）</td> 
           <td align="center">0.8</td> 
           <td align="center">0.7526</td> 
           <td align="center">1771.08</td> 
          </tr> 
          <tr> 
           <td align="center">基于字向量的简单平均（去停词）</td> 
           <td align="center">0.8</td> 
           <td align="center">0.8013</td> 
           <td align="center">1762.93</td> 
          </tr> 
          <tr> 
           <td align="center">基于词向量的加权平均（去停词）</td> 
           <td align="center">0.8</td> 
           <td align="center">0.7666</td> 
           <td align="center">1834.97</td> 
          </tr> 
          <tr> 
           <td align="center">基于字向量的加权平均（去停词）</td> 
           <td align="center">0.8</td> 
           <td align="center">0.7904</td> 
           <td align="center">1787.23</td> 
          </tr> 
          <tr> 
           <td align="center">基于字向量和词向量的加权平均</td> 
           <td align="center">0.8</td> 
           <td align="center">0.8013</td> 
           <td align="center">1762.93</td> 
          </tr> 
          <tr> 
           <td align="center">基于词向量的 Quick-Thought Vectors 算法</td> 
           <td align="center">0.9</td> 
           <td align="center">0.743666</td> 
           <td align="center">2253.14</td> 
          </tr> 
          <tr> 
           <td align="center">基于字向量的 Quick-Thought Vectors 算法</td> 
           <td align="center">0.9</td> 
           <td align="center">0.664273</td> 
           <td align="center">2250.50</td> 
          </tr> 
          <tr> 
           <td align="center">融合 Transformer 的 Quick-Thought Vectors 算法（分词 + 去停词）</td> 
           <td align="center">0.8</td> 
           <td align="center">0.396015</td> 
           <td align="center">24528.78</td> 
          </tr> 
          <tr> 
           <td align="center">融合 Transformer 的 Quick-Thought Vectors 算法（不分词 + 去停词）</td> 
           <td align="center">-</td> 
           <td align="center">-</td> 
           <td align="center">-</td> 
          </tr> 
         </tbody> 
        </table>
5.  第二次重新分句后的最终结果
    
     *  对于简单平均算法和加权平均算法没有重新生成词向量，进行训练。
     *  重新对数据进行清洗，删除维基百科中部分无意义的信息，  
        并且按照中文习惯重新进行分句。
     *  训练模型模型时，全都随机初始化词向量。（所以 Quick-thoughts 效果较差）
        
        **实验结果**
        
        <table> 
         <thead> 
          <tr> 
           <th align="center">模型</th> 
           <th align="center">阈值</th> 
           <th align="center">最优的 F1 值</th> 
           <th align="center">训练时间（s)</th> 
           <th align="center">预测时间(s)</th> 
          </tr> 
         </thead> 
         <tbody> 
          <tr> 
           <td align="center">基于字向量的 Quick-Thoughts 模型</td> 
           <td align="center">0.922823</td> 
           <td align="center">0.601799</td> 
           <td align="center">31274.17(8.7h)</td> 
           <td align="center">9354.07</td> 
          </tr> 
          <tr> 
           <td align="center">基于词向量的 Quick-Thoughts 模型</td> 
           <td align="center">0.885814</td> 
           <td align="center">0.647385</td> 
           <td align="center">31443.50(8.7h)</td> 
           <td align="center">9192.68</td> 
          </tr> 
          <tr> 
           <td align="center">基于字向量的 Transformer 模型</td> 
           <td align="center">0.999912</td> 
           <td align="center">0.725537</td> 
           <td align="center">47057.17(13h)</td> 
           <td align="center">8854.41</td> 
          </tr> 
          <tr> 
           <td align="center">基于词向量的 Transformer 模型</td> 
           <td align="center">0.999942</td> 
           <td align="center">0.575241</td> 
           <td align="center">72569.82(20h)</td> 
           <td align="center">8830.47</td> 
          </tr> 
          <tr> 
           <td align="center">融合 Transformer 的 Quick-Thought 模型（未分词）</td> 
           <td align="center">0.999464</td> 
           <td align="center">0.63471</td> 
           <td align="center">31274.17(8.7h)+47057.17(13h)</td> 
           <td align="center">9397.37</td> 
          </tr> 
          <tr> 
           <td align="center">融合 Transformer 的 Quick-Thought 模型（分词）</td> 
           <td align="center">0.999164</td> 
           <td align="center">0.64511</td> 
           <td align="center">31443.50(8.7h)+72569.82(20h)</td> 
           <td align="center">9328.97</td> 
          </tr> 
         </tbody> 
        </table>
     *  结论：
        
        1.  两个编码器全都随机初始化词向量后，Quick-Thoughts 的性能下降。  
            并且基于字向量的模型比基于词向量的模型效果较差。
        2.  仅用 Transformer 编码器，基于字向量的模型效果较好，基于词向量的模型效果特别差。
        3.  融合后的模型无论是基于词向量还是字向量，与融合前的 Quick-thoughts 算法相比，没有显著的提升。
        4.  融合前后的 Quick-thoughts 算法，基于字向量的模型效果都比基于词向量的模型效果差，可能是因为 Quick-thoughts 算法没有  
            输入预先训练的词向量，还有融合后句向量的维度变为 2700，对模型的结果也有一定的影响，但是由于计算条件的限制无法对  
            句向量的维度进行探索。

#### 三、其它 ####

*  已解决的问题
    
    1.  词向量文件太大, 无法加载(已解决)—利用 np.load 加载.npy 文件，直接就是 numpy 数组
    2.  为什么字输入比词输入消耗时间少？—原因：字的维度较小，权重矩阵较小。
    3.  换新电脑后经常出现无法打开 GitHub 的官网情况，原因为本地的 DNS 无法进行解析，  
        可以修改 C:\\Windows\\System32\\drivers\\etc\\hosts 文件，具体细节参考  
        [连不上 GitHub 的解决方案][GitHub]
    4.  label smoothing 标签平滑
    5.  batch\_size 固定的太死，无法预测非 batch\_size 的东西
    6.  预测时的 batch 必须要与训练时的 batch 保持一样吗？—不一定
    7.  不足一个 batch 的数据在预测时是如何处理的？— tf.shape 可以获取变量的维度信息，就算是维度为 None
    8.  transformer 的输入是等长的还是不等长的？
    
     *  编码器-解码器的每个 batch 的长度不一样，每个 batch 填充到这个 batch 内的最大长度。
    
    1.  Quick-thoughts 算法不需要对句子进行 padding，transformer 的每个 batch 需要进行 padding
    2.  os.remove 只能删除文件，shutil.rmtree 可以删除指定的目录
    3.  第一次生成的 vocab.txt 中含有特殊字符，需要重新生成。  
        之前的 vocab.txt 是利用词向量文件重新生成的，所以要想生成新的必须首先生成词向量。  
        第二次修改直接选择词频较高的词语作为字典，总数量不超过 20000。
    4.  重新生成训练样本文件，深度学习模型的词向量嵌入均随机初始化。
 *  未解决的问题
    
    1.  长度和重合度数据集未标注完成，共 2000 条,并且标注后的样本去停词后会变成空值
    2.  受硬件限制，无法探索词向量的维度和句向量的维度对模型效果的影响
    3.  未登录词如何处理？  
          
        目前采取的方法：随机初始化，用 0 进行 padding  
          
        （1）加 unnk,索引为 1  
          
        （2）随机初始化一个向量  
          
        （3）padding 和未登录词的区别
    4.  quick-thoughts 效果较差
        
         *  基于词向量的 F1 值 0.7，基于字向量的 F1 值 0.75.
    5.  loss 一直保持不变，是什么原因？
        
         *  猜测原因：
            
            1.  说明参数一直都没有得到更新
            2.  没有添加 dropout，为啥 dropout 可以防止过拟合？dropout 相当于集成
            3.  batch\_size 过大，网络会收敛到局部最优点；  
                batchz\_size 太小，类别较多时，loss 可能会一直震荡
            4.  学习率过大，transformer 的学习率在论文中有对应的公式
         *  真实原因：
            
            1.  按照论文中的学习率公式修改学习率后，损失函数缓慢下降，但是又开始震荡
                
                 *  论文中的学习率公式如何得到的？？？
                 *  为什么按照论文中的公式表示学习率就会缓慢下降？？？？  
                    理论上学习率如果足够小，肯定可以收敛。、
    6.  beam search 在预测时会遇到，本文参考 tensor2tensor 的代码，并没有看懂
        
         *  主要函数：
            
            1.  grow\_alive
            2.  grow\_finished
            3.  grow\_topk
            4.  inner\_loop
            5.  is\_not\_finished
         *  不懂的点
            
            1.  tf.bitcast()具体是怎末实现的
            2.  长度惩罚项及结束搜索的条件
            3.  主要函数的功能
    7.  机器翻译时，解码器的第一个输入是 `<s>` 表示开头，直到 `<e>` 结束
    8.  对词层面上的优化（感觉意义不大）：
        
        1.  对句子中所有的词向量取最大值
        2.  对句子中所有的词向量取最小值
        3.  对句子中所有的词向量取平均值  
            生成句向量：
            
            1.  进行拼接
            2.  删除掉最大值和最小值,然后再进行平均
    9.  第二次重新分句后没有训练词向量和字向量文件，quick-thoughts 算法只能全部随机初始化，效果较差。

[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88253754  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88253754

[Link 1]: https://download.csdn.net/download/sheziqiong/88253754
[wikiextractor]: https://github.com/attardi/wikiextractor
[GitHub]: https://blog.csdn.net/believe_s/article/details/81539747