中文阅读理解_2021海华AI挑战赛

悠悠 2022-11-17 13:36 153阅读 0赞

# 一、阅读理解基本介绍 #

四种广义的机器阅读理解任务：

*  完形填空

*   *  定义：给定文章C，将其中的一个词或者实体a(a属于C)隐去作为待填空的问题，完形填空任务要求通过最大化条件概率P(a|C-a)来利用正确的词或实体a进行填空。
     *  数据集：CNN & Daily Mail、CBT、LAMBADA、Who-did-What、CLOTH、CliCR

*  多项选择

*   *  定义：给定文章C、问题Q和一系列候选答案集合，多项选择任务通过最大化条件概率来从候选答案集合A中挑选出正确答案回答问题Q。
     *  数据集：MCTest、RACE

*  片段抽取

*   *  定义：给定文章C（其中包含 n 个词）和问题Q，片段抽取任务通过最大化条件概率P(a|C,Q)来从文章中抽取连续的子序列作为问题的正确答案。
     *  数据集：SQuAD、NewsQA、TriviaQA、DuoRC

*  自由作答

*   *  定义：给定文章C和问题Q，自由作答的正确答案a有时可能不是文章C的子序列。自由作答任务通过最大化条件概率P(a|C,Q)来预测回答问题Q的正确答案a。
     *  数据集：bAbI、MS MARCO、SearchQA、NarrativeQA、DuReader

本次比赛的场景是单项选择，即给定文章C、问题Q和一系列候选答案集合，单项选择任务通过最大化条件概率来从候选答案集合A中挑选出正确答案回答问题Q。

# 二、baseline介绍 #

本次baseline是[https://mp.weixin.qq.com/s/CTMn4Mb25d0A1V8eZREiYw][https_mp.weixin.qq.com_s_CTMn4Mb25d0A1V8eZREiYw]，不是本人，我也只是学习者。

比赛地址：[https://www.biendata.xyz/competition/haihua\_2021/][https_www.biendata.xyz_competition_haihua_2021]

# 三、跑baseline中遇到的问题 #

## 1、bert问题 ##

下载地址：[https://github.com/ymcui/Chinese-BERT-wwm][https_github.com_ymcui_Chinese-BERT-wwm]

但是地址中给的pytorch版本的放在了google云盘，我用的这个梯子不稳定，总是下一部分就断了，又得重新下，于是就想着把tensorflow版本的转化为pytorch版本的。

*  首先，下载好tensorfflow版本的bert
 *  ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwODE5OTQ1_size_16_color_FFFFFF_t_70][]
 *  再者，导包
 *      pip install transformers
    
    运行该代码
 *      import transformers.convert_bert_original_tf_checkpoint_to_pytorch as con
        con.convert_tf_checkpoint_to_pytorch(
            r'chinese_wwm_ext_L-12_H-768_A-12/bert_model.ckpt',
            r'chinese_wwm_ext_L-12_H-768_A-12/bert_config.json',
            r'chinese_wwm_ext_L-12_H-768_A-12/pytorch_bert.bin'
        )
    
                   
 *  ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwODE5OTQ1_size_16_color_FFFFFF_t_70 1][]
 *  得到pytorch版本bert
 *  \*\*\*\*\*\*\*\*\*\*\*\*\*\*问题1解决\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*

之后，就跑通了。

## 四、理解baseline代码中遇到的问题 ##

1、读原始数据

原作者写该baseline的时候，是将json文件转化为csv文件，我就当练代码了，就直接用json文件读入，把代码整体过一遍。

这里主要的问题是读入的数据如何拼接，怎样的数据才能算是能喂入模型的一条数据。

原始数据的一条包含：content、question、choices、label。（注意：除了choices有多个，其他都是一个）

因此，我们处理后的一条数据为：(\[(content,question,choice1),(content,question,choice2),...\],label)，整体分为两部分，data和label，其中data再进行细分。

2、DataLoder的collate\_fn属性

这里的输入data跟Dataset的数据处理密切相关。

class MyDataset(Dataset):
        def __init__(self, data, label):
            self.data = data
            self.label = label
    
        def __len__(self):
            return len(self.data)
    
        def __getitem__(self, idx):
            ## data [(content,question,choice),(),...]
            content = []
            question = []
            choice = []
            for item in self.data[idx]:
                content.append(item[0])
                question.append(item[1])
                choice.append(item[2])
            if len(choice) < 4:
                for i in range(4 - len(choice)):
                    content.append(content[len(choice) - 1])
                    question.append(question[len(choice) - 1])
                    choice.append('不知道')
            question_choice = [q + ' ' + c for q, c in zip(question, choice)]
    
            return content, question_choice, self.label[idx]

这里返回值有三个，那么重新的collate\_fn函数中的data的维度为(batch\_size,3)。

可以看到：

*  x\[0\]为list，内容为\[content,content,content,content\]，即4个一样的文本内容；
 *  x\[1\]为list，内容为\[question+choice1,questin+choice2,question+choice3,questin+choice4\]，即4个一样的question分别和4个不同choice拼接。
 *  x\[2\]为scalar，内容为这道题的答案，即label。

def collate_fn(data):  # 将文章问题选项拼在一起后，得到分词后的数字id，输出的size是(batch, n_choices, max_len)
        input_ids, attention_mask, token_type_ids = [], [], []
        for x in data:
            text = tokenizer(x[1], text_pair=x[0], padding='max_length', truncation=True,
                             max_length=conf['max_len'],
                             return_tensors='pt')
            input_ids.append(text['input_ids'].tolist())
            attention_mask.append(text['attention_mask'].tolist())
            token_type_ids.append(text['token_type_ids'].tolist())
        input_ids = torch.tensor(input_ids)
        attention_mask = torch.tensor(attention_mask)
        token_type_ids = torch.tensor(token_type_ids)
        label = torch.tensor([x[2] for x in data])
        return input_ids, attention_mask, token_type_ids, label

# 五、学习到的知识 #

1、交叉验证

k-fold交叉验证：首先将全部样本划分成*k*个大小相等的样本子集；依次遍历这*k*个子集，每次把当前子集作为验证集，其余所有子集作为训练集，进行模型的训练和评估；最后把*k*次评估指标的平均值作为最终的评估指标。在实际实验中，*k*经常取10。

原作者在这里用的是StratifiedKFold，StratifiedKFold与k-fold类似，但取得数据集有区别，其分层采样交叉切分，确保训练集，测试集中各类别样本的比例与原始数据集中相同。

from sklearn.model_selection import StratifiedKFold
    
    folds = StratifiedKFold(n_splits=conf['fold_num'], shuffle=True, random_state=conf['seed']).split(np.arange(len(X)), y)
    ## fold代表第几个fold
    for fold, (trn_idx, val_idx) in enumerate(folds):
        train_x = np.array(X)[trn_idx]
        train_y = np.array(y)[trn_idx]
        val_x = np.array(X)[val_idx]
        val_y = np.array(y)[val_idx]

2、半精度训练

[https://blog.csdn.net/HUSTHY/article/details/109485088][https_blog.csdn.net_HUSTHY_article_details_109485088]

3、梯度累加

[https://www.zhihu.com/question/303070254/answer/573037166][https_www.zhihu.com_question_303070254_answer_573037166]

之前，由于数据量太大，显存不足，我们把数据切成一个个batch，而每训练一个batch，再反向传播之前，我们都会将梯度清零。

而梯度累加则是有种变相扩大batch\_size的感觉，训练了一个batch后，不将梯度清零，到了自己设置的阈值，再进行梯度清零。

# 六、github个人主页 #

之后，会将自己过滤一遍的baseline放在我的主页，欢迎来访。

[https://github.com/lao-sheng][https_github.com_lao-sheng]

[https_mp.weixin.qq.com_s_CTMn4Mb25d0A1V8eZREiYw]: https://mp.weixin.qq.com/s/CTMn4Mb25d0A1V8eZREiYw
[https_www.biendata.xyz_competition_haihua_2021]: https://www.biendata.xyz/competition/haihua_2021/
[https_github.com_ymcui_Chinese-BERT-wwm]: https://github.com/ymcui/Chinese-BERT-wwm
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwODE5OTQ1_size_16_color_FFFFFF_t_70]: /images/20221022/0e8910cf0ecf45a2ab68d23eb04bb1e1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwODE5OTQ1_size_16_color_FFFFFF_t_70 1]: /images/20221022/e32dafb8825c4cd18ca6c058645951e1.png
[https_blog.csdn.net_HUSTHY_article_details_109485088]: https://blog.csdn.net/HUSTHY/article/details/109485088
[https_www.zhihu.com_question_303070254_answer_573037166]: https://www.zhihu.com/question/303070254/answer/573037166
[https_github.com_lao-sheng]: https://github.com/lao-sheng