NLP算法竞赛心得

叁歲伎倆 2022-09-11 08:15 215阅读 0赞

# 前言 #

*  文章来源：CSDN@LawsonAbs
 *  新的学期已经来临，必须要完成一篇顶会 + 一次比赛Top3 的经历！

--------------------

笔者参加过一些深度学习相关的算法竞赛，但收获一般，这里小结一波，为后续参加比赛的同学提供一点儿经验值。

*  2020年9月 阿里天池中医药命名实体识别
 *  2021年4月 [LIC多形态任务抽取][LIC]【 6/2048，三等奖】
 *  2021年9月 [第五届“达观杯” 基于大规模预训练模型的风险事件标签识别][Link 1] 【9/1067 获优胜奖+达观数据实习生资格】

时常安慰自己，尽管没有拿到很好的名次，但每次比赛都能给自己带来收获和成长。很多事情自己如果没有亲自动手做的话，总会陷入“纸上谈兵”，比如：你真的能一口说出bert-large 和 bert-base 基本参数的差异吗？你是否发现其实真实生活中很多分类问题都存在“长尾问题”？比如每天限制提交的次数就要求我们早做比赛，早划分dev数据集？难分样本就是loss大的样本吗…

下面就说一下我个人认为比较有价值的比赛经验和教训。

# 1. 划分验证集（dev） #

*  因为很多算法比赛都会限制每天的提交次数，所以我们如果仅靠测评结果来告诉我们模型的效果是远远不够的，所以我们需要使用dev数据集来间接评测效果，如果在dev上效果好，那么就可以考虑提交成绩，否则更换方法重头再来。如果竞赛主办方已给出`dev`数据集，那就直接使用；如果没有，则需要我们自己手动分割，但是分割的同时又需要注意分割结果是否符合原来的数据集分布，比如在训练集中出现类别不均衡问题时，那么在dev中我们也必须保持同样的分布，即在dev中也要类别不均衡才行！
 *  划分dev的效果还不在与此，可以让我们更好的寻找到train的最优epoch，因为我们自己没有办法确定在test上具体需要train 到哪一epoch时才能达到最优，所以此时就需要使用dev来判断。

# 2. 模型保存 #

模型保存问题也很重要，而且尽量以dev的测评最优保存模型，这再次说明dev 的重要性。同时保存模型时，也必须要输出其运行使用的参数配置，比如学习率，lable smooth 中的 ϵ \\epsilon ϵ ，训练用的数据集等等，这样方便自己回溯任务，否则实在难记忆这么多模型到底是怎么得到的！

# 3. 仔细分析问题 #

*  **拿到比赛题之后，首先要分析（这应该是我们做任何事情的黄金准则）**。判断其是否在现有的资源情况下解决这个问题。比如说有的时候比赛就是靠**卡+数据**堆出来，所以当你没有显卡资源的时候，你是怎么都竞争不过对手的，所以拿到问题，就需要考虑一下是否能做？
 *  **搞清楚网站评测的标准是什么**。比如说：是用的F1，还是recall？还是precision? 如果是F1，且在多分类问题上，是 `macro f1` 还是 `micro f1`？ 如果是 `macro f1`， 那么说明所有类别对最后的值都有影响，那么是否存在“类别不平衡”问题？针对这些评测标准，我们就需要考虑我们自己的模型到底在哪些地方存在问题，然后再选择改进。简言之：我们需要仔细考虑评测标准，然后再针对已有模型改进。

这些天在做【第五届达观杯】分类任务，深有体会：

*  做好数据分析工作，这部分工作很重要，是因为只有了解数据，才能知道问题的难点是什么。比如在这个任务中，难点就在于难样本的分析。  
    ![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATGF3c29uQWJz_size_17_color_FFFFFF_t_70_g_se_x_16]  
    下面几个黄色框中就是难样本，怎么提升这些类别才是整个问题的关键。

# 4. 猜测答案 #

如果时间充足，比如我们还有60天才结束，这个时候就可以使用一些trick 去猜测某类答案到底占最后的结果有多大的比例。比如我们提交一份结果，该结果中的所有类别都是其中某一类，这样我们就可以大概猜测出其分数占比。

# 5. 充分利用开源资源 #

其实有狠多比赛都是重复度极高的，换个马甲就可以参加下一场比赛了。所以强烈建议大家先搞懂一个比赛，熟悉其代码体系，然后整个研究生三年几乎都可以用同套代码来完成任务，这么说毫不夸张！所以先精通某个东西，然后将其迁移到其它方面是个很不错的选择！  
还以我近期正在参加的【第五届达观杯】为例，因为官方给出的数据集是脱敏数据，所以这是一个需要预训练的任务，但是问题在于，该怎么预训练呢？很多人第一时间就会想到使用给出的 73G 的unlable数据集预训练，其实这么做完全没有必要，因为稍作分析就会发现 `train+test` 中的文本和 `unlabel` 的文本差的太远了。 `train+test` 中的数据分布（仅从文本长度考虑）长成如下这样：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATGF3c29uQWJz_size_16_color_FFFFFF_t_70_g_se_x_16]  
但是 `unlabel` 中的数据则几乎每个文本长度都超过500+，如果在`unlabel`数据集上预训练，几乎是南辕北辙！事实也证明确实如此，在小范围的使用unlabel预训练之后，再在`train+test`上预训练，效果差不多提升4~5个点。但是仅仅使用初始的mlm这种方法预训练还是不够的，最好还要同时利用语句中的ngram信息，这就引出了 `ngram mask` 任务… 其实这些操作网上都有很好的开源代码，照着分析，照着读就能很好地解决问题！

[LIC]: https://aistudio.baidu.com/aistudio/competition/detail/65
[Link 1]: https://www.datafountain.cn/competitions/512/ranking?isRedance=0&sch=1804&stage=B
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATGF3c29uQWJz_size_17_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/f0bd37713599469ba6b2495fbf4cb980.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATGF3c29uQWJz_size_16_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/e7f5f8f36c104f99bcbf96ba49879ca7.png