蚂蚁金服风险大脑-支付风险识别天池大赛 —— 赛后总结

谁借莪１个温暖的怀抱￠ 2022-05-20 00:39 405阅读 0赞

周末这几天都忙着东奔西跑，比赛也在周末结束了，故现来总结一波。这次报名蚂蚁金服风险大赛主要是为了做个案例，用商业发行版TDH大数据平台社区版+可拖拽式快速人工智能平台Sophon来完成。

# **数据预处理（编码2分钟+运行5分钟）：** #

上传至HDFS，用分布式SQL引擎兼数据仓库来完成用于分析的海量业务数据存储。用Java处理数据，得到我们需要的格式。至于替换缺失值等操作完全可以在sophon中实现，极为方便。

[风险大脑-支付风险识别天池大赛（一）数据预处理][-]

[风险大脑-支付风险识别天池大赛（二）数据存储及检查][- 1]

# **建模（拖拽2分钟+调参运行10分钟）：** #

随机森林、梯度提升树、xgboost、svm。没有不好的算法，只有不好的数据和参数。所以在算法选择上建议大家不要犹豫，随机森林或xgboost就够用了。如果你的特征工程做得好、模型参数调得好，结果自然就会好。

其中随机森林在每颗树的深度和树的个数较高时具有不错的效果，但耗时相对较久。而xgboost和梯度提升树在默认参数下，较短的时间内就能获得相对较好的结果。具体模型的建立过程大家参考前几篇博客：

[风险大脑-支付风险识别天池大赛（三）快速建立模型（含调参思路）][- 2]

[风险大脑-支付风险识别天池大赛（四）处理无标签数据、建立完整模型][- 3]

期间，偶然发现一trick思路：

[风险大脑-支付风险识别天池大赛（番外篇）trick思路][-_trick]

当你拖完下面的算子后，你的工作已经完成了90%了，sophon就是这么强大！

![70][]

# **处理输出数据（编码2分钟+运行1分钟）：** #

这次直接用决定最终成绩的B榜数据去测试的，故得到结果直接参与排名。具体模型结果处理参考如下博文：

[险大脑-支付风险识别天池大赛（五）处理模型输出并提交结果、“榜上有名”][- 4]

# **刷刷刷：** #

排行榜这种东西是有毒的，会让你一直想改进自己模型不断优化，当初本来不是抱着这个目的参赛的，只想做个案例。结果还是中毒了，可能博主比较喜欢刚![骂人][curse.gif]！

**结果：**

![70 1][]

差不多提交了8次，最终成绩，看着不错，其实还没出线![哭][cry.gif]：

![70 2][]

# **可改进的地方：** #

1、端正参赛动机，不是为了得到第一，就不要去报名！不要认为自己不会中排行榜的毒。

2、无标签数据其实可以用基于“流形假设”的聚类策略，将高维度支付特征映射到分布在流形结构的低维特征上，这样能发现风险支付的某些局部相似特征。而不是仅仅的用把无标签数据都当成风险概率为0.65的trick策略（不过这个trick还挺好使）。

3、正常数据与风险数据是100:1，属于样本不均衡的情况，我们应当通过随机欠采样或随机过采样来解决此问题。事实证明，这样能够极为明显地提升模型效果。

4、本次直接把所有特征数据都送入模型进行了训练，然而通过观察数据可以发现实际上有些特征之间相关度比较高，如缺失都是缺失，不缺失则都大致相近。其实可以PCA计算每个特征的权重，选择TopK个权重（根据预先观察），再将选中的TopK个特征送入模型训练，这样可以大大减少噪声，由于没经验，以为给的数据就是完美的，故没做此操作，果然还是太年轻。

经过3、4两步后，模型对风险数据召回率直接飙升至0.735，之前仅有0.56左右，如下图，感觉应该能进前100了吧：

![70 3][]

此时虽然已经知道比赛截止了，但官网上的提交按钮还能点，故想着用新模型处理得到一波结果，准备提交，然而选中文件后点击提交，出现了如下弹窗，***我果然还是太年轻**。。。*不过无所谓了，就当把比赛套路都踩了一遍了吧，以后有机会再干！：

![70 4][]

5、模型融合，因为时间原因这次仅仅采用了基于不同模型输出的结果文件的平均值策略，其实还可以尝试其他策略，如stacking、voting、weighting等，其实这次也用了stacking思想，即通过sophon里的交叉验证算子，最终嫌弃跑的太慢就放弃了。

6、***学习学习，自己懂得还是太少！通过这次比赛，我发现对数据的敏感度需要建立在基础理论知识基础上，否则一切都是假象*。**这玩意儿就像学物理一样，需要直观感受和理论依据以及科学的计算，其实这次赛题隐约感觉和时间序列也有关系，毕竟针对安全的攻击事件还是会周期性发生的，只是这次没去做分析。

# 官方给的建议（比赛结束1个月后才看到这个干货） #

写的挺详细的，我就不在这里重复了，大家直接移步[官方指导][Link 1]就好~

总之，答应大家从头直播比赛的事情，今天正式圆满了，大家不要对天池大赛望而生畏啦，各位，加油，英雄榜上风云四起，怎么能少了你！！！

[-]: https://blog.csdn.net/whdxjbw/article/details/80843936
[- 1]: https://blog.csdn.net/whdxjbw/article/details/80831655
[- 2]: https://blog.csdn.net/whdxjbw/article/details/80847368
[- 3]: https://blog.csdn.net/whdxjbw/article/details/80909545
[-_trick]: https://blog.csdn.net/whdxjbw/article/details/80925237
[70]: /images/20220520/db826069c9d94df0806c5547a7e5c140.png
[- 4]: https://blog.csdn.net/whdxjbw/article/details/80975373
[curse.gif]: https://static-blog.csdn.net/xheditor/xheditor_emot/default/curse.gif
[70 1]: /images/20220520/5674181843d342e3af63de736e337ee8.png
[cry.gif]: https://static-blog.csdn.net/xheditor/xheditor_emot/default/cry.gif
[70 2]: /images/20220520/0c17035f385448e9980485a3a8355457.png
[70 3]: /images/20220520/6436f384b57f43cbb438597c159807b5.png
[70 4]: /images/20220520/52d270aa24214b838e84f44b0e763874.png
[Link 1]: https://openclub.alipay.com/read.php?tid=7341&fid=96