推荐模型-上下文感知-2017：AFM模型【FM家族】【NFM的改进版】【引入Attention机制】

傷城~ 2023-09-28 18:49 11阅读 0赞

AFM可以看作是对NFM功能的增强，实际上NFM的作者参与到了AFM的研究当中。AFM模型的最大贡献是将Attention机制引入到了特征交叉模块。在NFM的BI层，对交叉特征的向量进行Sum Pooling时是没有权重的，对所有的特征交叉都一视同仁，平等对待。但实际中，不同的特征组合对结果的影响程度是有差别的，通过Attention机制可以显式地将这些差异学习出来，增加了信息量，可以对模型的效果带来提升，同时还对可解释性带来了帮助。例如在广告推荐场景中，对于特征组合“女性+曾经购买过化妆品”对是否购买“口红”商品的影响要强过特征组合“30岁+宁波”。

AFM的核心是在特征交叉层与输出层之间，增加了Attention网络，结构如图5所示。  
![在这里插入图片描述][63a14b889dbd44f89c8e54806e6daa17.jpeg]  
其中Pair-wise Interaction Layer跟NFM中的Bi-Interaction Layer（去除Pooling的话）是一样的。AFM的核心是Attention-based Pooling层，公式如下：  
![在这里插入图片描述][bb929fa37b55467eb619e0534777e507.jpeg]  
两两向量交叉之后，与一个注意力分数a相乘，表示这组交叉对于最终输出的影响程度，其中a也是通过训练学到的。论文中采用了一个MLP来实现Attention Net，用来学习a。采用MLP的另一个好处是对于从未出现过的特征组合也具备一定的泛化能力。该注意力网络是一个简单的全连接加上softmax作为输出。

AFM最终的输出如下列公式：  
![在这里插入图片描述][c1eb9882550040d795717011bb897982.jpeg]  
除了带注意力机制的交叉部分外，依然保留了线性部分。还可以看出，相对于NFM，AFM没有后面的DNN部分。不过从各种组合模型相对丰富的今天来看，读者完全可以根据自己的数据特点做模型的扩展和修改。

--------------------

参考资料：  
[神经网络中的几个FM家族模型（FNN、NFM、AFM、DeepFM）][FM_FNN_NFM_AFM_DeepFM]

[63a14b889dbd44f89c8e54806e6daa17.jpeg]: https://img-blog.csdnimg.cn/63a14b889dbd44f89c8e54806e6daa17.jpeg
[bb929fa37b55467eb619e0534777e507.jpeg]: https://img-blog.csdnimg.cn/bb929fa37b55467eb619e0534777e507.jpeg
[c1eb9882550040d795717011bb897982.jpeg]: https://img-blog.csdnimg.cn/c1eb9882550040d795717011bb897982.jpeg
[FM_FNN_NFM_AFM_DeepFM]: https://zhuanlan.zhihu.com/p/442272077