【Paper Note】Representation Learning-Assisted Click-Through Rate Prediction (DeepMCP) 论文详解

忘是亡心i 2021-11-11 19:26 250阅读 0赞

https://arxiv.org/pdf/1906.04365.pdf

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9yb2d1ZXNpci5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]

### 背景 ###

以往的点击率预估模型像FM系列、WDN等模型，都只是考虑特征和ctr之间的联系，阿里的这篇论文，提出了DeepMCP模型，不仅考虑了特征和ctr之间的联系，同时考虑了特征和特征间的关系，如用户和广告、广告和广告间的联系。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9yb2d1ZXNpci5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 1]  
DeepMCP模型主要由三个部分组成：matching subnet、correlation subnet和prediction subnet。前两个模型用来学习特征间的联系，通过命名也可以很容易理解：matching subnet用来学习用户和广告间的联系（whether an ad matches a user’s interest），correlation subnet用来学习广告间的关系（which ads are within a time window in a user’s click sequence）；prediction subnet则用来学习特征和ctr间的关系。

### DeepMCP结构 ###

DeepMCP的训练过程和测试过程是分离的，如下图所示，在训练过程，模型不但要学习feature和ctr间的关系，同时还要学习matching subnet和correlationb subnet两个网络，三个subnet的loss加权求和才是训练过程的最终loss；而在测试过程，模型只需要对测试数据进行预测（user、ad间的关系模型已经在训练过程中学习到），这样在serving阶段就会简单很多。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9yb2d1ZXNpci5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 2]  
以往的点击率预估模型都是学习feature和ctr的关系，DeepMCP为什么要额外加上两个子网络呢？如下图所示，以往的模型可以表示为左图，但是对于实际数据，可能存在着以下情况：user1和user对ad1都感兴趣，对ad2都不感兴趣，如果user1也对ad3感兴趣，那么按照协同过滤的思想，user2对ad3页更可能感兴趣；同样，ad1和ad3可能更相似，在以往的模型中，模型足够powerful，这种隐性关系可能会学习到，但现在如果把这种关系作为一个特征来影响loss，从而让模型显式地考虑到它，那么模型也应该更加powerful。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9yb2d1ZXNpci5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 3]  
于是，DeepMCP被设计成以下结构。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9yb2d1ZXNpci5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 4]

*  更新时间：20191010

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9yb2d1ZXNpci5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]: /images/20211109/b8fbb2e71c084b8c940d9edd41251696.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9yb2d1ZXNpci5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 1]: /images/20211109/d78b04c3944b49649bff370cfc10cbd6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9yb2d1ZXNpci5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 2]: /images/20211109/25312dcaaa8a4442a6edf09a885821a1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9yb2d1ZXNpci5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 3]: /images/20211109/011f7fbd7a0f4941a1365bfb6b8c5e77.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9yb2d1ZXNpci5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 4]: /images/20211109/3a7e2b00e1c146018a4d8456a2e7e4be.png