GAN 推荐算法成精，看完视频马上刷出相关文章

古城微笑少年丶 2022-09-06 00:30 71阅读 0赞

本文转载自IT之家

这年头，推荐算法真是越来越智能了。

举个栗子，当你热衷于东京奥运会并且刷了不少剪辑视频，App 就会根据你的品味为你推荐文章、游戏或是同款周边。

![911a0fcdef0d8c00f33a54323fcd52e1.png][]

没错，推荐算法早已不局限于一个场景，而是在视频、文章、小程序等各种场景中“打通任督二脉”，也就是多领域推荐算法。

但事实上，这类算法并不如想象中容易驾驭，关键在于如何抓住不同领域中，关于目标领域的有效特征。

为了让推荐算法更了解你，腾讯微信的看一看团队，针对多领域推荐任务提出了一个全新的模型，融合了生成对抗网络 GAN、ELECTRA、知识表示学习等思路，学习不同领域之间的特征转移，极大地提升了多领域推荐算法的效果，论文已被 KDD 2021 收录。

8 月 18 日，数据挖掘领域国际最高级别会议 KDD 2021 会议在线上举行，微信看一看团队的 Xiaobo Hao，针对这篇名为「Adversarial Feature Translation for Multi-domain Recommendation」的论文，进行了详细解析和分享。

![6778dc8365f202ea904499039f3c929e.png][]

我们对论文解析进行了相关总结，一起来看看。

## 多领域推荐难在哪 ##

推荐系统已经融入生活的方方面面，为我们提供个性化的信息获取及娱乐。

在马太效应的影响下，Google、WeChat、Twitter 等平台应运而生。它们往往拥有各种（推荐）服务，能够为用户推荐多样化的物品（如文章、视频、小程序等），满足用户需求。

用户在不同推荐服务上的行为（在用户允许下），会通过用户的共享账号产生关联。

这些行为，能在目标领域行为之外提供更多信息，帮助推荐系统更加全面地了解用户，辅助提升各领域推荐效果。

多领域推荐 （Multi-domain recommendation，MDR）任务就是基于用户在多个领域的行为和特征，来同时优化多个领域的推荐效果，关键在于如何抓住不同领域中的目标领域特化的特征。

一个直观的方法，是将用户的多领域行为当作额外的输入特征，直接输入给 ranking 模型，但这种方法没有针对领域间的特征交互进行优化建模。

另一个方法，是近期基于多任务学习（Multi-task learning，MTL）的一些思路，将一个领域的推荐当作一个任务进行处理，取得了不错的效果。

然而，多领域推荐效果仍然严重地受限于其固有的稀疏性问题，具体体现在两个方面：其一，user-item 点击行为的稀疏性（这个是推荐系统本身拥有的稀疏性问题）；其二，跨领域特征交互的稀疏性（这是多领域推荐特有的稀疏性问题）。

## AFT 模型要解决什么？ ##

为了解决这两个问题，使模型能够同时提升多领域推荐效果，论文提出了一个名为 Adversarial Feature Translation（AFT）的模型，基于生成对抗网络（GAN）学习不同领域之间的特征转移（feature translation）。

首先，在 multi-domain generator 中，论文先提出了一个 domain-specific masked encoder，用以强调跨领域的特征交互建模，再基于 transformer 层以及 domain-specific attention 层聚合这些跨领域交互后的特征，学习用户在目标领域下的表示，以生成虚假的物品候选（fake clicked items）输入到判别器中。

在 multi-domain discriminator 中，受到知识表示学习（KRL）中的基于三元组的建模方法（如 TransE）的启发，论文构建了一个两阶段特征转移（two-step feature translation）模型，对领域、物品和用户不同粒度/不同领域的偏好进行可解释的建模。

团队在 Netflix 和微信多领域推荐数据集上进行了测试后，发现模型在离线和在线实验的多个结果上都获得了显著的提升，论文也进行了充分的消融实验和模型分析，以验证模型各个模块的有效性。

![0c12012997a2313cd1f1d5db06af4ddf.png][]

△图 1：多领域推荐及 AFT 模型框架图

具体来说，如上图 1，AFT 包括 domain-specific masked encoder 以及 two-step feature translation，着重关注跨领域、多粒度的特征交互建模。

在生成器 （generator）部分，论文先设计了一个 domain-specific masked encoder，通过 mask 掉目标领域的历史行为特征（historical behaviors），来加强“其它领域历史行为特征”和“目标领域点击行为”之间的交互特征权重，以驱使 AFT 模型学习基于其它领域特征进行的目标领域推荐；

再用 Transformer 层和 Domain-specific aggregation 来抽取目标领域相关的用户特征，以生成 top-k 虚假点击的物品（fake clicked items）。这些虚假点击的物品将被输入判别器，迷惑判别器的判断，在对抗中相互提升所有领域的推荐能力。

在判别器 （discriminator）部分，论文受知识表示学习模型（KRL）启发，希望显式地对用户、物品和领域进行建模。

其中，先用 Transformer 从多领域特征中分别抽取用户的细粒度 item 和粗粒度 domain 的偏好特征，分别标记为 user item-level preference 和 user domain-level preference；

再构造第一个三元组（user item-level preference，user domain-level preference，user general preference），进行第一次特征转移，学习用户通用领域的偏好特征（user general preference）。第一个三元组的物理含义是，对于（Hamlet，writer，Shakespeare）三元组关系，有 Hamlet+writer=Shakespeare（以 KRL 中的经典模型 TransE 为例）。

在多领域推荐中，用户不同粒度的偏好相加（item-level preference+ domain-level preference），就约等于用户通用领域的偏好（user general preference），因此这一步能得到用户通用领域的偏好。

然后，论文再次构建第二个三元组（user general preference, target domain information, user domain-specific preference），进行第二次特征转移。第二个三元组的物理含义是，用户的通用领域偏好 + 目标领域的特征 = 用户在目标领域的偏好（user domain-specific preference）。

论文基于成熟的知识表示学习模型 ConvE 进行两层特征转移（two-step feature translation）后，得到了用户在目标领域上的表示，并用于推荐。

## 那么，AFT 模型到底有什么优势？ ##

其一，AFT 的 GAN 框架在 domain-specific masked encoder 的帮助下，提供了充足且高质量的多领域推荐负例，缓解了数据稀疏和过拟合的问题；

其二，生成器中的 domain-specific masked encoder 能加强模型的跨领域特征交互，而这正是多领域推荐的核心要素；

其三，判别器中的 two-step feature translation 提供了一种大胆的、显式化可解释的建模用户、物品和领域的方式，对多领域推荐提供了更深层次的理解。

团队将 AFT 模型和多个有竞争力的 baseline 模型进行了离线和线上对比。结果显示，AFT 模型在多个领域上全面显著地超出所有 baseline。此外，团队还进行了详尽的消融实验和模型分析实验，用以加深对 AFT 各个模块和参数的理解。

目前，AFT 模型已经在用了 —— 被部署于微信看一看的多领域推荐场景，正服务于千万用户。论文本身的贡献如下：

针对多领域推荐问题，提出了一个全新的 AFT 框架，首次在多领域推荐中引入了对抗下的特征转移。

提出了一种 GAN 框架下的 domain-specific masked encoder，能够针对跨领域特征交互进行特化加强。

设计了一种两阶段特征转移策略，尝试使用结构化知识表示学习的建模方式，学习用户多粒度多领域偏好、物品和领域之间的可解释的转移关系。

AFT 在离线和线上实验中均取得显著的提升效果，并已经被部署于微信看一看系统。

## AFT 模型具体长啥样 ##

上文提到，AFT 模型基于 GAN 训练框架，主要分为生成器和判别器两个部分。

如下图 2，生成器输入用户多领域行为特征，并基于 domain-specific masked encoder、Transformer 层和 Domain-specific attention，抽取目标领域相关的用户特征，用于生成 top-k 虚假点击的物品（fake clicked items）。判别器则基于两阶段特征转移，获得用户向量，然后预测真实/虚假点击物品的得分。

![6191762aa718d4beaca48f9f80b6d131.png][]

△图 2：AFT 具体模型，包括（a）多领域生成器和（b）多领域判别器

我们具体来看。

## 多领域生成器 ##

多领域生成器旨在为用户生成每个领域上的 fake clicked items，其输入是某个用户在所有 n 个领域上的行为序列 X=\{X\_1, …, X\_n\}，其中 X\_t 是第 t 个领域上的行为序列特征矩阵。

不失一般性，论文假设生成器正在生成目标领域 d\_t 上用户可能点击的物品，首先使用 domain-specific masked encoder 处理目标领域序列 X\_t，随机对目标领域 d\_t 中的行为进行 mask，如下式：

![13c7802fc0b00901dd4b869d7011c4cd.png][]

公式表示序列中 pos\_t 这些位置上的行为被 \[mask\] 的 token 替代，使得 domain-specific masked encoder 强制生成器在生成目标领域的候选物品时，会更多地考虑其它领域的用户行为。

这样虽然会丢失关键的目标领域的历史行为，导致生成器更难生成最合适的 fake clicked items，但也会加强跨领域历史行为和点击的特征交互，有助于多领域推荐，特别是稀疏行为的领域上的推荐效果，瑕不掩瑜。

随后，论文使用 average pooling 分别聚合各个领域上（mask 后）的行为序列，并基于 Transformer 和 domain-specific attention，得到用户在目标领域上的表示 h\_t 如下：

![9744002bc498c388596bebee04ddec5e.png][]

对每个候选物品 e\_i，生成器计算的点击概率 p 为：

![7d30f673e85bd64970f62bd69081acbc.png][]

论文基于生成概率 p，选择目标领域上的 top k 的近邻物品（剔除训练集中的真实正例），作为生成器生成的负例输入判别器。

## 多领域判别器 ##

在判别器中，论文首先基于 Transformer 特征抽取器，获取用户在细粒度的具体行为（item）上和在粗粒度的领域（domain）上的特征表示：

![6a71624b30bc1cebde57d264b6d8ddd9.png][]

随后，团队基于知识表示学习中三元组的学习范式，设计了一个两阶段的特征转移：先基于用户在多领域的细粒度和粗粒度上的偏好，得到用户整体偏好；然后基于用户整体偏好和目标领域信息，得到用户在目标领域上的偏好。

传统的知识表示学习方法（如 TransE）显式建模三元组关系。上文提到，对于（Hamlet, writer, Shakespeare）这个三元组关系，TransE 认为：Hamlet+writer=Shakespeare。

因此，用户细粒度的偏好加上用于粗粒度的偏好，应该等于用户通用领域上的全局偏好（user general preference）。基于 ConvE 模型（因为他能够挖掘 element-wise 的特征交互），对于三元组（e\_h, r, e\_t）有：

![141491f5a8a89d920a42bd4f03d72196.png][]

类似地，在第一次特征转移中，构造了一个三元组（user item-level preference, user domain-level preference, user general preference），计算用户通用领域上的全局偏好 u\_g 如下：

![38609da3427338c845d5ff49c63b226b.png][]

在得到 user general preference 后，又构建了第二个三元组（user general preference, target domain information, user domain-specific preference），并进行第二次特征转移。这个三元组的物理含义是，用户的通用领域偏好加上目标领域的特征，约等于用户在目标领域的偏好（user domain-specific preference），有：

![c2b449ba7130b5ab85d0c356b876abab.png][]

其中，目标领域特征综合考虑了领域向量和行为向量。与生成器类似，团队基于用户在 d\_t 的特征表示 u\_t，计算物品 e\_i 的点击概率 p 如下：

![32020190704242c356c8c3d8968f2f62.png][]

## 生成器 & 判别器优化 ##

模型判别器的优化如下：

![c545532ec3b78cf879a8ae475f363d1b.png][]

生成器则是基于 REINFORCE 强化学习进行优化：

![08c38d03a9af87d868db4bf76f58f860.png][]

团队还提出一项 MMD loss，目的是让生成器产生的物品和真实物品不完全一致（否则会干扰判别器的训练），具体如下：

![78c08da8d86bef084f0fdf34e774f0d6.png][]

MMD loss 基于推荐系统的特质设计：在推荐系统中，绝大多数物品其实并未被曝光，团队假设所有未被用户点击的物品均为负例；和点击物品特别相似的 fake clicked items，也有很大概率同样被用户点击（例如不同自媒体号发表的同一主题的新闻/视频等），这也是推荐系统 item-CF 的本质。

因此，团队选择加入 MMD loss，使得 GAN 能够生成更加多样化的、相似但又不完全一样的物品作为判别器的负例。

最后，综合三项 loss 获得最终 AFT 的 loss，如下：

![c8588a21d023a0e3dc213582f64593fe.png][]

AFT 模型的判别器被部署于线上，更多模型和线上细节可参考论文第三和第四部分。

## 实验结果 ##

团队在公开数据集和微信看一看数据集上进行了实验，结果表明，模型在多领域推荐上获得了显著提升：

![18c5222bad8edd979fd21c7c0bec337e.png][]

△图 3：AFT 离线结果

此外，论文也在微信看一看多个线上推荐场景进行了 A/B 实验，也同样获得了显著的提升：

![af88bf860c200442c8b84b8b15f4d6bd.png][]

△图 4：AFT 线上实验结果

消融实验也证明了模型各个模块的有效性：

![338330e51b7be035e29619ee6e0481be.png][]

△图 5：AFT 消融实验

最后，论文也进行了详尽的模型参数分析，探索了不同 mask ratio 和 fake clicked item number 对模型效果的影响：

![342e2b0b643f08b2b430ffba0e9018b4.png][]

△图 6：AFT 参数实验

## 模型已用到微信里 ##

整体来说，这篇论文针对多领域推荐任务，提出了一个对抗特征转移的 AFT 模型。它基于 domain-specific masked encoder 加强了跨领域特征交互，设计了一种 two-step feature translation，能够显式可解释地对多领域下用户不同粒度的偏好、物品和领域进行建模。

目前，AFT 模型已部署于微信看一看多领域推荐模块中，我们日常用微信看一看时，就会用到这个模型。

对于未来，团队表示十分看好基于对抗和知识表示学习的跨领域特征交互思路，计划展开进一步探索。

[911a0fcdef0d8c00f33a54323fcd52e1.png]: /images/20220829/9169b02dec9b40ef9d0e23f4c81f2647.png
[6778dc8365f202ea904499039f3c929e.png]: /images/20220829/da021fc2d50242539986597d013f5b79.png
[0c12012997a2313cd1f1d5db06af4ddf.png]: /images/20220829/02abd150ec474cdba3dc5016835e4249.png
[6191762aa718d4beaca48f9f80b6d131.png]: /images/20220829/b7ca0c13f1cc489599c4b02915767c94.png
[13c7802fc0b00901dd4b869d7011c4cd.png]: /images/20220829/e2104d638db9412fa7fb74f105c4a069.png
[9744002bc498c388596bebee04ddec5e.png]: /images/20220829/50c49eed87ae4d3e8c6144017b86bacb.png
[7d30f673e85bd64970f62bd69081acbc.png]: /images/20220829/9c99f053317b42109696d917243f508d.png
[6a71624b30bc1cebde57d264b6d8ddd9.png]: /images/20220829/46dc0230dec34bbebbe04f1edf547722.png
[141491f5a8a89d920a42bd4f03d72196.png]: /images/20220829/12acff94672147ce99641dc3b28375dc.png
[38609da3427338c845d5ff49c63b226b.png]: /images/20220829/004b1b67bc1c43778e52ee05dc9e07a4.png
[c2b449ba7130b5ab85d0c356b876abab.png]: /images/20220829/bc7e5cc60683401a8754e1019d9b7343.png
[32020190704242c356c8c3d8968f2f62.png]: /images/20220829/c55889770c8043bf844646079bdad144.png
[c545532ec3b78cf879a8ae475f363d1b.png]: /images/20220829/edefc06c53d54c1797a8def1736a9b5a.png
[08c38d03a9af87d868db4bf76f58f860.png]: /images/20220829/5151f623b2194b1f9a0665e576cfae04.png
[78c08da8d86bef084f0fdf34e774f0d6.png]: /images/20220829/715bdeabd8944d8ebe5a3b5302946b2e.png
[c8588a21d023a0e3dc213582f64593fe.png]: /images/20220829/74f45aaf56db444f9df32ffada371783.png
[18c5222bad8edd979fd21c7c0bec337e.png]: /images/20220829/15ac0e1583f248c7804de059333d4df5.png
[af88bf860c200442c8b84b8b15f4d6bd.png]: /images/20220829/99dccf2bef7a4b0393ae896498af428d.png
[338330e51b7be035e29619ee6e0481be.png]: /images/20220829/f5d0944ee81f4c3a8411257afcb8d578.png
[342e2b0b643f08b2b430ffba0e9018b4.png]: /images/20220829/a9ddc3086bca47af869b2a2361b4ce81.png