【深度学习算法原理】Deep Structured Semantic Models（DSSM）

「爱情、让人受尽委屈。」 2022-05-24 06:45 206阅读 0赞

# 1. 概述 #

深度语义模型（Deep Structured Sematic models, DSSM）是在2013年由微软的研究人员提出，主要解决的是在搜索的过程中，对于传统的依靠关键词匹配的方法的弊端（语义上的相似）提出的潜在语义模型。DSSM算法在实际工作中也被证明是卓有成效的算法，不仅在搜索中得到广泛的应用，同时也被使用在推荐系统的召回中。

# 2. 算法的基本思想 #

## 2.1. DSSM的网络结构 ##

DSSM算法的网络结构如下所示：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dvb2dsZTE5ODkwMTAy_size_16_color_FFFFFF_t_70_pic_center]  
从上述的网络结构图中可以看出，DSSM的核心思想是将不同的对象映射到统一的语义空间中，并在该空间中计算对象之间的相似度。 在其具体的计算过程包括两个方面：第一，将query和documents映射到同一个低维的向量空间中；第二，利用余弦计算相似性。

首先将query和documents分别表示成向量 x Q x\_Q xQ和 x D x\_D xD，在参考文献的论文中，作者针对向量的构建过程给出了一些具体的建议，针对具体的任务可以有选择的采用。得到query和documents的对应向量后，通过深层神经网络将其表示为同一个空间中的向量 y Q y\_Q yQ和 y D y\_D yD，即所谓的语义特征（Semantic feature）。具体的计算过程如下所示：

l i = f ( W i l i − 1 + b i ) l\_i=f\\left ( W\_il\_\{i-1\}+b\_i \\right ) li=f(Wili−1\+bi)

其中， W i W\_i Wi是第 l i l\_i li层网络的权重， b i b\_i bi是第 l i l\_i li层网络的偏置。 f f f是第 l i l\_i li层网络的激活函数。

在得到query和documents的语义特征后，通过cosine计算query和documents之间的相似性：

R ( Q , D ) = c o s i n e ( y Q , y D ) = y Q T y D ∥ y Q ∥ ∥ y D ∥ R\\left ( Q,D \\right )=cosine\\left ( y\_Q,y\_D \\right )=\\frac\{y\_Q^Ty\_D\}\{\\left \\| y\_Q \\right \\|\\left \\| y\_D \\right \\|\} R(Q,D)=cosine(yQ,yD)=∥yQ∥∥yD∥yQTyD

## 2.2. DSSM模型的损失函数 ##

假设给定的query为 Q Q Q，document为 D D D，那么相似的概率 P ( D ∣ Q ) P\\left ( D\\mid Q \\right ) P(D∣Q)为：

P ( D ∣ Q ) = e x p ( γ R ( Q , D ) ) ∑ D ′ ∈ D e x p ( γ R ( Q , D ′ ) ) P\\left ( D\\mid Q \\right )=\\frac\{exp\\left ( \\gamma R\\left ( Q,D \\right ) \\right )\}\{\\sum \_\{ \{D\}'\\in \\mathbf\{D\}\}exp\\left ( \\gamma R\\left ( Q,\{D\}' \\right ) \\right )\} P(D∣Q)=∑D′∈Dexp(γR(Q,D′))exp(γR(Q,D))

其中 γ \\gamma γ为平滑系数。在模型训练的过程中，我们希望使得相似的文档的概率较大，即对于正样本 ( Q , D + ) \\left ( Q,D^+ \\right ) (Q,D\+)，使得其概率最大，通过最大似然，可以得到最终的损失函数：

L ( Λ ) = − l o g ∏ ( Q , D + ) P ( D + ∣ Q ) L\\left ( \\Lambda \\right )=-log\\prod \_\{\\left ( Q,D^+ \\right )\}P\\left ( D^+\\mid Q \\right ) L(Λ)=−log(Q,D\+)∏P(D\+∣Q)

以上的损失函数是原始论文中提及的损失函数，同样，可以采用其他的损失函数形式，如直接使用相似性或者采用Triplet loss。

## 2.3. DSSM模型的训练 ##

在训练的过程中，样本的构建也至关重要，对于 Q Q Q，选择一个正样本 D + D^+ D\+以及4个负样本 \{ D j − ; j = 1 , ⋯   , 4 \} \\left \\\{ D\_j^-;j=1,\\cdots,4 \\right \\\} \{ Dj−;j=1,⋯,4\}，除了样本选择之外，需要计算损失函数的梯度，以便计算除网络中的参数 W i W\_i Wi和 b i b\_i bi。

# 参考文献 #

*  [Learning deep structured semantic models for web search using clickthrough data][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dvb2dsZTE5ODkwMTAy_size_16_color_FFFFFF_t_70_pic_center]: /images/20220524/8394bc5ea95748948e486d45ccf06880.png
[Learning deep structured semantic models for web search using clickthrough data]: http://cslt.riit.tsinghua.edu.cn/mediawiki/images/4/45/2013_-_Learning_Deep_Structured_Semantic_Models_for_Web_Search_using_Clickthrough_Data_-_Report.pdf