【机器学习】几种相似度算法分析

偏执的太偏执、 2022-05-22 07:21 189阅读 0赞

最近开始研究推荐系统，其中常见的相似度算法有以下几种：

**1. 欧几里得距离**

欧几里得度量（euclidean metric）（也称欧氏距离）是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离，或者向量的自然长度（即该点到原点的距离）。在二维和三维空间中的欧氏距离就是两点之间的实际距离。

注意事项：

a.因为计算是基于各维度特征的绝对数值，所以欧氏度量需要保证各维度指标在相同的刻度级别，比如对身高（cm）和体重（kg）两个单位不同的指标使用欧式距离可能使结果失效。

b.欧几里得距离是数据上的直观体现，看似简单，但在处理一些受主观影响很大的评分数据时，效果则不太明显；比如，U1对Item1,Item2 分别给出了2分，4分的评价;U2 则给出了4分，8分的评分。通过分数可以大概看出，两位用户褒Item2 ,贬Item1，也许是性格问题，U1 打分更保守点，评分偏低，U2则更粗放一点，分值略高。在逻辑上，是可以给出两用户兴趣相似度很高的结论。如果此时用欧式距离来处理，得到的结果却不尽如人意。即评价者的评价相对于平均水平偏离很大的时候欧几里德距离不能很好的揭示出真实的相似度。

**2. 皮尔逊相关系数**

Pearson 相关系数是用协方差除以两个变量的标准差得到的，虽然协方差能反映两个随机变量的相关程度（协方差大于0的时候表示两者正相关，小于0的时候表示两者负相关），但其数值上受量纲的影响很大，不能简单地从协方差的数值大小给出变量相关程度的判断。为了消除这种量纲的影响，于是就有了相关系数的概念。

当两个变量的方差都不为零时，相关系数才有意义，相关系数的取值范围为\[-1,1\]。《数据挖掘导论》中给了一个很形象的图来说明相关度大小与相关系数之间的联系：  
![这里写图片描述][SouthEast]

由上图可以总结，当相关系数为1时，成为完全正相关；当相关系数为-1时，成为完全负相关；相关系数的绝对值越大，相关性越强；相关系数越接近于0，相关度越弱。

皮尔逊相关的约束条件:

1 两个变量间有线性关系   
2 变量是连续变量   
3 变量均符合正态分布,且二元分布也符合正态分布   
4 两变量独立   
在实践统计中,一般只输出两个系数,一个是相关系数,也就是计算出来的相关系数大小,在-1到1之间;另一个是独立样本检验系数,用来检验样本一致性.

### 适用范围 ###

适用于A的评价普遍高于B的评价

**3. 余弦相似度**

余弦距离，也称为余弦相似度，是用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小的度量。

余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似，这就叫"余弦相似性"。

另外：余弦距离使用两个向量夹角的余弦值作为衡量两个个体间差异的大小。相比欧氏距离，余弦距离更加注重两个向量在方向上的差异。

借助三维坐标系来看下欧氏距离和余弦距离的区别：

[![clip\_image009][clip_image009]][clip_image009_clip_image009]

正因为余弦相似度在数值上的不敏感，会导致这样一种情况存在：

用户对内容评分，按5分制，X和Y两个用户对两个内容的评分分别为（1,2）和（4,5），使用余弦相似度得到的结果是0.98，两者极为相似。但从评分上看X似乎不喜欢2这个 内容，而Y则比较喜欢，余弦相似度对数值的不敏感导致了结果的误差，需要修正这种不合理性就出现了调整余弦相似度，即所有维度上的数值都减去一个均值，比如X和Y的评分均值都是3，那么调整后为（-2，-1）和（1,2），再用余弦相似度计算，得到-0.8，相似度为负值并且差异不小，但显然更加符合现实。

那么是否可以在（用户-商品-行为数值）矩阵的基础上使用调整余弦相似度计算呢？从算法原理分析，复杂度虽然增加了，但是应该比普通余弦夹角算法要强。

“判断两段文本的语义相似度”的事情，实验中用doc2vec做文本向量化，用余弦值衡量文本相似度。

##  为什么选用余弦?  ##

如向量的维度是3，有三段文本a、b、c,文本向量化之后的结果假如如下：a=(1,0,0)、b=(0,1,0)、c=(10,0,0)。  
我们知道doc2vec的每一个维度都代表一个特征,观察向量的数字，主观看来a和c说的意思应该相似，阐述的都是第一个维度上的含义，a和b语义应该不相似。那么如果用欧式距离计算相似度，a和b的相似度就比a和c的相似度高，而如果用余弦计算，则答案反之。

##  那么欧式距离和余弦相似度的区别是什么呢？  ##

余弦相似度衡量的是维度间取值方向的一致性，注重维度之间的差异，不注重数值上的差异，而欧氏度量的正是数值上的差异性。

##  那么欧式距离和余弦相似度的应用场景是什么呢 ##

以下场景案例是从网上摘抄的。

*  如某T恤从100块降到了50块（A(100,50)），某西装从1000块降到了500块（B(1000,500)），那么T恤和西装都是降价了50%，两者的价格变动趋势一致，可以用余弦相似度衡量，即两者有很高的变化趋势相似度，但是从商品价格本身的角度来说，两者相差了好几百块的差距，欧氏距离较大，即两者有较低的价格相似度。
 *  如果要对电子商务用户做聚类，区分高价值用户和低价值用户，用消费次数和平均消费额，这个时候用余弦夹角是不恰当的，因为它会将(2,10)和(10,50)的用户算成相似用户，但显然后者的价值高得多，因为这个时候需要注重数值上的差异，而不是维度之间的差异。
 *  两用户只对两件商品评分，向量分别为(3,3)和(5,5)，显然这两个用户对两件商品的偏好是一样的，但是欧式距离给出的相似度显然没有余弦值合理。

**4. Tanimoto系数（广义Jaccard相似系数）**

定义：广义Jaccard相似度，元素的取值可以是实数。又叫作谷本系数

关系：如果我们的x,y都是二值向量，那么Tanimoto系数就等同Jaccard距离

应用场景：比较文本相似度，用于文本查重与去重；计算对象间距离，用于数据聚类等。

![70][]

[SouthEast]: /images/20220522/9aefa494cf1c44e0872aa32c43524f57.png
[clip_image009]: http://images.cnitblog.com/blog/407700/201306/28144620-099ab1aaff8a4d139a2157f1eaf13d0b.jpg
[clip_image009_clip_image009]: /images/20220522/1a2c590fae9346aabcca101e047a0aca.png
[70]: /images/20220522/ecbf572380cf4f81a67e31c2bd0dc7df.png