马氏距离 (马哈拉诺比斯距离) (Mahalanobis distance)

我不是女神ヾ 2022-11-13 14:25 265阅读 0赞

> 马氏距离(Mahalanobis distance)是由印度统计学家马哈拉诺比斯(P. C. Mahalanobis)提出的，表示点与一个分布之间的距离。它是一种有效的计算两个未知样本集的相似度的方法。与[欧氏距离][Link 1]不同的是，它考虑到各种特性之间的联系，本文介绍马氏距离相关内容。

### 欧氏距离的缺点 ###

> 距离度量在各个学科中有着广泛用途，当数据表示为向量 x → = ( x 1 , x 2 , ⋯   , x n ) T \\overrightarrow\{\\mathbf\{x\} \}=\\left(x\_\{1\}, x\_\{2\}, \\cdots, x\_\{n\}\\right)^\{T\} x=(x1,x2,⋯,xn)T和 y → = ( y 1 , y 2 , ⋯   , y n ) T \\overrightarrow\{\\mathbf\{y\}\}=\\left(y\_\{1\}, y\_\{2\}, \\cdots, y\_\{n\}\\right)^\{T\} y=(y1,y2,⋯,yn)T时，最直观的距离度量就是欧式距离了：

d ( x , y ) : = ( x 1 − y 1 ) 2 + ( x 2 − y 2 ) 2 + ⋯ + ( x n − y n ) 2 = ∑ i = 1 n ( x i − y i ) 2 d(x, y):=\\sqrt\{\\left(x\_\{1\}-y\_\{1\}\\right)^\{2\}+\\left(x\_\{2\}-y\_\{2\}\\right)^\{2\}+\\cdots+\\left(x\_\{n\}-y\_\{n\}\\right)^\{2\}\}=\\sqrt\{\\sum\_\{i=1\}^\{n\}\\left(x\_\{i\}-y\_\{i\}\\right)^\{2\}\} d(x,y):=(x1−y1)2\+(x2−y2)2\+⋯\+(xn−yn)2=i=1∑n(xi−yi)2

> 但是这种度量方式没有考虑到各个维度之间的差异和相关等因素，不同的向量度量距离时权重都相同，这可能会对结果可信度产生干扰。

### 马氏距离 ###

> 度量样本距离某个分布的距离，先将样本与分布标准化到多维标准正态分布后度量欧式距离

#### 思想 ####

*  将变量按照主成分进行旋转，消除维度间的相关性
 *  对向量和分布进行标准化，让各个维度同为标准正态分布

#### 推导 ####

*  分布由 n n n个 m m m维向量刻画，即共 n n n条数据，每条数据由一个 m m m维向量表示：

X = \[ x 11 x 12 ⋯ x 1 n x 21 x 22 x 2 n ⋮ ⋱ ⋮ x m 1 x m 2 ⋯ x m n \] X = \\left\[ \{\\begin\{array\}\{c\} \{ \{x\_\{11\}\}\}&\{ \{x\_\{12\}\}\}& \\cdots &\{ \{x\_\{1n\}\}\}\\\\ \{ \{x\_\{21\}\}\}&\{ \{x\_\{22\}\}\}&\{\}&\{ \{x\_\{2n\}\}\}\\\\ \\vdots &\{\}& \\ddots & \\vdots \\\\ \{ \{x\_\{m1\}\}\}&\{ \{x\_\{m2\}\}\}& \\cdots &\{ \{x\_\{mn\}\}\} \\end\{array\}\} \\right\] X=⎣⎢⎢⎢⎡x11x21⋮xm1x12x22xm2⋯⋱⋯x1nx2n⋮xmn⎦⎥⎥⎥⎤

*   X X X的均值为 μ X \{\\mu \_X\} μX
 *   X X X的协方差矩阵为:

∑ X = 1 n ( X − μ X ) ( X − μ X ) T \\sum\\nolimits\_X = \\frac\{1\}\{n\}(X - \{\\mu \_X\})\{(X - \{\\mu \_X\})^T\} ∑X=n1(X−μX)(X−μX)T

*  为消除维度间的相关性，通过一个 m × m m \\times m m×m的矩阵 Q T Q^T QT对 X X X进行坐标表换，将数据映射到新的坐标系下，用 Y Y Y表示：

Y = Q T X Y=Q^TX Y=QTX

> 此时我们期望在 Q T Q^T QT的作用下， Y Y Y 的向量表示中，不同维度之间是相互独立的，此时 Y Y Y 的协方差矩阵应该是一个对角矩阵（除对角线元素外，其余元素均为0）。

*  Y 的均值： u Y = Q T u X u\_\{Y\}=Q^\{T\} u\_\{X\} uY=QTuX
 *  Y 的协方差矩阵：

Σ Y = 1 n \[ Y − u Y \] \[ y − u Y \] T = 1 n \[ Q T ( X − u x ) \] \[ Q T ( X − u X ) \] T = Q T 1 n ( X − u X ) ( X − u X ) T Q = Q T Σ X Q \\begin\{aligned\} \\Sigma\_\{Y\} &=\\frac\{1\}\{n\}\\left\[Y-u\_\{Y\}\\right\]\\left\[y-u\_\{Y\}\\right\]^\{T\} \\\\ &=\\frac\{1\}\{n\}\\left\[Q^\{T\}\\left(X-u\_\{x\}\\right)\\right\]\\left\[Q^\{T\}\\left(X-u\_\{X\}\\right)\\right\]^\{T\} \\\\ &=Q^\{T\} \\frac\{1\}\{n\}\\left(X-u\_\{X\}\\right)\\left(X-u\_\{X\}\\right)^\{T\} Q \\\\ &=Q^\{T\} \\Sigma\_\{X\} Q \\end\{aligned\} ΣY=n1\[Y−uY\]\[y−uY\]T=n1\[QT(X−ux)\]\[QT(X−uX)\]T=QTn1(X−uX)(X−uX)TQ=QTΣXQ

*  从这里可以发现，当 $Q  是 是 是\\Sigma\_\{X\} 的 特 征 向 量 组 成 的 矩 阵 时 ， 的特征向量组成的矩阵时， 的特征向量组成的矩阵时，\\Sigma\_\{Y\}$ 一定是对角矩阵，且值为每个特征向量对应的特征值。由于 Σ X \\Sigma\_\{X\} ΣX是对称矩阵，因此肯定可以通过特征分解得到  Q Q Q ，且  Q Q Q 是正交矩阵。
 *   Σ Y \\Sigma\_\{Y\} ΣY的对角线元素含义为 Y Y Y中每个向量的方差，因此均为非负值，从这个角度可以说明协方差矩阵的特征值为非负值。
 *  而且事实上[协方差矩阵本身就是半正定的][Link 2]，特征值均非负
 *  不相关与独立的问题：
    
     *  此处我们说明了变换后的向量之间相关系数为0，也就是向量之间不相关
     *  而事实上独立是比不相关更强的约束，不相关往往不能推出独立
     *  但在[高斯分布下，不相关和独立是等价的][Link 3]

> 接下来我们对向量进行标准化

*  当我们减去均值后，向量已经变成了0均值的向量，距离标准化仅差将方差变为1
 *  在经历了 Y = Q T X Y=Q^TX Y=QTX变换后， Y Y Y的协方差矩阵已经成为了对角阵，对角线元素为 Y Y Y中各个维度数据的方差，那么我们仅需让 Y Y Y中各个维度数据除以该维度数据的标准差即可。
 *  我们将去相关化、0均值化、标准化过后的数据记为 Z Z Z：
    
     Z = \[ 1 σ 1 1 σ 2 ⋱ 1 σ n \] ( Y − μ Y ) = Σ Y − 1 2 Q T ( X − μ X ) = ( Q T Σ X Q ) − 1 2 Q T ( X − μ X ) \\begin\{aligned\} Z &= \\left\[ \{\\begin\{array\}\{c\} \{\\frac\{1\}\{ \{ \{\\sigma \_1\}\}\}\}&\{\}&\{\}&\{\}\\\\ \{\}&\{\\frac\{1\}\{ \{ \{\\sigma \_2\}\}\}\}&\{\}&\{\}\\\\ \{\}&\{\}& \\ddots &\{\}\\\\ \{\}&\{\}&\{\}&\{\\frac\{1\}\{ \{ \{\\sigma \_n\}\}\}\} \\end\{array\}\} \\right\](Y - \{\\mu \_Y\}) \\\\&= \\Sigma \_Y^\{ - \\frac\{1\}\{2\}\}\{Q^T\}(X - \{\\mu \_X\}) \\\\ &= (\{Q^T\}\{\\Sigma \_X\}Q)\_\{\}^\{ - \\frac\{1\}\{2\}\}\{Q^T\}(X - \{\\mu \_X\}) \\end\{aligned\} Z=⎣⎢⎢⎡σ11σ21⋱σn1⎦⎥⎥⎤(Y−μY)=ΣY−21QT(X−μX)=(QTΣXQ)−21QT(X−μX)
 *  而马氏距离就是度量纠正过后的向量 Z Z Z到分布中心（原点）的欧式距离：

D M ( X ) = Z T Z = ( X − u X ) T Q ( Q T Σ X Q ) − 1 2 ( Q T Σ X Q ) − 1 2 Q T ( X − u X ) = ( X − u X ) T Q ( Q T Σ X Q ) − 1 Q T ( X − u X ) = ( X − u X ) T Q Q − 1 Σ X − 1 Q Q T ( X − u X ) = ( X − u X ) T Σ X − 1 ( X − u X ) \\begin\{array\}\{l\} \{D\_M\}(X) & = \\sqrt \{ \{Z^T\}Z\} \\\\&= \\sqrt \{ \{ \{\\left( \{X - \{u\_X\}\} \\right)\}^T\}Q\{ \{\\left( \{ \{Q^T\}\{\\Sigma \_X\}Q\} \\right)\}^\{ - \\frac\{1\}\{2\}\}\}\{ \{\\left( \{ \{Q^T\}\{\\Sigma \_X\}Q\} \\right)\}^\{ - \\frac\{1\}\{2\}\}\}\{Q^T\}\\left( \{X - \{u\_X\}\} \\right)\} \\\\ &= \\sqrt \{ \{ \{\\left( \{X - \{u\_X\}\} \\right)\}^T\}Q\{ \{\\left( \{ \{Q^T\}\{\\Sigma \_X\}Q\} \\right)\}^\{ - 1\}\}\{Q^T\}\\left( \{X - \{u\_X\}\} \\right)\} \\\\ &= \\sqrt \{ \{ \{\\left( \{X - \{u\_X\}\} \\right)\}^T\}Q\{Q^\{ - 1\}\}\\Sigma \_X^\{ - 1\}Q\{Q^T\}\\left( \{X - \{u\_X\}\} \\right)\} \\\\ &= \\sqrt \{ \{ \{\\left( \{X - \{u\_X\}\} \\right)\}^T\}\\Sigma \_X^\{-1\}\\left( \{X - \{u\_X\}\} \\right)\} \\\\ \\end\{array\} DM(X)=ZTZ=(X−uX)TQ(QTΣXQ)−21(QTΣXQ)−21QT(X−uX)=(X−uX)TQ(QTΣXQ)−1QT(X−uX)=(X−uX)TQQ−1ΣX−1QQT(X−uX)=(X−uX)TΣX−1(X−uX)

### 参考资料 ###

*  https://baike.baidu.com/item/%E9%A9%AC%E6%B0%8F%E8%B7%9D%E7%A6%BB/8927833?fr=aladdin
 *  https://zhuanlan.zhihu.com/p/109100222

[Link 1]: https://baike.baidu.com/item/%E6%AC%A7%E6%B0%8F%E8%B7%9D%E7%A6%BB/1798948
[Link 2]: https://www.zywvvd.com/2021/03/13/math/linear_algebra/cov-pos-sem/cov-pos-sem/#%E5%8D%8F%E6%96%B9%E5%B7%AE%E7%9F%A9%E9%98%B5%E5%8D%8A%E6%AD%A3%E5%AE%9A
[Link 3]: https://www.zywvvd.com/2021/03/12/math/probability/orthogonal-independent-uncorrelation/orthogonal-independent-uncorrelation/