三种特征归一化的方法之SumNormalizer

Dear 丶 2022-06-14 09:48 520阅读 0赞

特征归一化（Normalizer）：就是将一条记录中**各个特征**的**取值范围**固定到【0,1】之间。从而使每一个特征值都在一个范围内。不至于各个特征值之间相差较大的范围。

特征归一化主要有3种方法：

1.总和归一化（sumNormalizer）：就是计算所有文档同一个特征值的总和。即每一个特征下标都有一个总和。

2. zscore归一化（ZscoreNormalizer）：就是我们大学中学的转为标准正态化。利用均值和方差。

3.linear归一化（LinearNormalizer）:就是利用最大值和最小值。

一、SumNormalizer归一化：

> 1.先简单来说一下这个sumNormalizer的归一化操作的原理：如何将各个特征值化成【0,1】之间的范围之间的数

> > 1.1 一个查询中可能包含多条记录（就是特征向量）。我们将多条记录中相同特征下标的特征值相加。（将多条记录（**是同一个查询**）中特征下标为**【1】**的特征值加在一起。）。我们就算出n个（一共有n个特征）数。

> > 1.2 然后将每一个特征值除以对应的下标的总和。我们就会得到一个【0,1】之间的数，将这个值作为新的特征值。
> 
>   
> 
> 
> 2.说完原理之后，来看一个例子：（假如一共有两个查询，每个查询中有3个特征向量，每一个特征向量包含5个
> 
> 特征），特征向量如下：

> > 第一个查询1：

> > > 2 qid:1 1:3 2:3 3:0 4:7 5:167
> 
> > > 2 qid:1 1:3 2:0 3:3 4:5 5:416
> 
> > > 0 qid:1 1:3 2:0 3:2 4:7 5:156

> > 第二个查询

> > > 2 qid:2 1:1 2:3 3:0 4:156 5:4
> 
> > > 2 qid:2 1:2 2:0 3:3 4:406 5:2
> 
> > > 0 qid:2 1:3 2:0 3:2 4:146 5:1

>   
>

> > 2.1 我们先进行1.1的操作，

> > > 将同一个查询（**查询1**）中**下标为1（也就是那一列的值）**的相加。也就是3+3+3=9。然后将**下标为2**的相加，也就是3+0+0=3，以此类推：我们可以得到5个值。分别为：9, 3, 5, 19, 739
> > 
> > 2.2 我们进行1.2中的操作。
> > 
> > 将**查询1**中每一个特征除以对应的sum和。我们将**下标为1（也就是第一列的值）**的每一个值除以9。第一个就是3/9=0.33333334。第二个就是3/9=0.33333334。第三个就是3/9=0.33333334。我们在将**下标为2（也就是第二列）**的每一个值除以3，第一个就是3/3=1，第二个就是0/3=0，第三个就是0/3=0。
> > 
> > 以此类推：我们就可以得到新的特征值（这些特征值都在【0,1】的范围之间）
> > 
> >   
> > 
> > 
> > **sumNormalizer之后**的特征向量值：  
> > 
> > 
> > 第一个查询1：  
> >

> 2 qid:1 1:0.33333334 2:1.0 3:0.0 4:0.36842105 5:0.22598106

> 2 qid:1 1:0.33333334 2:0.0 3:0.6 4:0.2631579 5:0.5629229

> 0 qid:1 1:0.33333334 2:0.0 3:0.4 4:0.36842105 5:0.21109608

> >   
> > 
> > 
> > 第二个查询2：

> > 2 qid:2 1:0.16666667 2:1.0 3:0.0 4:0.22033899 5:0.5714286

> > 2 qid:2 1:0.33333334 2:0.0 3:0.6 4:0.57344633 5:0.2857143

> > 0 qid:2 1:0.5 2:0.0 3:0.4 4:0.2062147 5:0.14285715