Python数据预处理：彻底理解标准化和归一化

痛定思痛。 2023-10-06 14:37 19阅读 0赞

**数据预处理**

数据中不同特征的量纲可能不一致，数值间的差别可能很大，不进行处理可能会影响到数据分析的结果，因此，需要对数据按照一定比例进行缩放，使之落在一个特定的区域，便于进行综合分析。

**常用的方法有两种：**

最大 - 最小规范化：对原始数据进行线性变换，将数据映射到\[0,1\]区间

![Python数据预处理：彻底理解标准化和归一化（附视频教程）][Python]

Z-Score标准化：将原始数据映射到均值为0、标准差为1的分布上

![Python数据预处理：彻底理解标准化和归一化（附视频教程）][Python 1]

**为什么要标准化/归一化？**

提升模型精度：标准化/归一化后，不同维度之间的特征在数值上有一定比较性，可以大大提高分类器的准确性。

加速模型收敛：标准化/归一化后，最优解的寻优过程明显会变得平缓，更容易正确的收敛到最优解。

如下图所示：

![Python数据预处理：彻底理解标准化和归一化（附视频教程）][Python 2]

![Python数据预处理：彻底理解标准化和归一化（附视频教程）][Python 3]

**哪些机器学习算法需要标准化和归一化**

1）需要使用梯度下降和计算距离的模型要做归一化，因为不做归一化会使收敛的路径程z字型下降，导致收敛路径太慢，而且不容易找到最优解，归一化之后加快了梯度下降求最优解的速度，并有可能提高精度。比如说线性回归、逻辑回归、adaboost、xgboost、GBDT、SVM、NeuralNetwork等。需要计算距离的模型需要做归一化，比如说KNN、KMeans等。

2）概率模型、树形结构模型不需要归一化，因为它们不关心变量的值，而是关心变量的分布和变量之间的条件概率，如决策树、随机森林。

![Python数据预处理：彻底理解标准化和归一化（附视频教程）][Python 4]

**彻底理解标准化和归一化**

![Python数据预处理：彻底理解标准化和归一化（附视频教程）][Python 5]

示例数据集包含一个自变量（已购买）和三个因变量（国家，年龄和薪水），可以看出用薪水范围比年龄宽的多，如果直接将数据用于机器学习模型（比如KNN、KMeans），模型将完全有薪水主导。

#导入数据
    import numpy as np
    import matplotlib.pyplot as plt
    import pandas as pd
    df = pd.read_csv('Data.csv')

缺失值均值填充,处理字符型变量

df['Salary'].fillna((df['Salary'].mean()), inplace= True)
    df['Age'].fillna((df['Age'].mean()), inplace= True)
    df['Purchased'] = df['Purchased'].apply(lambda x: 0 if x=='No' else 1)
    df=pd.get_dummies(data=df, columns=['Country'])

![Python数据预处理：彻底理解标准化和归一化（附视频教程）][Python 6]

最大 - 最小规范化

from sklearn.preprocessing import MinMaxScaler
    scaler = MinMaxScaler()
    scaler.fit(df)
    scaled_features = scaler.transform(df)
    df_MinMax = pd.DataFrame(data=scaled_features, columns=["Age", "Salary","Purchased","Country_France","Country_Germany", "Country_spain"])

![Python数据预处理：彻底理解标准化和归一化（附视频教程）][Python 7]

Z-Score标准化

from sklearn.preprocessing import StandardScaler
    sc_X = StandardScaler()
    sc_X = sc_X.fit_transform(df)
    sc_X = pd.DataFrame(data=sc_X, columns=["Age", "Salary","Purchased","Country_France","Country_Germany", "Country_spain"])

![Python数据预处理：彻底理解标准化和归一化（附视频教程）][Python 8]

import seaborn as sns
    import matplotlib.pyplot as plt
    import statistics
    plt.rcParams['font.sans-serif'] = ['Microsoft YaHei']
    fig,axes=plt.subplots(2,3,figsize=(18,12)) 
    sns.distplot(df['Age'], ax=axes[0, 0])
    sns.distplot(df_MinMax['Age'], ax=axes[0, 1])
    axes[0, 1].set_title('归一化方差：% s '% (statistics.stdev(df_MinMax['Age'])))
    sns.distplot(sc_X['Age'], ax=axes[0, 2])
    axes[0, 2].set_title('标准化方差：% s '% (statistics.stdev(sc_X['Age'])))
    sns.distplot(df['Salary'], ax=axes[1, 0])
    sns.distplot(df_MinMax['Salary'], ax=axes[1, 1])
    axes[1, 1].set_title('MinMax：Salary')
    axes[1, 1].set_title('归一化方差：% s '% (statistics.stdev(df_MinMax['Salary'])))
    sns.distplot(sc_X['Salary'], ax=axes[1, 2])
    axes[1, 2].set_title('StandardScaler:Salary')
    axes[1, 2].set_title('标准化方差：% s '% (statistics.stdev(sc_X['Salary'])))

可以看出归一化比标准化方法产生的标准差小，使用归一化来缩放数据，则数据将更集中在均值附近。这是由于归一化的缩放是“拍扁”统一到区间（仅由极值决定），而标准化的缩放是更加“弹性”和“动态”的，和整体样本的分布有很大的关系。所以归一化不能很好地处理离群值，而标准化对异常值的鲁棒性强，在许多情况下，它优于归一化。

[Python]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9wNi10dC5ieXRlaW1nLmNvbS9vcmlnaW4vcGdjLWltYWdlLzkwN2MyOWQ1OWJlMjQ1ZDRiMDJhNjc5Y2RjMmY3NzEy?x-oss-process=image/format,png
[Python 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9wMS10dC5ieXRlaW1nLmNvbS9vcmlnaW4vcGdjLWltYWdlLzk1YThiOWIxZWQ3NDQ0YTQ4ZGU2MjllNmMzY2IxMmE4?x-oss-process=image/format,png
[Python 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9wNi10dC5ieXRlaW1nLmNvbS9vcmlnaW4vcGdjLWltYWdlLzM3M2NmM2E3NDY3ZTRjMTg4ODE2ZjI3ZjdmZGI3ZDYy?x-oss-process=image/format,png
[Python 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9wNi10dC5ieXRlaW1nLmNvbS9vcmlnaW4vcGdjLWltYWdlL2ZjNmNjNWQ3ZGNmMjRlZDNhMmMwZTMwZWE2MTM2Zjg3?x-oss-process=image/format,png
[Python 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9wMS10dC5ieXRlaW1nLmNvbS9vcmlnaW4vcGdjLWltYWdlLzJiZDFmMGNjMGM4MzQ0ZWJiOGRhOGNhM2E4MGZiM2M5?x-oss-process=image/format,png
[Python 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9wNi10dC5ieXRlaW1nLmNvbS9vcmlnaW4vcGdjLWltYWdlLzNlNzRiMGQ2NWFiNTQwMWZhOTBmNTlmYzRhNDVkNDRk?x-oss-process=image/format,png
[Python 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9wMy10dC5ieXRlaW1nLmNvbS9vcmlnaW4vcGdjLWltYWdlLzYzYWMzMTg5ZDE2YTQ5N2RiMTc5OTc0NDNjYTllODE0?x-oss-process=image/format,png
[Python 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9wMy10dC5ieXRlaW1nLmNvbS9vcmlnaW4vcGdjLWltYWdlLzUyMTEwNzBhMmY5YzQ2MWJhY2JmZWMyYzY3MjUyYmVj?x-oss-process=image/format,png
[Python 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9wMS10dC5ieXRlaW1nLmNvbS9vcmlnaW4vcGdjLWltYWdlLzMwYjQ2NjRiMzFhMDRiODRhNGZlZGE1MTlkMTM0NjY2?x-oss-process=image/format,png