Python实现类别变量的独热编码（One-hot Encoding）

逃离我推掉我的手 2024-03-16 12:28 24阅读 0赞

本文介绍基于**Python**下`OneHotEncoder`与`pd.get_dummies`两种方法，实现机器学习中最优的编码方法——**独热编码**的方法。

*  [1 OneHotEncoder][]
 *  [2 pd.get\_dummies][2 pd.get_dummies]

在数据处理与分析领域，对数值型与字符型**类别变量**加以**编码**是不可或缺的预处理操作；这里介绍两种不同的方法。

## 1 OneHotEncoder ##

首先导入必要的模块。

import pandas as pd
    from sklearn.preprocessing import OneHotEncoder

其中，`OneHotEncoder`是我们实现独热编码的关键模块。

接下来，导入并显示数据前五行。

test_data_1=pd.read_csv('G:/CropYield/03_DL/00_Data/onehot_test.csv',names=['EVI0610','EVI0626','SoilType'],header=0)
    test_data_1.head(5)

关于这里导入数据代码的解释，大家可以查看[多变量两两相互关系联合分布图的Python绘制][Python]与[Python TensorFlow深度学习回归代码：DNNRegressor][Python TensorFlow_DNNRegressor]这两篇文章，这里就不再赘述啦~

数据前五行展示如下图。其中，前两列`'EVI0610'`与`'EVI0626'`为数值型连续变量，而`'SoilType'`为数值型类别变量。我们要做的，也就是将第三列`'SoilType'`进行独热编码。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poZWJ1c2hpYmlhb3NoaWZ1_size_16_color_FFFFFF_t_70][]

接下来，进行独热编码的配置。

ohe=OneHotEncoder(handle_unknown='ignore')
    ohe.fit(test_data_1)

在这里，第一行是对独热编码的配置，第二行则是对我们刚刚导入的数据进行独热编码处理。得到一个独热编码配置的输出结果。

![20210330225916892.png][]

接下来，看看独热编码处理后，将我们的数据分成了哪些类别。

ohe.categories_

得到结果如下图。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poZWJ1c2hpYmlhb3NoaWZ1_size_16_color_FFFFFF_t_70 1][]

可以发现，一共有三个`array`，为什么呢？仔细看可以发现，独热编码是将我们导入的三列数据全部都当作类别变量来处理了。之所以会这样，是因为我们在一开始没有表明哪一列是类别变量，需要进行独热编码；而哪一列不是类别变量，从而不需要进行独热编码。

那么，我们如何实现上述需求，告诉程序我们要对哪一行进行独热编码呢？在老版本的`sklearn`中，我们可以借助`categorical_features=[x]`参数来实现这一功能，但是新版本`sklearn`取消了这一参数。那么此时，一方面，我们可以借助`ColumnTransformer`来实现这一过程，另一方面，我们可以直接对需要进行转换的列加以处理。后者相对较为容易理解，因此本文对后者进行讲解。

我们将`test_data_1`中的`'SoilType'`列作为索引，从而仅仅对该列数据加以独热编码。

ohe_column=pd.DataFrame(ohe.fit_transform(test_data_1[['SoilType']]).toarray())
    ohe_column.head(5)

其中，`[['SoilType']]`表示仅仅对这一列进行处理。得到结果如下图。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poZWJ1c2hpYmlhb3NoaWZ1_size_16_color_FFFFFF_t_70 2][]

可以看到，原来的`'SoilType'`列现在成为了`63`列的编码列，那么这样的话，说明我们原先的`'SoilType'`应该一共是有`63`个不同的数值。是不是这个样子呢？我们来检查一下。

count=pd.DataFrame(test_data_1['SoilType'].value_counts())
    print(count)

得到结果如下。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poZWJ1c2hpYmlhb3NoaWZ1_size_16_color_FFFFFF_t_70 3][]

好的，没有问题：可以看到此结果共有`63`行，也就是`'SoilType'`列原本是有`63`个不同的值的，证明我们的独热编码没有出错。

此时看一下我们的`test_data_1`数据目前长什么样子。

test_data_1.head(5)

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poZWJ1c2hpYmlhb3NoaWZ1_size_16_color_FFFFFF_t_70 4][]

是的，我们仅仅对`'SoilType'`列做了处理，没有影响到整个初始数据。那么先将原本的`'SoilType'`列剔除掉。

test_data_1=test_data_1.drop(['SoilType'],axis=1)
    test_data_1.head(5)

![20210330231024535.png][]

再将经过独热编码处理后的`63`列加上。

test_data_1.join(ohe_column)

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poZWJ1c2hpYmlhb3NoaWZ1_size_16_color_FFFFFF_t_70 5][]

大功告成！

但是这里还有一个问题，我们经过独热编码所得的列名称是以数字来命名的，非常不方便。因此，有没有什么办法可以在独热编码进行的同时，自动对新生成的列加以重命名呢？

## 2 pd.get\_dummies ##

`pd.get_dummies`是一个最好的办法！其具体用法与上述`OneHotEncoder`类似，因此具体过程就不再赘述啦，大家看代码就可以明白。

首先还是导入与上述内容中一致的初始数据。

test_data_2=pd.read_csv('G:/CropYield/03_DL/00_Data/onehot_test.csv',names=['EVI0610','EVI0626','SoilType'],header=0)
    test_data_2.head(5)

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poZWJ1c2hpYmlhb3NoaWZ1_size_16_color_FFFFFF_t_70 6][]

进行独热编码并看看结果。

test_data_2_ohe=pd.get_dummies(test_data_2,columns=['SoilType'])
    test_data_2_ohe.head(5)

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poZWJ1c2hpYmlhb3NoaWZ1_size_16_color_FFFFFF_t_70 7][]

最终结果中，列名称可以说是非常醒目，同时，共有`65`列数据，自动删除了原本的`'SoilType'`列，实现了“**独热编码**”“**新列重命名**”与“**原始列删除**”，可谓一举三得，简直是太方便啦~

[1 OneHotEncoder]: https://www.cnblogs.com/fkxxgis/p/17122059.html#1-onehotencoder
[2 pd.get_dummies]: https://www.cnblogs.com/fkxxgis/p/17122059.html#2-pdget_dummies
[Python]: https://www.cnblogs.com/fkxxgis/p/17115948.html
[Python TensorFlow_DNNRegressor]: https://www.cnblogs.com/fkxxgis/p/17085652.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poZWJ1c2hpYmlhb3NoaWZ1_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/97b837171d824eaa8eb71af2c260bae9.png
[20210330225916892.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/6f9762891179484d8b6816d513360612.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poZWJ1c2hpYmlhb3NoaWZ1_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/d77ce203f026418f8b4be1213c5e703e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poZWJ1c2hpYmlhb3NoaWZ1_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/1250510445194690be60636986b0df31.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poZWJ1c2hpYmlhb3NoaWZ1_size_16_color_FFFFFF_t_70 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/c52a12d02ae8483a8edd1a1d19a1dd59.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poZWJ1c2hpYmlhb3NoaWZ1_size_16_color_FFFFFF_t_70 4]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/5583c380ebcc4cf787673adf2840e578.png
[20210330231024535.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/0da3307f26a04fdeba0c6bfd8751a21e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poZWJ1c2hpYmlhb3NoaWZ1_size_16_color_FFFFFF_t_70 5]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/c67e3ac7864d4708973ab37491dbe5f7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poZWJ1c2hpYmlhb3NoaWZ1_size_16_color_FFFFFF_t_70 6]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/bd81a2aa8e534db0aaa3e9c6d243a0f8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poZWJ1c2hpYmlhb3NoaWZ1_size_16_color_FFFFFF_t_70 7]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/7945a566239c4965a6ed332970234328.png