「Python 数据处理基础」数据预处理离散变量5种常用方法

男娘i 2022-10-12 12:09 209阅读 0赞

### 文章目录 ###

*  内容介绍
 *  变量转换
 *  变量转换方法

# 内容介绍 #

在日常的数据分析工作中，经常需要把数据变量转换成模型需要的样子，比如我们经常遇见的数据都是标签化、文字化等内容，需要将这些数据转换成计算机看得懂的内容，就是需要进行标签变量的转换。

不管是离散数据还是连续数据，在某些特定的环境下可能都需要进行类别的转换处理。

# 变量转换 #

将离散数据和连续数据转换为标志变量。

*  **离散数据：** 分类数据是指非数字数据，其数据属性只能归于特定类别。例如，性别上的男性和女性是分类数据。分类数据中的值没有明显的高，低，大，小和逻辑划分，例如等级，顺序，排序，好坏等，但用于区分具有相同或相同属性的两个或多个属性等效值。
 *  **连续数据：** 连续数据只能归因于特定排序类别中的非数字数据。例如，用户的价值分为高，中和低，教育程度分为博士，研究生和学士。这些都是连续数据。在顺序数据中，存在明显的排序规则和逻辑划分。

# 变量转换方法 #

分类数据和连续数据需要参与模型计算，并且通常会转换为数值数据。当然，某些算法允许这些数据直接参与计算，例如分类算法中的决策树和关联规则。将非数字数据转换为数字数据的最佳方法是将所有类别或有序变量的范围从一列多值形式转换为仅包含真值的多列。可以将True值传递给True，False或0、1。这种符号转换方法有时称为真值转换。

import pandas as pd
    
    data = [
        ['yellow', 'S', 10.1, 'class1'],
        ['red', 'M', 13.5, 'class1'],
        ['red', 'M', 15.1, 'class2'],
        ['blue', 'XL', 15.3, 'class2']
    ]
    
    
    df = pd.DataFrame(
        data,columns=['color', 'size', 'prize', 'class']
    )
    
    df

![在这里插入图片描述][20210712162416622.png]  
**Pandas 自定义 apply 方法**

def change_prize_type(data):
        if data < 13:
            return 1
        if 13 <= data <= 15:
            return 2
        if data > 15:
            return 3
        
    df['prize'] = df.prize.apply(change_prize_type)
    df

![在这里插入图片描述][20210712170516904.png]

**Pandas 字典标签 map 方法**

# 类别变量转换字典，value为index
    # 标签处理,把字符型的标签转换成数值型的
    class_mapping = { 
        label:idx for idx,label in enumerate(set(df['class']))
    }
    class_mapping
    >>> { 0: 0, 1: 1}
    
    df['class'] = df['class'].map(class_mapping)
    df

![在这里插入图片描述][20210712162703400.png]

# 特征处理,通过设置字典map映射
    size_mapping = { 
        'XL': 3,
        'M': 2,
        'S': 1
    }
    
    df['size'] = df['size'].map(size_mapping)
    df

![在这里插入图片描述][20210712163015231.png]

# 字典映射编码转换
    color_mapping = { 
               'yellow': (0,0,1),
               'red': (0,1,0),
               'blue': (1,0,0)}
    
    df['color'] = df['color'].map(color_mapping)
    df

![在这里插入图片描述][20210712163140709.png]

# 还原数据
    
    inv_color_mapping = { v: k for k, v in color_mapping.items()}
    inv_size_mapping = { v: k for k, v in size_mapping.items()}
    inv_class_mapping = { v: k for k, v in class_mapping.items()}
    
    df['color'] = df['color'].map(inv_color_mapping)
    df['size'] = df['size'].map(inv_size_mapping)
    df['class'] = df['class'].map(inv_class_mapping)
    df

![在这里插入图片描述][20210712163349691.png]  
**基于sklearn LabelEncoder 方法**

# 变量转换
    from sklearn.preprocessing import LabelEncoder
    
    class_le = LabelEncoder()
    df['class'] = class_le.fit_transform(df['class'])
    df

![在这里插入图片描述][20210712163852897.png]

# LabelEncoder 数据还原
    
    df['class'] = class_le.inverse_transform(df['class'])
    df

![在这里插入图片描述][20210712164135398.png]

**基于sklearn DictVectorizer 方法**

# DictVectorizer 通过特征的字典向量化特征
    
    df.transpose().to_dict().values()
    >>> dict_values([{ 'color': 'yellow', 'size': 'S', 'prize': 10.1, 'class': 'class1'}, 
    	{ 'color': 'red', 'size': 'M', 'prize': 13.5, 'class': 'class1'},
    	{ 'color': 'red', 'size': 'M', 'prize': 15.1, 'class': 'class2'}, 
    	{ 'color': 'blue', 'size': 'XL', 'prize': 15.3, 'class': 'class2'}])
    
    # 提取data中的特征
    
    feature = df.iloc[:, :-1]
    feature

![在这里插入图片描述][20210712164501479.png]

# 将全部特征映射
    
    from sklearn.feature_extraction import DictVectorizer
    dvec = DictVectorizer(sparse=False)
    
    df_feature = dvec.fit_transform(feature.transpose().to_dict().values())
    df_feature 
    >>> array([[ 0. ,  0. ,  1. , 10.1,  0. ,  1. ,  0. ],
           [ 0. ,  1. ,  0. , 13.5,  1. ,  0. ,  0. ],
           [ 0. ,  1. ,  0. , 15.1,  1. ,  0. ,  0. ],
           [ 1. ,  0. ,  0. , 15.3,  0. ,  0. ,  1. ]])
    
    # 将结果根据df进行映射
    pd.DataFrame(df_feature, columns=dvec.get_feature_names())

![在这里插入图片描述][20210712164835602.png]

**OneHotEncoder 编码转换**

# OneHotEncoder 编码转换
    # 由于OneHotEncoder必须使用整数作为输入因此先预处理一下
    color_le = LabelEncoder()
    df['color'] = color_le.fit_transform(df['color'])
    
    df

![在这里插入图片描述][20210712164953162.png]

from sklearn.preprocessing import OneHotEncoder
    ohe = OneHotEncoder(sparse=False)
    
    X = ohe.fit_transform(df[['color']].values)
    X
    >>> array([[0., 0., 1.],
           [0., 1., 0.],
           [0., 1., 0.],
           [1., 0., 0.]])

# Pandas虚拟变量
    # 使用get_dummies也可以得到相应的特征
    # 实现和OneHotEncoder相同的功能
    pd.get_dummies(df)

![在这里插入图片描述][20210712165709953.png]

[20210712162416622.png]: /images/20221005/66492e0b60e04605aec1d71e1424af1e.png
[20210712170516904.png]: /images/20221005/f5e607cdc0ff4230a00d94d5834740a5.png
[20210712162703400.png]: /images/20221005/34c46d5e07114961aed110710ab2f0f3.png
[20210712163015231.png]: /images/20221005/56623bebe21346b6896c02b53315dae6.png
[20210712163140709.png]: /images/20221005/f1d21e6f57224c8b98a75bc3e47c8392.png
[20210712163349691.png]: /images/20221005/2c1ae5a0943a45bbab4e639e6db76f0b.png
[20210712163852897.png]: /images/20221005/6574a6c067704f6eb6d9012bd0654bfd.png
[20210712164135398.png]: /images/20221005/5bdfe14077e34cc9ac9229316e1c3855.png
[20210712164501479.png]: /images/20221005/992a5dfeedf94c1faad51174c0aa59b9.png
[20210712164835602.png]: /images/20221005/5d2cddfa29bc44429460919b2b901dd4.png
[20210712164953162.png]: /images/20221005/3790a52f54d04f0bae2fae85ba9532d5.png
[20210712165709953.png]: /images/20221005/8a711d8aa18f4fff9d784f15539db659.png