「Python 数据处理基础」数据特征处理离散化和二值化应用

野性酷女 2023-01-24 02:22 358阅读 0赞

### 文章目录 ###

*  数据离散化和类型

# 数据离散化和类型 #

操作数据的逻辑分层，所谓离散化是将无限空间中的有限个体映射到有限空间。数据离散化操作主要在连续数据上执行。处理后，数据值范围分布将从连续属性更改为离散属性。此属性通常包含两个或多个值范围。

**离散化的必要性**

1.  节省计算资源，提高计算效率。
2.  算法模型（尤其是分类模型）的计算需求。尽管决策树等许多模型可以支持连续数据的输入，但是决策树本身首先会将连续数据转换为离散数据，因此离散化转换是必不可少的步骤。
3.  增强模型的稳定性和准确性。数据离散化后，处于异常状态的数据将不会清楚地突出显示异常特征，但是会被分成子集的一部分。

**时间数据离散化**

离散时间。通常，时间戳会转换为秒，分钟，小时或早晨和下午。通常，日期会转换为星期数，星期几，月份，工作日或休息日，季度，年份等。  
时间数据离散化可以将细粒度的时间序列数据离散化为粗粒度的三类数据：

1.  离散化为分类数据，例如上午和下午；
2.  离散化为连续数据，例如星期一，星期二，星期三；
3.  离散化是数字数据。例如，一年中有52周，而周数是数字数据。

import pandas as pd
    from sklearn.cluster import KMeans
    
    # 创建时间数据
    date = pd.date_range('7/1/2021','7/30/2021')
    df_t = pd.DataFrame(date, columns=['date'])
    # 转化为周
    df_t['week'] = df_t['date'].apply(lambda x:x.weekday())
    df_t.head()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70]

df.groupby('week').count()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 1]

**多值离散数**

多值离散数据的离散化指的是要进行离散化处理的数据本身不是数值型数据，而是分类或顺序数据。例如，用户收入变量的值最初可以分为10个间隔。根据新的建模要求，仅需要划分4个间隔，然后将原来的10个间隔合并。

为了离散化多值离散数据，除法逻辑可能存在问题，需要重新除法。此问题通常是由于业务逻辑的变化所致，导致原始数据中不同历史数据下的范围定义不同。例如，用户活动变量的值最初分为三类：高值，中值和低值。根据业务发展的需要，将新的用户活动变量的值定义为高值，中值，低值和负值。此时，有必要按照统一规则离散化不同类型的数据。

**连续数据离散化**

连续数据离散化是主要的离散化应用，在分类或关联分析中应用尤其广泛，这些算法的结果以类别或属性标识为基础，而非数值标记。

例如，分类规则的典型结果逻辑是：如果变量1=值1并且变量2=值2那么目标变量（T）连续数据的离散化结果可以分为两类：一类是将连续数据划分为特定区间的集合，例如\{（0，10\]，（10，20\]，（20，50\]，（50，100\]\}；一类是将连续数据划分为特定类，例如类1、类2、类3；常见实现针对连续数据离散化的方法包括：

1.  分位数法：使用四分位数，五分位数，十分位数和其他分位数进行离散化。
2.  距离间隔方法：可以使用等距间隔或自定义间隔执行离散化。此操作更加灵活，可以满足自定义要求。另外，这种方法（尤其是等距间隔）可以更好地保持原始数据的分布。
3.  频率间隔法：根据不同数据的频率分布对数据进行排序，然后根据相等的频率或指定的频率离散化。此方法会将数据转换为均匀分布。好处是每个间隔中的观测值是相同的，但缺点是原始数据的分发状态已更改。
4.  聚类方法：例如，使用K均值将样本集划分为多个离散聚类。
5.  卡方：通过使用基于卡方的离散化方法，找到数据的最佳相邻间隔并合并以形成较大的间隔。

import pandas as pd
    import numpy as np
    import random
    
    data_1 = [random.randint(1,100) for i in range(100)]
    
    df = pd.DataFrame([data_1]).T
    df.columns = ["col"]
    
    # 等距离散化
    df['col_equidistance'] = pd.cut(df.col, 4, labels=range(4))
    df.groupby('col_equidistance').count()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 2]

# k-means聚类离散化并指定聚类数量
    km_model = KMeans(n_clusters=4, random_state=1)
    km_reuslt = km_model.fit_predict(df["col"].values.reshape(-1, 1))
    df['col_k-means'] = km_reuslt
    df.groupby('col_k-means').count()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 3]

# N等分离散数据
    df['col_equant'] = pd.qcut(df.col, 4, labels=['N', 'R', 'SR', 'SSR'])
    df.groupby('col_equant').count()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 4]

# 等频率离散
    # 设置离散区间数
    k =4
    # 设置频率范围
    w = [1.0*i/k for i in range(k+1)]
    # 使用describe获取频率区域的分界点
    w = df.col.describe(percentiles = w)[4:4+k+1]
    w[0] = w[0]*(1-1e-10)
    
    # 根据分界点进行数据离散处理
    df['col_equifrequent'] = pd.cut(df.col, w, labels = range(k))
    df.groupby('col_equifrequent').count()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 5]

def custom(data):
        if data < 20:
            return 1
        if 20 <= data < 50:
            return 2
        if 50 <= data < 80:
            return 3    
        if data > 80:
            return 4
        
    df['custom'] = df.col.apply(custom)
    df.groupby('custom').count()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 6]

**数据二值化**

在许多情况下，我们可能需要对变量特征进行二值化：将每个数据点与阈值进行比较，将大于阈值的值设置为固定值（例如1），将小于阈值的值设置为a固定值（例如0），然后获得只有两个值范围的二进制数据集。

二值化后的值设置取决于场景。例如，大多数数据处理可以设置为1或0。在图像处理中，将其设置为0或255。只要满足对后续数据和结果的识别，理解和应用，对如何设置就没有固定要求。二值化的前提是数据集中的所有属性值都表示相同或相似的含义。例如，通过读取图像获得的数据集是颜色值的集合（特定的颜色模式取决于读取图像时的模式设置，例如灰度，RGB等），因此每个数据点代表颜色，此时可以对整个数据集进行二值化处理。在某些情况下，也可能仅对特定列执行二值化，因此尽管不同列的属性不同，但同一列中生成的二值化结果仍然具有比较和分类的意义。

# 数据二值化
    # 建立模型 根据平均值作为阈值
    from sklearn import preprocessing
    import pandas as pd
    
    data_1 = [random.randint(1,100) for i in range(100)]
    df = pd.DataFrame([data_1]).T
    df.columns = ["col"]
    
    binarizer_scaler = preprocessing.Binarizer(threshold=df['col'].mean())
    # 二值化处理
    result = binarizer_scaler.fit_transform(df['col'].values.reshape(-1, 1))
    
    # 数据合并
    df['col_binaryzation'] = result
    df.groupby('col_binaryzation').count()

![在这里插入图片描述][202107161643350.png]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70]: /images/20221004/d52de798baf047c682be974e5786de93.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 1]: /images/20221004/fb55548e5e0445eeb658820944280106.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 2]: /images/20221004/2c9e535768de423f912f24e267fd606e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 3]: /images/20221004/331f74355cde48ca9de54c0079a31afe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 4]: /images/20221004/9036e51bae004b5683593e22339114fc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 5]: /images/20221004/667aca2b181b48ee9e5f23770c9b3596.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 6]: /images/20221004/bce1a7c66a1e4e63bdc08250c5c361b4.png
[202107161643350.png]: /images/20221004/2df8cce01d394f2b84eeddeba89fb11d.png