机器学习之特征工程

朴灿烈づ我的快乐病毒、 2022-06-02 12:39 256阅读 0赞

特征工程是什么？首先我们来说一说特征。**特征**是数据中抽取出来的对结果预测有用的信息，可以是文本或是数据。特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程。过程包含了特征提取、特征构建、特征选择等模块。**特征工程**的目的筛选出更好的特征，获取更好的训练数据。因为好多特征具有更强的灵活性，可以用简单的模型做训练，更可以得到优秀的结果。在互联网公司里，其实大部分复杂的模型是极少数的数据科学家在做，大多数工程师们做的事情基本上是从数据仓库里搬砖，不断进行数据清洗，不断寻找特征。总而言之，特征工程没有定式方法，它和现实场景非常贴近，在不同的场景中有不同的特征，抽取方式上可能有共性，在A场景中的特征可能有用但在B场景上可能没用。

下面我们分三个步骤进行介绍：

一、数据采集、数据清洗、数据采样

**数据采集**：数据采集要求知道哪些数据对最后的结果预测有帮助，某些数据是否能够采集得到，线上实时计算时是否能快捷获取等等。同时，基础的一步是将数据格式化，即确定存储格式，以便后续数据处理和使用。

**数据清洗**：数据清洗是很重要的一步，也是相对耗时的一步，数据是否处理得当对之后的预测有很大的影响，它需要我们对当前业务理解非常透彻。数据清洗树妖是去除脏数据（不符合常理的）、缺失数据的补齐等。丢掉不可信样本，缺失值较多的字段考虑不用。

**数据采样**：很多情况下，正负样本存在不均衡问题，大多数模型对正负样本比是敏感的，以及采样方式（随机采样和分层采样），这些对后期结果预测都是有影响的。

正负样本不平衡处理的办法主要分为两类：

（1）正样本远远大于负样本，且量都不大时，我们一般进行下采样；

（2）正样本远远大于负样本，量不大的时候，我们需要采集更多的数据，或进行上采样，或者修改损失函数。

二、特征处理：

（1）数值型

方法：幅度调整/归一化、Log等变化、统计值（max、min、mean、std）、离散化、Hash分桶、每个类别下对应的变量统计值histogram（分布），也可以将数值型转化为类别型。

幅度调整：

from sklearn import preprocessing
    import numpy as np
    X_train = np.array([[1.,-1.,2.],
                       [2.,0.,0.],
                       [0.,1.,-1.]])
    min_max_scaler = preprocessing.MinMaxScaler()
    X_train_minmax = min_max_scaler.fit_transform(X_train)
    print X_train_minmax

结果：

[[ 0.5         0.          1.        ]
     [ 1.          0.5         0.33333333]
     [ 0.          1.          0.        ]]

归一化：

X_train = np.array([[1.,-1.,2.],
                       [2.,0.,0.],
                       [0.,1.,-1.]])
    X_scaled = preprocessing.scale(X_train)
    print X_scaled

结果：

[[ 0.         -1.22474487  1.33630621]
     [ 1.22474487  0.         -0.26726124]
     [-1.22474487  1.22474487 -1.06904497]]

统计值：

（2）类别型

方法：one-hot编码（可以把没有大小关系的变成多个字段）、哑变量、Hash与聚类处理、统计每个类别变量下各个target比例，转成数值型

（3）日期型

时间可以看做连续值，也可看做离散值。

（4）文本型

词袋：文本数据预处理后，去掉停用词，剩下的词组成的list在词库中的映射稀疏向量。也可将词袋中的词扩充到n-gram。一般使用的是TF-IDF特征。

（5）统计特征

一般会用到：加减平均、分位线、次序、比例

（6）组合特征