Python机器学习库SKLearn的特征选择

淩亂°似流年 2022-06-16 00:23 352阅读 0赞

> 参考地址：http://scikit-learn.org/stable/modules/feature\_selection.html\#feature-selection
> 
> sklearn.feature\_selection模块中的类可用于样本集中的特征选择/维数降低，以提高估计器的准确度分数或提高其在非常高维数据集上的性能。

> **1.1 删除低方差特征**

VarianceThreshold是特征选择的简单基线方法。 它删除方差不符合某个阈值的所有特征。 默认情况下，它会删除所有零方差特征，即所有样本中具有相同值的特征。

例如，假设我们有一个具有布尔特征的数据集，并且我们要删除超过80％的样本中的一个或零（开或关）的所有特征。 布尔特征是伯努利随机变量，这些变量的方差由下式给出

![415d9594608f0ddd0c80635c2fcce650e402d81b.png][]

> 所以我们可以选择使用阈值.8 \*（1 - .8）：

>>> from sklearn.feature_selection import VarianceThreshold
    >>> X = [[0, 0, 1], [0, 1, 0], [1, 0, 0], [0, 1, 1], [0, 1, 0], [0, 1, 1]]
    >>> sel = VarianceThreshold(threshold=(.8 * (1 - .8)))
    >>> sel.fit_transform(X)
    array([[0, 1],
           [1, 0],
           [0, 0],
           [1, 1],
           [1, 0],
           [1, 1]])

> **1.2 单变量特征选择**

> 通过选择基于单变量统计测试的最佳特征来进行单变量特征选择。 它可以被看作是估计器的预处理步骤。 Scikit学习将特征选择例程公开为实现变换方法的对象：
> 
> 1）SelectKBest删除除k个最高得分特征之外的所有内容  
> 2）SelectPercentile除去用户指定的最高得分百分比的特征  
> 3）对每个特征使用常见的单变量统计检验：假阳性率SelectFpr，错误发现率SelectFdr或家族误差SelectFwe。  
> 4）GenericUnivariateSelect允许使用可配置策略执行单变量特征选择。 这允许使用超参数搜索估计器来选择最佳的单变量选择策略。  
> 
> 
> 例如，我们可以对样本执行![b0a677c7b64a9ce46bca897eabaf2af1c84de1a5.png][]测试，以仅检索两个最佳特征，如下所示：  
>

>>> from sklearn.datasets import load_iris
    >>> from sklearn.feature_selection import SelectKBest
    >>> from sklearn.feature_selection import chi2
    >>> iris = load_iris()
    >>> X, y = iris.data, iris.target
    >>> X.shape
    (150, 4)
    >>> X_new = SelectKBest(chi2, k=2).fit_transform(X, y)
    >>> X_new.shape
    (150, 2)

这些对象作为输入一个评分函数，返回单变量分数和p值（或仅用于SelectKBest和SelectPercentile的分数）：

> 对于回归：f\_regression，mutual\_info\_regression

> 对于分类：chi2，f\_classif，mutual\_info\_classif

基于F检验的方法估计两个随机变量之间的线性依赖程度。 另一方面，互信息方法可以捕获任何种类的统计依赖关系，但是非参数化，它们需要更多的样本进行准确的估计。

**1.3 递归特征消除**

给定赋予特征的权重（例如，线性模型的系数）的外部估计器，递归特征消除（RFE）是通过递归地考虑更小和更小的特征集来选择特征。 首先，对初始特征集进行训练，并将权重分配给每个特征。 然后，从当前设置的特征中剪除绝对权重最小的特征。 在修剪的集合上递归地重复该过程，直到最终达到所要选择的要素数量为止。

**1.4使用SelectFromModel进行特征选择**

SelectFromModel是一个元变换器，可以与任何在拟合后具有coef\_或feature\_importances\_属性的估计器一起使用。 如果相应的coef\_或feature\_importances\_值低于提供的阈值参数，则这些特征被认为是不重要的并被移除。 除了在数值上指定阈值之外，还有内置的启发式方法用于使用字符串参数来查找阈值。 可用的启发式是“平均值”，“中位数”和浮点数，如“0.1 \* mean”。

**1.4.1 基于L1-特征选择**

用L1范数惩罚的线性模型具有稀疏解：他们的许多估计系数为零。 当目标是降低与另一个分类器一起使用的数据的维度时，它们可以与feature\_selection.SelectFromModel一起使用以选择非零系数。 特别地，用于此目的的稀疏估计量是用于回归的linear\_model.Lasso和用于分类的linear\_model.LogisticRegression和svm.LinearSVC的线性估计。

>>> from sklearn.svm import LinearSVC
    >>> from sklearn.datasets import load_iris
    >>> from sklearn.feature_selection import SelectFromModel
    >>> iris = load_iris()
    >>> X, y = iris.data, iris.target
    >>> X.shape
    (150, 4)
    >>> lsvc = LinearSVC(C=0.01, penalty="l1", dual=False).fit(X, y)
    >>> model = SelectFromModel(lsvc, prefit=True)
    >>> X_new = model.transform(X)
    >>> X_new.shape
    (150, 3)

**1.4.2 基于树的特征选择**

基于树的估计器（参见sklearn.tree模块和sklearn.ensemble模块中的树的森林）可用于计算特征重要性，这又可以用于丢弃不相关的特征（当与sklearn.feature\_selection.SelectFromModel ）：

>>> from sklearn.ensemble import ExtraTreesClassifier
    >>> from sklearn.datasets import load_iris
    >>> from sklearn.feature_selection import SelectFromModel
    >>> iris = load_iris()
    >>> X, y = iris.data, iris.target
    >>> X.shape
    (150, 4)
    >>> clf = ExtraTreesClassifier()
    >>> clf = clf.fit(X, y)
    >>> clf.feature_importances_  
    array([ 0.04...,  0.05...,  0.4...,  0.4...])
    >>> model = SelectFromModel(clf, prefit=True)
    >>> X_new = model.transform(X)
    >>> X_new.shape               
    (150, 2)

**1.4.3 特征选择作为管道的一部分**

特征选择通常用作执行实际学习之前的预处理步骤。 在scikit学习中推荐的方法是使用sklearn.pipeline.Pipeline：

clf = Pipeline([
      ('feature_selection', SelectFromModel(LinearSVC(penalty="l1"))),
      ('classification', RandomForestClassifier())
    ])
    clf.fit(X, y)

[415d9594608f0ddd0c80635c2fcce650e402d81b.png]: /images/20220616/a70ade7f374842b98dde483a742d32df.png
[b0a677c7b64a9ce46bca897eabaf2af1c84de1a5.png]: /images/20220616/5a3649ef13f846bb9f40399a2732b75a.png