Python/scikit-learn机器学习库(特征选取)

水深无声 2022-08-09 15:56 182阅读 0赞

##### 去除方差小的特征 #####

设置一个方差阈值，没有达到这个方差阈值的特征都会被丢弃。  
VarianceThreshold，算法输入只要求特征(X),不需要输入结果(Y)。

> from sklearn.feature\_selection import VarianceThreshold  
> X=\[\[feature1,feature2,…\],…\]  
> sel=VarianceThreshold(threshold=xx)  
> print(sel.fit\_transform(X))

##### 单变量特征选取 #####

单变量特征提取的原理是分别计算每个特征的某个统计指标，根据该指标来选取特征。  
SelectKBest、SelectPercentile，前者选择排名前k个的特征，后者选择排名在前k%的特征。选择的统计指标需要指定，对于regression问题，使用f\_regression指标;对于classification问题，可以使用chi2或者f\_classif指标。

> from sklearn.feature\_selection import SelectKBest,chi2  
> X\_new=SelectKBest(chi2,k=2).fit\_transform(test\_X,test\_Y)

1.  False Positive Rate，假阳性率
2.  chi2,卡方统计量，X中特征取值必须非负。卡方检验用来测度随机变量之间的依赖关系。通过卡方检验得到的特征之间是最可能独立的随机变量，因此这些特征的区分度很高。

##### 循环特征选取 #####

不单独地检验某个特征的价值，而是检验特征集的价值。对于一个数量为n的特征集合，子集的个数为2的n次方减一。通过指定一个学习算法，通过算法计算所有子集的error，选择error最小的子集作为选取的特征。

###### RFE ######

1.    
    
2.  对初始特征集合中每个特征赋予一个初始权重。
3.  训练，将权重最小的特征移除。
4.  不断迭代，直到特征集合的数目达到预定值。

> from sklearn.svm import SVC  
> from sklearn.feature\_selection import RFE  
> //X为样本集合，每个样本为一个数组，数组元素为各个特征值,Y样本的评分  
> svc=SVC(kernel=”linear”,C=1)  
> rfe=RFE(estimator=svc,n\_features\_to\_select=5,step=1)  
> X\_new=rfe.fit\_transform(X,Y)

###### RFECV ######

在RFE训练时，增加交叉验证。

###### L1-base ######

在线性回归模型中，每一个特征代表一个w，若得到的w系数等于或接近0，则说明这些特征不重要。  
LinearSVC  
参数C控制特征系数稀疏度，C的值越小，选择的特征数越少。

> from sklearn.svm import LinearSVC  
> X\_new=LinearSVC(C=0.01,penalty=”l1”,dual=False).fit\_transform(x,y)

##### 决策树特征选取 #####

通过决策树可以计算特征的重要性，抛弃不太重要的特性。

> from sklearn.ensemble import ExtraTreesClassifier  
> clf=ExtraTreesClassifier()  
> X\_new=clf.fit(x,y).transform(x)  
> //各个特征重要性  
> print(clf.feature\_importances)

##### sklearn分类数据 #####

sklearn.datasets.make\_classification用来随机产生一个多分类问题。  
n\_features=n\_informative+n\_redundant+n\_repeated。  
n\_clusters\_per\_class 每个分类的集群数

> import sklearn.datasets  
> (x,y)=make\_classification(n\_samples=,  
> n\_features=,  
> n\_informative=,  
> n\_redundant=,  
> n\_repeated=,  
> n\_classes=,  
> random\_state=,  
> shuffle=False  
> )