机器学习经典算法总结（3）——特征选择

忘是亡心i 2022-05-30 07:53 376阅读 0赞

**一、特征的分类**

1. 相关特征：对当前学习任务有用的属性。

2. 无关特征：对当前学习任务没有用的属性。

3. 冗余特征：包含的信息能从其他特征中推演出来，冗余特征有时候不起作用，有时候则是有益的，对应了学习任务所需的“中间变量”。

二、**特征选择**

1. 概念：从给定的特征集合中选择出相关特征的子集的过程。

2. 为什么要进行特征选择？

（1）减轻维数灾难问题

（2）降低学习任务的难度

3. 处理高维数据的两大主流技术：特征选择和降维

4. 特征选择的简单描述

从初始的特征集合中产生一个“候选子集”，评价他的好坏，基于评价结果产生的下一个候选子集，再对其进行评价，循环进行直到无法找到更好的候选子集为止。

5. 两个关键环节：

（1）“子集搜索”问题——如何根据评价结果获取下一个候选子集？

前向搜索、后向搜索、双向搜索；都是基于贪心的策略。

（2）“子集评价”问题——如何评价候选子集的好坏？

计算信息增益、计算信息熵、其他能划分差异的机制……

6. 将特征子集搜索和子集评价机制相结合，即可得到特征选择方法。

三、**特征选择方法分类**

常见的特征选择方法大致分为三类：过滤式、包裹式、嵌入式。

1. **过滤式选择（filter）**

过滤式方法先对数据集进行特征选择，再训练学习器，特征选择过程与后续学习器无关。

Relief是一种著名的过滤式特征选择方法，设计了一种相关统计量来度量特征重要性。 适用于二分类问题。

2. **包裹式选择（wrapper）**

与过滤式机器学习不考虑后续学习器不同，包裹式特征选择直接把最终要使用的学习器性能作为特征子集的评价标准。

由于包裹式特征选择的方法直接针对给定学习器进行优化，包裹式特征选择比过滤式要好，计算开销也要大得多。

LVW是一种典型的方法。采用随机策略搜索特征子集，而每次特征子集的评价都需要训练学习器，开销很大。

3. **嵌入式选择（embedding）**

嵌入式特征选择将特征选择过程和机器训练过程融合为一体。两者在同一优化过程中完成，即在学习器训练过程中自动进行了特征选择。

w取得稀疏解意味着初始的d个特征中仅有对应着w的非零分量的特征才会出现在最终模型中，于是求解L1范数正则化的结果是得到了仅采用一部分初始特征的模型；换言之，基于L1正则化的学习方法就是一种嵌入式选择方法。

** **

发表评论取消回复

表情：

评论列表（有 0 条评论，376人围观）

还没有评论，来说两句吧...

相关阅读

相关【机器学习】特征选择方法总结

目录：特征选择方法总结一、总结二、介绍三、过滤法(Filter) 3.1 单变量 3.2 多变量 3

客官°小女子只卖身不卖艺/ 2023年09月27日 14:03/ 0 赞/ 98 阅读

相关机器学习经典算法总结（3）——特征选择

一、特征的分类 1. 相关特征：对当前学习任务有用的属性。 2. 无关特征：对当前学习任务没有用的属性。 3. 冗余特征：包含的信息能从其他特征中推演出来，冗余特征有时候

忘是亡心i/ 2022年05月30日 07:53/ 0 赞/ 377 阅读

相关机器学习特征选择

决策树特征选择：信息增益与信息增益比基尼系数文本特征选择：特征提取方法: one-hot TF-IDF 词

短命女/ 2022年05月30日 06:35/ 0 赞/ 231 阅读

相关机器学习经典算法总结（4）——集成学习

一、集成学习 1. 概念集成学习（ensemble learning）是通过构建并结合多个学习器来完成学习任务。在一些数据挖掘竞赛中经常需要对几个模型进行融合

我会带着你远行/ 2022年05月26日 04:57/ 0 赞/ 278 阅读

相关机器学习经典算法总结（5）——强化学习

一．强化学习的概念 1. 基础介绍强化学习模型根据输入学习一系列动作（action），而不同的动作会逐渐累计起来，在某些时候就会得到一些奖赏（reward）。执行某个

拼搏现实的明天。/ 2022年05月23日 11:49/ 0 赞/ 410 阅读

相关机器学习经典算法总结（6）——聚类

一、聚类聚类属于无监督学习，是其中研究最多，应用最广的算法。作用：（1）作为一个单独过程，寻找数据内部分布结构（2）作为分类等其他学习任务的前驱过程性能

拼搏现实的明天。/ 2022年05月22日 00:11/ 0 赞/ 113 阅读

相关 [机器学习] 特征工程总结

目录 1 特征工程是什么？ 2 数据预处理　　2.1 无量纲化　　　　2.1.1 标准化　　　　2.1.2 区间缩放法　　　　2.1.3 标准化与

不念不忘少年蓝@/ 2022年05月16日 07:36/ 0 赞/ 215 阅读

相关机器学习 (四): 特征选择

机器学习特征选择概述 Filter 方法根据方差根据协方差根据$\\chi^2$ Wrapper 方法

小灰灰/ 2022年02月22日 15:36/ 0 赞/ 562 阅读

相关百面机器学习（3）经典算法

没有最好的分类器，只有最合适的分类器。深度学习：数据驱动的，但没有海量且精确标注的数据时，可以采用传统方法。 01 支持向量机很有趣的比喻：拍一下桌面，将球

迈不过友情╰/ 2022年01月12日 17:53/ 0 赞/ 234 阅读

相关机器学习特征选择

链接：https://www.zhihu.com/question/28641663/answer/41653367 特征选择是特征工程中的重要问题（另一个重要的问题是

拼搏现实的明天。/ 2021年09月26日 05:46/ 0 赞/ 335 阅读