线性判别分析（LDA）准则：FIsher准则、感知机准则、最小二乘（最小均方误差）准则...

妖狐艹你老母 2021-12-09 15:09 332阅读 0赞

# 准则 #

采用一种分类形式后，就要采用准则来衡量分类的效果，最好的结果一般出现在准则函数的极值点上，因此将分类器的设计问题转化为求准则函数极值问题，即求准则函数的参数，如线性分类器中的权值向量。

分类器设计准则：FIsher准则、感知机准则、最小二乘（最小均方误差）准则

## Fisher准则 ##

Fisher线性判别分析LDA（Linearity Distinction Analysis）  
基本思想：对于两个类别线性分类的问题，选择合适的阈值，使得Fisher准则函数达到极值的向量作为最佳投影方向，与投影方向垂直的超平面就是两类的分类面，使得样本在该方向上投影后，达到最大的类间离散度和最小的类内离散度。   
Fisher线性判别并不对样本的分布进行任何假设，但在很多情况下，当样本维数比较高且样本数也比较多时，投影到一维空间后样本接近正态分布，这时可以在一维空间中用样本拟合正态分布，用得到的参数来确定分类阈值。

。。类间离差平方和最大，类内离差平方和最小的投影方向。准则函数：组间离差平方和/组内离差平方和；准则：超过阈值？

## 感知机准则 ##

基本思想：对于线性判别函数，当模式的维数已知时，判别函数的形式实际上就已经确定下来，线性判别的过程即是确定权向量?   。感知机是一种神经网络模型，其特点是随意确定判别函数初始值，在对样本分类训练过程中，针对分类错误的样本不断进行权值修正，逐步迭代直至最终分类符合预定标准，从而确定权向量值。可以证明感知机是一种收敛算法，只要模式类别是线性可分的，就可以在有限的迭代步数里求出权向量的解。

优点：简单、便于实现。   
缺点：结果不唯一，在线性不可分情况下不收敛。

。。给定初始权值向量，通过样本的训练分类过程逐渐修正权值直到最终确定。准则函数：错分样本数，准则：错分样本数为0

### 上述两个准则的区别和联系 ###

Fisher线性判别是把线性分类器的设计分为两步，一是确定最优方向，二是在这个方向上确定分类阈值；感知机则是通过不断迭代直接得到完整的线性判别函数。

Fisher线性判别根据阈值选择投影方向达到预期分类效果，而感知机算法因为不是收敛算法，可能不能得到很好的分类结果。

## 最小二乘准则 ##

基于最小二乘法求线性组合的权值

对于异常值非常敏感。

转载于:https://www.cnblogs.com/z-sm/p/5109729.html

发表评论取消回复

表情：

评论列表（有 0 条评论，332人围观）

还没有评论，来说两句吧...

相关阅读

相关 [基于线性约束最小方差准则(LCMV)的自适应波束形成算法的matlab仿真] -＞利用LCMV准则实现自适应波束形成——matlab仿真教程

\[基于线性约束最小方差准则(LCMV)的自适应波束形成算法的matlab仿真\] -> 利用LCMV准则实现自适应波束形成——matlab仿真教程自适应波束形成是一种有效

你的名字/ 2024年03月24日 12:51/ 0 赞/ 51 阅读

相关 LTO磁带机清洁准则

确定何时清洁磁带机当磁带机需要清洁时，显示屏将显示“ C”，并且状态LED或独立磁带机的前面板上。清洗指示通知也将出现在磁带库的前液晶显示屏上或磁带库事件日志中。不建议

叁歲伎倆/ 2023年10月05日 11:38/ 0 赞/ 28 阅读

相关 DBA 行为准则

[A Code of Conduct for DBAs - Simple Talk][] 尽管 DBA 是组织知识的保护者，并且知道许多机密信息，但没有一套明确定义的规则和标

我不是女神ヾ/ 2023年09月27日 03:39/ 0 赞/ 145 阅读

相关 MySQL 开发准则

总结之阿里巴巴开发规范，如需看原版，请移步：[https://www.php.cn/java/java-alibaba-guifan.html][https_www.php.

电玩女神/ 2022年12月02日 13:57/ 0 赞/ 133 阅读

相关 C++核心准则：明确意图

例子1 > bad gsl::index i = 0; while (i < v.size()) { // ... d

心已赠人/ 2022年11月12日 10:56/ 0 赞/ 182 阅读

相关架构师行为准则

架构师的行为准则（一）最近看了一本书《软件架构师应该知道的97件事》，本来并没对它抱有太多期望和兴趣，毕竟这种讲大道理的书不可能带来什么实际收获，但看的过程中被里面中肯实

蔚落/ 2022年08月19日 11:15/ 0 赞/ 128 阅读

相关违例(异常)准则

书里摘出来的，暂且记下，以后再加深理解。违例准则用违例做下面这些事情： (1) 解决问题并再次调用造成违例的方法。 (2) 平息事态的发展，并在不重新尝试方法的

比眉伴天荒/ 2022年08月02日 05:39/ 0 赞/ 175 阅读

相关优秀代码的格式准则

本系列文章由@浅墨\_毛星云出品，转载请注明出处。文章链接： [http://blog.csdn.net/poem\_qianmo/article/details/52

水深无声/ 2022年07月17日 03:37/ 0 赞/ 159 阅读

相关 Mysql分表准则

author：skate time：2013/05/14 Mysql分表准则在大量使用mysql时，数据量大、高访问时，为了提高性能需要分表处理，简介下mysq

今天药忘吃喽~/ 2022年02月18日 23:25/ 0 赞/ 218 阅读

相关线性判别分析（LDA）准则：FIsher准则、感知机准则、最小二乘（最小均方误差）准则...

准则采用一种分类形式后，就要采用准则来衡量分类的效果，最好的结果一般出现在准则函数的极值点上，因此将分类器的设计问题转化为求准则函数极值问题，即求准则函数的参数，如线性

妖狐艹你老母/ 2021年12月09日 15:09/ 0 赞/ 333 阅读