线性判别分析（LDA）准则：FIsher准则、感知机准则、最小二乘（最小均方误差）准则...

妖狐艹你老母 2021-12-09 15:09 259阅读 0赞

# 准则 #

采用一种分类形式后，就要采用准则来衡量分类的效果，最好的结果一般出现在准则函数的极值点上，因此将分类器的设计问题转化为求准则函数极值问题，即求准则函数的参数，如线性分类器中的权值向量。

分类器设计准则：FIsher准则、感知机准则、最小二乘（最小均方误差）准则

## Fisher准则 ##

Fisher线性判别分析LDA（Linearity Distinction Analysis）  
基本思想：对于两个类别线性分类的问题，选择合适的阈值，使得Fisher准则函数达到极值的向量作为最佳投影方向，与投影方向垂直的超平面就是两类的分类面，使得样本在该方向上投影后，达到最大的类间离散度和最小的类内离散度。   
Fisher线性判别并不对样本的分布进行任何假设，但在很多情况下，当样本维数比较高且样本数也比较多时，投影到一维空间后样本接近正态分布，这时可以在一维空间中用样本拟合正态分布，用得到的参数来确定分类阈值。

。。类间离差平方和最大，类内离差平方和最小的投影方向。准则函数：组间离差平方和/组内离差平方和；准则：超过阈值？

## 感知机准则 ##

基本思想：对于线性判别函数，当模式的维数已知时，判别函数的形式实际上就已经确定下来，线性判别的过程即是确定权向量?   。感知机是一种神经网络模型，其特点是随意确定判别函数初始值，在对样本分类训练过程中，针对分类错误的样本不断进行权值修正，逐步迭代直至最终分类符合预定标准，从而确定权向量值。可以证明感知机是一种收敛算法，只要模式类别是线性可分的，就可以在有限的迭代步数里求出权向量的解。

优点：简单、便于实现。   
缺点：结果不唯一，在线性不可分情况下不收敛。

。。给定初始权值向量，通过样本的训练分类过程逐渐修正权值直到最终确定。准则函数：错分样本数，准则：错分样本数为0

### 上述两个准则的区别和联系 ###

Fisher线性判别是把线性分类器的设计分为两步，一是确定最优方向，二是在这个方向上确定分类阈值；感知机则是通过不断迭代直接得到完整的线性判别函数。

Fisher线性判别根据阈值选择投影方向达到预期分类效果，而感知机算法因为不是收敛算法，可能不能得到很好的分类结果。

## 最小二乘准则 ##

基于最小二乘法求线性组合的权值

对于异常值非常敏感。

转载于:https://www.cnblogs.com/z-sm/p/5109729.html

发表评论取消回复

表情：

评论列表（有 0 条评论，259人围观）

还没有评论，来说两句吧...

相关阅读

相关 DBA 行为准则

[A Code of Conduct for DBAs - Simple Talk][] 尽管 DBA 是组织知识的保护者，并且知道许多机密信息，但没有一套明确定义的规则和标

我不是女神ヾ/ 2023年09月27日 03:39/ 0 赞/ 102 阅读

相关 MySQL 开发准则

总结之阿里巴巴开发规范，如需看原版，请移步：[https://www.php.cn/java/java-alibaba-guifan.html][https_www.php.

电玩女神/ 2022年12月02日 13:57/ 0 赞/ 60 阅读

相关 C++核心准则：明确意图

例子1 > bad gsl::index i = 0; while (i < v.size()) { // ... d

心已赠人/ 2022年11月12日 10:56/ 0 赞/ 110 阅读

相关救火队员的行为准则

引子上山多了总遇虎，工作久了总能送走几位老同事，然后继承他们的遗志，接手他们的项目。如果你们原本在同一个项目组还好，最怕的是这个项目是你们的唯一交集，这就真的是初见乍欢，

素颜马尾好姑娘i/ 2022年09月14日 09:29/ 0 赞/ 96 阅读

相关架构师行为准则

架构师的行为准则（一）最近看了一本书《软件架构师应该知道的97件事》，本来并没对它抱有太多期望和兴趣，毕竟这种讲大道理的书不可能带来什么实际收获，但看的过程中被里面中肯实

蔚落/ 2022年08月19日 11:15/ 0 赞/ 84 阅读

相关违例(异常)准则

书里摘出来的，暂且记下，以后再加深理解。违例准则用违例做下面这些事情： (1) 解决问题并再次调用造成违例的方法。 (2) 平息事态的发展，并在不重新尝试方法的

比眉伴天荒/ 2022年08月02日 05:39/ 0 赞/ 104 阅读

相关优秀代码的格式准则

本系列文章由@浅墨\_毛星云出品，转载请注明出处。文章链接： [http://blog.csdn.net/poem\_qianmo/article/details/52

水深无声/ 2022年07月17日 03:37/ 0 赞/ 106 阅读

相关 Mysql分表准则

author：skate time：2013/05/14 Mysql分表准则在大量使用mysql时，数据量大、高访问时，为了提高性能需要分表处理，简介下mysq

今天药忘吃喽~/ 2022年02月18日 23:25/ 0 赞/ 141 阅读

相关线性判别分析（LDA）准则：FIsher准则、感知机准则、最小二乘（最小均方误差）准则...

准则采用一种分类形式后，就要采用准则来衡量分类的效果，最好的结果一般出现在准则函数的极值点上，因此将分类器的设计问题转化为求准则函数极值问题，即求准则函数的参数，如线性

妖狐艹你老母/ 2021年12月09日 15:09/ 0 赞/ 260 阅读

相关 ASP开发准则是什么

虽然许多使用 ASP 的 Web 站点根本就不用组件，但在这篇文章中假定 ASP 是 Internet 客户机和组件之间的桥梁。 ASP 和组件之间的划分服务 ASP

朱雀/ 2021年11月04日 15:46/ 0 赞/ 181 阅读