最小错误率贝叶斯决策

ゝ一世哀愁。 2022-07-14 14:14 238阅读 0赞

原文链接：http://blog.csdn.net/angel\_yuaner/article/details/47042817

在一般的模式识别问题中，人们的目标往往是尽量减少分类的错误，追求最小的错误率。根据之前的文章，即求解一种决策规则，使得：

minP(e)=∫P(e|x)p(x)dx

这就是 最小错误率贝叶斯决策 。

在上式中，P(e|x)≥0,p(x)≥0对于所有的x均成立，故minP(e)等同于对所有的x最小化P(e|x)，即：使后验概率P(wi|x)最大化。根据贝叶斯公式：

P(wi|x)=p(x|wi)P(wi)p(x)=p(x|wi)P(wi)∑kj=1p(x|wj)P(wj),i=1,2,...,k

在上式中，对于所有类别，分母都是相同的，所以决策的时候实际上只需要比较分子，即：

若p(x|wi)P(wi)=maxkj=1P(wj|x)P(wi),则x∈wi

先验概率  P(wi) 和类条件概率密度  p(x|wi) 是已知的。概率密度  p(x|wi) 反应了在  wi 类中观察到特征值x的相对可能性（ likelihood ）。

举个简单的例子还说明最小错误贝叶斯决策。   
假设某地区检测到细胞为正常细胞的概率w1和癌细胞的概率w2分别为：

w1=0.9,w2=0.1

现在对于一个待决策的细胞，其特征的观察之为  x ，且从类条件概率密度曲线上分别查得：

p(x|w1)=0.2,p(x|w2)=0.4

现在需要对该细胞进行决策，判断是正常细胞还是癌细胞。根据贝叶斯公式，分别计算出  w1 和  w2 的后验概率：

P(w1|x)=p(x|w1)P(w1)∑2j=1p(x|wj)P(wj)=0.2×0.90.2×0.9\+0.4×0.1=0.818

P(w2|x)=1−P(w1|x)=0.182

因为：  P(w1|x)=0.818>0.182=P(w2|x) ，所以更合理的决策是将  x 归类为  w1 ，即正常细胞。

说白了，贝叶斯决策就是将待分类物x归类于最大后验概率的那一类，即：

若P(wi|x)=maxj=1,...,cP(wj|x),则x∈wi

等价于：  若p(x|wi)P(wi)=maxkj=1P(wj|x)P(wi),则x∈wi    
贝叶斯公式是用来计算后验概率的工具。

对于多类别决策，错误率的计算量较大，可以转化为计算平均正确率P(c)来计算错误率：

P(e)=1−P(c)=1−∑j=1kP(x∈Ri|wj)P(wj)1−∑j=1kP(wj)∫Rjp(x|wj)dx

发表评论取消回复

表情：

评论列表（有 0 条评论，238人围观）

还没有评论，来说两句吧...

相关阅读

相关基于MATLAB GUI的贝叶斯最小错误率手写数字识别

基于MATLAB GUI的贝叶斯最小错误率手写数字识别手写数字识别是计算机视觉领域的一个重要任务，它可以应用于自动邮件排序、数字化文档处理、人机交互等多个领域。贝叶斯最小错

系统管理员/ 2024年03月03日 08:10/ 0 赞/ 82 阅读

相关贝叶斯分类（轻松理解朴素贝叶斯与半朴素贝叶斯）

贝叶斯分类是一类分类[算法][Link 1]的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。这篇文章

今天药忘吃喽~/ 2022年12月18日 00:54/ 0 赞/ 333 阅读

相关贝叶斯网络

贝叶斯网络、马尔科夫随机场(MRF, Markov RandomField)和因子图都属于概念图，因此它们都归属于机器学习中的概念图模型(PGM,Probability Gra

谁借莪１个温暖的怀抱￠/ 2022年08月08日 11:55/ 0 赞/ 342 阅读

相关最小错误率贝叶斯决策

原文链接：http://blog.csdn.net/angel\_yuaner/article/details/47042817 在一般的模式识别问题中，人们的目标往往是尽

ゝ一世哀愁。/ 2022年07月14日 14:14/ 0 赞/ 239 阅读

相关最大似然，贝叶斯方法与朴素贝叶斯分类

1.贝叶斯公式　　贝叶斯公式作为概率论中的基础，大家都见过，极为简单。但是学习时候无非用于一些红球黑球，男生女生的估计问题，学起来也是兴趣寥寥。我也不曾想它用处之大，可

雨点打透心脏的1/2处/ 2022年05月15日 22:36/ 0 赞/ 228 阅读

相关朴素贝叶斯

朴素贝叶斯算法看了几篇文章觉得下面这片文章写的还可以：其中借鉴了西瓜书上的内容，还有半朴素贝叶斯分类器(比较笼统了)，还有朴素贝叶斯方面的面试问题。 [机器学习之朴素贝叶

淡淡的烟草味﹌/ 2021年12月22日 10:57/ 0 赞/ 351 阅读

相关贝叶斯、朴素贝叶斯的一些思考

动机概述最近在学习贝叶斯和朴素贝叶斯，两者是有一定区别的，网上有很多介绍的文章可以自行搜索。可是我不认为自己已经完全理解，因此暂时还不敢进行相关的总结。本文的动机是

た入场券/ 2021年12月12日 13:43/ 0 赞/ 393 阅读

相关基于贝叶斯决策理论的分类方法

基于贝叶斯决策理论的分类方法 <table> <thead> <tr> <th align="left">朴素贝叶斯</th> </tr> <

快来打我*/ 2021年11月27日 07:16/ 0 赞/ 253 阅读

相关贝叶斯公式

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

﹏ヽ暗。殇╰゛Y/ 2021年11月19日 13:06/ 0 赞/ 342 阅读

相关朴素贝叶斯分类：用概率做决策

文章目录贝叶斯原理先验概率条件概率后验概率贝叶斯分类器类别相似性函数决策函数

一时失言乱红尘/ 2021年10月29日 22:44/ 0 赞/ 431 阅读