贝叶斯估计

比眉伴天荒 2021-12-10 03:39 359阅读 0赞

其实这是我之前最想第一篇来写的随笔了，今天就先把这一部分写一写吧。

1.问题

一个医疗诊断问题有两个可选的假设：病人有癌症、病人无癌症可用数据来自化验结果：阴性和阳性。有先验知识：在所有人口中，患病率是0.008，对确实有病的患者的化验准确率为98%，对确实无病的患者的化验准确率为97% 。

问题：假定有一个新病人，化验结果为阳性，是否应将病人断定为有癌症？

我们先把问题简单描述一下，用事件Y表示检测为阳性，用事件N表示检测为阴性，用A表示患有癌症，用B表示健康。那么有：

$$p(A) = 0.008$$ $$p(B) = 0.992$$ $$p(Y|A) = 0.98$$ $$p(N|B) = 0.97$$ $$p(N|A) = 0.02$$ $$p(Y|B) = 0.03$$

然后让我们求\$p(A|Y)\$

让我们求已知检测为阳性的情况下，病人患有癌症的条件概率，根据条件概率的定义有$$p(A|Y) = \\frac\{p(A,Y)\}\{p(Y)\}$$

而：$$p(A,Y) = p(Y|A)p(A)$$

那么\$p(Y)\$怎么求呢？

我们发现A和B是互斥事件，且\$p(A) + p(B) = 1\$，根据联合概率和边缘概率的关系，有：$$p(Y,A) + p(Y,B) = p(Y)$$

再次利用联合概率和条件概率：$$p(Y,A) = p(Y|A)p(A)$$ $$p(Y,B) = p(Y|B)p(B)$$

最终得到：$$p(A|Y) = \\frac\{P(Y|A)p(A)\}\{p(Y|A)p(A) + p(Y|B)p(B)\}$$

带入得\$p(A|Y) = 0.208\$，这好像和直觉相差甚远，明明对有病患者准确率高达98%，为什么检测结果为阳性但是可信度只有21%左右？

我们来看看这种检测方法诊断结果为阳性的概率\$p(Y) = 0.0376\$，发现了什么，该癌症发病率只有0.008，有0.0376的概率的概率是结果为阳性。假设随机10000个人来检查，其中癌症患者的期望为80，但是检测结果为阳性的期望为376。这表明检测结果为阳性时，假阳性概率很大，在0.008的发病率看来，对正常病人3%的误差反而大得多，这也是阳性结果可信度低的最主要原因。

我们直接看上面的公式，发现待求的条件概率等于对应的联合概率占所有对应联合概率总和（这个总和就是边缘概率）的比值，例题中正常病人却检测出阳性结果占总阳性结果的比例过大（准确率太低），导致最终可信度小，这与上面的描述是等价的。

2.贝叶斯估计公式

$$p(A|B) = \\frac\{p(B|A)p(A)\}\{p(B)\}$$

贝叶斯估计公式本质是条件概率和边缘概率的联系，它提供了**根据当前观测结果以及先验知识来估计新的分布的方法。**在上式中，\$p(A)\$和\$p(B)\$就是先验知识，或者叫[先验概率][Link 1]，\$p(B|A)\$是当前的观测结果，通常称之为[后验概率][Link 2]。

3.新的问题

贝叶斯估计提供了估计方法，但是需要我们如何通过观测获得具体的分布呢？那就是分布估计方法啦。

转载于:https://www.cnblogs.com/SshunWang/p/11129825.html

[Link 1]: https://baike.baidu.com/item/%E5%85%88%E9%AA%8C%E6%A6%82%E7%8E%87
[Link 2]: https://baike.baidu.com/item/%E5%90%8E%E9%AA%8C%E6%A6%82%E7%8E%87