贝叶斯推理的一个案例

40岁以上进行常规X线透视的女性中,患乳腺癌的概率为1%。如果一个女人患有乳腺癌,她的胸部x光检查呈阳性的概率是80%。如果一个女人没有乳腺癌,她胸部x光检查呈阳性的概率是9.6%。有一个这个年龄段的女性,胸部x光呈阳性,那么她患乳腺癌的实际概率是多少?如果把乳腺癌患者和非乳腺癌患者看作两个互斥事件H和一个H,那么它们的概率分别为P(H)和P(一个H);如果胸片为阳性,则可视为在H和H中可观察到的某* * *相同特征D,其在两个事件中出现的概率分别为P(D/H)和P (D/-H)。然后,当D出现时,可以基于上述概率信息计算事件H发生的概率P(H/D)。一般P(H)和p (-h)称为基础率,P(D/H)称为命中率,P(D/-H)称为虚警率,P(H/D)称为后验概率。计算方法如下:

P(H/D)= P(H)P(D/H)/[(P(H)P(D/H)+P(D/-H)P(-H)]

这就是贝叶斯公式,用贝叶斯公式进行推理的过程叫做贝叶斯推理。根据公式,p(h/d)=(1%×80%)/(1%×80%+99%×9.6%)= 0.078。也就是说,阳性检测结果显示,女方有7.8%的几率患病。但是,艾迪用这个问题让内科医生来判断。结果95%的回答在70%到80%之间,远高于7.8%。虽然贝叶斯公式只是一些简单的乘、加、除过程的组合,一个没有学过这个公式的人可能会不自觉地在推理中应用这个方法,但是包括上述乳腺癌问题在内的很多研究发现,人们经常会犯类似的推理错误。这就是所谓的基础率忽略现象。Kahneman等人(1982)提出了启发式和偏见的方法来解释这一现象,这导致了对贝叶斯推理的大量研究和争论。国内外对贝叶斯推理的研究方法主要是实验方法。向被试呈现不同类型的贝叶斯问题并要求他们回答,用一定的指标评价被试的解题过程和结果,从而考察贝叶斯推理的认知过程和影响因素。本文从贝叶斯推理的影响因素出发,回顾了前人的研究,并对其中一些进行了初步的分析和讨论。某地区居民肝癌发病率为0.0004,现采用甲胎蛋白法进行普查。医学研究表明测试结果是错误的。已知99%的肝癌患者为阳性(患病),而99.9%的非肝癌患者为阴性(无病)。有多少检测结果呈阳性的人可能患有肝癌?

如果我们用A作为样本“检测结果为阳性”的观察证据,用H作为假设命题“该考生患有肝癌”,那么从上面我们可以知道:

P(H) =0.0004。

P ('h)(即某地区居民未患肝癌的比率)=1-0.0004=0.9996。

P(E/H)(即肝癌患者阳性检测结果的比值)=0.99。

P (e/'h)(即无肝癌患者检测结果阳性的比例)=1-0.999=0.001。

我们现在需要推断的是P(H/E),也就是在检测结果为阳性的情况下“该考生患有肝癌”的比率。显然,根据重新解释的贝叶斯定理,我们可以很容易地得到P(H/E)的值。

p(H/E)= 0.0004×0.99/((0.0004×0.99)+(0.9996×0.001))= 0.284

这说明在检测结果呈阳性的人中,真正患肝癌的不到三成。这个结果可能令人惊讶,但仔细分析就能理解了。因为肝癌发病率很低,10000人中约有4人患肝癌,而9996人不患肝癌。共对10000人进行了甲胎蛋白法检查。按照误检概率,9996名无肝癌人群中约9996×0.001≌9.994为阳性,另外4名肝癌人群中约4×0.99≌3.96为阳性。仅从13.954(9.994+3.96)阳性人群中,就有3.96人确实患有肝癌,约占28.4%。

从上面的例子可以看出,贝叶斯推理实际上是一种借助新信息修正先验概率的推理方法。显然,如果这种方法运用得当,我们不需要一次收集长期过程中的大量数据,就可以根据概率做出决策,但我们可以不断地用新的信息来修正以前的概率,根据事情的发展做出正确的决策。下面的例子很好地说明了这一点。甲、乙、丙三家工厂生产同一种零件,市场份额分别为10%、25%、65%。已知A、B、C三家工厂生产的零件不合格率分别为30%、20%、10%。现在,从市场上的一批零件中随机选择一个零件。经检验,该零件不合格。这个零件由A厂、B厂、C厂生产的可能性有多大?

在提取备件之前,我们知道A厂产品的概率是10%,B厂产品的概率是25%,C厂产品的概率是65%。这些是先验概率。相比较而言,C厂生产产品的概率最高。现在我们随机抽取市场上的不合格产品,这是一个可以用来修正先验概率的新信息。如果我们用E表示“抽取的零件为不合格品”,H1、H2、H3分别表示假设命题“该零件由甲厂生产”、“该零件由乙厂生产”和“该零件由丙厂生产”,那么从上可知:

P(h 1)= 0.1 P(H2)= 0.25 P(H3)= 0.65

P(E/h 1)= 0.3 P(E/H2)= 0.2 P(E/H3)= 0.1

根据贝叶斯推理,我们很容易得到P(H /E),P(H),P(H/E)。在…之中

p(h 1/E)= 0.1×0.3/((0.1×0.3)+(0.25×0.2)+(0.65×0.1))= 0.207

p(H2/E)= 0.25×0.2/((0.1×0.3)+(0.25×0.2)+(0.65×0.1))= 0.345

p(H3/E)= 0.65×0.1/((0.1×0.3)+(0.25×0.2)+(0.65×0.1))= 0.448

显然,根据上述结果,我们可以判断该零件由工厂C生产的可能性从65%下降到了44.8%,而该零件由工厂B生产的可能性从25%上升到了34.5%,该零件由工厂A生产的可能性也从10%上升到了20.7%。

在上面的例子中,如果随机选择的一个产品没有提供足够的信息,您可以随机选择另一个产品来获得更多的信息。现在假设连续两个产品不合格,那么这些产品来自各个工厂的可能性有多大?为了说明这个问题,我们先来计算一下A厂、B厂、C厂的两个产品不合格的概率。假设乘积是无限的,有

P(E/H1)=0.3×0.3=0.09

P(E/H2)=0.2×0.2=0.04

p(E/H3)= 0.1×0.1 = 0.01

然后根据贝叶斯推理,依次得到P(H1/E)、P(H2/E)、P(H3/E)。在…之中

p(h 1/E)= 0.1×0.09/((0.1×0.09)+(0.25×0.04)+(0.65×0.01))= 0.353

p(H2/E)= 0.25×0.04/((0.1×0.09)+(0.25×0.04)+(0.65×0.01))= 0.392

p(H3/E)= 0.65×0.01/((0.1×0.09)+(0.25×0.04)+(0.65×0.01))= 0.255

根据以上结果,我们可以看到,如果连续两次全部不合格,则该批次产品来自A、B、C厂的概率分别为35.3%、39.2%、25.5%。在这种情况下,这批产品来自B厂的可能性变得最大。

我们可以更进一步,假设从一批产品中随机抽取三个产品,抽样结果为:不合格、不合格、合格。此时从A厂、B厂、C厂抽取的不合格品、不合格品、合格品的概率分别为(此时A表示“抽取的零件不合格、不合格、合格”)。

p(E/h 1)= 0.3×0.3×(1-0.3)= 0.063

p(E/H2)= 0.2×0.2×(1-0.2)= 0.032

p(E/H3)= 0.1×0.1×(1-0.1)= 0.009

根据贝叶斯推断,可以得出A厂、B厂、C厂这批产品的可能性分别为

p(h 1/E)= 0.1×0.063/((0.1×0.063)+(0.25×0.032)+(0.65×0.009))= 0.313

p(H2/E)-0.25×0.032/((0.1×0.063)+(0.25×0.032)+(0.65×0.009))= 0.397

p(H3/E)= 0.65×0.009/((0.1×0.063)+(0.25×0.032)+(0.65×0.009))= 0.290

显然,根据新的抽样信息,我们对先验概率进行了修正,使得来自A厂、B厂和C厂的概率分别修正为365、438+0.3%、39.7%和29.0%。

再来看另一个用贝叶斯推理分析伊索寓言《孩子与狼》的例子。

伊索寓言《孩子与狼》讲的是一个孩子每天去山上放羊,狼出没在山上。第一天,他在山上大喊:“狼来了!狼来了!”山下的村民听到声音就去打狼,却发现狼并没有上山来。第二天还是一样。第三天,狼真的来了,但是不管孩子怎么喊,都没有人来救他,因为他之前撒了两次谎,人们都不再相信他了。现在用贝叶斯推断来分析村民对这个孩子的信心是如何下降的。

我们用e表示“孩子撒谎”,用h表示“孩子可信”。我们假设过去村民对这个孩子的印象是P(H)=0.8,然后P('H)=0.2。

我们现在用贝叶斯推断来推断P(H/E),即孩子说了谎后村民对他的信任度的变化。

在贝叶斯推断中,我们需要用到概率P(E/H)和概率P(E/'H),前者是可信的孩子说谎的可能性,后者是不可信的孩子说谎的可能性。设P(E/H)=0.1,P(E/'H)=0.5。

村民第一次上山打狼,发现狼没来,就是孩子撒谎。根据这个信息,村民对这个孩子的信心变成了p(h/e)= 0.8×0.1/((0.8×0.1)+(0.2×0.5))= 0.444,说明村民对这个孩子的信心从原来的0.8下降到了0。

在此基础上,我们用贝叶斯推断再次推断P(H/E),即孩子第二次说谎后,村民对他的信任度变为P(H/E)= 0.444×0.1/((0.444×0.1)+(0.556×0.00)。通过观察,我们知道牵牛花4点左右开花,野玫瑰5点左右开花,龙葵花6点左右开花,牡丹7点左右开花。虽然它们的开放时间不同,但都有一定的开放时间,说明所有的花都有一定的开花时间。

显然,这是一种简单的枚举归纳推理。对比观察前提,“所有的花都有确定的开花时间”这个结论靠谱吗?结论真实可信程度如何?可以用数量来表征吗?这些问题都可以通过贝叶斯推理来解决。

我们用E1,E2,E3,E4分别表示牵牛花有确定的开放时间,野蔷薇有确定的开放时间,龙葵花有确定的开放时间,牡丹有确定的开放时间,它们的连词用字母E表示,结论“所有的花都有确定的开花时间”用H表示,这样,我们现在需要确定的就是P(H/E)。

根据贝叶斯推理的形式,我们有

(1)p(h/e)= p(h)×p (e/h)/(p(h)×p(e/h)+p(' h)×p(e/' h))因为有了枚举和归纳的前提,所以可以从结论中推断出来,即p(e)。因此,从(1):

(2)p(h/e)= p(h)/(p(h)+p(' h)×p(e/' h))根据逻辑否定法则,从(2)可以得出:

(3)P(H/E)= P(H)/(P(H)+(1-P(H))×P(E/' H)

在(3)中,P(E/'H)表示如果归纳结论H不成立,E(如E1,E2,E3,E4等)的概率。)就是一个正面案例。

现在以上问题都可以解决了。对比背景知识可知,结论H的先验概率P(H)=0.5,H不为真时“牵牛花有确定的开放时间”、“野玫瑰有确定的开放时间”等某些情况的先验概率p (e/'h) = 0.8。将上述数据代入(3)得到:

p(H/E)= 0.5/(0.5+(1-0.5)×0.8

= 0.5/0.90

= 0.56

这表明,与观察证据E1、E2、E3和E4相比,结论H(所有花都有确定的开花时间)的可靠性为56%。