DC娱乐网

贝叶斯定理:癌症筛查误诊的概率有多大(令人头痛的条件概率问题)

本文分为三个部分。第一章是网络爽文,第二章是美国数学家的书摘。第三章是百度百科的相关词条。

part 1

林宇踩着上课铃走进教室。他站在讲台上,视线扫过这九十二张脸。

前排的人坐得笔直。中间几排的人交头接耳,带着打量的神色。

后排加座区的大多是外院跑来蹭课的,有人甚至举着手机在录像。

林宇转身,拿起粉笔在黑板上写下一行字。

“你去医院体检,某项癌症筛查结果,阳性。”

他换了一行,继续写。

“检测仪器的准确率,百分之九十九。”

粉笔落在粉笔盒里,发出一声脆响。林宇转过身,双手撑在讲桌边缘。

“现在回答我,你真正得癌症的概率是多少?”

前排的赵磊想都没想,脱口而出:“这还用问,百分之九十九啊!”

后排几个外院的男生跟着附和。

“肯定是百分之九十九啊,仪器都这么准了。”

“我妈上个月刚查过这个,吓死个人。”

林宇看着赵磊,摇了下头。

“错。”

教室里的议论声停了。一个穿着格子衬衫的男生从倒数第二排站了起来。他胸前挂着经济学院的牌子,神色间带着几分专业领域的傲气。

“林老师,我是经管院大三的。这道题不需要算吧。仪器准确率摆在这里,阳性结果对应的患病率自然就是百分之九十九。这属于常识。您在黑板上写这个,是打算考我们脑筋急转弯吗?”

林宇看着那个经管院的男生。

“常识经常会骗人。”林宇拿起粉笔,“答案大约是百分之一。”

格子衬衫男生愣在原地,眉头皱成一团。他当即反驳:“这不可能。百分之九十九和百分之一,差了快一百倍,数学逻辑上根本说不通。”

林宇没有继续争辩,直接在黑板上画了一个大圆圈。

“我们用最简单的数字来推导。假设有一万个人去做了这项体检。”

他在大圆圈里面,画了一个极小的圆圈,涂满白色粉笔灰。

“这种癌症在人群中的实际发病率,大约是万分之一。也就是说,这一万个人里面,只有一个人真的得了癌症。”

他在那个小白点旁边写下数字1。

“检测准确率百分之九十九。这个真正得癌症的人,去检测,结果肯定是阳性。这是第一个阳性。”

林宇的粉笔移到大圆圈的空白区域。

“剩下九千九百九十九个完全健康的人。仪器有百分之一的误诊率,会把健康人误判为阳性。九千九百九十九,乘以百分之一。大约是一百个人。”

林宇在黑板右侧列出一个算式。

“1个真阳性,加上100个假阳性。总共有101个人拿到了阳性报告。”

他在101这个数字下面画了两道横线。

“在这101个拿到阳性报告的人里,真正得癌症的,只有那1个人。1除以101,等于百分之零点九九。大约百分之一。”

格子衬衫男生张着嘴,盯着黑板上的算式看了足足十秒。他脸上的傲气消失得干干净净,慢慢坐了下去,翻开本子开始狂记。

教室里连呼吸声都听得见。赵磊咽了一口唾沫,小声嘀咕了一句脏话。陈雨薇手里的笔飞快滑动,把黑板上的推导过程一字不落地抄下来。

提示音在林宇脑中响起。

【当前课堂:68名学生理解贝叶斯定理的直觉解释】

【返还触发:概率论与数理统计·高级精通】

一股极度清凉的感觉从头顶直贯而下。大量的公式、定理、模型在脑海中自动分类归档。条件概率、马尔可夫链、蒙特卡洛方法。他再看向台下时,每一张脸的微表情都变成了一组组概率数据。这种感觉极其通透,所有的随机事件在他眼里都呈现出清晰的脉络。

part 2

本书封面

第23章 贝叶斯定理:辛普森杀死前妻的概率有多大?

你有没有做过这样的噩梦:马上就要期末考试了,你突然发现有一门课你从来没有上过,试卷的内容你一点儿也看不懂?这是学生的噩梦。而教授的噩梦与学生的噩梦正好相反,教授会梦见自己站在讲台上准备讲课,却突然发现要讲的内容自己一点儿也不记得了。每次上概率课的时候,我就好像生活在这样的噩梦里。我自己做学生的时候从来没上过概率课,所以对我来说,给学生们上概率课既恐怖又有趣,就好像是在游乐园游玩时进“鬼屋”一样。

概率课上最能让我心跳过速的内容是条件概率:在发生事件B的前提下,发生事件A的条件概率是多少(即已知事件B发生,在此条件下事件A发生的概率是多少)?这个概念非常复杂,很容易就会把B发生的前提下A发生的条件概率,与A发生的前提下B发生的条件概率相混淆。这两个概念当然是不一样的,但是,需要集中注意力保持头脑清醒,才能搞清楚它们之间的区别。在举例之前,我们先考虑下面这个问题。

你打算外出度假一周,出发之前,你请一个粗心的朋友帮你给一棵“生病”的植物浇水。如果不浇水,这棵植物有90%的概率会死掉。但即使是用心浇水,这棵植物也有20%的概率会死掉。根据你的判断,这个粗心的朋友忘记浇水的概率是30%。以上是本题的条件,本题的问题如下:

(a)你回来时,这棵植物还活着的概率是多大?

(b)如果你回来时发现植物已经死了,请问你的朋友没有浇水的概率是多大?

(c)如果你的朋友没有给植物浇水,你回来时发现植物死了的概率是多大?

虽然(b)问题和(c)问题听起来差不多,但是这两个问题是不一样的,答案当然也不一样。实际上,题目的条件已经告诉我们,“如果不给植物浇水,这棵植物有90%的概率会死掉”,所以问题(c)的答案是90%。但是,怎样利用这些条件求解出(a)和(b)问题的答案呢?

因为我对概率不大熟悉,所以一开始教这门课的时候,我主要追求稳妥:什么都按照书本来,像上面这种题目我就直接套用书本上的公式来解答。

但是渐渐地,我发现有些学生不用贝叶斯定理也能解出这类题目。为了绕过繁杂的贝叶斯定理,这些聪明的同学用一种与贝叶斯定理的原理相同但却更加简单明了的方法来解答这类题目。

时光飞逝,我给一届又一届的学生讲授概率课。在这些聪明学生的启发下,我慢慢地发现了一套理解条件概率的更好的办法。贝叶斯定理看上去很令人迷惑,而这些学生教我的方法则完全顺应人的直觉。这个方法的窍门就是,不要去想抽象的概率、机会、百分比之类的概念,而是直接考虑事情发生的次数(显然,这是一种更为自然的频率计算法,也可称为事件的“自然频率”)。只要转变思路,一切就都豁然开朗了。

就职于柏林马克思·普朗克人类发展研究所的认知心理学家捷尔德·盖格瑞泽写了一本非常有意思的书,书名为《风险的计算》。在这本书中,盖格瑞泽举出了很多他在研究中发现的人类对风险和不确定性的误判和错误计算。

算错概率的例子遍及各个领域:从艾滋病治疗到脱氧核糖核酸(DNA)指纹图谱的识别。虽然我们计算概率的时候常常错得离谱儿,但是这位仁慈的心理学家并没有责骂我们的愚蠢,也没有哀叹人类的脆弱,他只是耐心地告诉我们怎样才能减少这类错误。

盖格瑞泽的方法和我的学生们发明的方法差不多,那就是,当面对条件概率问题的时候,不使用抽象的概率和百分比,而是依赖最自然、最原始的计数方法:计算事件发生的次数(自然频率)。

在其中一项研究中,盖格瑞泽和他的同事请德国和美国的医生们来解答这样一个问题:如果一位妇女的乳房X射线检查结果呈阳性,但是这位妇女又属于乳腺癌发病风险较低的人群(年龄在40~50岁,无家族乳腺癌病史,本人无乳腺癌症状),那么她罹患乳腺癌的概率到底有多大?

为了把问题进一步具体化,盖格瑞泽给受访的医生们提供了如下信息:一是这个人群中乳癌的发病率,二是乳房X射线检查的灵敏度和阴性被误判为阳性的概率。这些信息都是以概率和百分比的形式给出的,具体数据如下:在年龄为40~50岁、无家族乳腺癌病史、本人无乳腺癌症状的妇女中,乳腺癌发病率是0.8%。如果一位妇女确实患有乳腺癌,那么乳房X射线检查呈阳性的概率是90%。如果一位妇女没有患上乳腺癌,但乳房X射线检查结果呈阳性的概率为7%。现在,有一位妇女,她属于乳腺癌发病风险较低的人群,但是她的乳房X射线检查结果呈阳性,请问她实际患有乳腺癌的概率是多少?

盖格瑞泽询问的第一位医生是一所大学附属医院某部门的主任,对于乳腺癌的诊断,这位医生有着超过30年的专业经验。根据盖格瑞泽的描述,这位医生对上述问题的反应是这样的:我提出这个问题以后,这位医生显得很紧张,他很努力地想要算出正确的数值。在仔细研究过我给出的数据以后,这位医生判断,在乳房X射线检查结果呈阳性的前提下,这位妇女实际患有乳腺癌的概率是90%。回答完这个问题以后,这位医生又立刻推翻了自己的答案,他紧张地说:“我肯定搞错了,我根本不会算。你应该去问我的女儿,她正在医学院读书。”显然,这位医生很清楚自己的答案是错误的,但是他却不知道怎么才能算对。虽然他对这个问题冥思苦想了足有10分钟,但他却根本不清楚应该怎样使用概率。

同样的问题,盖格瑞泽又询问了24位德国医生,这些医生给出的答案五花八门。有8位医生认为,这位妇女实际患有乳腺癌的概率应该为10%或者更低;另有8个医生认为,这位妇女实际患有乳腺癌的概率是90%;剩下的8名医生认为,这位妇女实际患有乳腺癌的概率为50%~80%。想象一下,如果你是一位病人,听到这些结果不一的诊断意见,你的心里会有多么痛苦。

那么,美国医生的表现又如何呢?85%的受访医生认为,该妇女罹患乳癌的概率应该约为75%。

其实,这道题的正确答案是9%。为什么这位妇女实际患乳癌的概率这么低?盖格瑞泽指出,只要把题目的说法从概率和百分比“翻译”成事件发生的次数,这道题就会变得非常简单。具体翻译如下:

在年龄为40~50岁、无家族乳腺癌病史、本人无乳腺癌症状的每1 000位妇女中,就会有8人罹患乳腺癌。这8个人中有7个人的乳房X射线检查结果呈阳性。在没有患上乳腺癌的992人中,大约有70人的乳房X射线检查结果会错误地显示为阳性。现在有一个乳房X射线检查结果呈阳性的妇女,请问她实际患有乳腺癌的概率是多少?

非常简单。1000人中检查结果呈阳性的一共有7+70=77个人。这77个人中,只有7个人确实是乳腺癌患者,剩下的70人并没有患上乳腺癌。所以,在检查结果呈阳性的前提下,实际患有乳腺癌的概率是7除以77,也就是1/11或者约9%。

在上面的计算中,我们做了两处简化。第一,我们把所有小数四舍五入为整数。比如,“这8个人中有7个人的乳房X射线检查结果呈阳性”。准确地说,8个患乳腺癌的人乳房X射线检查结果呈阳性的概率为90%,也就是说有8×0.9=7.2个人乳房X射线的检查结果呈阳性。此处,我们把7.2直接四舍五入为7,虽然精确度有所下降,但是整数会比小数更清楚易懂。

第二,我们假设实际情况和统计数据是完全相符的。比如,低风险人群的乳腺癌发病率是0.8%,那么假设1000人样本中正好有8个人患病。现实中,情况往往不是这样,你抛1000次硬币,不一定正好有500次的结果是正面朝上的。但是,我们需要假设样本完全服从统计数据的分布规律,否则我们就没办法计算了。不得不承认,这个方法在逻辑上并不是很严密,所以,任何一本概率学教科书都不会采用这种方法。但是,与复杂的贝叶斯定理相比,我们的这种方法既简单又清楚,光这两个优点其实已经足够了。

作为上述实验的对照,盖格瑞泽又找了另外24位医生,向他们提出同样的问题,只不过这次的数据不是以概率和百分比的形式给出,而是以事件发生的自然频率的形式给出(即直接给出翻译过后的题目)。

结果是,几乎所有受访医生都给出了正确的答案(或者答案与正确答案很接近)。把概率从百分比简化成事件发生次数,确实使问题解决起来容易许多,但是条件概率仍然是一个比较复杂的内容。有时候,我们甚至连问题都问错了;还有的时候,我们算出了正确的结果,却又被结果所误导,给出了错误的解释。

在1994~1995年辛普森杀妻案的庭审过程中,控方和辩方都犯了这类错误。在法庭上,双方律师都用错误的条件概率误导过陪审团。在庭审的最初10天内,控方举出了无数证据说明辛普森常对前妻妮可尔·布朗实施家庭暴力。这几乎是控方这10天诉讼的唯一主题。控方声称,辛普森曾多次殴打前妻,把她往墙上推,甚至当众指着妮可尔对围观群众说:“看,这是属于我的东西!”但问题是,辛普森虐待前妻与他有没有谋杀她有什么关系呢?控方的观点是,长期对前妻实施家庭暴力说明辛普森有谋杀前妻的动机。按照控方自己的说法就是:“一个巴掌可能就是谋杀的前兆。”而辩方律师阿兰·德尔绍维茨则反驳说,就算这些家暴事件全部属实,也和谋杀没有必然关系,所以不应该被采纳。阿兰·德尔绍维茨后来写道:“殴打配偶的男性中,只有非常少的人最后真的会谋杀配偶,这个概率低于1/2 500。如果庭审需要,我们可以轻松地明确证实这一点。”

实际上,不管是控方还是辩方,都在诱导陪审团考虑这样一个条件概率:在已知丈夫曾经殴打妻子的前提下,丈夫谋杀妻子的概率是多少。

但是,正如统计学家I·J·古德所指出的那样,这个问题其实是错误的,陪审团应该考虑的并不是这个条件概率。正确的问题应该是:在已知丈夫曾经殴打妻子,并且妻子确实死于谋杀的双重前提下,丈夫谋杀妻子的概率是多少。经过调查和计算,这个条件概率远远高于1/2 500。

为什么呢?让我们再次使用自然频率法,把概率和百分比转换成事件发生的次数。想象我们的样本是100 000个被丈夫殴打过的妇女。假设阿兰·德尔绍维茨的数据属实,那么这其中大概有40个妇女最终会被丈夫谋杀(100 000×1/2 500 = 40)。我们再假设,另外还有3个妇女被丈夫以外的人谋杀了(这是根据美国联邦调查局于1992年发布的女性被谋杀的数据算出来的)。也就是说,被谋杀的43位女性中,有40个妇女是被对她们实施家暴行为的丈夫杀掉的。因此,在已知丈夫曾经殴打妻子,并且妻子确实被人谋杀的双重前提下,丈夫谋杀妻子的概率高达93%!当然,这个概率并不是辛普森杀妻的概率。辛普森是本案凶手的概率到底有多大,还取决于很多其他的证据(包括对他有利的证据和对他不利的证据)。比如,辩方称警方曾陷害过辛普森,控方则称凶手的鞋印、手套、DNA都与辛普森相吻合等。但是,这些证据影响你对最终判决看法的概率又是多少呢?我想这个概率可能是零。

百度百科

贝叶斯公式,又称贝叶斯定理、贝叶斯法则,最初是用来描述两个事件的条件概率间的关系的公式,后来被人们发现具有很深刻的实际意义和应用价值。该公式的实际内涵是,支持某项属性的事件发生得愈多,则该属性成立的可能性就愈大。

利用贝叶斯公式可以定量地描述由果推因的可靠程度,在经济、医药、人工智能等领域中广泛应用。

贝叶斯公式可以拓展为随机变量形式,在贝叶斯统计的观点下,如果已知样本的观察值,便可以使用参数的后验分布来进行参数估计。

中文名

贝叶斯公式

外文名

Bayes Formula

Bayes Rule

Bayes Theorem


别名

贝叶斯法则、贝叶斯定理

学科

数学、概率论、统计学

应用领域·

数学、统计、经济、医药、计算机等

公式简史

贝叶斯公式是英国学者托马斯·贝叶斯(ThomasBayes, 1702-1761)最早发现的。该结果首次发表于1763年,当时贝叶斯已经去世,而且该结果并未引起人们的重视;1774年,法国数学家拉普拉斯(Laplace)再次总结了这些结果。

在之后的一段时间内,人们开始认识到贝叶斯公式的重要性,并开始利用将其广泛地应用于安全诊断、药物检测、文本识别、文件分类等。贝叶斯公式也衍生出了机器学习的一系列理论和算法,如朴素贝叶斯算法等。

科学尚未普及,媒体还需努力。感谢阅读,再见。