Contents ...
udn網路城邦
【邏輯】一個重要的統計悖論
2020/07/09 11:49
瀏覽21,948
迴響27
推薦24
引用0

兩個多月前,我在留言欄(參見《我的新冠經驗》,第40樓)討論了培養推理能力的幾個步驟:首先必須熟悉邏輯敘述(Logical Statement)的基本規則,然後可以研究常見的狡辯術,再進一步則要瞭解常被用來欺矇外行人的假專業論述,例如統計。之前,我已經寫過《常見的狡辯術》和《統計與謊言》兩篇博文來介紹若干相關的細節,今天我想對後者做一個補充。

《統計與謊言》一文所討論的是有意用統計數字來撒謊的一些事例,但其實統計本身就蘊含許多陷阱,即使是誠實的研究人員也往往陷入錯誤的結論而不自知,其中很重要的一個誤區叫做Simpson’s Paradox(辛普森悖論)。這是選擇性偏差的一個特例;其他常見的選擇性偏差還包括倖存者偏差和Berkson’s Paradox

辛普森悖論最著名的案例來自一篇1975年發表在《Science》的論文(參見《Sex Bias in Graduate Admissions》,http://homepage.stat.uiowa.edu/~mbognar/1030/Bickel-Berkeley.pdf),文章對UC Berkeley在1973學年研究所招生的數據做了統計,發現男生的錄取率是3738/8442=44.3%,而女生則是1494/4321=34.6%。如果這個結果就這樣被媒體報導,幾乎可以確定校方會被嚴厲批評為性別歧視的男性沙文主義者,然而…

論文作者把錄取人數根據不同的系所細分開來。因爲系所太多,這裏我們只檢驗其中最大的四個,這時男生的錄取率是1123/2127=52.8%,女生是439/1101=39.9%,差距更大了!不過請看更詳細的資料:

系所

男生

女生

錄取

申請

錄取率

錄取

申請

錄取率

A

512

825

62.1%

89

108

82.4%

B

353

560

63.0%

17

25

68.0%

C

120

325

36.9%

202

593

34.1%

D

138

417

33.1%

131

375

34.9%

總計

1123

2127

52.8%

439

1101

39.9%

四個系所中,只有C略偏男生,而且差別很小,A、B和D都優先錄取女生,其中A對女性的偏愛程度極高,明顯不是統計噪音。

之所以會有這樣互相矛盾的兩種結論,在於決定錄取率的最重要變數其實是系所:A和B的整體錄取率是2/3,而C和D只有1/3。如果忽略這個主要變數,硬是把所有的數據叠加在一起,那麽真正影響男女錄取率差別的,就是他們的系所選擇偏好,而不是性別本身。

總結來説,辛普森悖論是主變數被忽略不計,直接將全部數據對次要變數做統計分析時,可能出現的是非顛倒。這似乎是個很簡單的道理,然而這個世界充滿了因爲對這個悖論無知而產生的錯誤結論,對政治、文化、經濟都有深遠的影響。

例如自由市場論者喜歡强調自由競爭,說這會讓能者出頭獲勝。但在自由市場經濟裏,能力並不是成功的頭號條件,資源和機運才是決定性的。像是Trump有何德何能,能在公平競爭下脫穎而出?他靠的是有錢可以雇人幫他考SAT、有錢可以請人幫他寫介紹信、有錢可以讓醫生僞造骨刺證明來逃避兵役、有錢可以收買地方政客、運氣好碰上民粹興起等等。

把人與人的競爭放大到國與國的層面,辛普森悖論也同樣被歐美宣傳體系利用來扭曲事實。國家的治理成果,其實主要取決於是否有足夠的人力、財力、物力、科技能力,以及將這些能力有效統籌運用的組織紀律。這些先進國家習慣了自身應對挑戰有充分資源(主要來自上代的掠奪)的優勢(包括能高薪養廉),反過來宣傳説他們的成功源自西式民主體制的優越性。這次新冠疫情是很無情的打臉;英美或許沒有自我反思的能力,但是廣大的第三世界自然會得到客觀的結論。

美國爲了彌補蓄奴和種族歧視的歷史包袱,廣汎采納了Affirmative Action(平權措施),也是利用辛普森悖論來為錯誤政策正名。學生的成績,其主要變數是天分和努力,忽略這些因素不計,直接針對種族這個次要變數來做文章,自然就導致更嚴重的歧視,只不過受害者換成了亞裔。

正因爲要做統計性的結論必須小心避免許多類似辛普森悖論的陷阱,醫學界堅持大規模隨機雙盲對照實驗其實是最基本的要求;這裏事先獨立決定的隨機取樣,就是爲了避免造成各種選擇性偏差,包括辛普森悖論在内。中醫教的信徒遇到盲腸炎或外傷時,並不優先去看中醫,只有在現代科學的能力極限外,才敢大肆吹噓沒有統計意義的軼事,這不但是不知避免選擇性偏差,而且是故意製造選擇性偏差,那麽顛倒是非自然難免,事實上顛倒是非正是他們的目的。

【後註一】博客這裏的留言欄,和我私下收到的通訊,都有質疑我對中醫評價的聲浪,我想在這裏分享一下我給其中一人的回信,解釋爲什麽我會説得那麽決絕、不留情面。至於一人單挑龐大的利益集團,我連美國霸權都公開批評六年了,難道中醫教自認勢力比美國更大嗎?

我明白有些從業的中醫其實存心很善良,只是誤入歧途,就很難跳出來。你看高能物理界多少人去追捧超弦這樣的僞科學?他們照理說是科學界的精英啊!很多中醫原本就不是做科學的,從這個角度看,我或許有些話説得重了;不過從國家民族的觀點,這是確確實實的極大隱憂,如果現在不改進,20年後隨著中國國力持續上升,全世界都會跟著搞這些無用的花樣,那時只怕枉死的人數要以百萬甚至千萬計。我支持中國崛起,是爲了全人類的福祉,不是要用中國版的愚昧和謊話來取代美國版。一般人看不清未來倒也罷了,我既然能預見這事,如果爲了怕衝突而退縮,就無法面對自己的良心。

你還記得幾年前有讀者羡慕我料事如神嗎?那時我就說世事看得太清其實是一個很大的負擔:一般人可以渾渾噩噩地過日子,我卻能確定真的危險和錯誤所在,再加上良心太好,不願意支吾過關,這輩子只好一直得罪人。

【後註二】醫學界一直都知道安慰劑(Placebo)對多數病患有明顯的“療效”(精確地說,是病患會主觀地覺得好些,但是疾病本身的進程並不受影響),但是最新的研究(參見《Placebos without deception reduce self-report and neural measures of emotional distress》,https://www.nature.com/articles/s41467-020-17654-y)發現即使事先對病人聲明是安慰劑,也能同樣地減低主動病痛程度。很不幸的,人類心理天生就有很强的非理性趨勢,這種安慰劑效應導致全世界到處都有巫毉充斥的問題。

有誰推薦more

限會員,要發表迴響,請先登入
迴響(27) :
27樓. 何求谓我心
2020/09/15 08:14
这里有篇文章可以揭露国内中医教泛滥到何种程度https://mp.weixin.qq.com/s/vuv8biZFlF0iZgAP5fO_JA我想除了大众对中医的迷信之外,医疗教育系统的腐败对于中医教也有促进作用,这些画符治病的医生在今天居然还能招摇撞骗真是令人愕然。很多人把反对中医和反中划上等号,这又证明了先生所说大陆一些民众和台独分子在某些方面并没有本质区别。
最近和西方僞史論者打了交道,真正可以確定他們和美國、台灣的民粹是一丘之貉。例如有人宣稱金字塔是僞造的,說沒有鐵器不可能切割石塊:把自己主觀無知放大為客觀不存在是愚蠢,沒有搜索網上到處都有的資訊是懶惰,既無知又懶惰還敢公開妄下斷言是傲慢,愚蠢、懶惰、傲慢,不正是美國和台灣反智文化的特徵嗎? 王孟源2020/09/21 23:39回覆
26樓. 興中居士
2020/08/13 23:12

王老师能否帮助晚辈掌握更多的“事实”。我很好奇王先生所提及的皮肤保养品除了Moisturizer和Sunblock之外都是骗人的。 在鱼龙混杂的保养品市场,诸多的toner,facial cream,ensence该如何分辨是否为虚假宣传呢,谢谢老师。
都是騙人的。
學術界内部有公論;當然商業界不會容許任何科普,但互聯網的特色就是每一個小組群都可以有自己的角落,問題只在於去找出它來,然後有能力讀他們的論文。 王孟源2020/08/14 01:08回覆
25樓. 愚者
2020/08/09 01:16
王兄安好!
中醫藥被王兄放在「邏輯」再加上統計悖論的論定上,可真是體無完膚啊! 但,也無話可辯,更是無理可申。1.龐雜、自我矛盾偏多系統存在,千年來很多學者真的建立各種系統解釋,還互相扞格。2.沒有基礎科學支撐,何況科學精神、態度與方法等。3.沒有市場,相對西醫。4.資源就不夠,談何系統化研究呢。5.功利主義誤導等等…. 王兄特別提及個人體驗,也就是單一有效案例,就算是數字甚大,卻因為無效案例沒有紀錄,不被重視等自我證偽的程序迷思,反而可能是未來更大災難的伏因!只能完全同意。 重建中醫藥,似乎無解!立夫先生留在台中的中國醫藥大學,整體檢視各科期望整合之企圖早就不存在了;以及諸多嘗試著以現代基礎科學如化學(必安與順天)、物理(北科大電磁針灸)、生物各方面等等的單兵科研,試圖解開任一環節也都失敗了。海峽那邊的,看來也一樣的,還加上數據灌水,鐘南山都得認,怎會有機會呢? 屠嗷嗷的研究是中藥與中藥理?還是化學、藥化及藥理總和?身為中國人的基礎醫學研究人員,只有無力與悲哀!
我反復地說,科學是方法和態度、不是人員和題材,這是很重要的基本觀念,尤其在中醫這個議題上,我的核心評論是目前的中醫不是科學,其含義就是中醫人員沒有把科學方法和態度應用在中醫這個題材上。換句話説,這是可以改的,而改進的方向在於把精力和資源投到證僞上去。這裏真正的難處,在於行業本身不但沒有動力去改,反而有很多既有的利益和慣性去反對改革,所以唯一可行的道路是由政府强制推動,不過在高官們普遍信仰中醫教的背景下,這也是可能性極小的事。 王孟源2020/08/12 14:20回覆
24樓. 乌鹊南飞
2020/07/20 06:39
我是没想到为了中医能吵这么久,任何接受了现代教育的人都应该明白中医是胡扯。但是我讨厌那些双标的人,一方面揪着中医的辫子不放,另一方面又对西方的伪科学产品爱不释手(例如,化妆品)如果你相信耶稣却批评中医不科学,如果你相信化妆品能补充胶原蛋白却指责中医是骗钱玩意,那你只是别有用心而已(不是指您)这种人往往借着批评中医,鄙视中国社会、文化,当然,也不会忘记攻击一波政府。往往很难直接反驳,就像那些利用华为251事件来合理化甚至美化美国对中国打压的人一样。by the way,我亲身体验的中成药感觉还不错,比如感冒颗粒(这可能是中国销量最大的药品了)有人可能会说感冒自愈或者有效成分是颗粒里面添加的西药成分以及草药含有的麻黄碱,但是有一回我感冒只吃了西药的伪麻黄碱,只能缓解症状,足足病了七天,完全是自愈的。还有康复新液(蟑螂提取液)在我崴脚的时候效果也不错,我从科学的角度完全明白中医整体是胡扯,但是我自己体会的还是让我有点惊讶。是因为中成药是通过千万人检测的方剂,所以效果有保证?还是什么别的原因?也许您能帮我解惑?
化妝品是人臉用的油漆,卸妝就沒了;你想說的應該是皮膚保養品,那其中除了Moisturizer和Sunblock之外都是騙人的。
有很多人炒股賺錢,並不代表期望值是正值;最終還是要和賠錢的平均過。 王孟源2020/07/20 10:06回覆
23樓. 狐禪
2020/07/18 15:42
22樓的盲點在於,中醫沒有公開無效診療的統計,這是西醫這幾十年來最大的進步,而且現代醫學也逐漸注意到過去中醫經驗中的一些做法,比如按時辰服藥,而且給出生理上的理由。所以中醫僅管累積了過去的許多經驗,但抱殘守缺的做法,將會讓中醫終於被現代醫療科技完全取代。
只要中醫教繼續玩弄語法,把科學和僞科學之分説成西醫對中醫,就不可能應用科學方法,也就不可能得到真實的結論,那麽永遠都只能是騙人的玩意兒。 王孟源2020/07/19 11:04回覆
22樓.
2020/07/16 13:23
中医

如果说基因是主要因素可以盖过中医带来的所谓“危害”,那么新加坡和香港呢?这两个地方可没有废除中医, 血缘饮食也相似,香港人均寿命略微高于日本,新加坡略低于日本但也十分接近, 世界排名第三。而且这种93万人命的算法还是在基于把1.5年寿命差距100%地归因于中医造成损害的假设前提下,这种极端假设下算出来的数量是93万,那么饮食习惯作为主要因素造成了3-4年的人均差距再减去没有中医带来的-1.5年差距就等于5年多的差距,先算和基因各占一半好了,那饮食带来的2.5年多差距按照这种算法就是150多万人命,危害更严重得多,岂不是应比纠正中医来得更加紧急才对。 当然我说这些不是为了抬杠,只是说明极端假设下带来的耸人听闻的效果。

要说中医危害了大量人命,真正直接证据应该是大量的人群服用中药之后致死或者直接导致健康程度恶化,若有这样的事实大量发生的话我想不可能不引起政府注意。中药虽然没有进行大样本的双盲试验,但中药的批准必须经过毒性检测以及小规模临床试验,疗效什么的先不说,至少规避了对人体的危害。

而且我一直说的是中医作为替代疗法的存在,中国每年拨给中医的经费本来就远远小于西医,何来吸血之说。


我討論日韓是因爲他們比你用的韓美對比要合理的多;你現在又回頭用兩個小城市來作比較,人口和GDP都不對。我連這種分析根本不入流都剛剛説過,你反過來倒打一耙,真是讓人無語。
我也已經說過許多次,中醫正是屬於那種惡劣結果不能簡單馬上看出的類別;正文還特別討論爲什麽統計難做。至於毒性測試,被盯著看的時候當然可以過得了,但是量產時就挂羊頭賣狗肉的事還少了嗎?就算真沒有毒性,什麽時候無效的治療變成合理的了?
我從未抱怨過中醫“浪費”國家經費。你再仔細讀讀,我之所以提過中醫界有經費,純粹是爲了論證錢不是不做雙盲實驗的藉口。幾億的經費和腐蝕民心以及謀財害命比起來,根本不值一提。
這個博客不是任何人可以撒潑的地方。剛好你志願示範僞科學/反科學的信徒是如何無法理喻,我就讓你出醜賣乖。不過我的時間寶貴,不能陪你死纏爛打;反正你已經決心一輩子留在賊船上,這個博客非常不適合你。我只希望你少對中醫教未來危害那許多人命出力。 王孟源2020/07/16 15:30回覆
21樓.
2020/07/16 09:02
中医

2019年WHO给出的人均寿命数据,韩国83.5岁排第10,英国81.7岁,德国81.9岁,美国79.1岁。

中医在韩国的普及程度不低于中国(他们叫韩医,理论体系和中医类似),据说韩医的社会地位还颇高,在美国有一些中医/针灸学校都是韩国人开的。平均寿命当然和社会富裕程度有关,但同样作为发达国家的韩国和美国,如果中医真的是损害“幾百萬、幾千萬的未來人命”,那普及中医的韩国应该比没有中医的美国或西欧等国的平均寿命至少要低一些才对。“事实和逻辑”是博客里的最高指导原则,中医损害“几百万几千万人命”不知是否有事实依据。

现代医学的理论体系确实比中医更符合实证科学,但楼下有人提到重点了,现在中医基本上是作为替代疗法存在。很多人是在经过现代医学疗法治疗没有起效之后,才选择尝试中医。这样就算中医也没有效果,其结果无非是回到原点,不会因为选择中医而失去了现代医学治疗的机会。


正文裏面反復强調,必須先控制主要因素,結果你還是拿基因和飲食習慣完全不同的國家來做比較;果然是反科學本色,事實和邏輯擺在眼前,說不管就不管。
日本和韓國血緣接近、富裕程度類似、生活飲食基本相同、醫療水準相當,但是前者的人均壽命多1.5年,對應著1.8%。韓國人口5100萬,1.8%是93萬條人命,這還只是一個中型國家。當然這種簡單的比較很不精確,我自己是不會主動使用的,這裏只是最小程度修正你的錯誤;不過至少可以看出我原本估算的數量級並不離譜。
中醫教如果依托中國國力而撒佈全球,最危險的是亞非那30億貧窮人口,他們沒有可靠的現代醫療體系,那些可以亂加莫名其妙成分的“中藥”可就不只是像在韓國或中國這樣在陰影下偷偷吸血,而是能夠大開殺戒了。 王孟源2020/07/16 11:16回覆
20樓. 好谈
2020/07/15 20:32
以先生秉持的事实与逻辑的标准,我想绝大部分人都是不达标的(包括本人在内)。区别在于,有人能够求同存异进行思考、坚持基本的理智心态,另一部分人则在脱离心理舒适区后到达了不适的极限,从而反应过激进行人生攻击。估计,要破除中医的迷思,其难度和经济影响应该比大对撞机话题更加巨大,时间跨度也会更加持久,期待王先生能再下一城:)

中医教徒是被能完美自圆其说的中医玄学所忽悠,中医用古代五行说和天人合一的哲学思想强行拔高古代医学的理论水平,纯属现实承载不了理想的尴尬。基于二元论的五行学说对于社会科学和人生关照来说,有其适用性和合理性,其应用也没有完全超出二元论的边界,这也正是《道德经》的价值所在。但是,将五行玄学进一步推广到医学,即解释不清医理,也解释不了药理,荒唐处随处可见。五行说给中医构建出了一个美轮美奂的万花筒,成功魅惑了当代的民族主义者,让其把中医中的有限正确推广到无限有理,陷入了类似宗教性的癫狂。

按中西地域强行区割医学,既不科学,也属于偏见。按时间划分医学,用现代科技赋能的当代医学扬弃传统医学(包括中医、苗医、印第安草药、前现代西医等等),才是现在主流医学界在走的正确路子。我并不否认中医方剂中留存着某些价值,但那需要用当代科技打破传统中医的藩篱,研究清楚中药中有效的化学成份和机理,并用现代化学提炼和合成技术大规模制造,才能更大程度地发扬中医中的精华。
要指望中醫界采納科學方法和原則來提升水平,首先他們必須改變心態、願意試圖證僞自己的假設,但是中國中醫界的既得利益階層規模太大了,比實質内涵能支持的高出三四個數量級,所以任何科學化、真實化的企圖,都等同消滅99.9%的道友,就算有人有良心、有見識想這麽做,也必然會被多數人立刻打壓噤聲。
我並不指望消滅中醫教;這個世界蠢人太多,連法輪功都能越做越大,何況其他?但是由政府來强制要求任何醫療咨詢和藥物販售必須達到同樣的現代醫學所確立的安全性和有效性標準,完全是合理可行的。退而求其次,至少社會上有理性的批評聲浪,那麽或許這些騙子要消費中國的聲譽到世界其他國家騙錢的時候,被害者有機會事先獲得警告;只要能減少1%的被害者,就是救活幾萬條人命,這樣的功德,捨我其誰? 王孟源2020/07/15 23:59回覆
19樓. 華南湖
2020/07/15 10:52

[接上... 没想到从 Mac 备忘录复制过来导致前一半出现很多大空行,而且没找到删除重发的途径,非常抱歉]

再者,如果现代医学可以真正解决我们遇到的所有健康问题,相信没有人会选择中医(正如楼上那位曾在地王大厦上班的朋友,“來來回回去醫院檢查了數天,也沒有查出個什麼問題,給了一堆藥吃了也不管用”)。比如,在前不久的疫情期间,在西医的疫苗远水不解近渴的情况下,适度结合中医,而不是全面否定中医,就成为更加切合实际的做法。而且从实际的结果中,我们也都看到了中医的正面价值。

正如王先生所说,由于现代人类对于大自然的侵占,类似 CoVID-19 的传染病将会继续地不定期出现。那么当下一次的危机来临时,我们是唯西医是举呢?还是同时也提供中医药的可能性呢?

所以,我认为更合理的方式,是在重视科学的同时,保持一定的开放性。无论是医学界的专业人士,还是广大的人民群众,有人相信中医的价值,不妨由他们去尝试、由他们去探索。

三. 关于人类的健康,未来将会走向何方?
作为一个非专业人士,谈及这个话题可能会贻笑大方。但既然说到这里,不如强行哔哔几句。

中医的探索,如果有朝一日也可以改造至融洽于科学体系,成为后现代医学的一部分,岂不是大大的好事一桩?如果有一天,由于中医的存在和相关努力,人类发展出平行于科学的另一套理论体系,可以帮助我们更好地认识世界、解决问题,岂不美哉?如果就算一直没能很好地整合、没能很好地理论化,但某些人、在某些情况下,以当事人的视角,认可了中医的正面价值,作为他者,何必要加以完全的否定呢?或许,我们人类注定是要面对很多方面的不确性……

目前的中醫不是科學。目前的中醫從業人員,絕大多數沒有科學修養和能力。這裏的科學,我汎指求真的欲望、態度和方法,所以你討論這些什麽現代醫學的極限和中醫的“可能’都是不着邊際的胡扯,這些人根本就不想、不敢、也不能求真,把人命交給他們玩弄假大空,是很明顯的大規模謀殺。
我真不懂,爲什麽有人自以爲正人君子,卻能夠鼓吹無謂地消耗掉幾百萬、幾千萬的未來人命,還扳直著臉假裝理中客。資本家為增高利潤而草菅人命,至少還提升經濟產值;你們只爲了自己的迷思,害死更多的人,對經濟的貢獻還是負值。這正是我一直批評的損人不利己,有時愚蠢比自私還要可怕。 王孟源2020/07/15 13:06回覆
18樓. 大一統理論
2020/07/14 20:54
之前看過統計美國目前的總族歧視並不是表現在法律層面,黑人佔13%人口占美國被監禁的監獄總人口40%,而社會財富只佔2.7%,的經濟基礎卻是,而是經濟基礎不平等導致,任何一個黑人只要有錢都可以搬去有錢白人社區讀白人學校,但是以他們經濟基礎是交不起這麼貴的房產稅,因此後代形成一種經濟制度不平等導致的總族隔離,因此無法進到白人學校的,住在這種治安比較差的社區在經濟環境比較差和教育程度比較差的父母成長環境,才會容易對黑人容易犯罪的映像,但是這經濟制度不平等的基本原因導致的黑人犯罪率較高,卻被說成是黑人天生就是這樣,也算是統計悖論
或許經濟因素大於文化,但是後者仍然有重要的影響。 王孟源2020/07/15 01:44回覆