作者 | Dr Luke Oakden-Rayner

翻譯校對|吳蕾 劉曉莉 曹翔

◆?◆?◆

序

關于“機器人戰勝人類醫生”的文章鋪天蓋地，正高居各類科技網站首頁。

例如《通過輻射變化，計算機程序的腦腫瘤辨識能力戰勝醫生（神經科學新聞，2016）》,《在肺癌的類別和嚴重程度預測方面，計算機擊敗了病理學家 （斯坦福醫學新聞中心，2016），《人工智能閱讀乳腺影像的精確度達到了99% （Futurism, 2016）》，《數碼診斷：智能機器比人類更出色（Singularity Hub, 2016）》。

這些標題確實吸引眼球，有的更是出自于像斯坦福大學這樣的專業雜志。顯然，甚至不少專業人士都認為，機器在這些醫療相關的專業領域，已經戰勝了人類。

但是機器真的已經開始戰勝人類醫生了嗎？來自University of Adelaide的Dr Luke據此撰寫了相關評論文章，并被選為uiux.blog過去一周最值得閱讀的文章之一。作者希望通過這份“避雷指南”告訴大家：如何用批判性的視角來閱讀醫學人工智能報告，明辨真偽。

◆?◆?◆

醫學人工智能文章的三大陷阱

我希望我能解釋清楚為什么這些說法某種程度上是合理正確的，但又是全然錯誤的。我想這可能不僅僅對普通人有用，對大多數有識之士都會有所裨益。

這些文章中出現的錯誤類型大致有三種：作者要么不懂機器；要么不懂人工智能；再或者沒有將醫生和機器的診斷結果進行比較。

1）人類醫生是否在從事機器做的事情

記者，技術專家，未來主義者等專業人士，其實很多并不懂醫學。

醫學是復雜的。

生物學，治療學，整個系統是如此巨大，它超出了任何一個人的認知范圍。 醫生和其他醫療保健專業人員有一些模糊朦朧的感覺，但即便是他們，也只是管中窺豹。 我們可以看一下，治療系統本身是多么復雜：

• 我們必須經過12年的培訓，才能成為某項醫學子領域的專家。 法律要求醫生在整個職業生涯中保持學習，一般只能在數十年后才能達到高峰。

• 研究人員將他們的生命獻給了人類生物學的極小的一部分。

• 對于每個醫生或管理人員，需有成千上萬的其他訓練有素的專業人員相輔，才能保持醫療體系正常運行。 在許多國家，醫療保健人員比任何其他行業都多，大多數人接受過高等教育。

醫學的規模是巨大的。

醫學研究產出大于任何其他學科的數量級，其規模之大令人乍舌。

• 你認為NIPS（Conference and Workshop on Neural Information Processing Systems，即神經信息處理系統大會）有幾千個名參觀者，已經是大會了？ 事實上，最大型的放射學會議RSNA，有超過五萬人次參加。

• 我們頂尖期刊的影響因子將近60（根據nejm網站公布，http://www.nejm.org/page/media- center / fact sheet），它有超過六十萬名讀者。 NIPS會議是在5以下，一些小組在Nature雜志發表文章，但即使Nature雜志本身，影響因子只有38。

• 資金總額難以確定，但對于醫學和所有其他科學來說，美國公共資金的比例約為3:1。

• 僅看PubMed的話，即便它只檢索4000個左右的期刊，每年也要檢索約一百萬篇醫療文章。

醫學是特殊的。

它經常會都圍繞著一個可疑的論據進行研究，而且錯誤的結論，被誤導的結果，不可重現的結果，甚至沒有結果，各種錯誤比比皆是。 我們的許多決定是出于非科學的原因作出的，背后受文化，政治，金融，法律等方面的影響。 除非你置身其中，否則你將很難理解其來龍去脈。甚至即便你從內部來看，它也沒有太清晰的意義 。

醫學是一片混沌，這句話并非虛言。

這就是為什么你所感受到的，相對于醫生實際的所作所為，大部分理解是錯誤的。那是因為某些東西聽起來像是醫學的，似乎在醫學實踐的范圍之內的，這并不意味著這是醫生所從事的。

那么，假如醫生并沒有在實踐和學習，并不擅長，甚至并不覺得某項工作很有意義，我們討論機器做得比醫生好又有什么用呢？

讓我們再來看幾個例子。我推薦的這個文章在是reddit上非常著名的一篇文章，這是一個很棒的研究團隊寫的一篇很棒的文章，然而經常被斷章取義地引用。

(研究報告鏈接：

https://med.stanford.edu/news/all-news/2016/08/computers-trounce-pathologists-in-predicting- lung-cancer-severity.html)。

它發布于斯坦福醫學新聞中心，意思是在預測肺癌類型和嚴重性方面，計算機戰勝了病理學家這是頗具挑戰性的言論。 顯然，在某些預測任務方面，他們創造的機器學習系統已經遠遠超過人類病理學家。我會忽略這件作品中的多處醫學錯誤，并專注于問題的本質。

他們說，電腦能更好地預測癌癥。

這就應該喚起人們的警醒。如果你在標題上看到“預測”之類的字眼，你就可以停止閱讀了。

規則一：醫生不會進行預測

這完全是不直觀的說法，但基本上是真實的。我們看下面的文章摘要部分選取：

?“現在實行的病理學是非常主觀的，”邁克爾斯奈德說（https://med.stanford.edu/profil/michael-snyder），他是博士，教授和遺傳學主席。 “兩個非常熟練的病理學家評估同一張幻燈片，將只有約60％的可能性達成一致。

然而，對于病理幻燈片的人工預測，是無法準確預知病人的預后情形的。

這也強調了我的觀點。人類醫生并不做這件事情。

他們訓練計算機去識別哪些癌癥患者存活時間更短，這聽上去是醫學話題，而且很有用，然而并非如此，沒有證據說這是有幫助的。

病理學家經過學習和鍛煉，提供的是各種治療的方法，做手術或不做手術，采用化療還是放療，進行兩項，三項，還是都不需要。 這些不是去定義一個人將活多久，病理學家沒有理由擅長此道。

那么，做病狀預斷研究有幫助嗎？答案是一定的。 我完全同意斯坦福研究團隊， 這是醫學的未來。 預測分析是一種識別有效患者組的好方法， 這無疑將為我們帶來更穩妥的治療決定。我們稱之為精準醫療。之所以稱其為精準，是由于它與我們目前的做法不同。 不精確的醫學是建立在一整套妥協和簡化的流程之上的，盡管現在工作得也很不錯。

圖1.2：十年相對存活率，成人組，部分癌癥。

英格蘭和威爾士：1971-2007年部分癌癥存活率趨勢

?

這是我最喜歡的圖表，即使我們沒有做任何預測，我們也在進步。

關鍵是，我們需要一個定義，“打敗醫生”實際上是什么樣子。

如果我們接受一臺機器在任何含糊的醫學行為上勝過一個醫生就足夠了，那我們對于完整的概念就過于輕描淡寫了。

就如同我們說，在不使用手的情況下駕駛時，自動駕駛汽車比人類駕駛更好，這是無謂的重復。

在這種錯誤理解的風氣下，預測并不是唯一被用錯的東西。 看看廣泛報道的外科醫生機器人史上首次擊敗人類醫生，其中機器人在縫合豬腸子的時候，“勝過”人類外科醫生。

（相關鏈接：

http://spectrum.ieee.org/the- human-os/robotics/medical-robots/autonomous-robot-surgeon-bests-human-surgeons-in-world- ?rst）

還有一篇出自于一份優秀雜志的報道，一個驚人的團隊在進行驚人的工作，他們創建了一個自主的腸縫合機器人。從上下文來看，這是一個偉大的進步。

（相關鏈接：http://stm.sciencemag.org/content/8/337/337ra64）

圖3 是從論文中截取的優秀成果

看看圖。 他們測試了什么？ 縫合間距的準確性；迫使修復完成的腸道泄漏所需的壓力有多大。 這些是機械度量，并且不清楚它們與結果有什么相關性。 泄漏一次聽上去是臨床用辭，但沒有證據表明，泄漏所需的力和實際泄漏的數量之間有直接的聯系。 可能有閾值效應，但“更好的”縫合并沒有特別的有用之處， 可能有S形圖案，或其他更復雜的關系，這可能導致厭食癥的加重，醫學屆總有奇怪的事情發生（https://www.ncbi.nlm.nih.gov/pubmed/24355117）（用抗凝血劑浸透的支架產生更多凝塊）。 我們只是不知道究竟發生了什么。

底部三個圖是不同的。 錯誤的數量，手術時間，手術并發癥的存在。 這些都外科醫生跟蹤作為自己表現的重要指標。 STAR（Smart Tissue Autonomous Robot）在這里，并沒有更好?；ㄙM了更長的時間，STAR在錯誤或并發癥方面沒有顯著差異。

你現在可能有點困惑，因為好像我剛剛描述了一組不同的圖。 STAR看起來在最后三個圖里表現相當不錯。

STAR是在執行開放性手術。 外科醫生會立即理解這一點，并忽略LAP和RAS結果，因為這是不公平的。 他們在豬身上切了一個大洞，把腸子拉出去修復。 這是一個很重要的問題。與其相比，人類使用腹腔鏡進行手術，這就像要求他們將一只手綁在背后。 開放性手術對患者的風險高得多。

我們使用腹腔鏡外科手術，盡管并發癥發生比例會上升一些，你不需要在患者身上打一個很大很危險的洞，這對病人是有好處的。

和人類外科醫生實施開放性手術相比較，STAR輸了。手術時間長三倍，三倍長時間的全身麻醉可不是什么小事情。

正如Andrej Karpathy所說：人的精確度不是一個點，而是一條曲線。 我們總是權衡于精度和時間代價。 外科醫生不會糾結于毫米級別的精確的縫間距，可能是因為它沒什么意義。 我并沒有對近一百年的外科手術加以研究，但是如果更仔細的縫合有幫助的話我完全樂意考慮， 外科醫生或許也會接受這樣的手術（或許不會（(http://qualitysafety.bmj.com/content/early/2015/07/09/bmjqs-2015-004319），往往文化勝于證據)。

這與預測癌癥存活是一樣的，病理學家不會試圖將人分成十幾個生存類別，然后再決定要不要做手術。

所以也許有一個更普遍的規則，什么時候才能說機器人擊敗了醫生？

規則1：用公平的準則進行比較

規則1a：醫生不做預測

規則1b：問醫生他們實際做了什么，以及什么樣的測試更公平。?醫生致力于在準確性和時間代價之間進行權衡，并優化結果（無論是健康，財政，政治，文化等）

這是否意味著我們需要進行大型隨機對照試驗，以找出相關系統是否真的有助于結局？

我不會這么做。 我能想到某些特定的任務，通過因果鏈的理解足以做出一個準確的推斷。 例如，在上面的論文中，腸腔內減小腸修復已經通過足夠徹底的測試，需要20％或更多的減少以具有高幾率的癥狀。 我們可以使用它作為比較點。 但是說13％比17％更好...我們可能需要進一步測試來驗證這個說法（或問外科醫生！）。

這是我在“超人”醫學系統研究中看到的第一個問題，但不是所有的任務的選擇都不合適。 有一些任務確實是醫生實施的，我們知道如何做得更好。 例如，通過輻射變化來觀察腦腫瘤，計算機程序擊敗了醫生（http://neurosciencenews.com/ai-brain-cancer-neurology- 5058 /）顯示，計算機能夠比放射科醫生更好地區分放射性壞死（放療有時會導致該問題）腦腫瘤復發。 這是非常重要的，是放射科醫生的難題，也是計算方法的一個偉大目標。

這也自然來到了第二個常見的錯誤。

2）這不是你所謂的人工智能

人工智能，是這么回事兒？ 機器學習是在蠶食世界？ 深度學習現在如此熱門？ 當然，但這并非全部。

并不是所有的機器學習都是平等的，并非所有的都是開創性的，即使大多數人沒有看到差別并且認為它是重要的。

然而，它也確實很重要。

因為發表在美國神經放射學雜志（AJNR）上的一篇關于腦腫瘤的論文（同樣很好、重要的論文）并沒有使用深度學習。這在放射學文獻中是非常常見的，因為從2010年或者2011年開始，一些主要的論文表明舊式的圖像分析可以做一些有趣的事情，例如從醫學圖像中鑒定出的癌癥病例中的腫瘤亞型。

這些技術并不能輕易地基于人類的大腦。他們并不“領會”世界。他們不具有“認知”能力、不“智能”，也不會像其它的流行用語一樣廣泛流傳。

這些技術已經存在幾十年了，我們已經有足夠的計算能力可以以幾乎相同的時間在筆記本電腦上運行它們。長期以來，這項工作并沒有遇到硬性障礙。那么為什么之前嘗試了成百上千次的一直失敗，現在突然成功了？

現在，這并不是關于它自身的一個爭論，而是它應該被關注。非深層系統在類似于人類的任務中并沒有表現得很出色。

相同的技術在物體識別方面并沒有擊敗人類。他們不能幫助解決Go或者Atari。他們不能擊敗人類打字員，也不能安全和自主地駕駛汽車數億英里。他們從來沒有離開過停車場。

規則二：深度學習并不利用人類設計的特征

舊式圖像分析方法是人類通過精心構造的數學矩陣來描述圖像。這是非常困難的，所以我們能做到最好的是識別圖像的構建基塊。像邊緣和小圖案的東西，我們可以量化它們在圖像或者圖像區域中有多少。

這是他們在論文中要進行的步驟。

對于初學者，你可以看到為什么對于放射科醫生來說那么難。A和E看起來完全相同。

他們在這里做的是：將區域變明亮（使其內部更光滑），量化目前存在多少紋理。他們在大約50名患者隊列中嘗試了一百多個紋理，選擇表現最好的那些并把它們組合成一個識別標志用于預測。在一定的統計確定水平上，使用這些標志的表現優于人類。

希望任何受到過系統訓練的個人讀到這里，現在要敲響警鐘了（謹慎注意了）。

使用人為定義的特征最大的問題是，你可能需要測試它們，并選擇最好的。

多假設檢驗是一個詭異的存在。我真的特別想寫一篇博客文章來談這一點，因為我發現它確實太神奇了。其實這個故事的寓意是：如果你測試了許多假設（“檢測癌癥的紋理x”是一個假設），那么你會得到很多假陽性（False Positive）。如果你測試的p值是0.05，那么你的結果有5%的機會逃掉。如果你在閾值0.05下測試得到100個結果，那么你可能會有20個逃掉的結果。

特征選擇：選擇表現最佳的特征—可能會變得更糟，不是更好。你期望的20個逃掉的結果，然后你挑出前十個特征。

我喜歡本文用于特征選擇的mRMR算法，并且我自己也使用它。但是最后的維度降低不會解決過擬合。你早已過度的擬合了你的數據。特征的選取可以幫助我們探索預測并呈現它們，沒什么別的了。

事實上，所有的研究人員都明白這一點。我們知道，當我們樣本量n非常小，特征p較多（特征數超出樣本數）時，我們很有可能過擬合。我們盡最大努力采用諸如留出驗證集（hold-out validation sets）、交叉驗證（Cross-Validation）等技術減輕這種情況的發生。這個團隊做了所有的這一切，并且表現得非常完美，是一個高質量的工作。

但是這一領域的所有研究人員仍然知道這樣的結果不能被信任。這并不真實。我們可能不需要大規模的臨床隨機試驗，但是除非一個系統希望對來自一個完全不同的患者隊列的更多病例進行測試。

但不要用我的話語理解它。讓我們一起來閱讀這篇文章。

我們的研究確實有其局限性。作為一個可行性研究， 由于受限于訓練集和holdout 集相對較小的樣本量，報道的結果只是初步的。

需要強調的是，這些研究員恰好在這里已經對自己研究的局限性有所表達。

它不只是樣本大小。你可以完美地分割你的訓練和測試集，但如果你嘗試十幾種不同的算法去觀察哪種算法表現最好時，你已經過擬合了你的數據（圖再次源于斯坦福的論文）。雖然還行，但是也必須承認（過擬合）。

測試多個算法可以告訴你真實測試精度的大致范圍，但是你不應該期望在新的數據集中有相同的結果。

還有一件有點更有爭議的事在這里需要提及，就是公共數據集。你需要對公共數據集非常謹慎，尤其是如果你之前曾工作中接觸過它們或是在一篇論文、博客文章或者tweet上閱讀過一些人曾接觸或使用過它們。因為你剛污染過你測試集。你知道什么技術在這個數據集中比其他的更好，這就有了它自己的特性和偏差。那么你得到擬合偏差的虛假結果而不是真實研究目標的機會會非常高。

許多機器學習研究人員對ImageNet感興趣，不會對每周的“新的先進的”結果感到非常興奮，除非在精確度上有了明顯的提升。由于數百個組正在處理數據，并且嘗試了數百個具有廣泛超參數搜索的模型，因而它們沒有理由不會出現過擬合。

我的機器學習的同事聳了聳肩。它只是被接受，半信半疑地采取每一個結果并繼續前進。如果有人告知記者和公眾，這是最好不過了。

因此，這是對于規則2更好的表述。

規則2：閱讀論文

規則2a：如果不是深度學習，它可能并不比醫生好。

規則2b：在小型或者公共數據集中，過擬合是極為容易發生，且不可避免的。因而需要尋找更大規模的測試集，多個無關的隊列，真實的患者。

3）文章所說和你所想并非一致

類型3的錯誤是很容易的。這篇文章從未提到標題所指內容，或文章完全誤解了研究。

數字診斷：智能機器相比于人做的工作更好，Singularity Hub 是一個很好的例子。文章并沒有單獨提出頭對頭的比較。這些都是猜想和假設。即使它可能是一篇好的文章，但它的標題并不合適。

人們認為未來人工智能讀取乳腺影像的準確度能達到 99%，這有點令人震驚。這篇論文是關于使用自然語言處理的研究。它與閱讀乳腺影像無關，但從放射科醫生所做的報告中提取了文本信息。標題是錯誤的，其他很多文章也有這樣的問題。

規則三：閱讀文章

十分簡單

醫生是有優勢的……

那么它離開我們要去何方？

我仍然堅信，我們還沒有看到一臺機器在任何與實際醫療實踐相關的任務中勝過醫生。慢慢建立起來的前期研究表明這并不會永久持續，但到現在為止我沒有看到機器人獲勝的情況。

我希望我的規則將是有用的，以幫助區分尚未完成的偉大研究和值得非常激動的真正突破。

如果我錯過了某個研究，請告知我。

?當我寫下這些，從字面上的最后一段變得不真實。

Google剛剛在美國醫學協會雜志（影響因子37）上發表了這篇論文。因為它實際上依賴于大肆的宣傳，這是一個好的方式結束這部分。因為當情況變化，任何有價值的規則集仍然可以工作。

他們訓練了深度學習系統，以從視網膜的圖片診斷糖尿病視網膜病變（眼睛中的血管損傷）。這是眼科醫生目前使用完全相同的技術執行的任務，通過眼底鏡觀察視網膜。

Google的系統在一個大型臨床數據集（130000名患者）中與專家的表現不分上下。雖然這不一定是“超越”人類醫生，但運行該模型可能只需要花費每個患者不到一分錢。一個眼科醫生的成本遠遠不只這一點，并且老實的說，他們應該有時間去做更值得做的事。我很高興稱這次機器學習取得了勝利。

讓我們一起看看我的規則，他們可以工作起來嗎？

規則1——這是人類醫生做的，以相同的輸入完成任務。

規則2——是深度學習，具有相當好的數據集。

規則3——它真的是一件事情嗎？

所以你看，我科學地證明了我自己的系統是錯誤的。

現在還不能叫我是一個憤世嫉俗的醫生。

作為最后一點，值得看看為什么Google系統可以工作。大部分情況下，他們購買了一個很好的數據集。他們有一個2~7名的眼科醫生小組對130000多個圖像（源于一組的54名眼科醫生）中的每一個進行評分。這是一個巨大的任務，我甚至都不認識54名眼科醫生。

這個技術可能接近準備一個大型的隨機對照試驗，這可是一個了不起的事情。

這些未來幾年我們將會看到。將會有許多這樣的任務，如果有人愿意構建數據集，人類可以做什么，計算機就可以做什么。雖然大多數醫療任務可能并不適用于此，但是這將足以開始頻繁地發生。

這確實令人激動。

總結

以上是生活随笔為你收集整理的机器真的已经战胜人类医生了吗？医学AI标题党文章中的三大陷阱的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。