基本信息

1.?標題：ChatCAD: Interactive Computer-Aided Diagnosis on Medical Image using Large Language Models.

2.?期刊：arXiv

3. IF/JCR/分區：無

4. DOI：arXiv:2302.07257

5. 作者：沈定剛教授團隊

1. 導讀

2023年年初最火熱的話題之一就是OpenAI的ChatGPT1，給人類帶來了巨大的沖擊。1月底，美國《財富》雜志2/3月合刊的封面文章《全球爆紅的ChatGPT是如何誕生的？》引爆了創投圈。在這巨大的浪潮沖擊下，如何讓其在醫療領域發揮其強大的作用呢？沈定剛教授團隊給出了初步的答案。在本文中，作者提出了一種將大型語言模型（LLMs）集成到醫學影像計算機輔助診斷網絡中的初步方法。

2. 背景動機

2.1 計算機輔助診斷（CAD）

傳統的計算機輔助診斷網絡模型是基于各種計算機視覺的先進算法在大量數據上進行訓練，使他們能夠學習識別特定于醫學領域的視覺信息中的復雜模式和關系，在醫學領域的各個任務中已取得了顯著性地效果。

2.2 大型語言模型（LLMs）

大型語言模型（如ChatGPT）是經過大量文本數據訓練的高級人工智能系統，在自然語言處理方面取得了顯著成果，并有可能徹底改變各個行業。ChatGPT已經成功通過了部分美國醫療執照考試，展示了其在增加醫療專業人員提供護理方面的潛力。然而LLMs目前難以從醫學影像中解釋和提取信息，從而限制了他們全面支持臨床決策過程的能力。但醫學影像在臨床決策中發揮著巨大的作用，如何整合 LLM 以理解計算機視覺任務中的視覺信息是一個有趣的問題。

2.3 視覺語言模型

一種流行的將視覺信息轉換為語言的方法是通過圖像描述。通過訓練大量的數據，基于深度學習的圖像描述模型可以生成連貫的描述。

在醫學圖像分析中，研究人員使用異質圖、知識圖譜和自監督算法等方法對圖像進行描述來生成影像報告。

近年來，隨著模型規模的增大，該領域的進展已轉向視覺語言預訓練和利用預訓練模型，如：CLIP2、Frozen3和Flamingo4等。

3. 研究目的

本文目標是將 LLM 的醫學領域知識和邏輯推理的優勢與現有醫學圖像 CAD 模型的視覺理解能力相結合，為患者創建一個比傳統 CAD 系統更加用戶友好和易于理解的系統。這樣患者就可以更好地理解病情，減少患者的咨詢開銷，增強在線醫療服務的可行性。

圖2：使用LLMS的交互式CAD。本例使用ChatGPT作為LLM。例如，基于圖像和生成的報告，患者可以詢問適當的治療方案（第二個面板）或定義醫學術語，如"空域整合" （第三個面板）。或者以患者的主訴（第四小組），LLMs可以解釋為什么會出現這樣的癥狀。

4. 模型構建

圖1：模型策略總覽。

4.1 圖像和文本的連接

為了將醫學影像轉為文本內容輸入到LLM中，作者采用了以下策略：

1. 將影像輸入到訓練好的CAD模型中產生輸出。

2. 將該輸出轉為自然語言。

3. 使用語言模型總結結果并作出最總的總結。

4. 基于以上結果和語言模型（基于醫學知識預訓練），參與關于癥狀、診斷和治療的談話。

以圖3為例：

圖3：提示張量和文本之間的橋梁。我們展示了三種不同的提示設計。

1. CAD模型的分類輸出為一個含有5個概率值的向量。（即判別為五種類別的可能性）。

2. 將上述結果轉為一個用以用于LLM的提示性語句。一種自然的提示方式是顯示所有五種病理及其相應的分數。

① 為了避免一些誤解，規定“疾病得分越高，患病的可能性就越大”作為基本規則。② 將每種疾病的分數表示為“{疾病}分數：{分數}”（Prompt#1）。但這種表示不符合臨床報告需求。③ 為了和臨床報告形式一致，作者又將概率分數轉為定性描述疾病的嚴重程度。“沒有跡象”[0.0-0.2]，“可能性很小”[0.2-0.5]，“可能”[0.5-0.9]，“肯定”[0.9 及以上）。（Prompt#2）④ 為了使報告更簡潔，報告診斷分數高于 0.5 的疾病。（Prompt#3）如果沒有預測在這五種類別中，則顯示“未發現”。

4.2 數據集和實驗設定

模型：

● CvT2DistilGPT25

● R2GenCMN6

● 本文提出的模型（基于GPT-3）

● 本文提出的模型（基于ChatGPT）

數據：

● 用于報告生成的數據：MIMIC-CXR7

● 用于疾病分類器訓練的數據：CheXpert8

5. 實驗結果

5.1 報告生成

5.1.1 改進后的報告的質量

表1：模型診斷正確率對比。

圖5：四種模型在五次觀測上的F1分數。

5.1.2 LLMs是如何影響報告質量

語言模型的診斷能力與其大小成正比，這突顯了LLMS的邏輯推理能力的關鍵作用。

表2：比較不同大小的GPT-3模型的性能。參數大的模型更好些。

越有效的模型會產生更長的報告。

圖6：不同模型生成報告的長度。

5.2 交互的、可理解的CAD

ChatCAD能夠利用LLM廣泛而可靠的醫學知識來提供交互式的解釋和建議。通過這種方法，患者可以更清楚地了解自己的癥狀、診斷和治療方案，從而更高效、更具成本效益地咨詢醫療專家。

隨著語言模型的不斷進步，隨著對更可信的醫療培訓數據的訪問，ChatCAD變得更加準確，ChatCAD有潛力顯著提高在線醫療服務的質量。

圖7：兩個ChatCAD案例。一個討論胸腔積液，另一篇討論水腫及其與腫脹的關系。

圖8：基于ChatGPT的模型生成的報告。

6. 局限不足

目前這個方向是個比較新的領域，還是有很多工作需要去完善：

● LLM生成的報告在某種程度上不像人類。ChatCAD 提高了診斷準確性，但降低了 BLEU 分數9。

● ChatCAD只給出了三種prompts，還需要繼續完善。

● ChatCAD中不包含患者的主訴信息，因為沒有相應的數據庫。需要更好的數據集和基準。

● 視覺分類器的作用尚未得到探索，需要進行額外的研究以確定具有更大參數的ViT或 SwinTransformer等模型是否可以提供改進的結果。

● LLMs也可以用來幫助視覺模型的訓練，比如利用在LLMs中學到的相關醫學知識來修正視覺模型的輸出。

● 對prompt設計只是進行定性分析，應該進行更準確的定量評估。

● ChatCAD的內容沒有和臨床醫生進行專業的討論，需要進一步完善。

7. 一些想法

● 雖然本文不那么完善（畢竟只是preprint，說不定作者已經在改進的路上了），但作者團隊相當于挖了一個坑給大家，大家快沖！。（大佬們的動作真的快啊！）

● 基于現有的通用人工智能ChatGPT，給其輸入醫學知識學習構建ChatMedicine是一個很有意思的研究。（畢竟人工智能和人最大的區別是：你給他知識他是真的學啊！）

▎腳注列表

[1] 關于ChatGPT的解讀互聯網很多，推薦兩個：通向AGI之路：大型語言模型（LLM）技術精要 - 知乎；https://mp.weixin.qq.com/s/IF43iCk4v3qwIBjMdljtJA

[2] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In International Conference on Machine Learning, pages 8748–8763. PMLR, 2021.

[3] Maria Tsimpoukelli, Jacob L Menick, Serkan Cabi, SM Eslami, Oriol Vinyals, and Felix Hill. Multimodal few-shot learning with frozen language models. Advances in Neural Information Processing Systems, 34:200–212, 2021.

[4] Jean-Baptiste Alayrac, Jeff Donahue, Pauline Luc, Antoine Miech, Iain Barr, Yana Hasson, Karel Lenc, Arthur Mensch, Katie Millican, Malcolm Reynolds, et al. Flamingo: a visual language model for few-shot learning. arXiv preprint arXiv:2204.14198, 2022.

[5] Aaron Nicolson, Jason Dowling, and Bevan Koopman. Improving chest x-ray report generation by leveraging warmstarting. arXiv preprint arXiv:2201.09405, 2022.

[6] Zhihong Chen, Yaling Shen, Yan Song, and Xiang Wan. Generating radiology reports via memory-driven transformer. In Proceedings of the Joint Conference of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, Aug. 2021.

[7] Alistair EW Johnson, Tom J Pollard, Seth J Berkowitz, Nathaniel R Greenbaum, Matthew P Lungren, Chih-ying Deng, Roger G Mark, and Steven Horng. Mimic-cxr, a deidentified publicly available database of chest radiographs with free-text reports. Scientific data, 6(1):317, 2019.

[8] Jeremy Irvin, Pranav Rajpurkar, Michael Ko, Yifan Yu, Silviana Ciurea-Ilcus, Chris Chute, Henrik Marklund, Behzad Haghgoo, Robyn Ball, Katie Shpanskaya, et al. Chexpert: A large chest radiograph dataset with uncertainty labels and expert comparison. In Proceedings of the AAAI conference on artificial intelligence, volume 33, pages 590–597, 2019.

[9] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pages 311–318, 2002.

總結

以上是生活随笔為你收集整理的从ChatGPT到ChatCAD：基于大型语言模型的医学图像交互式计算机辅助诊断的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。