【導讀】本文整理自2017年6月20日，阿里巴巴iDST算法專家行湘在清華-青島數據科學研究院、阿里云和零氪科技共同舉辦的天池醫療AI大賽之“醫學影像在腫瘤診斷中的應用及智能診斷探索”上發表的“大數據視覺智能實踐及醫學影像智能診斷探索”演講內容精華。

　　一、視覺智能實踐

　　阿里團隊主要專注云上的智能視覺技術。

　　人工智能曾經過兩次繁榮，現在是它的第三次繁榮，主要原因有：一是以深度學習技術為代表的技術的迅速發展，尤其是在圖象領域取得了重大的突破；二是有強大的計算能力；三是數據越來越多。正因為有了數據計算能力和算法，可以在更多的方面解決更多商業問題。

　　阿里巴巴在視覺智能實踐的探索體現在如下四個方面。

　　1．電商搜索

　　目前電商搜索是一個比較成熟的產品，現在已經開始大規模的部署。拍立淘的目標是希望在電商搜索上，提供除了文字的另外一種搜索，如探索視頻廣告和視覺診斷。因為有深度學習快速的發展，電商環境下的圖象搜索已經取得了重大的突破，幾乎實現了所見即所得的效果，網上已經能夠搜到相關的資料。

　　2．城市之眼

　　城市之眼的目標是希望對城市里面大量攝像頭的分析，為我們的交通、安全提供更好的智能決策。

　　目標檢測識別需要一些強大的計算、系統的支持，以及對視頻數據結構化以后，做的一些搜索和挖掘。

　　交通流量識別分析在實際中遇到的挑戰還是非常多的。如小目標怎么辦？車輛如果遠處有遮擋怎么辦？槍機通常做得很好，球機行不行？還有就是黃色車牌的識別，數據識別少怎么辦？阿里團隊在做這個項目中從算法到數據都遇到了一系列的問題，最后阿里團隊發明了一種新的網絡，對小目標、遮擋目標、模糊的目標都取得了顯著的效果，最近在非常有挑戰性的KITTI數據庫上車輛檢測取得了第一名的成績。阿里采用的手段是利用最新的對抗網絡的方法，通過生成大量的假車牌，然后通過這些大量的假車牌訓練車牌識別分析器，最終實現車牌的識別率能夠提升10%以上。

　　從計算上來說，對整個城市上萬個攝像頭進行分析，計算量非常大。但由于有阿里云、大批量計算平臺的支持，通過對視頻數據結構化，可以實現對全網視頻數據大范圍搜索。如通過車輛的屬性和車牌，在視頻數據中進行搜索，可以追查肇事車輛的逃逸。

　　如果把視頻數據結構化以后，還可以通過分析一段時間交通流量對紅綠燈進行調控，來優化我們的交通效率。

　　3．視頻廣告

　　第一個方面的探索就是希望能夠在視頻中找到一個合適的位置，把廣告無縫嵌入進去，并且不影響大家的觀看體驗。

　　第二個方面希望通過對視頻內容的分析，嵌入合適的符合這個場景的廣告。

　　第三個方面是智能廣告設計，通過機器學習的手段使得廣告海報的生成更加便捷。用戶能夠通過簡單的畫直線和方框，生成一幅跟人工幾乎可以相媲美的廣告海報。

　　4．視覺診斷

　　視覺診斷包含兩個部分，一個是診斷機器，一個診斷生物。

　　傳統的工業診斷方法是人拿工具到現場檢查，診斷機器的目標是通過視覺分析的手段能夠代替人工對機器的檢查。通過現場拍攝錄像，通過視覺分析的手段，能夠自動的診斷出機器的故障。

　　診斷生物就是醫學影象智能診斷。

　　阿里在娛樂、交通、安防、設計和制造領域取得了一系列的進展，下面介紹視覺智能算法應用到醫療影象領域，為醫療帶來的改變。

　　二、醫學影像智能診斷探索

　　阿里在4月份的時候在深圳發布了ET醫療大腦，即阿里基于影像云的服務，提供醫學影像的存儲、計算和醫學影像智能診斷服務。

　　1．醫學影像數據

　　常見的醫學影像數據有如下幾種：從早期的X線，到后來的CT，超聲，核磁共振（MRI），到現在的正電子發射計算機斷層顯像（PET-CT）。各種設備不斷出現，對病灶的觀察越來越精確，已成為臨床診斷最重要的依據之一。

　　醫學影像數據數量增長非常迅速，成為了真正意義上的大數據：一是數據種類多，且新的成像方式還在不斷涌現。二是數據增長快，麥肯錫的數據顯示,2020年醫療數據將達35ZB,為2009年的44倍，其中醫學影像數據占絕大部分。三是數據體量大，一家大型醫院歷史影像數據量為50-200T左右，每年新增20T－50T左右。四是價值密度低，LUNA16數據庫CT影像數據111G，只包含1186個結節信息。

　　2．影像智能診斷的迫切需求

　　與數據快速增長相對應的，是不滿足需求的診斷方式。現有的醫學影像方法主要靠醫生人工讀片，由于有經驗的影像科醫生培養周期長，加上優秀的資源分布極不均衡，導致患者預約拍片時間長、以及拍片后的等待時間長。由于醫生的工作量大，以CT為例，一個醫生一天要看上萬張影像，精神高度集中，容易疲勞，人工誤差不可避免。為了緩解醫療資源緊張，有的公司開發了輔助診斷系統，但是這些輔助系統大多是事先創造一套規則，程序根據規則對影像進行處理，由于規則難以窮盡,這些系統應用到現實復雜的環境中通常準確率不高。而且這些輔助系統增加了醫生的使用難度，實際使用效果不理想。

　　海量的醫學影像數據，迫切的現實需求，高效的圖像識別算法，加上強大的計算能力，需求、數據、算法、計算等因素綜合在一起，為醫學影像的智能診斷帶來了難得的歷史機遇。

　　一旦智能診斷成為現實，其相比原有的診斷方式的優勢是非常明顯的。由于強大的云計算和大數據的支持，基于深度學習的智能診斷可以短時間內快速達到普通影像科醫生的水平，并且診斷過程可以在瞬間完成，一旦完成訓練，“智能診斷服務”可以快速復制，邊際成本非常低。

　　3．CT影像肺結節智能檢測的實踐探索

　　以CT影像肺結節檢測為例介紹在醫學影像智能診斷方面的一些探索。

　　這里是一個肺部CT掃描序列的片段，紅色圓圈標注的是一個肺結節。智能檢測的目標是設計深度學習算法讓計算機自動從CT掃描序列中自動找出肺結節的位置，估計肺結節位置和大小。

　　問題分析：

　　這個問題的存在一系列的挑戰：1是結節模態多，不像人臉、行人等目標有相對固定的模態。2是早期結節小，早期的肺結節通常小于10毫米。3是標注樣本少，由于醫學影像的標注成本高，常見的數據集非常少，數據集的數量也很少。我們期待計算機可以把有問題的結節都找出來，同時誤報比較少。這樣才能降低醫生的工作量。

　　實現步驟：

　　基于深度學習的方法比較有效的克服了上述挑戰，其主要步驟有：肺部區域提取、肺結節分割和肺結節分類。

　　使用圖像分割算法生成肺部區域圖，然后根據肺部區域圖生成肺部圖像。利用肺部分割生成的肺部區域圖像，加上結節標注信息生成結節區域圖像，訓練基于全卷積神經網絡的肺結節分割器，然后對圖像做肺結節分割，得到疑似肺結節區域。找到疑似肺結節后，使用3D卷積神經網絡對肺結節進行分類，得到真正肺結節的位置和置信度。

　　具體實現：

　　肺部提取采用傳統的圖像處理算法加上一些規則雖然也能得到不錯的效果，但是在實驗過程中發現，針對某個數據集設定的規則，在別的數據集上總是效果不佳。

　　這里采用了FCN全卷積網絡，同時采用別的大數據集訓練的模型作為預訓練模型，訓練了一個16層的網絡（13個卷積層，3個反卷積層）。模型測試的效果表明，基于深度學習的方法有著更為魯棒的效果。

　　得到肺部區域圖后，需要在肺部圖像中找出肺結節的位置。由于早期的肺結節比較小，使用常見的網絡做影像分割通常對小目標容易漏檢。

　　這里采用了U-Net網絡模型。因模型長得像個巨大的U，故取名U-Net。它的顯著特征是在上采樣過程中把下采樣過程中生成對應特征圖拿過來組合在一起，這樣在最終生成的特征圖中既包含高層的抽象特征，也包含低層的細節特征，能同時對影像中的大小目標進行檢測。同時，由于這是正負樣本嚴重不均衡問題，訓練的loss函數設計、訓練策略都需要特殊的考慮。

　　對肺部圖像做U-Net分割后，得到疑似肺結節分割圖像。圖像明暗程度代表了肺結節出現的概率，可以看出，真正結節所在的位置為白色。然后對分割圖做二值化、提取連通塊等后處理，得到疑似結節的位置。從上圖中可以看出得到了五個疑似結節。

　　最后是疑似結節分類。對每個疑似結節，從其相鄰多幀切片中提取一個影像數據塊，使用一個3DCNN網絡中對其分類。由于3D網絡充分學習到了肺結節內在的3維形狀結構，可以獲得比2D更好的結果。

　　上圖是得到的最終結果。左圖在肺結節分割環境中找到了5個肺結節，經過肺結節分類后，找到了那個真正肺結節的位置。

　　以上是肺結節檢測一個初步的探索，如果要真正應用于實踐，成為一個真正的產品，無論是算法、數據、計算，還是商業都還有很多工作要做。

總結

以上是生活随笔為你收集整理的大数据视觉智能实践及医学影像智能诊断探索（讲座精华笔记）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。