腾讯开源首个医疗AI项目,业内首个3D医疗影像大数据预训
騰訊AI,開源又有新動作。
旗下頂級AI實驗室騰訊優圖,對外開源了騰訊首個醫療AI項目——深度學習預訓練模型MedicalNet。
?
這一項目,專為3D醫療影像在深度學習上的應用開發,也是業內首個同方向上的預訓練模型。
騰訊優圖說,MedicalNet能夠加快模型收斂,減輕模型對數據量的依賴,幫助3D醫療影像AI應用“打地基”。
而且,專有領域專有模型,MedicalNet相當于為各個3D醫療影像應用準備了具備臨床通用知識的數據庫。
即使在小數據量中,這一數據庫的有效特征也能幫助落地應用取得較好的醫療檢測性能。
開源項目地址:
https://github.com/Tencent/MedicalNet
專為3D醫療影像開發
自然圖像領域中存在著許多海量數據集,如ImageNet,MSCOCO?;谶@些數據集產生的預訓練模型推動了分類、檢測、分割等應用的進步。
與自然圖像不同的是,醫療影像大部分都是3D結構形態的,同時,由于數據獲取和標注難度大,數據量稀少,此前并沒有海量數據集及對應的預訓練模型開源。
騰訊優圖表示,這正是其開源MedicalNet的原因所在。目前,MedicalNet具備5大特性:
1、預訓練網絡可遷移到任何3D醫療影像的AI應用中,包括但不限于分割、檢測、分類等任務;
2、尤其適用小數據醫療影像AI場景,能加快網絡收斂,提升網絡性能;
3、通過簡單配置少量接口參數值,即可進行微調訓練;
4、提供多卡訓練以及測試評估代碼,接口豐富,擴展性強;
5、提供不同深度3D ResNet預訓練模型,可供不同數據量級應用使用。
MedicalNet是如何做出來的?騰訊優圖給出了解釋:
MedicalNet聚集了來自多個不同3D醫療領域的語義分割小規模數據集,并提出了基于多分支解碼器的多域聯合訓練模型來解決數據集中的標注缺失問題。
這一預訓練的適用性也很強,可以遷移到任何3D醫療影像應用的深度學習模型中。整個系統的工作流程如下圖所示:
?
效果遠優于從零訓練
為了衡量模型效果,他們將MedicalNet模型遷移到預訓練時未接觸過的Visceral和LIDC數據集中。
并用它來完成全新的肺部分割和肺結節分類任務,并與目前常用的從零訓練(train from scratch)以及Kinetics視頻3D預訓練模型在性能以及收斂速度上做了比較。
在肺部分割應用上,與Train from Scratch相比,MedicalNet在Dice上有16%到33%幅度的提升,與Kinetics相比有4%到7%幅度的提升。
在肺結節良惡性分類應用上,與Train from Scratch先比,MedicalNet的預測準確度提升了6%到23%幅度,與Kinetics相比,提升了7%到20%。
在收斂速度上,無論是在肺分割任務還是肺結節分類任務上,MedicalNet都能為模型提供一個較低的初始化損失值,明顯加快損失下降速度。
下圖是MedicalNet性能的一個簡單示例,展示了在全器官分割應用中,不同預訓練方式在一定訓練迭代次數下的測試結果。
圖中表示,基于MedicalNet的結果最接近ground truth,且遠優于從零訓練(train from scratch)的結果。
?
騰訊醫療AI
騰訊在AI醫療方面沉淀已久,近年來業內名聲愈盛,刷新多項世界紀錄。
比如今年6月,全球胸部多器官分割大賽上,騰訊優圖與廈門大學王連生老師實驗室聯手,刷新3項全球新紀錄。在此此前,雙方也在肝分割、肝腫瘤分割兩項技術挑戰賽中斬獲世界第一。
?
騰訊優圖表示,其醫療AI已經具備進行上億規模的模型訓練及合作接入的能力。
而且,他們不僅僅只是研究,技術落地也早已開始。
近年來,這些醫療AI技術正在通過騰訊旗下首個醫療影像產品“騰訊覓影”持續對外輸出,目前已支持宮頸癌、肺癌、糖尿病視網膜病變等癌癥篩查,并在國內100多家頂尖三甲醫院進行落地。
騰訊優圖表示,后續將繼續開源更多醫療AI領域的模型,這也是騰訊一直在做的事情。
截至2019年8月,騰訊已在Github上發布81個開源項目,覆蓋AI、云計算、安全等領域,累計獲得了超過23萬標星。
.
與50位技術專家面對面20年技術見證,附贈技術全景圖總結
以上是生活随笔為你收集整理的腾讯开源首个医疗AI项目,业内首个3D医疗影像大数据预训的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: pytorch模型部署
- 下一篇: DeepMedic —— 一种经典的医学