力荐联邦学习系统,据说英伟达Clara“上架”新进展!
生活随笔
收集整理的這篇文章主要介紹了
力荐联邦学习系统,据说英伟达Clara“上架”新进展!
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
戳藍字“CSDN云計算”關注我們哦!作者 |??晶少
責編 | 阿禿
這是晶少本年度第二次面訪Kimberly Powell,這位英偉達醫療領域的美女副總裁。除了一貫的nice之外,更重要的一點,在深圳MICCAI 2019期間,英偉達醫療團隊還帶來了首個面向醫學影像的隱私保護型聯邦學習系統的發布以及關于Clara的最新進展。有明確消息指出,英偉達(Nvidia)和倫敦國王學院(King’s College London)的人工智能研究人員已經做到利用聯合學習訓練了一種用于腦腫瘤分類的神經網絡,這項技術可以在醫院和研究人員之間共享數據的同時,做到保護患者隱私。據悉該模型使用了來自285例腦腫瘤患者挑戰的BraTS(Multimodal Brain Tumor Segmentation)數據集。有定義表示,聯合學習又被稱為聯邦學習,是一種機器學習方法。當使用客戶端-服務器方法時,可以做到不再需要創建單個數據湖來訓練模型;模型可以在本地就可得到訓練,隨后將得到的洞察從多臺機器傳輸到一個中心模型中加以匯總利用。
技術發展至今,我們似乎對”機器學習在醫療健康領域潛在影響巨大”達成了共識,深度學習不愧是一種從醫學數據中自動提取知識的強大技術,一些計算機視覺系統也早已證明“完勝”人類放射科專家的諸多經驗與能力,但由于醫療領域大量數據隱私的要求,更多病例的不同數據集并不總是可用的狀態。通俗來說,英偉達上新的這款聯邦學習系統能夠幫助開發者與各個企業或者機構利用分散在很多不同位置的待訓練數據,針對中心深度神經網絡進行訓練學習,進而可以支持利用共享模型展開協作,但此過程中并不需要共享任何臨床數據。對此,以英偉達資深研究科學家Nicola Rieke為代表的研究人員在相關論文中描述道:“聯邦學習在無需共享患者數據的情況下,即可實現協作與分散化的神經網絡訓練。其中各節點負責訓練其自身的本地模型,并定期提交給參數服務器;而該服務器不斷累積并聚合各自的貢獻進而創建一個全局模型,分享給所有節點?!毕啾扔跀祿惺较到y,聯邦學習提供的方法可以在不共享機構數據的情況下實現很大的分割性能,不但可以保證極高的隱私安全性,通過模型反演還可以做到設法將數據重現。至此我們可以得出結論,聯邦學習有望高效聚合各機構,從私有數據中本地習得知識,進一步提高深度模型的準確性、穩健性與通用化能力,并將廣泛推動數據驅動型精準醫學的進步。據悉研發專家們為了幫助提高聯盟學習的安全性,專門研究試驗了使用ε-差分隱私框架的可行性。晶少了解到該框架是一種正式定義隱私損失的方法,可以借助其強大的隱私保障性來保護患者與機構數據。此外通過使用稀疏向量技術,聯盟學習系統可以實現嚴格隱私保護,但只對模型性能產生合理范圍內的影響,微小到可忽略。談及聯邦學習系統的安全機制,英偉達醫療方面聲稱,關于實際的數據安全,本質上是“模型找數據,而不是數據找模型”。所謂 “模型找數據”實則保證了本地數據完成訓練,也是系統的最大優勢突破;訓練完成的數據進行回傳時,確保最少涉及隱私的數據被回傳?!奥摪钕到y涉及的隱私其實也分不同層級,在搭建這個系統的時候就給予了一定的數據隱私性考慮。訓練完成后,在數據中加入一些噪點,使其變得模糊,改變了原有數據的顆粒度,讓聯合學習模型更加安全?!?p>如此看來在“聯邦學習”的模式下,其實數據傳輸的要求是非常小的,因為只是傳輸了模型中非常少的一部分數據,也就是說只有這一部分數據傳輸是需要用到網絡,而不是整個模型的數據,所以在這樣的情況下,模型中少量數據進行傳輸會帶來整個通信成本的降低。其實對于聯邦學習系統的嘗試,英偉達并不是首家,業界曾經有將同樣的技術應用于android和ios設備上進行鍵盤定制模型的訓練的先例,這種嘗試更多側重圖像分類應用層面,其受眾量相對較多,甚至可能達到百萬甚至千萬的體量;相比之下,醫療行業較小眾,應用量級并不大,但對底層計算資源要求較高,模型以及數據集的規模均復雜,例如3D醫學影像的大小,需要更多的計算能力幫助實現。基于此,英偉達高級研究人員提出,“這項研究可以被認為是面向可靠聯合學習部署邁出的重要一步,未來希望能夠在很大范圍內實現數據驅動的精確性。”更重要的一點,有消息稱,將來還將把聯合學習系統納入Clara平臺中集成,想必此舉如果實現,開發者們福利頗多。談及Clara平臺,晶少在今年早些時間就有一篇文章“老舊的醫療設備也能“趕時髦”?“聰明”的NVIDIA Clara說:沒問題!”具體講到過,總體來看正是因為日漸復雜的數據問題,諸如量大且分散,讓工作自動化成為關鍵;而AI技術作為研發更先進工具的重要突破口之一,英偉達Clara應對此類挑戰勢在必行。
概括來說針對模型訓練,Clara內部已經做了大量計算和訓練模型的嘗試;對于那些預訓練的數據,完成解讀也是Clara可以勝任的事情之一。此外,Clara平臺實際上還提供了可擴展的AI推理功能,初創企業和醫療公司完全可以使用其進行快速和低成本的擴展?;诖薑imberly Powell表示,如今Clara平臺的開發者數量增長非常迅速,從今年春季到目前,幾個月的時間內,開發者的數量增加了4倍。探究其增長迅速的原因,工具集的高度模塊化值得被注意。“在Clara第一個版本中,整個工作流是提前設定好的,也就是說用現有的模型去訓練現有預定好的模型;而在最新的版本中,就可以做到將自己的模型放入平臺來做訓練,在使用層面表現更加友好。”她補充道。
另外,英偉達還整合了一些開源工具到平臺中,例如醫療影像新的瀏覽器功能,相當于“AI助理分析工具”,可以做到從三個視角觀察判斷圖像,從用戶體驗角度看更加方便。此外更重要的改善就是性能優化,尤其是在數據加載到訓練過程中。如果“數據加載的時間可能比訓練的時間還要長”的話,顯然不給力;優化過程中英偉達還實現了自動化多GPU訓練的嘗試等。采訪中,NVIDIA中國高性能計算、產業AI業務總經理劉通總結道,英偉達其實希望搭建現代AI架構下的引擎。引擎涵蓋不僅僅是芯片、同樣還有系統以及各種各樣的軟件堆棧等,以此應對這種比原來計算需求強30萬倍的訓練目標,并在盡短的時間內完成且飽含創新,如此看來在消費級AI中,英偉達更關注數據訓練、模型訓練等方向。
“目前我們已經進入到了一個新階段,各個垂直行業均希望能夠充分利用在AI領域的最先進技術;而在醫療領域,英偉達其中一個非常核心的使命就是讓開發者工具能夠更好識別醫療領域的數據,這一點非常關鍵?!?br />
福利掃描添加小編微信,備注“姓名+公司職位”,入駐【CSDN博客】,加入【云計算學習交流群】,和志同道合的朋友們共同打卡學習!
責編 | 阿禿
這是晶少本年度第二次面訪Kimberly Powell,這位英偉達醫療領域的美女副總裁。除了一貫的nice之外,更重要的一點,在深圳MICCAI 2019期間,英偉達醫療團隊還帶來了首個面向醫學影像的隱私保護型聯邦學習系統的發布以及關于Clara的最新進展。有明確消息指出,英偉達(Nvidia)和倫敦國王學院(King’s College London)的人工智能研究人員已經做到利用聯合學習訓練了一種用于腦腫瘤分類的神經網絡,這項技術可以在醫院和研究人員之間共享數據的同時,做到保護患者隱私。據悉該模型使用了來自285例腦腫瘤患者挑戰的BraTS(Multimodal Brain Tumor Segmentation)數據集。有定義表示,聯合學習又被稱為聯邦學習,是一種機器學習方法。當使用客戶端-服務器方法時,可以做到不再需要創建單個數據湖來訓練模型;模型可以在本地就可得到訓練,隨后將得到的洞察從多臺機器傳輸到一個中心模型中加以匯總利用。
技術發展至今,我們似乎對”機器學習在醫療健康領域潛在影響巨大”達成了共識,深度學習不愧是一種從醫學數據中自動提取知識的強大技術,一些計算機視覺系統也早已證明“完勝”人類放射科專家的諸多經驗與能力,但由于醫療領域大量數據隱私的要求,更多病例的不同數據集并不總是可用的狀態。通俗來說,英偉達上新的這款聯邦學習系統能夠幫助開發者與各個企業或者機構利用分散在很多不同位置的待訓練數據,針對中心深度神經網絡進行訓練學習,進而可以支持利用共享模型展開協作,但此過程中并不需要共享任何臨床數據。對此,以英偉達資深研究科學家Nicola Rieke為代表的研究人員在相關論文中描述道:“聯邦學習在無需共享患者數據的情況下,即可實現協作與分散化的神經網絡訓練。其中各節點負責訓練其自身的本地模型,并定期提交給參數服務器;而該服務器不斷累積并聚合各自的貢獻進而創建一個全局模型,分享給所有節點?!毕啾扔跀祿惺较到y,聯邦學習提供的方法可以在不共享機構數據的情況下實現很大的分割性能,不但可以保證極高的隱私安全性,通過模型反演還可以做到設法將數據重現。至此我們可以得出結論,聯邦學習有望高效聚合各機構,從私有數據中本地習得知識,進一步提高深度模型的準確性、穩健性與通用化能力,并將廣泛推動數據驅動型精準醫學的進步。據悉研發專家們為了幫助提高聯盟學習的安全性,專門研究試驗了使用ε-差分隱私框架的可行性。晶少了解到該框架是一種正式定義隱私損失的方法,可以借助其強大的隱私保障性來保護患者與機構數據。此外通過使用稀疏向量技術,聯盟學習系統可以實現嚴格隱私保護,但只對模型性能產生合理范圍內的影響,微小到可忽略。談及聯邦學習系統的安全機制,英偉達醫療方面聲稱,關于實際的數據安全,本質上是“模型找數據,而不是數據找模型”。所謂 “模型找數據”實則保證了本地數據完成訓練,也是系統的最大優勢突破;訓練完成的數據進行回傳時,確保最少涉及隱私的數據被回傳?!奥摪钕到y涉及的隱私其實也分不同層級,在搭建這個系統的時候就給予了一定的數據隱私性考慮。訓練完成后,在數據中加入一些噪點,使其變得模糊,改變了原有數據的顆粒度,讓聯合學習模型更加安全?!?p>如此看來在“聯邦學習”的模式下,其實數據傳輸的要求是非常小的,因為只是傳輸了模型中非常少的一部分數據,也就是說只有這一部分數據傳輸是需要用到網絡,而不是整個模型的數據,所以在這樣的情況下,模型中少量數據進行傳輸會帶來整個通信成本的降低。其實對于聯邦學習系統的嘗試,英偉達并不是首家,業界曾經有將同樣的技術應用于android和ios設備上進行鍵盤定制模型的訓練的先例,這種嘗試更多側重圖像分類應用層面,其受眾量相對較多,甚至可能達到百萬甚至千萬的體量;相比之下,醫療行業較小眾,應用量級并不大,但對底層計算資源要求較高,模型以及數據集的規模均復雜,例如3D醫學影像的大小,需要更多的計算能力幫助實現。基于此,英偉達高級研究人員提出,“這項研究可以被認為是面向可靠聯合學習部署邁出的重要一步,未來希望能夠在很大范圍內實現數據驅動的精確性。”更重要的一點,有消息稱,將來還將把聯合學習系統納入Clara平臺中集成,想必此舉如果實現,開發者們福利頗多。談及Clara平臺,晶少在今年早些時間就有一篇文章“老舊的醫療設備也能“趕時髦”?“聰明”的NVIDIA Clara說:沒問題!”具體講到過,總體來看正是因為日漸復雜的數據問題,諸如量大且分散,讓工作自動化成為關鍵;而AI技術作為研發更先進工具的重要突破口之一,英偉達Clara應對此類挑戰勢在必行。
概括來說針對模型訓練,Clara內部已經做了大量計算和訓練模型的嘗試;對于那些預訓練的數據,完成解讀也是Clara可以勝任的事情之一。此外,Clara平臺實際上還提供了可擴展的AI推理功能,初創企業和醫療公司完全可以使用其進行快速和低成本的擴展?;诖薑imberly Powell表示,如今Clara平臺的開發者數量增長非常迅速,從今年春季到目前,幾個月的時間內,開發者的數量增加了4倍。探究其增長迅速的原因,工具集的高度模塊化值得被注意。“在Clara第一個版本中,整個工作流是提前設定好的,也就是說用現有的模型去訓練現有預定好的模型;而在最新的版本中,就可以做到將自己的模型放入平臺來做訓練,在使用層面表現更加友好。”她補充道。
另外,英偉達還整合了一些開源工具到平臺中,例如醫療影像新的瀏覽器功能,相當于“AI助理分析工具”,可以做到從三個視角觀察判斷圖像,從用戶體驗角度看更加方便。此外更重要的改善就是性能優化,尤其是在數據加載到訓練過程中。如果“數據加載的時間可能比訓練的時間還要長”的話,顯然不給力;優化過程中英偉達還實現了自動化多GPU訓練的嘗試等。采訪中,NVIDIA中國高性能計算、產業AI業務總經理劉通總結道,英偉達其實希望搭建現代AI架構下的引擎。引擎涵蓋不僅僅是芯片、同樣還有系統以及各種各樣的軟件堆棧等,以此應對這種比原來計算需求強30萬倍的訓練目標,并在盡短的時間內完成且飽含創新,如此看來在消費級AI中,英偉達更關注數據訓練、模型訓練等方向。
“目前我們已經進入到了一個新階段,各個垂直行業均希望能夠充分利用在AI領域的最先進技術;而在醫療領域,英偉達其中一個非常核心的使命就是讓開發者工具能夠更好識別醫療領域的數據,這一點非常關鍵?!?br />
福利掃描添加小編微信,備注“姓名+公司職位”,入駐【CSDN博客】,加入【云計算學習交流群】,和志同道合的朋友們共同打卡學習!
推薦閱讀:
總結
以上是生活随笔為你收集整理的力荐联邦学习系统,据说英伟达Clara“上架”新进展!的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 漫画 | 面试的我 VS 真实的我
- 下一篇: 一文读懂Docker及其对系统管理员的重