點擊上方藍字關注我們

隨著大數據處理從粗放走向集約，性能、成本、功耗等多方面的約束為大數據系統設計提供了新的機遇與挑戰。各種異構并行處理體系結構與芯片架構不斷創新并被廣泛部署，在為大數據處理提供更強大的并行計算能力的同時，顯著降低了系統的總體能耗。然而，這些異構并行處理硬件也給面向大數據處理的編程模型、開發調試與系統構建帶來了新的挑戰。本專題匯集了國內活躍在一線的系統研究者的7篇文章，從GPU的并發同步、大規模異構數據并行處理、高性能并行存儲、大規模稀疏計算、深度學習內存管理、全場景人工智能和語言虛擬機應用等多個視角出發，探討大數據異構并行系統中存在的新思路、新機遇與新挑戰，希望引起讀者興趣，促進該領域研究和實踐的蓬勃發展。

張為華等人撰寫的《GPU事務性內存技術研究》介紹并對比了GPU上基于軟件和硬件的事務性內存實現方案，總結了這些方案在GPU場景中遇到的問題和解決思路，并對GPU事務性內存的未來發展做了展望。

羅圣美等人撰寫的《大規模異構數據并行處理系統的設計、實現與實踐》設計了一種大規模異構數據并行處理系統，實現了對多種異構數據的查詢和存儲，能滿足多業務應用開發的需要，并通過實際的商業部署驗證了系統的可行性。

何曉斌等人撰寫的《面向大數據異構系統的神威并行存儲系統》從存儲架構、轉發策略和高可用措施等方面對“神威·太湖之光”的并行存儲系統進行了優化和改造，從而更好地實現了大數據計算與異構眾核架構的融合，使大數據應用獲得了明顯的I/O性能提升。

薛巍等人撰寫的《面向異構眾核超級計算機的大規模稀疏計算性能優化研究》分析了稀疏計算的性能優化挑戰，并歸納了3種大規模稀疏處理類應用設計和性能優化上的經驗，以期為在新一代異構眾核系統上開展大規模稀疏計算問題求解提供借鑒。

金海等人撰寫的《深度學習中的內存管理問題研究綜述》從內存交換、重計算、內存共享和壓縮4項技術出發，對相關研究進行了分類闡述，對其優缺點進行了分析和對比，并對內存管理技術的未來發展趨勢進行了探索。

于璠撰寫的《新一代深度學習框架研究》描述了華為技術有限公司開源的全場景AI計算框架MindSpore。該框架支持云、邊、端全場景部署，并具備自動并行、自動微分、自動調優三大技術優勢，在提高深度學習模型訓練效率的同時，方便了AI工程師編碼和調試的工作，對AI技術的發展和普及有很大的促進作用。

陳海波等人撰寫的《大數據場景中語言虛擬機的應用和挑戰》從主流語言虛擬機出發，介紹了語言虛擬機在大數據場景中的應用范圍和實例，總結了使用語言虛擬機面臨的挑戰，并分別針對不同挑戰討論了現有的解決方案，最后分析了這些方案的不足之處及未來可能的優化方向。

由于篇幅有限，本專題無法覆蓋大數據異構并行系統的各個方面，希望通過闡述該領域面臨的機遇和挑戰，引起各界的關注，從而促進該領域的研究和實踐的發展，并推動該領域的研究成果在不同行業中的應用。

作者簡介

陳海波（1982-），男，博士，上海交通大學教授、并行與分布式系統研究所所長，領域操作系統教育部工程研究中心主任，國家杰出青年基金獲得者，國際計算機學會（ACM）杰出科學家，中國計算機學會（CCF）杰出會員與杰出演講者，主要研究方向為操作系統和系統安全。曾獲教育部技術發明獎一等獎（第一完成人），全國優秀博士學位論文獎、CCF青年科學家獎。目前擔任ACMSIGOPSChinaSys主席、CCF系統軟件專業委員會副主任、CommunicationsoftheACM中國首位編委與SpecialSections領域共同主席、ACMTransactionsonStorage編委、《大數據》期刊編委。曾任ACMSOSP2017大會共同主席、ACMCCS2018系統安全領域主席、ACMSIGSAC獎勵委員會委員。研究工作獲得華為技術有限公司最高個人貢獻獎、GoogleFacultyResearchAward、IBMX10InnovationAward、NetAppFacultyFellowship等企業獎勵 。

大數據期刊

《大數據（Big Data Research，BDR）》雙月刊是由中華人民共和國工業和信息化部主管，人民郵電出版社主辦，中國計算機學會大數據專家委員會學術指導，北京信通傳媒有限責任公司出版的期刊，已成功入選中文科技核心期刊、中國計算機學會會刊、中國計算機學會推薦中文科技期刊，并被評為2018年國家哲學社會科學文獻中心學術期刊數據庫“綜合性人文社會科學”學科最受歡迎期刊。

關注《大數據》期刊微信公眾號，獲取更多內容

總結

以上是生活随笔為你收集整理的专题导读：大数据异构并行系统的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。