點(diǎn)擊上方藍(lán)字關(guān)注我們

隨著大數(shù)據(jù)處理從粗放走向集約，性能、成本、功耗等多方面的約束為大數(shù)據(jù)系統(tǒng)設(shè)計(jì)提供了新的機(jī)遇與挑戰(zhàn)。各種異構(gòu)并行處理體系結(jié)構(gòu)與芯片架構(gòu)不斷創(chuàng)新并被廣泛部署，在為大數(shù)據(jù)處理提供更強(qiáng)大的并行計(jì)算能力的同時(shí)，顯著降低了系統(tǒng)的總體能耗。然而，這些異構(gòu)并行處理硬件也給面向大數(shù)據(jù)處理的編程模型、開(kāi)發(fā)調(diào)試與系統(tǒng)構(gòu)建帶來(lái)了新的挑戰(zhàn)。本專題匯集了國(guó)內(nèi)活躍在一線的系統(tǒng)研究者的7篇文章，從GPU的并發(fā)同步、大規(guī)模異構(gòu)數(shù)據(jù)并行處理、高性能并行存儲(chǔ)、大規(guī)模稀疏計(jì)算、深度學(xué)習(xí)內(nèi)存管理、全場(chǎng)景人工智能和語(yǔ)言虛擬機(jī)應(yīng)用等多個(gè)視角出發(fā)，探討大數(shù)據(jù)異構(gòu)并行系統(tǒng)中存在的新思路、新機(jī)遇與新挑戰(zhàn)，希望引起讀者興趣，促進(jìn)該領(lǐng)域研究和實(shí)踐的蓬勃發(fā)展。

張為華等人撰寫(xiě)的《GPU事務(wù)性內(nèi)存技術(shù)研究》介紹并對(duì)比了GPU上基于軟件和硬件的事務(wù)性內(nèi)存實(shí)現(xiàn)方案，總結(jié)了這些方案在GPU場(chǎng)景中遇到的問(wèn)題和解決思路，并對(duì)GPU事務(wù)性內(nèi)存的未來(lái)發(fā)展做了展望。

羅圣美等人撰寫(xiě)的《大規(guī)模異構(gòu)數(shù)據(jù)并行處理系統(tǒng)的設(shè)計(jì)、實(shí)現(xiàn)與實(shí)踐》設(shè)計(jì)了一種大規(guī)模異構(gòu)數(shù)據(jù)并行處理系統(tǒng)，實(shí)現(xiàn)了對(duì)多種異構(gòu)數(shù)據(jù)的查詢和存儲(chǔ)，能滿足多業(yè)務(wù)應(yīng)用開(kāi)發(fā)的需要，并通過(guò)實(shí)際的商業(yè)部署驗(yàn)證了系統(tǒng)的可行性。

何曉斌等人撰寫(xiě)的《面向大數(shù)據(jù)異構(gòu)系統(tǒng)的神威并行存儲(chǔ)系統(tǒng)》從存儲(chǔ)架構(gòu)、轉(zhuǎn)發(fā)策略和高可用措施等方面對(duì)“神威·太湖之光”的并行存儲(chǔ)系統(tǒng)進(jìn)行了優(yōu)化和改造，從而更好地實(shí)現(xiàn)了大數(shù)據(jù)計(jì)算與異構(gòu)眾核架構(gòu)的融合，使大數(shù)據(jù)應(yīng)用獲得了明顯的I/O性能提升。

薛巍等人撰寫(xiě)的《面向異構(gòu)眾核超級(jí)計(jì)算機(jī)的大規(guī)模稀疏計(jì)算性能優(yōu)化研究》分析了稀疏計(jì)算的性能優(yōu)化挑戰(zhàn)，并歸納了3種大規(guī)模稀疏處理類(lèi)應(yīng)用設(shè)計(jì)和性能優(yōu)化上的經(jīng)驗(yàn)，以期為在新一代異構(gòu)眾核系統(tǒng)上開(kāi)展大規(guī)模稀疏計(jì)算問(wèn)題求解提供借鑒。

金海等人撰寫(xiě)的《深度學(xué)習(xí)中的內(nèi)存管理問(wèn)題研究綜述》從內(nèi)存交換、重計(jì)算、內(nèi)存共享和壓縮4項(xiàng)技術(shù)出發(fā)，對(duì)相關(guān)研究進(jìn)行了分類(lèi)闡述，對(duì)其優(yōu)缺點(diǎn)進(jìn)行了分析和對(duì)比，并對(duì)內(nèi)存管理技術(shù)的未來(lái)發(fā)展趨勢(shì)進(jìn)行了探索。

于璠撰寫(xiě)的《新一代深度學(xué)習(xí)框架研究》描述了華為技術(shù)有限公司開(kāi)源的全場(chǎng)景AI計(jì)算框架MindSpore。該框架支持云、邊、端全場(chǎng)景部署，并具備自動(dòng)并行、自動(dòng)微分、自動(dòng)調(diào)優(yōu)三大技術(shù)優(yōu)勢(shì)，在提高深度學(xué)習(xí)模型訓(xùn)練效率的同時(shí)，方便了AI工程師編碼和調(diào)試的工作，對(duì)AI技術(shù)的發(fā)展和普及有很大的促進(jìn)作用。

陳海波等人撰寫(xiě)的《大數(shù)據(jù)場(chǎng)景中語(yǔ)言虛擬機(jī)的應(yīng)用和挑戰(zhàn)》從主流語(yǔ)言虛擬機(jī)出發(fā)，介紹了語(yǔ)言虛擬機(jī)在大數(shù)據(jù)場(chǎng)景中的應(yīng)用范圍和實(shí)例，總結(jié)了使用語(yǔ)言虛擬機(jī)面臨的挑戰(zhàn)，并分別針對(duì)不同挑戰(zhàn)討論了現(xiàn)有的解決方案，最后分析了這些方案的不足之處及未來(lái)可能的優(yōu)化方向。

由于篇幅有限，本專題無(wú)法覆蓋大數(shù)據(jù)異構(gòu)并行系統(tǒng)的各個(gè)方面，希望通過(guò)闡述該領(lǐng)域面臨的機(jī)遇和挑戰(zhàn)，引起各界的關(guān)注，從而促進(jìn)該領(lǐng)域的研究和實(shí)踐的發(fā)展，并推動(dòng)該領(lǐng)域的研究成果在不同行業(yè)中的應(yīng)用。

作者簡(jiǎn)介

陳海波（1982-），男，博士，上海交通大學(xué)教授、并行與分布式系統(tǒng)研究所所長(zhǎng)，領(lǐng)域操作系統(tǒng)教育部工程研究中心主任，國(guó)家杰出青年基金獲得者，國(guó)際計(jì)算機(jī)學(xué)會(huì)（ACM）杰出科學(xué)家，中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）杰出會(huì)員與杰出演講者，主要研究方向?yàn)椴僮飨到y(tǒng)和系統(tǒng)安全。曾獲教育部技術(shù)發(fā)明獎(jiǎng)一等獎(jiǎng)（第一完成人），全國(guó)優(yōu)秀博士學(xué)位論文獎(jiǎng)、CCF青年科學(xué)家獎(jiǎng)。目前擔(dān)任ACMSIGOPSChinaSys主席、CCF系統(tǒng)軟件專業(yè)委員會(huì)副主任、CommunicationsoftheACM中國(guó)首位編委與SpecialSections領(lǐng)域共同主席、ACMTransactionsonStorage編委、《大數(shù)據(jù)》期刊編委。曾任ACMSOSP2017大會(huì)共同主席、ACMCCS2018系統(tǒng)安全領(lǐng)域主席、ACMSIGSAC獎(jiǎng)勵(lì)委員會(huì)委員。研究工作獲得華為技術(shù)有限公司最高個(gè)人貢獻(xiàn)獎(jiǎng)、GoogleFacultyResearchAward、IBMX10InnovationAward、NetAppFacultyFellowship等企業(yè)獎(jiǎng)勵(lì) 。

大數(shù)據(jù)期刊

《大數(shù)據(jù)（Big Data Research，BDR）》雙月刊是由中華人民共和國(guó)工業(yè)和信息化部主管，人民郵電出版社主辦，中國(guó)計(jì)算機(jī)學(xué)會(huì)大數(shù)據(jù)專家委員會(huì)學(xué)術(shù)指導(dǎo)，北京信通傳媒有限責(zé)任公司出版的期刊，已成功入選中文科技核心期刊、中國(guó)計(jì)算機(jī)學(xué)會(huì)會(huì)刊、中國(guó)計(jì)算機(jī)學(xué)會(huì)推薦中文科技期刊，并被評(píng)為2018年國(guó)家哲學(xué)社會(huì)科學(xué)文獻(xiàn)中心學(xué)術(shù)期刊數(shù)據(jù)庫(kù)“綜合性人文社會(huì)科學(xué)”學(xué)科最受歡迎期刊。

關(guān)注《大數(shù)據(jù)》期刊微信公眾號(hào)，獲取更多內(nèi)容

總結(jié)

以上是生活随笔為你收集整理的专题导读：大数据异构并行系统的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。