技術發展現狀

近年來，數據規模快速增長，使得Hadoop、Spark等大數據批處理系統在現實中得到了廣泛應用。同時，應用對數據處理時效性需求不斷加強，促使諸如Flink的大數據流式處理系統應運而生。現實中的很多大數據應用，比如高通量視頻處理應用，既需要處理大量數據，又對數據處理時延有極高要求，亟需將批處理技術和流式處理技術進行整合。在處理器方面，GPU已成為加速數據處理的重要硬件，而現有的大數據處理技術如Hadoop、Spark、Flink仍以通用處理器為主。因此，有必要系統地開展研究，構建面向CPU-GPU異構體系結構的高性能分布式數據處理技術與系統，充分利用新型硬件的加速特性。

1. 技術發展現狀

項目團隊

國家重點研發計劃“面向異構體系結構的高性能分布式數據處理技術與系統”，是由華東師范大學牽頭，聯合湖南大學、西北工業大學、東北大學、中國人民解放軍國防科技大學、湖南城市學院、湖南工業大學、武漢大學、南開大學、浪潮電子信息產業股份有限公司、中網數據(北京)股份有限公司等十家高校和企業單位共同承擔的云計算和大數據專項項目。項目啟動于2018年5月，執行期3年。

在應用方面，項目團隊與中國鐵路廣州局集團有限公司株洲車輛段和湖南新型智慧城市研究院建立了合作，分別在“中歐班列”快速貨運列車故障檢測、“天眼工程”大中城市交通監控等項目上進行了深入研究并積累了大量視頻數據。在研究方面，項目團隊承擔或參與多項973、863計劃項目、國家自然科學基金系列項目，在并行與分布式系統、海量數據處理、海量存儲系統、內存計算、可重構計算、視頻處理等領域開展了一系列前沿性研究工作。在 SIGMOD、VLDB、ICDE、AAAI、IJCAI、HPDC、IPDPS、TPDS、TKDE、TOC、JPDC等重要國際會議和期刊發表論文150余篇，成果應用于交通銀行、華為、浪潮、NEC、江蘇移動、國家電網等大規模數據處理系統和軟件產品中。項目團隊成員先后參與研制銀河系列巨型機、天河系列超級計算機及應用(“天河二號”超級計算機在 Top500 排行榜上獲六連冠)，并負責國家超級計算長沙中心運營。

研究內容

項目根據三個科學問題設置了七項研究內容，分為五個課題進行研發(如圖2所示)。

圖2. 項目的課題設置

課題一：面向大數據集的數據流編程模型及示范應用

課題一主要應對科學問題一，對數據流編程模型所涉及的主要關鍵技術進行系統研究，旨在對傳統的編程模型進行擴展，定義數據流編程語言的原語及其編譯前端等工具鏈。課題一產生數據流中間代碼，用于描述應用層處理的語義，同時結合“中歐班列”和“天眼工程”兩個場景，利用數據流編程模型開發示范應用系統，以此驗證CPU-GPU異構體系結構對高通量視頻處理的提升效果。

課題二：面向數據流的分布式處理引擎與性能優化

課題二對三個科學問題都有涉及，傳統數據處理系統根據應用場景的不同，分為處理歷史數據的批處理、處理在線數據的流處理兩類。課題二通過控制數據集的處理窗口等方式，兼容現有的批處理和流處理兩類任務，構建面向數據流的分布式處理引擎。課題二編譯和解析課題一輸出的“聲明式”的數據流中間代碼，結合異構計算集群的信息，輸出刻畫分布式異構環境下如何具體執行的任務拓撲圖。

課題三：分布式異構系統資源管理及數據流性能分析工具

課題三主要應對科學問題二和三，提供分布式下異構資源的管理，研究數據流任務拓撲圖的合理異構資源配置、調度和管理，對其他的課題的開展發揮著重要作用。異構集群中的每個執行節點都包含GPU 和CPU等異構資源，需要進行統一的資源管理。不合理的資源管理，使得某些節點因為任務多造成資源嚴重過載，或者因為任務少而閑置資源，這使得資源的利用率非常低。此外，數據流任務在執行過程中，面臨數據流量、數據傾斜等變化因素，因此需要監控和分析數據流應用的性能參數。

課題四：異構體系結構的分布式數據存儲與管理

課題四主要應對科學問題三，實現面向多種數據的統一物理存儲模型和元數據管理，為數據流處理系統提供高效的數據緩存和可靠的數據持久化機制。課題四旨在解決在高通量的數據流處理模型中低效的數據存儲訪問問題，以及分布式數據處理的容錯問題。基于數據流處理模型，面向高通量的實時數據處理應用，提供中間結果和檢查點的持久化。

課題五： 面向CPU-GPU異構節點的混合執行引擎

課題五主要應對科學問題二，異構體系結構節點執行引擎部分主要包括基于GPU的粗粒度并行、利用單SM部署多kernel的數據流圖細粒度流水并行，以及異構系統任務劃分和負載均衡。課題五實現基于CPU-GPU粗/細粒度并行，并在單節點內部實現CPU和GPU間的任務劃分和負載均衡。存儲訪問優化則通過節點內的CPU和GPU統一虛擬地址共享，以實現數據流的低延遲處理。課題五還將研究數據與模型的壓縮技術，保證計算精度的同時，提高計算吞吐率。

本項目的五個課題之間既相互聯系又相對獨立，課題間的關系如圖3所示。

圖3. 課題之間的邏輯關系

課題一旨在根據應用的處理邏輯，產生數據流中間代碼，并調用課題二的處理接口，從而實現數據流的執行。此外，課題一使用課題四提供的多層存儲系統緩存高通量視頻示范應用中攝像頭產生的實時視頻流數據流，解決視頻注入和視頻處理的不匹配。

課題二根據其他課題的研究成果，進行分布式處理引擎的性能優化。利用課題三提供的異構體系集群的資源使用和數據流性能信息，實現數據流任務拓撲的靜態優化和動態優化。課題二需要考慮課題四的存儲和計算的高效劃分，降低數據傳輸開銷。為了避免系統故障導致數據流應用的狀態發生丟失，需要結合課題四提供的檢查點持久化，共同實現數據流應用的容錯處理。

課題三為課題二分配分布式異構計算資源。數據流任務在執行過程中，面臨任務執行中數據流量、數據傾斜等變化因素，因此課題三提供的運行時性能分析調優是課題二進行數據流處理任務靜態優化和動態優化的基礎。

課題四通過實現面向多種數據的統一物理存儲模型和元數據管理，為課題一的示范應用提供高效穩定的分布式數據緩存，為課題五提供多種針對性的數據訪問方式和存儲操作原語，也有效地避免數據訪問瓶頸，支撐課題五中的低延遲處理。對檢查點的分布式持久化機制也為課題二實現數據流容錯處理提供保障。

課題五充分發揮CPU-GPU異構體系結構的性能優勢，對課題二產生的任務拓撲子圖進行加速執行。課題五利用課題三提供的CPU-GPU異構資源抽象，實現CPU-GPU混合比例的優化。此外，課題五通過異構地址空間共享技術，優化課題四提供的數據訪問功能。

預期成果

項目的預期成果包括面向CPU-GPU異構體系結構的高性能分布式數據處理技術：含數據流編程工具鏈、統一數據處理引擎、異構資源管理和數據管理系統，以及高通量視頻處理GPU加速模塊等，實現“中歐班列”快速貨運列車故障檢測、“天眼工程”大中城市交通監控等高通量視頻典型應用示范。

圖4. 列車安全系統 & “天眼工程”

圖5. 交通檢測和列車故障檢測初步效果圖

文案 | 王嘉倫

排版 | 壽暖瑜

華東師范大學數據科學與工程學院

總結

以上是生活随笔為你收集整理的海量数据处理_国家重点研发计划“面向异构体系结构的高性能分布式数据处理技术与系统”简介...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。