點擊上方藍字關注我們

廣域存儲和計算協同面臨哪些挑戰，具有哪些優勢？

基于虛擬數據空間的存算協同調度系統優化了廣域環境中的全局資源利用，支持海量數據跨域存儲管理與高效處理，可有效提高存儲資源的訪問效率，實現存儲與計算的協同調度。

北京航空航天大學的肖利民教授所在團隊基于GVDS系統研究了存儲與計算協同調度策略，并實現了一個存算協同調度系統。該系統綜合考慮數據布局、存算資源狀態、容量限制等多方面因素，可合理選擇任務和數據的優化調度策略，實現在廣域范圍內高效的計算任務分配和數據布局，提高了環境資源利用率，也提升了應用計算效率。該研究以“面向大數據處理應用的廣域存算協同調度系統”為題發表在《大數據》2021年第5期。

01

廣域存儲和計算協同面臨哪些挑戰？

當前，國內外紛紛投入大量資源建立跨多超級計算中心的廣域高性能計算環境，旨在提供規模更大、性能更強的數據處理平臺，以支撐科學發現和科技創新。然而高效地利用廣域高性能計算環境支撐大數據的存儲管理以及高效處理仍然面臨如下挑戰：（1）如何形成全局數據空間，進而支持廣域分散數據的存儲、管理、傳輸、訪問的統一管理；（2）如何實現廣域環境中數據與計算任務的協同調度，以優化多中心存儲與計算資源的利用，支撐海量數據的跨中心高效處理。海量數據的跨域高效處理需要高效的存算協同調度技術。

02

計算協同調度策略具有哪些優勢？

針對上述問題，作者所在團隊提出了3種調度策略（存算協同調度策略、負載均衡調度策略、數據局部性調度策略）存儲與計算協同調度策略。這3種策略都能較好地匹配數據與計算作業。與單點運行策略相比，存算協同調度策略的完成時間降低了47.46%~79.24%，負載均衡調度策略的完成時間降低了25.48%~74.58%，數據局部性調度策略的完成時間最高降低了63.08%。存算協同調度策略可以通過合理的任務與數據調度，優化多中心存儲與計算資源的利用，既避免了計算資源成為系統的瓶頸，又避免了大量數據的遷移開銷，使得任務完成時間最短。

03

存算協同調度系統在哪里成功應用？

作者所在團隊存算協同調度系統已在5個國家級超級計算中心上成功部署，并通過開展分子對接應用和跨域目標協同識別應用，驗證了系統的有效性和高效性。分子對接應用基于存算協同調度系統運行的效率達到了傳統運行模式的3.07倍，跨域目標協同識別應用運行的效率達到了傳統運行模式的4.03倍。這表明存算協同調度系統可以統一管理廣域環境中的存算資源，將計算任務及數據進行合理的分配及存算協同調度，優化廣域環境中的存算資源利用，支持大數據的存儲管理與高效分析處理。

更多技術細節請閱讀原文：http://www.infocomm-journal.com/bdr/CN/10.11959/j.issn.2096-0271.2021050

聯系我們:

Tel:010-81055448

? ? ? ?010-81055490

? ? ? ?010-81055534

E-mail:bdr@bjxintong.com.cn?

http://www.infocomm-journal.com/bdr

http://www.j-bigdataresearch.com.cn/

轉載、合作：010-81055537

大數據期刊

《大數據（Big Data Research，BDR）》雙月刊是由中華人民共和國工業和信息化部主管，人民郵電出版社主辦，中國計算機學會大數據專家委員會學術指導，北京信通傳媒有限責任公司出版的期刊，已成功入選中國科技核心期刊、中國計算機學會會刊、中國計算機學會推薦中文科技期刊，并被評為2018年、2019年國家哲學社會科學文獻中心學術期刊數據庫“綜合性人文社會科學”學科最受歡迎期刊。

關注《大數據》期刊微信公眾號，獲取更多內容

總結

以上是生活随笔為你收集整理的广域存储和计算协同面临哪些挑战，具有哪些优势？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。