戳藍字“CSDN云計算”關注我們哦！

作者 |?劉丹

責編 | 阿禿

出品 | CSDN云計算（ID：CSDNcloud）

人類以日新月異的速度刷新著科技的成果，其中存儲的發展歷史尤其悠久，堪稱萬年進化史。自文明誕生以來，我們就一直在尋求能夠更有效存儲信息的方式，從4萬年前的洞穴壁畫、6000年前泥板上的楔形文字，到今天普及的SSD/閃存，再到對量子存儲、DNA存儲技術的探索，腳步從未停止。據IDC預測，2025年全球數據將有175 ZettaBytes的總量。如此驚人而又龐大的數據量，為存儲市場帶來機遇的同時，也帶來了不小的挑戰。 后摩爾定律時代 存儲市場唯一不變的是變化 過去幾年，云計算市場的持續狂飆式發展，對傳統IT企業競爭格局帶來了不可逆轉的變化。其中，存儲的發展歷史最悠久，在30多年的發展，迭代出多種存儲產品。 眾所周知，過去半個世紀，摩爾定律始終貫穿著IT產業的發展。如今，隨著大數據、人工智能、IoT領域新技術的涌現和應用場景的多元化，摩爾定律已無法滿足太多變數，而存儲市場的變化，恰好證明了后摩爾定律時代的到來。 “善變”的存儲市場，也正因為數據時代下的種種變化而得到了飛速的發展，這些變化來自于30%年化增長的數據海量化；5G速率增長20倍與30%的實時數據， 所帶來的速度化；80%非結構化與AIOT多種來源的多樣化；時刻需要加強的準確化；以及亟待解決的價值化。對此，阿里云存儲負責人吳結生總結道，“善變”的存儲市場，唯一不變的是變化。 應對數據時代的變化，阿里云存儲為用戶提供了塊存儲、文件存儲與對象存儲三種上云方式，保證用戶擁有更多選擇與更多路徑；更有諸如數據備份與恢復、冷熱數據分層、無縫訪問本地與云端、多分支機構共享在內的混合云存儲，助力企業無縫上云；并通過全鏈路加密、密鑰可控與日志透明化的技術，為用戶提供可靠、可控、可見的數據保護。 綜上，阿里云存儲不僅提供了最為完整的存儲產品與服務，其多元的數據應用場景，豐富的數據管理服務，真正做到了“客戶第一，需求至上”。 存儲演進30年 新一代存儲需滿足五大變化 為了滿足企業針對不同業務的多樣需求，現代存儲行業歷經30多年的發展，迭代出多種存儲產品。例如為解決早期數據增長而出現的DAS和SAN，為解決核心應用高穩定性和高性能而出現的高端存儲，為處理非結構化數據而產生的NAS和對象存儲，為滿足彈性部署而衍生出來的軟件定義存儲…… 為了更清晰地探究出云計算時代存儲技術的發展路徑以及所應對的挑戰，阿里云存儲業務負責人吳結生，根據阿里云在存儲領域的發展經驗，為我們梳理出存儲技術的發展與應用方向： 第一，存儲與計算的分離。隨著數據處理對存儲需求和計算需求在規模、速度、容量和成本等維度的不斷變化，計算與存儲分離可以最大限度地解耦這兩類不同的關鍵資源，使得各自相對獨立地擴展和演進。首先，通過解耦，計算與存儲這兩方面可以在云數據中心分別獨立擴展，提供調度和資源共享的靈活性，提高資源使用效率，降低成本。其次，計算和存儲的技術演進空間變大，可以更加靈活的針對不同的負載進行優化。再次，網絡技術的高速發展、個位數微秒的延時（latency）、百G級別的帶寬、服務器之間的邊界越來越模糊，使得計算和存儲分離、分布式存儲等架構在穩定性和性能等領域變得更加高效和有生命力。 第二，標準化、服務化與開放化的演進路徑。首先，提供諸如塊存儲和文件存儲等標準化的存儲方式，這些類型的存儲具備標準化的接口，使客戶能夠直接遷移數據，避免了應用的大量修改；其次，向服務化的方向發展。在傳統的存儲模式下，用戶需要大量的設備管理與維護升級，而在云計算時代，云存儲將其演化成一種云服務，用戶只需要關心自己的業務邏輯與創新即可；另外，更加開放。存儲云服務提供很多管理與控制的API，現在將其開放出來，使得用戶可以通過編程調用API，管理與監控存儲資源，以及實現跨平臺的管理。 第三，垂直領域和典型場景的深度集成設計。數據庫、大數據處理和分析、人工智能、容器等領域具有自身的特點，所以存儲技術針對以上典型場景也進行了相應的集成設計，結合場景的特點進行適配和優化，提高與場景結合的端到端優化能力和存儲的效率。 對于企業和用戶而言，使用云計算有著諸多好處，云提供了靈活的彈性伸縮、彈性存儲容量、安全可靠、高可用性和穩定的性能等能力。但是，云存儲在發展的過程中也面臨著諸多挑戰，為滿足云時代發展的需求，吳結生為我們總結了新一代存儲要不斷演進，跟上需求演進的變化，進一步通過技術牽引去創造更多的變化。
容量海量化，需要持續的成本優化技術來滿足數據的爆炸式增長需求；存儲速度化，讀寫速度和數據處理速度不斷加速；數據來源和數據形態越來越多樣化；數據是新石油，是數字化經濟的基礎；存儲需要加強數據清洗、數據安全、數據處理方面的能力，提供真實、可信和安全的數據，幫助企業或機構挖掘數據的價值，實現數字經濟中數據價值。針對這五個方向和不斷演進的需求變化，阿里云已在存儲領域完成全面布局，包括塊存儲和對象存儲在內的云上存儲家族，混合云存儲陣列、混合云備份和容災的混合云存儲服務，以及高性能分布式存儲和數據庫存儲等典型場景存儲方案。 阿里云十一年存儲進化史 重新定義下一代存儲 了解了云時代存儲的發展路徑過后，接下來不妨讓我們看看阿里云存儲的技術演進歷史，從而更直觀地了解云存儲在數字化轉型中的核心價值。作為阿里云飛天系統中極其重要的一環，阿里云存儲不僅滿足了“雙11”等大規模業務場景對存儲系統的超高要求，提供豐富完整的公共云和混合云存儲產品矩陣，還通過客戶數據中心和邊緣局點到云上的整體存儲解決方案，打破了數據存儲和流通的邊界，滿足了企業的多樣化需求，為企業數字化轉型提供了數據核心價值。 ?“越過山丘，才發現那里已無人等候......”，這是去年阿里云存儲新品發布會中的一句話。這句話低調地彰顯了阿里云的領導者地位，也恰好是阿里云存儲在成長道路上堅守與收獲的寫照。 ?
|??2008年，為了探索阿里巴巴集團大規模存儲解決之道，阿里云存儲團隊應運而生。 |??2009年，阿里云分布式存儲引擎1.0（盤古PanGu）正式發布，為彈性計算虛擬機、阿里金融、郵箱、搜索提供通用存儲服務。 |??2013年，阿里云分布式存儲系統實現單集群5000臺服務器規模的部署，服務阿里巴巴電商業務和螞蟻支付寶業務。 |??2015年，成功實現了單集群10000臺服務器規模的部署，擁有云計算產業中最齊全的存儲產品線，成長與效率躍居榜首。同年還打破了Sort Benchmark世界記錄，100TB排序完成時間僅需377秒。 |??2016年，CloudSort項目中，阿里云以1.44$/TB的成績獲得Indy專用目的排序和Daytona通用目的排序兩個子項的世界冠軍，打破了AWS在2014年創造的紀錄4.51$/TB。 |??2018年，面向人工智能、科學計算、深度學習等未來存儲場景，阿里云分布式存儲引擎2.0正式發布，這不僅證明了阿里云存儲歷經十年的超強能力，更意味著阿里云存儲再次引領了云存儲與企業存儲、傳統存儲的破局之爭。 |??2019年，阿里云攜ESSD高性能云盤，領跑微秒存儲時代，正式吹響了進軍企業存儲市場的號角。 阿里云存儲在十一年的發展歷程中，不斷推出重磅新品與取得傲人成績，絕不僅僅是為了快速追趕業內標桿廠商。更重要的是，彰顯了阿里云為滿足全球用戶的業務需求，所沉淀的獨到見解和創新。隨著更多貼近用戶應用的數據管理功能的推出以及生態的構建，我們可以感知到阿里云存儲背后的思考。 在安全方面，對象存儲服務在國外成熟市場得到廣泛認可，很多企業的核心業務信息都存儲在上面。但是在中國，對象存儲的普及度還有待提升，數據安全的加強有助于改變這一現狀。對此，阿里云對象存儲也在更新重點，劍指數據安全。據了解，阿里云存儲全線產品都具備全面的“數據加密”能力，其中對象存儲OSS提供包括KMS密鑰、BYOK密鑰、OSS托管密鑰等5種加密方式，完成服務端數據加密和客戶端線下加密等多種靈活形式。 在性能方面，隨著全閃存的普及和高性能網絡的發展，數據中心進入“微秒時代”。起初，10萬IOPS已是非常高的性能；而十年后的今天，百萬、千萬IOPS已經成為多家廠商宣傳的主題詞。據介紹，作為全球首個百萬IOPS的企業級云盤，阿里云ESSD搭配ECS云服務器使用，可提供單盤高達100萬IOPS的隨機讀寫能力，單路寫時延 100 微秒。相比前一代的SSD云盤性能提升了40倍，讀寫時延降低了70% 。同時，ESSD云盤支持不停機擴展容量、不停機提高IO讀寫性能上限、數據加密等高級數據服務功能，具備企業級存儲的前沿技術創新能力。 在數據智能管理方面，打破數據孤島以形成有效的聯動成為當務之急。對此，阿里云提供了豐富的數據管理功能，通過數據分析系統挖掘數據價值。其中日志服務的AIOps分析功能面向趨勢預測、異常發現、智能聚類和根因分析四個場景，提升DevOps分析和診斷的效率，幫助運維人員提前配置資源，提前預測、發現和解決常見故障。 在降低成本方面，每年雙11創造奇跡的背后，是巨大的成本投入；另一方面，在數據時代，隨著各種大數據處理框架不斷涌現，成千上萬的數據分析需求背后是大量的計算任務，占用了大量的計算資源。此時，阿里云數據中心利用混部技術，將集群混合起來，將不同類型的任務調度到同一批物理資源上，通過調度、資源隔離等控制手段, 在保障SLA的基礎上，充分使用資源，極大降低了成本。 化挑戰為機遇，阿里云存儲營收過去三年增長超過10倍，存儲容量增長12倍，其中SSD容量增長超10倍。十余年的存儲進化，讓阿里云更新迭代了涵蓋公共云、混合云和邊緣計算在內的全球最完整存儲產品線，面向萬物智能時代，定義下一代存儲，更安全、更穩定、更優化、更智能，讓用戶無縫上云。 十年雙十一背后的磨礪：場景越復雜 越不容有半點差池 跟隨十年阿里云存儲進化史，可以發現每一年阿里云存儲都有所變化，從2008年飛天啟航，經過十年演進，到2019年，盤古單集群超10萬臺ESSD，OSS同城冗余。我們可以清晰看到其發展過程中，四條主線貫穿始終，第一，規模化不斷加大；第二，對可靠性的追求；第三，便捷性，大量產品、服務與協議，幫助用戶更好地使用云存儲；第四，軟硬一體的發展，各種新型設備都嘗試做好軟硬一體。 阿里雙十一就像是一個練兵場，2009年，700萬交易額峰值交易400筆/秒，2018年，2135億交易額峰值交易49.1萬筆/秒。吳結生強調，十年雙十一告訴我們，場景愈加復雜，挑戰越來越大，卻更不能有任何差池。也正是因為阿里云存儲團隊始終堅持著“今天最好的表現就是明天最低的要求”的信念，使得雙十一、云存儲乃至整個阿里云都在不斷突破挑戰，創造奇跡。 2018年11月，再次以 2135 億元成交總額創造商業奇跡，10年每秒交易筆數創建1227.5倍進化，其瞬間的流量高峰沖擊與龐大的成交額背后，離不開技術力量和全局基礎設施的支撐。其中，對象存儲 OSS、文件存儲 NAS、表格存儲 TableStore、日志服務 SLS 成為了數據計算和存儲的頂梁柱。作為微妙時代的極致云盤ESSD，使得過去業務峰值壓力、硬件潛能風險與業務增長，所帶來的SSD云盤不夠快、本地盤可靠性以及無法擴容的窘境統統解決，取而代之的是100微妙延遲、可靠性提升百萬倍，更提供在線可容、靈活掛載。盤古 2.0 作為新一代存儲引擎，在云存儲、大數據計算和分析、數據庫、流式計算、和搜索等眾多領域展現了卓越的實力，保障了雙十一的十年進階之路。 安全可靠、靈活可擴展、最佳實踐的存儲，作為阿里云存儲的三大優勢助力其創造更多奇跡。如果說2018年阿里云是在布局企業級存儲的話，那么2019年阿里云則正式吹響了進軍企業存儲市場的號角，各項新品的發布，使其線上線下的存儲邊界正式被打破。 阿里云增長最快的存儲產品ESSD 映射出飛天盤古2.0的十年極致進化 企業核心應用上云對存儲的需求是高可靠、高性能、彈性擴展與簡化運維，而對于存儲系統同時達到以上四種需求，挑戰巨大。ESSD作為服務企業核心業務場景的極致云盤，卻能完美的兼顧以上四種需求。ESSD的時延相較于SSD降低70%，實際業務場景性能加速顯著，只需一步完成快照策略設置，單盤快照個數擴展到512，超強的性價比更支持全球可買，使得60%的阿里云頭部客戶都在使用ESSD。 簡單來說，ESSD相當于一個千萬平米的巨型數據倉庫，自帶時速超過120公里的超級高速，僅需1秒就可以完成1部高清電影的傳輸和存儲。 根據阿里官方公布的數據，通過ESSD，上海振華重工加速SAP HANA上云，性能提升3倍的同時，成本降低30%；微博加速彈性擴容，彈性能力提升3倍，以應對高流量事件；一下科技交互響應速度提升100%。 商業化1個月，ESSD成為增長最快的存儲產品，而這背后要得益于飛天盤古2.0十年的極致進化的技術支持，深度融合的軟硬一體化，靈活高效的分布式架構與算法，經受阿里經濟體核心業務系統與“雙11”的錘煉，使其成為了最耀眼的那顆星。

存儲新常態 看人工智能如何激活存儲技術變革 如今，人工智能的高速發展，徹底改變了人類的工作方式、生活方式和思維方式，也實現了生產力的整體躍升和社會治理的新變革。隨著計算力的不斷突破，人工智能的技術也在日趨成熟，越來越多的企業開始將人工智能技術融入行業應用中。而作為傳統行業的存儲，經歷了一輪又一輪技術市場洗牌，而今面對人工智能技術時，又將如何撬動市場的新需求呢？ 對此，吳結生表示，在與人工智能的融合中，阿里云存儲正在做兩方面的實踐與探索：一方面是思考人工智能技術如何運用到存儲系統中；另一方面也在踐行存儲系統如何更好地服務和支持人工智能計算，從而更好地普惠人工智能技術。兩者相互融合，共同促進。 借助人工智能技術，在磁盤、服務與網絡等硬件故障的檢測中，可以更加準確地預測到故障的發生。在遇到網速變慢等異常狀況時，可以做到及時有效的規避，從而使得產品更加穩定，大大降低長尾延遲現象；在智能負載均衡與調度中，利用人工智能技術，能夠提前進行負載均衡，避免熱點與不均衡；在數據的置放策略中，可以根據對冷熱數據的分析判斷，以及客戶訪問的規則與模式，將不同類型的數據進行分類，安排不同的置放策略，從而提高總體系統效能，以便實現更加智能的分級存儲（Tiering）。 同時，阿里云針對機器學習與人工智能計算的場景，推出了高性能并行文件系統（CPFS：Cloud?Parallel?File?System），已經廣泛應用于智能駕駛、生命科學和基因計算等場景。CPFS也被廣泛使用在高性能計算領域，與阿里云的彈性高性能計算（E-HPC）一起提供服務化和商業化的高性能計算，不僅如此，還承擔了“國之重器”之一的“天眼”工程（500米口徑球面射電望遠鏡 FAST?系統）的存儲解決方案，助力人類對宇宙的不懈探索。 另外，隨著圖片和視頻內容的不斷產生，急需對其進行智能的分析，阿里云的智能媒體管理系統（IMM）將先進的分析算法與存儲相結合，通過簡單便利的調用接口，使得中小客戶也可以享用到阿里云和達摩院的人工智能能力，普惠人工智能技術。這些智能服務能力也經歷了“雙11”場景的打磨，積累的最佳實踐轉化為產品的能力，復制到更多的客戶。 人工智能可以激活存儲的新變革，而借助存儲來服務人工智能計算，又能夠讓人工智能走上普惠的道路，這樣相輔相成的融合可謂絕妙。可預見的是，存儲技術將會與人工智能技術不斷融合，這也有利于存儲技術的更新換代，更好地支撐業務的快速發展，最終具備技術擴展業務邊界以及業務向技術拿紅利的能力。 另外，阿里云存儲將高性能存儲網絡作為分布式存儲的基石，聯合整個阿里云網絡和基礎設施團隊進行迭代式創新，從25G的網絡到現在的100G網絡，高性能存儲網絡已經取得了很大的進步，在穩定性和性能方面將會持續創新。最后，在數據中心級別的均衡規劃中，還需要更高級別和更大規模的設計。談及阿里云存儲未來的部署與計劃時，吳結生強調，為客戶創造更多的價值才能讓阿里云更有價值。 在快速迭代的技術面前，阿里云存儲以穩定、安全、可靠為立身之本，并利用智能技術的新元素賦能存儲，以普惠智能決策與智能計算。不難看出，阿里云存儲的創新活力，不僅拓展了云存儲的邊界，更在廣闊的企業級存儲市場中創造了更多的可能。從此，存儲不再是性能的瓶頸，在快速迭代的技術面前，阿里云存儲以穩定安全可靠為立生之本，并用不畏挑戰與超高要求，去打破種種瓶頸，從而創造更多奇跡。

福利 掃描添加小編微信，備注“姓名+公司職位”，入駐【CSDN博客】，加入【云計算學習交流群】，和志同道合的朋友們共同打卡學習！

推薦閱讀：

總結

以上是生活随笔為你收集整理的i 智慧 | 回首30年存储演进之路 再看新数据时代阿里云存储如何革故鼎新？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。