大话云存储,这个“对象”可能无处不在
戳藍字“CSDN云計算”關注我們哦!
文?|?pasca
? 來源?| 蛋蛋團(ID:dandan_tuan)
前言
1、Who:誰使用對象存儲
2、What:對象存儲是什么
3、Why:為什么他們會使用對象存儲
4、how to do:應用場景分析
5、總結
對于企業來說,隨著計算機和互聯網的爆發式發展,其帶來的海量非結構化數據存儲,無疑成為一個難點。
互聯網領域有個著名的“八秒定律”,指的是當用戶訪問網站時,如果等待網頁打開的時間超過8秒,會有超過70%的用戶放棄等待。
對于企業來說,放棄等待也可能意味著用戶流失,這是不可忍受的。而對于云計算中的細分領域云存儲廠商而言,利用“中心化”的云存儲助推企業減少上云成本,既實現了企業海量非結構化數據的存儲難點。最關鍵是提高了企業內容分發效率,實現了雙贏。
根據IDC近日發表的《世界的數字化從邊緣到核心2025》報告中預測,全球每年產生的數據將從2018年的33ZB增長到175ZB,相當于每天產生491EB的數據,而175ZB約等于1.1萬億GB,如果這些數據存儲在DVD光盤中,可比那句著名某奶茶的廣告語“圍起來可繞地球一圈”還要多222倍。
而Gartner分析,2020 年,全球物聯網設備數量將達到204億。
因此,云也成為了新的增長核心,企業不再拘束于傳統數據中心,而采用公有對象存儲服務。
IDC預測,到2025年,49%的全球已存儲數據將駐留在公共云環境中。而未來將不再是一座座數據孤島,大數據和云計算緊密關聯,為游離的海量提供智能服務。
企業產生的數據量將占到全球數據總量的60%,將取代消費者成為全球數據量產生的第一大主體,這意味著存放非結構化數據的企業級存儲將蓬勃發展,真正實現了“對象”的無處不在。
企業級存儲架構經過了多年發展,不僅性能大幅提升,功能也在向多元化發展。而對于企業而言,成本是一個繞不過去的坎。
數據越來越多,存儲量越來越大。而在這其中,還有一個如何去高效利用存儲資源高效利用的平衡點。為了更加高效地使用存儲資源,從而達到節省成本的目的,逐漸出現了自動分級、去重、壓縮等技術,而這些通過被完美的運用到了對象存儲。
在對象存儲之前,有著塊存儲和文件存儲兩種存儲類型,塊存儲兩種類型。
簡單來說,塊存儲特點是高性能讀寫,有些數據,是必須在塊存儲運行的,如數據庫。文件存儲的特點是共享性高,但是讀寫性能較慢。
SDN(軟件定義網絡)可能大家都聽說過,但是SDS(軟件定義存儲)就沒幾個人知道了。實際上,對象存儲的設計原理符合SDS的理念,其特點是低成本、高安全且用戶角度上存儲池無限拓展。
對象存儲是一種網絡存儲技術,其最大的特點就是將數據與元數據的存儲及操作分離,在性能上綜合了塊存儲和文件存儲的優勢,具備了高性能讀寫和共享性高的特點。
主要包括對象 (Object)、OSD(對象存儲服務器)、文件系統、元數據服務器(Metadata Server,MDS)和網絡連接幾個組成部分。
而其和塊存儲最大的區別是只能存儲非結構化數據,如音視頻文件、壓縮包等等。并且如果是傳統SAN 或 NAS架構可以應對TB~PB 級存儲規模,但當海量數據發展到 PB~EB 級存儲規模時,內部組織結構按照樹狀結構、文件系統形態的傳統存儲可能就力不從心了。
因此,對象存儲服務成為一個很好的選擇。
圖靈獎得主Jim Gray :每18個月,新增的數據量等于有史以來數據量之和。
如果還是傳統架構,對于如此龐大的數據量,無論是任何企業,都只能喊“求放過”。
而其中非結構化數據的內容占據了數據海洋的80%,隨著公有云的不斷普及,對象存儲已經成為傳統存儲非結構化數據的有效補充,根據計世資訊的報告表明,用戶最常用的對象存儲服務場景分別為以下:
而對于對象存儲,主要解決了以下用戶以下幾點需求:
冷熱分層。即通過標準存儲(熱數據)和低頻存儲(冷數據)的存儲方式,有效降低存儲成本。
豐富數據處理。存儲上云,現在企業不僅僅只是作為單一存儲職能。更多的是希望云廠商能夠提供一站式的數據管理方案,如音視頻/圖片的編輯和處理還有水印等功能。這兩個資源現在的采集源實在太多,但是某些格式兼容又不是很好。舉個例子,如在音視頻領域,目前兼容性最好的是H.264+aac的編碼方式,然而很多用戶上傳的確實H.265+aac或者mpeg-4+aac的編碼的視頻。這直接導致了這種視頻不能在瀏覽器直接觀看而必須通過特殊播放器才能支持
靜態資源分發。存儲上云,當然不可能只是作為死數據存儲就行了,更重要的是如何送到“全世界用戶”的終端去讓展示。為了減輕源站服務器的壓力以及用戶更快的訪問到熱點資源, 而現在云廠商都搭配了對象存儲和CDN(內容分發網絡),CDN其原理就是以存儲換時延,將熱點資源下沉,從而降低訪問延遲
容災備份。盡管我們時常看新聞說某某廠商服務崩潰,但是如果從概率學統計,公有云對象存儲的服務不可用時間遠遠的低于自建IDC或者自建私有云服務。對象存儲其自身的三副本和糾刪碼存儲機制也能夠保證數據設計持久性達到11個9(七牛云、阿里云等)。同時,云存儲還會提供跨區域同步和異地雙活等機制來最大限度的保證服務可用性。
在公有云對象存儲領域中,視頻監控、相冊存儲、視頻原創、智能IOT等已經成為對象存儲中的前四大典型用戶。
近幾年火熱的智慧城市,智慧樓宇直接催熱了視頻監控領域。如果把城市譽為一個人,那遍布城市各個地方的無數攝像頭成為了最前沿的傳感器,其傳輸回來海量的監控視頻數據對存儲也是一場苛刻的考驗。
為了保證監控視頻向網絡化、在線化、智能化還有高清化發展,公有對象存儲成為了代替傳統SD和NVR本地存儲方案的最佳方式。
根據中國帶寬發展聯盟發布的數據,去年Q4季度國內的固定寬帶網絡平均速度達到了28.06Mb/s,同比提升47.61%,而4G移動網絡的平均速度也達到了22.05Mb/s,同比提升21.29%。
人均帶寬的提高,直接影響就是娛樂音視頻行業的爆發增長,無論是視頻還是圖片,都在往高清化發展,目前千元機都能購買到4800w像素的手機以及4K視頻的拍攝,無不印證著這一點。
這對于對象存儲而言,以視頻和圖片的企業成為公有云對象存儲的top3用戶。
例如短視頻行業,目前已經成為繼直播之后的新風口。對象存儲服務可以覆蓋視頻的生成、上傳、處理、 分發和播放在內的各個環節,幫助用戶以最快速度實現短視頻應用的上線。
而且,隨著5G的到來,各種IOT智能設備也將呈現不一樣的服務方式。目前在物聯網領域最大的難點在于數據如何高效的傳輸和使用。
作為物聯網技術的重要組成部分,是感知城市各領域的直接終端,這些終端時時刻刻產生大量非結構化數據。無論是路邊的路燈使用狀況,還是自動售貨機的庫存信息。
“萬物互聯”就在眼前。而存儲這些PB甚至ZB的數據不的不運用到海量可擴展的對象存儲服務。
對于用戶而言,不僅僅希望只把數據存儲起來,而且 要能與他們的計算能力相適配,并且希望可以快速地獲得計算能力,以實現數據的靈活運用。
對象存儲的趨勢是往公有云發展,其能夠滿足隨時隨地對數據的處理、分析等需求。甚至結合人工智能,對音視頻/圖片提供鑒黃、OCR識別等服務。最終,充分利用企業數據發展驅動力,結合其他產品,為用戶提供一站式數據管理平臺。
福利
掃描添加小編微信,備注“姓名+公司職位”,加入【云計算學習交流群】,和志同道合的朋友們共同打卡學習!
推薦閱讀:
IEEE 回應禁止華為系審稿人;WiFi聯盟、藍牙聯盟已恢復華為成員資格;中國計算機學會:暫時中止與IEEE通信學會合作……
ARM 發布新一代 CPU 和 GPU,實現 20% 性能提升!
前端開發 20 年變遷史
北漂杭漂的程序員,是如何買到第一套房子?
“愛裝X”開源組織:“教科書級”AI知識樹究竟長什么樣?
500行Python代碼打造刷臉考勤系統
權游播完了, 你在罵爛尾, 有人卻悄悄解鎖了新操作……
真香,朕在看了!
總結
以上是生活随笔為你收集整理的大话云存储,这个“对象”可能无处不在的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 平安普惠提前结清流程
- 下一篇: 分布式精华问答 | 秒懂分布式与集群的区