Data Lake Analytics-数据分析时代迎来新变革
前言
近期阿里云重磅推出新的數(shù)據(jù)分析引擎Data Lake Analytics,Data Lake Analytics是Serverless化的交互式聯(lián)邦查詢服務(wù)。無需ETL,使用標(biāo)準(zhǔn)SQL即可分析與集成對象存儲(OSS)、數(shù)據(jù)庫(PostgreSQL/MySQL/SQL Server等)、NoSQL(TableStore等)數(shù)據(jù)源的數(shù)據(jù)。本文將重點剖析Data Lake Analytics的出現(xiàn),給傳統(tǒng)數(shù)據(jù)分析帶來了哪些變革。
傳統(tǒng)解決方案里,做數(shù)據(jù)分析,需要先購買一些分析節(jié)點實例(計算和存儲一體化),無論是計算還是存儲任何一方先到達(dá)瓶頸,都要線性的擴服務(wù)器資源,分析任務(wù)空閑的時候,計算資源的成本依舊需要承擔(dān)。Data Lake Analytics是基于serverless架構(gòu)的數(shù)據(jù)分析引擎,意味著客戶使用分析服務(wù)無需購買或者管理服務(wù)器,升級透明,Data Lake Analytics基于ECS輕松做到彈性伸縮服務(wù)。能讓業(yè)務(wù)真正做到按需擴存儲,按使用量付費分析,不分析只需要擁有存儲成本,整個方案成本極低。
數(shù)據(jù)分析架構(gòu)更加靈活無論是自建Hadoop、開源的Greenplum等方案,存儲和計算成本都是一體化的。選擇了某種大數(shù)據(jù)分析技術(shù)后,存儲和計算的方案都是固化的。而Data Lake Analytics的出現(xiàn),則打破了這一架構(gòu)局限性,使得數(shù)據(jù)分析方案更加靈活。客戶可以選擇將海量的KV查詢的數(shù)據(jù)存儲TableStore中,Data Lake Analytics可以告訴的查詢處理TableStore中的數(shù)據(jù)。可以將業(yè)務(wù)流水?dāng)?shù)據(jù)存儲在關(guān)系型數(shù)據(jù)庫(MySQL、SQL Server、PostgreSQL)中,Data Lake Analytics可以賦予上述數(shù)據(jù)庫復(fù)雜的查詢能力。用戶可以將日志或者歸檔數(shù)據(jù)存儲在OSS中,使用Data Lake Analytics快速的分析處理OSS中的數(shù)據(jù)。在對于云上中小企業(yè)來說,可以結(jié)合業(yè)務(wù)的特點選擇最廉價的存儲搭配最普惠靈活的的分析能力,同時Data Lake Analytics還可以很好的將上述眾多數(shù)據(jù)源做聯(lián)邦查詢。
ETL搬數(shù)據(jù)時代結(jié)束以往數(shù)據(jù)分析,需要將各路數(shù)據(jù)源(關(guān)系型數(shù)據(jù)庫、日志、NoSQL等),按照天或者小時級別做抽取,匯總到數(shù)據(jù)倉庫中做數(shù)據(jù)關(guān)聯(lián)處理。Data Lake Analytics設(shè)計之初天然具有聯(lián)邦分析能力,使得客戶的數(shù)據(jù)不再需要搬遷至數(shù)據(jù)倉庫匯總分析,而是就地分析。同時還能很好的跨異構(gòu)數(shù)據(jù)源做關(guān)聯(lián)分析、回流至關(guān)系型數(shù)據(jù)庫或者OLAP引擎。
分析時效性大幅提升傳統(tǒng)數(shù)倉,無論是H+1 還是T+1方案,由于數(shù)據(jù)同步周期長,架構(gòu)鏈路長,導(dǎo)致時效性很差。Data Lake Analytics的多數(shù)據(jù)源聯(lián)邦查詢處理能力,避免了數(shù)據(jù)搬遷的同時,大大提升了數(shù)據(jù)處理的時效性,同時由于縮短了采集、存儲、計算的鏈路,方案運行更加穩(wěn)定。
總結(jié)?
傳統(tǒng)數(shù)據(jù)分析的抽取-裝載-轉(zhuǎn)換-回流的架構(gòu)支撐了數(shù)據(jù)倉庫多年的發(fā)展,而Data Lake Analytics的出現(xiàn),給傳統(tǒng)數(shù)據(jù)分析架構(gòu)帶來革新的同時,也賦予了云上目前OSS、TableStore、關(guān)系型數(shù)據(jù)庫(PostgreSQL/MySQL/SQL Server等)存儲強大的分析能力。對于云上中小企業(yè)來說,可以選擇用最廉價、最適合業(yè)務(wù)場景的存儲,來搭配最普惠靈活的的分析能力。阿里云Data Lake Analytics正是最普惠靈活的分析能力的實踐者,目前公測期間免費試用,歡迎大家前來體驗。
了解更多大數(shù)據(jù)家族產(chǎn)品詳情,歡迎點擊:
https://et.aliyun.com/bigdatarelease
點擊觀看大數(shù)據(jù)家族產(chǎn)品發(fā)布會:
https://yq.aliyun.com/webinar/play/508
【阿里云新品發(fā)布】開啟新一代數(shù)據(jù)智能開發(fā)之路:
https://yq.aliyun.com/roundtable/325525
?
原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容,未經(jīng)允許不得轉(zhuǎn)載。
總結(jié)
以上是生活随笔為你收集整理的Data Lake Analytics-数据分析时代迎来新变革的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 为了让开发者写MaxCompute SQ
- 下一篇: 一份关于机器学习中线性代数学习资源的汇总