簡介：?近幾年，數(shù)據湖架構的概念逐漸興起，很多企業(yè)都在嘗試構建數(shù)據湖。相比較大數(shù)據平臺，數(shù)據湖在數(shù)據治理方面提出了更高的要求。對于數(shù)據湖場景所提出的新需求，“傳統(tǒng)”的大數(shù)據工具在很多方面都面臨著新的挑戰(zhàn)。JindoTable 正是專為解決數(shù)據湖管理結構化數(shù)據甚至是半結構化數(shù)據的痛點而設計的，包括數(shù)據治理功能和查詢加速功能。

概述

近幾年，數(shù)據湖架構的概念逐漸興起，很多企業(yè)都在嘗試構建數(shù)據湖。相比較大數(shù)據平臺，數(shù)據湖在數(shù)據治理方面提出了更高的要求。對于數(shù)據湖場景所提出的新需求，“傳統(tǒng)”的大數(shù)據工具在很多方面都面臨著新的挑戰(zhàn)。JindoTable 正是專為解決數(shù)據湖管理結構化數(shù)據甚至是半結構化數(shù)據的痛點而設計的，包括數(shù)據治理功能和查詢加速功能。

數(shù)據優(yōu)化

數(shù)據湖需要存儲來自各種數(shù)據源的數(shù)據。對于 HDFS 集群，小文件問題讓很多用戶倍感煩惱。在存儲計算分離的數(shù)據湖中，小文件同樣會產生很多問題：過多的文件數(shù)會導致目錄list時間顯著變長，小文件也會影響很多計算引擎的并發(fā)度。此外，由于對象存儲一般以對象為單位，小文件也會導致請求數(shù)量的上升，會明顯影響元數(shù)據操作的性能，更會增加企業(yè)需要支付的費用。而如果數(shù)據文件過大，如果數(shù)據又使用了不可分割的壓縮格式，后續(xù)計算的并發(fā)度會過低，導致無法充分發(fā)揮集群的計算能力。因此，即使是數(shù)據湖架構中，對數(shù)據文件進行治理和優(yōu)化也是非常必要的。

基于數(shù)據湖所管理的元數(shù)據信息，JindoTable 為客戶提供了一鍵式的優(yōu)化功能，用戶只要在資源較為空閑時觸發(fā)優(yōu)化指令，JindoTable 可以自動為用戶優(yōu)化數(shù)據，規(guī)整文件大小，進行適當?shù)呐判颉㈩A計算，生成適當?shù)乃饕畔⒑徒y(tǒng)計信息，結合計算引擎的修改，可以為這些數(shù)據生成更加高效的執(zhí)行計劃，大幅減少用戶查詢的執(zhí)行時間。數(shù)據優(yōu)化對用戶透明，優(yōu)化前后不會出現(xiàn)讀取的數(shù)據不一致的情況。這也是數(shù)據湖的數(shù)據治理所不可或缺的功能。

查詢加速

JindoTable 還有一項重磅功能，就是查詢加速功能。在數(shù)倉中，數(shù)據分析總是越快越好。尤其是 Ad-Hoc 場景，對查詢延遲非常敏感。現(xiàn)在“湖倉一體”的概念也很火，對于數(shù)據湖這種普遍使用存儲計算分離場景的架構，如何盡可能減少 IO 開銷，對于縮短查詢時間是非常關鍵的。

之前介紹的 JindoTable 數(shù)據優(yōu)化功能，是在存儲端減少額外開銷，并且通過提前的計算，為運行時優(yōu)化打好基礎。JindoTable 的查詢加速功能則是在查詢執(zhí)行時，通過把計算推向存儲，減少計算時整體的 IO 壓力，同時利用存儲端空閑的計算資源提供高效的計算，縮短整體查詢時間。JindoTable 的加速服務結合修改后的各種計算引擎，可以把盡可能多的算子下推到緩存端，并且利用高效的 native 計算能力過濾大量原始數(shù)據，再把數(shù)據高效地傳輸給計算引擎。這樣，計算引擎所需處理的數(shù)據大大減少，甚至一些計算也可以直接略過，后續(xù)的計算所需的時間自然也就大為減少。

分層存儲

數(shù)據湖所存儲的數(shù)據量通常增長迅速。對于傳統(tǒng)的 Hadoop 集群，如果數(shù)據量急劇增長，所需的存儲資源也要相應增加，這樣會導致集群規(guī)模迅速擴大，計算資源也會變得過剩。拋開集群規(guī)模增長導致的其他問題不談，光是運營集群的成本問題就足夠讓人頭疼。好在公有云平臺提供了對象存儲的服務，我們可以按存儲的數(shù)據量來付費，這在節(jié)約成本的同時，用戶也不用擔心 HDFS 在集群資源和數(shù)據量快速增長情況下的穩(wěn)定性問題。但數(shù)據量快速增長還是會等比例的增加整體開銷。

阿里云的對象存儲服務 OSS，為用戶提供了低頻存儲和歸檔存儲，對于訪問不是那么頻繁的數(shù)據，如果能夠轉為低頻或歸檔模式來存儲，可以盡量節(jié)約成本。而一部分數(shù)據如果有頻繁的訪問需求，放在遠離計算資源的對象存儲上，又會導致計算時的 IO 出現(xiàn)瓶頸。JindoTable 對接數(shù)據湖中各種計算引擎，以表或分區(qū)為最小單位，統(tǒng)計數(shù)據的訪問頻次。根據用戶設定的規(guī)則，JindoTable 可以告訴用戶哪些表或者分區(qū)的訪問頻次較高，讓用戶可以通過 JindoTable 命令，借助 JindoFS 提供的底層支持，把這些表或者分區(qū)對應的數(shù)據緩存到計算集群內，加速查詢的執(zhí)行。同時，對于訪問頻次較低的表或者分區(qū)，用戶也可以使用 JindoTable 把對應的數(shù)據轉為低頻或者歸檔存儲類型，或是設置生命周期。在需要對歸檔數(shù)據操作的時候，可以直接用 JindoTable 對歸檔數(shù)據進行解凍。JindoTable 還為用戶提供了元數(shù)據管理，方便用戶檢視表或者分區(qū)當前的存儲狀態(tài)。JindoTable 讓用戶能盡可能高效地管理自己的數(shù)據，節(jié)約成本的同時，不犧牲計算性能。

小結

對于企業(yè)來說，數(shù)據湖為各種來源的數(shù)據提供了整合的可能性。背靠豐富的云產品體系，數(shù)據湖架構可以幫助客戶進一步發(fā)掘數(shù)據價值，實現(xiàn)企業(yè)愿景。JindoTable 在數(shù)據湖解決方案中，為用戶提供數(shù)據治理和查詢加速的增值功能，進一步降低用戶數(shù)據入湖的門檻，幫助用戶在更低的成本下，實現(xiàn)更高的數(shù)據價值。

?

原文鏈接
本文為阿里云原創(chuàng)內容，未經允許不得轉載。

總結

以上是生活随笔為你收集整理的【数据湖加速篇】 —— 数据湖结构化数据优化与查询加速方案的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。