在數據體量121億條賬戶下進行資金查詢測試，天云數據Hubble的性能是Impala的231%倍。

Impala，一種棲息在非洲南部的高角羚，行動敏捷奔跑迅速，以其優雅的姿勢和杰出的跳躍能力而出名。受驚的時候可以跳起 3米高，9米遠。

Cloudera研發這頭高角羚（Impala）的初衷也很明了——提高Hive SQL查詢的速度。就官方測試性能開看，Impala比Hive快10到100倍，其SQL查詢比SparkSQL還要更加快速。Impala號稱是當前大數據領域最快的查詢SQL工具，也因其更快的速度被市場所熟知。其面對即席查詢(Ad-Hoc Query)類請求的穩定性和速度在工業界得到過廣泛的驗證。

我們所熟知阿里巴巴、百度、google、facebook，包括新一代的分布式計算、容器化、機器學習人工智能等技術框架都在使用Impala。Impala突破了單機技術的限制，打開了分布式技術的大門，是技術架構革命性創新的引領者。

眾所周知，傳統技術機構主要依賴于-IOE（ IBM的小型機、Oracle數據庫、EMC存儲設備），只能通過增加配置提升性能，系統無法橫向水平擴展。分布式存儲不僅解決了單機存儲的性能瓶頸，還支撐海量數據在線實時并發服務應用。

傳統技術好比轎車，能承載多少人是固定的，想多承載人只能換成客車；但分布式存儲技術好比火車和高鐵，按節承載，遇到春運可以增加車廂運輸客流量。

國產數據庫產品Hubble就是這高速列車，雖不是為速度而生，卻在速度上趕超Impala。

在數據體量121億條賬戶下進行資金查詢測試， Hubble的性能是Impala的231%倍。

之所以做這個測試，源于某證券用戶在使用Hubble進行數據查詢后，感嘆到：這也太快了，簡直比Impala還快。

Hubble，人類天眼，位于地球的大氣層之上的光學望遠鏡。從1990年到2015年4月，哈勃望遠鏡在地球軌道上運行了接近13萬7千圈，累計54億公里，執行了120多萬次觀測任務，觀察了超過38，000個天體，增進了人類對宇宙的了解。“哈勃遺產場”是迄今最完整最全面的宇宙圖譜。

天云數據研發Hubble的初衷也非常明了，融合傳統數據庫形成支持混合負載交易的數據聯邦。在實際應用中，hubble完成了‘去IOE’中最困難的部分，在幾家大型商業銀行核心交易中成功替換Oracle，在銀行的聯機事務中解決A類核心系統減負問。一句話概述，Hubble讓生態合作伙伴無縫切入大數據服務領域。

在分布式的新世界里，數據從‘生產產物’變成了‘生產者’，數據身份的轉換對技術、人才的需求都發生了改變。很多企業想進入大數據服務領域，苦于人才難找、技術不行、項目周期太長、運維成本太高。這就好比一個人想寫一本內容涵蓋家庭裝修、家庭布置、家庭關系處理的書，雖然都跟家庭有關，但具體內容卻是術業有專攻，需要大量時間學習這三個方向的內容然后進行整合。但是在hubble的世界里只需調動這三個方向的專家，讓他們各自撰寫自己擅長的內容，然后整合到一起，專業度更有保障，出書所需時間更短。

為什么Hubble會在速度上如此有優勢？

從 SQL 解析層上，Hubble 采用基于 AI 評估函數創建模型，在需要的時候直接調用完成目 標的預測并估算每組執行計劃的代價。簡單來說，就是用經驗使用數據，用數據更新經驗， 雙管齊下速度更優。

在數據存儲層上，Hubble 采用基于切片的列式存儲和 KV 存儲的混合部署模式。大數據環境下的Hbase、HP Vertica、EMC Greenplum 等分布式數據庫采用的列式存儲。常規行式存儲下一張表的數據都是放在一起的，查詢時所有數據都要被讀取。但列式存儲下數據被分開保存了，查詢時只有涉及到的列會被讀取，從而對于大表數據效率更高。KV 存儲把不常變動的一些數據存儲在kvstore中，需要的時候直接憑借key拿出value 就好，方便快捷就是它應對隨機IO訪問的優勢。在大規模數據同時支持密集AP計算和TP并發場景下，基于數據切片的混布存儲策略可以彈性適應IO特性，需要進一步優化時也可以快速做庫內轉換，避免數據復制和冗余。

在數據計算上，hubble是基于內存的計算框架，輸出結果可以保存在內存中，減少數據的落地，后續的執行結果有依賴前面結果的可以直接從內存中獲取得到，避免了磁盤的io操作，性能更高速度更快。

據IDC預測，2017-2022年，全球軟分布式存儲市場規模的平均增速為14.7%，而中國分布式存儲市場的平均增速為32.5%。有分析師樂觀地預測，未來3年，在中國市場上，分布式存儲或將占據整個存儲市場的半壁江山。

未來學家阿爾文·托夫勒說：“如今所有的國家都面對一個逃不了的規律—最快者生存。“

總結

以上是生活随笔為你收集整理的Impala打开分布式技术的大门 天云数据Hubble赶超的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。