日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

hive和hbase区别和联系

發(fā)布時間:2025/3/8 编程问答 9 豆豆
生活随笔 收集整理的這篇文章主要介紹了 hive和hbase区别和联系 小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
作者:有點文
鏈接:https://www.zhihu.com/question/21677041/answer/185664626
來源:知乎
著作權歸作者所有。商業(yè)轉(zhuǎn)載請聯(lián)系作者獲得授權,非商業(yè)轉(zhuǎn)載請注明出處。

先放結(jié)論:Hbase和Hive在大數(shù)據(jù)架構中處在不同位置,Hbase主要解決實時數(shù)據(jù)查詢問題,Hive主要解決數(shù)據(jù)處理和計算問題,一般是配合使用。

一、區(qū)別:

  • Hbase: Hadoop database 的簡稱,也就是基于Hadoop數(shù)據(jù)庫,是一種NoSQL數(shù)據(jù)庫,主要適用于海量明細數(shù)據(jù)(十億、百億)的隨機實時查詢,如日志明細、交易清單、軌跡行為等。
  • Hive:Hive是Hadoop數(shù)據(jù)倉庫,嚴格來說,不是數(shù)據(jù)庫,主要是讓開發(fā)人員能夠通過SQL來計算和處理HDFS上的結(jié)構化數(shù)據(jù),適用于離線的批量數(shù)據(jù)計算。
    • 通過元數(shù)據(jù)來描述Hdfs上的結(jié)構化文本數(shù)據(jù),通俗點來說,就是定義一張表來描述HDFS上的結(jié)構化文本,包括各列數(shù)據(jù)名稱,數(shù)據(jù)類型是什么等,方便我們處理數(shù)據(jù),當前很多SQL ON Hadoop的計算引擎均用的是hive的元數(shù)據(jù),如Spark SQL、Impala等;
    • 基于第一點,通過SQL來處理和計算HDFS的數(shù)據(jù),Hive會將SQL翻譯為Mapreduce來處理數(shù)據(jù);

    二、關系

    在大數(shù)據(jù)架構中,Hive和HBase是協(xié)作關系,數(shù)據(jù)流一般如下圖:

  • 通過ETL工具將數(shù)據(jù)源抽取到HDFS存儲;
  • 通過Hive清洗、處理和計算原始數(shù)據(jù);
  • HIve清洗處理后的結(jié)果,如果是面向海量數(shù)據(jù)隨機查詢場景的可存入Hbase
  • 數(shù)據(jù)應用從HBase查詢數(shù)據(jù);

  • 總結(jié)

    以上是生活随笔為你收集整理的hive和hbase区别和联系的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。

    如果覺得生活随笔網(wǎng)站內(nèi)容還不錯,歡迎將生活随笔推薦給好友。