hive和hbase区别和联系
生活随笔
收集整理的這篇文章主要介紹了
hive和hbase区别和联系
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
作者:有點文
鏈接:https://www.zhihu.com/question/21677041/answer/185664626
來源:知乎
著作權歸作者所有。商業(yè)轉(zhuǎn)載請聯(lián)系作者獲得授權,非商業(yè)轉(zhuǎn)載請注明出處。
Hbase: Hadoop database 的簡稱,也就是基于Hadoop數(shù)據(jù)庫,是一種NoSQL數(shù)據(jù)庫,主要適用于海量明細數(shù)據(jù)(十億、百億)的隨機實時查詢,如日志明細、交易清單、軌跡行為等。 Hive:Hive是Hadoop數(shù)據(jù)倉庫,嚴格來說,不是數(shù)據(jù)庫,主要是讓開發(fā)人員能夠通過SQL來計算和處理HDFS上的結(jié)構化數(shù)據(jù),適用于離線的批量數(shù)據(jù)計算。 通過ETL工具將數(shù)據(jù)源抽取到HDFS存儲; 通過Hive清洗、處理和計算原始數(shù)據(jù); HIve清洗處理后的結(jié)果,如果是面向海量數(shù)據(jù)隨機查詢場景的可存入Hbase 數(shù)據(jù)應用從HBase查詢數(shù)據(jù);
鏈接:https://www.zhihu.com/question/21677041/answer/185664626
來源:知乎
著作權歸作者所有。商業(yè)轉(zhuǎn)載請聯(lián)系作者獲得授權,非商業(yè)轉(zhuǎn)載請注明出處。
先放結(jié)論:Hbase和Hive在大數(shù)據(jù)架構中處在不同位置,Hbase主要解決實時數(shù)據(jù)查詢問題,Hive主要解決數(shù)據(jù)處理和計算問題,一般是配合使用。
一、區(qū)別:
- 通過元數(shù)據(jù)來描述Hdfs上的結(jié)構化文本數(shù)據(jù),通俗點來說,就是定義一張表來描述HDFS上的結(jié)構化文本,包括各列數(shù)據(jù)名稱,數(shù)據(jù)類型是什么等,方便我們處理數(shù)據(jù),當前很多SQL ON Hadoop的計算引擎均用的是hive的元數(shù)據(jù),如Spark SQL、Impala等;
- 基于第一點,通過SQL來處理和計算HDFS的數(shù)據(jù),Hive會將SQL翻譯為Mapreduce來處理數(shù)據(jù);
二、關系
在大數(shù)據(jù)架構中,Hive和HBase是協(xié)作關系,數(shù)據(jù)流一般如下圖:
總結(jié)
以上是生活随笔為你收集整理的hive和hbase区别和联系的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 24.路由
- 下一篇: 关于mac注册机core keygen在