問題背景：
在對Hive求count(*)時，發現有些表會啟mapreduce計算、返回 結果，比較耗時，有的表1秒之內返回結果
剛開始以為剛剛執行過一次count()后會對結果進行緩存，不用再去跑mapreduce，但經進一步實驗發現大多數表每次執行count()操作都會跑mapreduce，于是猜測的結論不成立。
后在必應查找原因，大部分的結果都指向了：‘hive從1.0開始采用Fetch Task， 對于簡單查詢的自動優化’
具體內容可以參考：http://blog.javachen.com/2014/06/09/fetchtask-in-hive.html

查找思路：
經過了解Fetch Task發現，它對簡單查詢會直接讀取文件，但是不適用于聚合操作，繼續查找原因，發現有人提到分區表，是有把分區的信息寫入元數據，于是查看hive的mysql元數據表。

問題解決：
在hive的元數據庫‘hive’庫中有8張跟分區表有關的表，其中partitions保存有分區表的源表、分區id等信息，而在另一張表‘partition_params’表中存有 part_id 和對應的參數值（其中包括行數，行數據大小，總大小等）
答案就很明了了，分區表的count(*)是從元數據表中所取，而并非從所有節點上 map 然后reduce。

總結

以上是生活随笔為你收集整理的Hive分区表count(*)不起mapreduce的真相的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。