Hive性能优化秘籍
生活随笔
收集整理的這篇文章主要介紹了
Hive性能优化秘籍
小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
1. Fetch抓取
Fetch 抓取是指,Hive 中對(duì)某些情況的查詢可以不必使用 MapReduce 計(jì)算。例如:SELECT * FROM employees; 在這種情況下,Hive 可以簡(jiǎn)單地讀取 employee 對(duì)應(yīng)的存儲(chǔ)目錄下的文件,然后輸出查詢結(jié)果到控制臺(tái)。
-
修改 hive-default.xml.template 文件中 hive.fetch.task.conversion 的值為 more(默認(rèn)是more),該屬性修改為more以后,在全局查找、字段查找、limit查找等都不走 mapreduce。
<property><name>hive.fetch.task.conversion</name>
總結(jié)
以上是生活随笔為你收集整理的Hive性能优化秘籍的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: [简洁版] CentOS NTP服务器搭
- 下一篇: 频率选择性衰落