Tez說明

將xyz替換為您正在使用的tez發(fā)行版號。例如0.5.0。對于Tez版本0.8.3和更高版本，Tez需要Apache Hadoop版本為2.6.0或更高版本。對于Tez版本0.9.0及更高版本，Tez需要Apache Hadoop版本為2.7.0或更高版本。

---

關(guān)于版本

1.Hadoop 2.7.0+（我的是2.7.1）
2.Tez還需要Protocol Buffers 2.5.0，包括protoc編譯器。(如果你下載的是apache-tez-0.9.0-src.tar.gz包則需要編譯，需要Protocol Buffers 2.5.0)
3.Maven3+
4.Hive 2.1.1
5.tez-0.9.0

---

protobuf-2.5.0安裝

(注：如果下載的是apache-tez-0.9.0-bin.tar.gz則不需要編譯?？梢蕴^這一步，建議下載bin)
1.下載源碼
2.解壓

tar -zxvf protobuf-2.5.0.tar.gz

3.編譯安裝

cd protobuf-2.5.0 ./configure make make install protoc --version #驗證是否安裝成功

---

安裝部署tez

1.下載地址
這里可以選擇
apache-tez-0.9.0-src.tar.gz
apache-tez-0.9.0-bin.tar.gz(建議下載這個，感覺src編譯遇到好多問題。)

2.編譯
a.方式一
我們先來說apache-tez-0.9.0-src.tar.gz

tar -zxvf apache-tez-0.9.0-src.tar.gz #編譯不能用root用戶。 chmod -R 777 apache-tez-0.9.0-src cd apache-tez-0.9.0-src su elk mvn -X clean package -DskipTests=true -Dmaven.javadoc.skip=true

b.方式二
apache-tez-0.9.0-bin.tar.gz（不需要編譯）

tar -zxvf apache-tez-0.9.0-bin.tar.gz cd apache-tez-0.9.0-bin

3.將tez的壓縮包put到hdfs上去
a.方式一
所在文件目錄
apache-tez-0.9.0-src/target
b.方式二
所在文件目錄
apache-tez-0.9.0-bin/share

（注：后面的步驟就一樣了）

hadoop fs -mkdir -p /user/tez hadoop fs -put tez.tar.gz /user/tez

4.在hadoop/etc/hadoop下創(chuàng)建tez-site.xml文件并寫上如下配置

vi tez-site.xml <configuration> <property> <name>tez.lib.uris</name> <value>${fs.defaultFS}/user/tez/tez.tar.gz</value> <!-- 這里指向hdfs上的tez.tar.gz包 --> </property> <property> <name>tez.container.max.java.heap.fraction</name> <!-- 這里是因為我機器內(nèi)存不足，而添加的參數(shù) --> <value>0.2</value> </property> </configuration>

保存后將文件復(fù)制到別的節(jié)點

5.修改hadoop-env.sh追加下列幾行

TEZ_CONF_DIR=/usr/local/hadoop/etc/hadoop/tez-site.xml TEZ_JARS=/usr/local/tez/apache-tez-0.9.0-bin export HADOOP_CLASSPATH=${HADOOP_CLASSPATH}:${TEZ_CONF_DIR}:${TEZ_JARS}/*:${TEZ_JARS}/lib/*

保存后將hadoop-env.sh分發(fā)到集群的各個節(jié)點。

6.重啟hadoop

7.啟動hive

set hive.execution.engine=tez;

如果想要恢復(fù)使用mapreduce

set hive.execution.engine=mr;

• ?

（從時間講，速度似乎是快了三倍。yummm~~~）

8.在配置文件中設(shè)置執(zhí)行引擎為tez
如果不想每次進入hive都

set hive.execution.engine=tez;

• ?

可以在hive的conf目錄下修改hive-site.xml

vi hive-site.xml

• ?

保存之后再重啟，再執(zhí)行操作就會默認(rèn)執(zhí)行引擎為tez了。

---

設(shè)置tez-ui

需要先安裝Tomcat
1.找到war包
因為我安裝的是bin所以在安裝包中就有tez-ui-0.9.0.war
自己編譯的話也有生成，在這里不做過多贅述。

2.將tez-ui部署在tomcat

#在webapps下創(chuàng)建tez-ui目錄 mkdir /usr/local/apache/apache-tomcat-8.5.31/webapps/tez-ui#進入文件 cd /usr/local/apache/apache-tomcat-8.5.31/webapps/tez-ui#解壓war包 unzip tez-ui-0.9.0.war#編輯配置文件 vim config/configs.env

3.配置timelineserver
目錄：/usr/local/hadoop/etc/hadoop

vim yarn-site.xml添加以下內(nèi)容.然后分發(fā)到各個節(jié)點。

<!-- conf timeline server --><property><name>yarn.timeline-service.enabled</name><value>true</value></property><property><name>yarn.timeline-service.hostname</name><value>tmaster</value></property><property><name>yarn.timeline-service.http-cross-origin.enabled</name><value>true</value></property><property><name> yarn.resourcemanager.system-metrics-publisher.enabled</name><value>true</value></property><property><name>yarn.timeline-service.generic-application-history.enabled</name><value>true</value></property><property><description>Address for the Timeline server to start the RPC server.</description><name>yarn.timeline-service.address</name><value>tmaster:10201</value></property><property><description>The http address of the Timeline service web application.</description><name>yarn.timeline-service.webapp.address</name><value>tmaster:8188</value></property><property><description>The https address of the Timeline service web application.</description><name>yarn.timeline-service.webapp.https.address</name><value>tmaster:2191</value></property><property><name>yarn.timeline-service.handler-thread-count</name><value>24</value></property>

• vim tez-site.xml添加下列幾行，分發(fā)到各個節(jié)點。

<!--Configuring Tez to use YARN Timeline--><property><name>tez.history.logging.service.class</name><value>org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService</value></property><property><name>tez.tez-ui.history-url.base</name><value>http://192.168.205.70:8880/tez-ui/</value></property>

• 4.啟動hadoop

5.啟動timelineserver

yarn-daemon.sh start timelineserver

• 6.啟動tomcat

/usr/local/apache/apache-tomcat-8.5.31/bin/startup.sh

• 訪問界面

http://192.168.205.70:8880/tez-ui/

---

參考資料：
1.Tez網(wǎng)站
2.Tez設(shè)計文檔
3.The Stinger Initiative: Making Apache Hive 100 Times Faster
4.hive on tez

總結(jié)

以上是生活随笔為你收集整理的Tez 0.9安装部署+hive on tez配置 + Tez-UI的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。