Hadoop歷史服務(wù)器

?Hadoop自帶了一個(gè)歷史服務(wù)器，可以通過(guò)歷史服務(wù)器查看已經(jīng)運(yùn)行完的Mapreduce作業(yè)記錄，比如用了多少個(gè)Map、用了多少個(gè)Reduce、作業(yè)提交時(shí)間、作業(yè)啟動(dòng)時(shí)間、作業(yè)完成時(shí)間等信息。默認(rèn)情況下，Hadoop歷史服務(wù)器是沒(méi)有啟動(dòng)的，我們可以通過(guò)下面的命令來(lái)啟動(dòng)Hadoop歷史服務(wù)器

歷史服務(wù)器開(kāi)啟? mr-jobhistory-daemon.sh start historyserver

配置歷史服務(wù)器

在配置文件前需要注意的一點(diǎn)就是先把進(jìn)程打開(kāi) start-all.sh，不然是訪(fǎng)問(wèn)不到網(wǎng)頁(yè)的

首先根目錄創(chuàng)建一個(gè)目錄文件夾

運(yùn)行 一 個(gè)wordcount 程序 圖中標(biāo)注有詳細(xì)步驟

在web端網(wǎng)頁(yè)觀(guān)察 yarn 的頁(yè)面 ip地址為 主機(jī)名:8088
注：如果進(jìn)入網(wǎng)頁(yè)沒(méi)有application說(shuō)明配置文件有問(wèn)題，仔細(xì)查看 集群配置文件內(nèi)容? 進(jìn)入有詳細(xì)配置文件代碼?全分布式集群搭建

歷史服務(wù)器 是mapred-site.xml文件
全分布式集群搭建?有配置文件代碼及詳細(xì)步驟

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value><final>true</final></property><property><name>mapreduce.jobhistory.address</name><!-- 啟動(dòng)歷史服務(wù)器--><value>hadoop:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><!-- 歷史服務(wù)器web訪(fǎng)問(wèn)地址--><value>hadoop:19888</value></property></configuration>

記得集群機(jī)器都得配置，如果配過(guò)了就不需要在配置了

日志聚合 在yarn-site.xml 文件
全分布式集群搭建?有配置文件代碼及詳細(xì)步驟

<property> <name>yarn.log-aggregation-enable</name><value>true</value><!--開(kāi)啟日志聚合 --> </property><property> <name>yarn.nodemanager.remote-app-log-dir</name><value>/hadoop/logs</value><!--日志聚合到一個(gè)文件夾中 --> </property>

注：每臺(tái)機(jī)器都得配置

配置完畢以后 重啟yarn 進(jìn)程 如果進(jìn)程已開(kāi) 則先執(zhí)行 stop-yarn.sh 在執(zhí)行start-yarn.sh

啟動(dòng)歷史服務(wù)器

• 開(kāi)啟jobhistory進(jìn)程執(zhí)行：mr-jobhistory-daemon.sh start historyserver
• 關(guān)閉jobhistory進(jìn)程執(zhí)行：mr-jobhistory-daemon.sh stop historyserver

點(diǎn)開(kāi)進(jìn)入yarn網(wǎng)頁(yè)端 ip地址為 主機(jī)名:8088
若頁(yè)面沒(méi)有application 再次重新執(zhí)行一次 wordcount 程序
注：第2點(diǎn)有詳細(xì)步驟

如果在點(diǎn)擊 history 歷史記錄進(jìn)入的時(shí)候，報(bào) Not found 找不到什么之類(lèi)的問(wèn)題時(shí)，重新啟動(dòng)歷史服務(wù)器的進(jìn)程就好了。

總結(jié)

以上是生活随笔為你收集整理的hadoop—集群配置历史服务器及访问历史服务器日志的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。