Hadoop日志詳解

日志分析

?.log為log4j詳細日志，.out為標準輸出（一般查看.log）

?Userlogs為程序的日志信息，其它(.out，.log)為進程啟動日志信息

JobHistory配置

?啟動yarn下的jobhistory進程查看任務日志（mr-jobhistory-daemon.sh start historyserver）

日志配置

?開啟任務日志查看；配置yarn-site.xml

yarn.log-aggregation-enable = true

設置日志刪除時間（7天）

yarn.log-aggregation.retain-seconds = 604800

修改日志目錄

yarn.nodemanager.remote-app-log-dir = /logs

Uber調優

?對于小作業開啟Uber調優使得任務運行在同一個jvm中，減少時間

?配置map-red.xml

開啟uber模式

mapreduce.job.ubertask.enable = true

啟動uber模式的最大map數，當任務的map數小于9時啟動uber模式

mapreduce.job.ubertask.maxmaps = 9

啟動uber模式的最大reduce數

mapreduce.job.ubertask.maxreduces = 1

Hadoop 主機配置

Hadoop 兩類配置文件

hadoop-2.7.1\share\hadoop?里面的jar中的配置文件

hadoop-2.7.1\etc\hadoop 里面的配置文件

Hadoop 優先級

命令行執行指定參數（-D）> etc下配置 >jar中的配置

Hadoop 用戶與權限

HDFS 安全模式

當只啟動namenode而未啟動datanode時，因為namenode無法獲取datanode的響應，hdfs將會進入安全模式

當datanode丟失的文件數量達到所配置的大小時，也會進入安全模式

進入安全模式則只能查看信息，無法寫信息

可以使用get命令查看安全狀態，使用leave命令離開安全模式

Hadoop 權限控制

<!-- 關閉權限 --> <property><name>dfs.permissions.enabled</name><value>false</value> </property>

Hadoop 啟動方式

start-all.sh啟動所有（已過時）

start-dfs.sh start-yarn.sh

分別啟動獨立進程

配置文件示例：

core-site.xml

<configuration><property><name>fs.defaultFS</name><value>hdfs://hadoop:8020</value></property><property><name>hadoop.tmp.dir</name><value>/home/softwares/hadoop-2.7.1/data/tmp</value></property><!-- yarn web ui界面右上角顯示的用戶名稱，自定義為hadoop --><property><name>hadoop.http.staticuser.user</name><value>hadoop</value></property> </configuration>

hadoop-env.sh

# The java implementation to use. export JAVA_HOME=/usr/local/program/jdk1.7.0_67

hdfs-site.xml

<configuration><property><name>dfs.replication</name><value>1</value></property><!-- 瀏覽器訪問的端口 --><property><name>dfs.namenode.secondary.http-address</name><value>hadoop:50090</value></property><!-- namenode web ui的端口 --><property><name>dfs.namenode.http-address</name><value>hadoop:50070</value></property><!-- 關閉權限 --><property><name>dfs.permissions.enabled</name><value>false</value></property> </configuration>

mapred-site.xm

<configuration> <property><name>mapreduce.framework.name</name><value>yarn</value></property><!-- 開啟uber模式（針對小作業的優化） --><property><name>mapreduce.job.ubertask.enable</name><value>true</value></property><!-- 啟動uber模式的最大map數 --><property><name>mapreduce.job.ubertask.maxmaps</name><value>9</value></property><!-- 啟動uber模式的最大reduce數 --><property><name>mapreduce.job.ubertask.maxreduces</name><value>1</value></property><!-- jobhistory的web端口 --><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop:19888</value></property><!-- jobhistory通信端口 --><property><name>mapreduce.jobhistory.address</name><value>hadoop:10020</value></property> </configuration>

yarn-site.xml

<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!-- 開啟日志 --><property><name>yarn.log-aggregation-enable</name><value>true</value></property> <!-- 日志刪除時間（七天） --><property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value></property><!-- 修改日志目錄 --><property><name>yarn.nodemanager.remote-app-log-dir</name><value>/logs</value></property><!-- 配置rm的主機 --><property><name>yarn.resourcemanager.hostname</name><value>hadoop</value></property><!-- 配置yarn的web端口--><property><name>yarn.resourcemanager.webapp.address</name><value>hadoop:8088</value></property><!-- yarn通信端口 --><property><name>yarn.resourcemanager.address</name><value>hadoop:8032</value></property><property><name>yarn.web-proxy.address</name><value>hadoop:8888</value></property> </configuration>

總結

以上是生活随笔為你收集整理的Hadoop配置完善的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。