hdfs web_ui深入讲解、服务启动日志分析、NN SNN关系
hdfs啟動(dòng)順序:
? ? ?1、namenode
? ? ? 2、datenode
? ? ?3、secondnamenode? ? ? ??
? ? ?4、yarn
webui:?
? ??????? 默認(rèn)為50070端口,dfsheath
? ? ui內(nèi)容講解:
? ??????? ClusterID: namenode格式化時(shí)生成的(hdfs namenode -format)
? ? ? ? ? BlockpoolID:數(shù)據(jù)塊池
? ? ? ? ? ?(為了federation 和內(nèi)存管理使用。)
? ? ? ? ??
? ? ?namenode Journal status:
? ? ? ? ?就是edit日志
? ? ?namenode storage: ? ??
? ? ? ? ? 鏡像文件存儲(chǔ)信息
?????
? ? ? ? ???????
? ? ??????
? ? ? ? ??
? ? ?
啟動(dòng)日志文件目錄 $HADOOP_HOME/logs:
? ? ? x.log: 通過(guò)log4j記錄,記錄大部分應(yīng)用程序的日志信息
? ? ? x.out ?記錄標(biāo)準(zhǔn)輸出和標(biāo)準(zhǔn)錯(cuò)誤日志,少量記錄
日志文件的命名規(guī)則:
? ? ?[ ?框架名稱- 用戶名- 進(jìn)程名- 主機(jī)名--日志格式后綴 ]
Secondary namenode:
? ? ? ? 1、客戶端對(duì)hdfs的操作會(huì)記錄到edits文件中, 即journal 。
? ? ? ? 2、namenode 內(nèi)存中的內(nèi)容為 fsimage+edits
? ? ? ? 3、 namenode 的fsimage和edite文件定時(shí)合并后,同步到secondary namenode上。
? ? ?
總結(jié)
以上是生活随笔為你收集整理的hdfs web_ui深入讲解、服务启动日志分析、NN SNN关系的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 净利润和毛利润的区别 净利润与毛利润的区
- 下一篇: 分布式锁的实现