一、Hadoop安全模式

在分布式文件HDFS系統啟動的時候，會有安全模式，當分布式文件系統處于安全模式的情況下，文件系統中的內容不允許修改也不允許刪除，直到安全模式結束。

安全模式主要是為了系統啟動的時候檢查各個DataNode上數據塊的有效性，同時根據策略必要的復制或者刪除部分數據塊。

運行期通過命令也可以進入 安全模式。

實際操作中，可以通過命令進入安全模式，系統啟動的時候去修改和刪除文件也會有安全模式不允許修改的出錯提示，只需要等待一會兒即可。

Master配置Hadoop環境變量

vi /etc/profile

添加：

export HADOOP_HOME=/opt/hadoop-3.1.4 export PATH=$PATH:$HADOOP_HOME/bin

是環境使生效

source /etc/profile

1.1、HDFS啟動日志分析

工作流程：

啟動NameNode，NameNode加載fsimage。

加載edits log。

NameNode等待DataNode上傳block列表信息，直到副本數量滿足最小副本條件。（最小副本條件指整個文件系統中有99.9%的block達到了最小副本數）

當滿足了最小副本條件，再等待一段時間，NameNode就會自動退出安全模式。

啟動HDFS
我們來嘗試添加一個文件：
進入hadoop安裝位置/opt/hadoop-3.1.3

hdfs dfs -mkdir -p /user/roothdfs dfs -put LICENSE.txt NOTICE.txt README.txt .

執行上面兩條語句，文件就上傳成功了

1.2、Safemode進入方式

只啟動Namenode

只啟動Namenode & 一個Datanode

通過命令查看namenode是否處于安全模式：

hdfs dfsadmin -safemode get

進入安全模式：

hdfs dfsadmin -safemode enter

注意：

對文件系統元數據進行只讀操作。

當文件的所有block信息具備的情況下，對文件進行只讀操作。

不允許進行文件修改(寫，刪除或者重命名文件)。

---

二、Hadoop集群基本信息

在Hadoop中集群的基本信息主要包含分布式文件系統HDFS和分布式資源管理YARN。

分布式文件系統HDFS主要包含文件系統的狀態，是否有塊丟失、備份丟失等等。同時，包含集群節點狀態等。

分布式資源管理YARN主要包含集群節點狀態，節點資源（內存，CPU等），隊列狀態等。

查看HDFS集群基本信息的指令：

hdfs fsck /

總結

以上是生活随笔為你收集整理的学习笔记Hadoop（九）—— Hadoop基础操作（1）—— Hadoop安全模式、Hadoop集群基本信息的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。