hadoop
--------------
分布式計算框架。

common //
hdfs //存儲
mapreduce //MR,編程模型.
yarn //資源調度.

集群部署
-----------
1.standard alone/local
nothing.
2.偽分布式
一臺機器.
NN //目錄
DN //DataNode,block（128M）
//
RM
NM
2NN
3.
4.
5.

jar

項目管理
--------------------
pom.xml
artifact //

?

安裝maven
----------------
項目管理軟件。
軟件之間的依賴關系。
${user_hoime}/.m2
[windows]
1.加壓即可
不要放中文或空格目錄。
2.配置環境變量.
M2_HOME=c:\myprograme\apache-maven-3.3.9
PATH=...;%M2_HOME%\bin

3.驗證是否安裝成功
cmd>mvn -v

4.修改默認的倉庫位置
[${maven_home}/conf/setttings.xml]
<settings ...>
...
<localRepository>e:/repo</localRepository>
...
</settings>

5.配置idea使用指定settings.xml文件.

[Centos]
1.tar開文件
/soft/apache-maven-3.3.9
/soft/maven --> maven-3.3.9
2.配置環境
[/etc/profile]
M2_HOME=/soft/maven
PATH=$PATH:$M2_HOME/bin

3.驗證是否成功
$>mvn -v

安轉idea
-----------------
1.右鍵點擊ideaIU-2016.3.2.exe文件，選擇管理員身份運行.
2.打開idea.
3.
4.
5.

依賴
-------------
<dependency>
<!-- 組id,解析成目錄org/apache/hadoop/hadoop-hdfs/2.7.3 -->
<groupId>org.apache.hadoop</groupId>
<!-- 工件id -->
<artifactId>hadoop-hdfs</artifactId>
<!-- 版本 -->
<version>2.7.3</version>
</dependency>

?

eclipse idea
--------------------------
工作空間 項目
項目 模塊

?

hadoop
--------------
http://s201:50070/

1073742863 == 134217728
1073742864 == 79874467

hdfs常見操作
-------------------
1.查看hdfs幫助
$>hdfs
2.hdfs dfs

3.hdfs

配置hadoop的最小blocksize，必須是512的倍數。
-------------------------------------------
[hdfs-site.xml]
dfs.namenode.fs-limits.min-block-size=1024
write,進行校驗，512進行一次教研。

單獨配置輔助名稱節點
---------------------
[hdfs-site.xml]
dfs.namenode.secondary.http-address=s126:50090

使用oiv命令查詢hadoop鏡像文件
------------------------------
hdfs oiv -i fsimage -o a.xml -p XML //查看鏡像文件。

hdfs dfsadmin管理命令
----------------------
$>hdfs dfsadmin //查看幫助
$>hdfs dfsadmin -help rollEdits //查看指定命令的幫助
$>hdfs dfsadmin -rollEdits //滾動編輯日志

啟動hdfs時，鏡像文件編輯日志進行融合，編輯日志滾動。

查看hdfs是否在安全模式
------------------------
$>hdfs dfsadmin -safemode enter //進入
$>hdfs dfsadmin -safemode get //查看
$>hdfs dfsadmin -safemode leave //退出
$>hdfs dfsadmin -safemode wait //等待

hadoop
--------------------
$>hadoop fs //hdfs dfs
$>hadoop checknative //檢查壓縮庫本地安裝情況
$>hadoop namenode -format //格式化名稱

hdfs管理命令
--------------------
hdfs dfsadmin //

保存名字空間,需要進入安全模式
--------------------------------
$>hdfs dfsamdin -saveNamespace

hadoop啟動命令
------------------
$>start-all.sh //start-dfs.sh + start-yarn.sh
$>start-dfs.sh //hadoop-daemon.sh start namenode
//hadoop-daemons.sh start datanode
$>start-yarn.sh //yarn-daemon.sh start resourcemanager
//yarn-daemons.sh start nodemanager

配額管理(quota)
-------------------
[目錄配額]
計算目錄下的所有文件的總個數。如果1，表示空目錄。
$>hdfs dfsadmin -setQuota 1 dir1 dir2 //設置目錄配額
$>hdfs dfsadmin -clrQuota 1 dir1 dir2 //清除配額管理

[空間配額]
計算目錄下的所有文件的總大小.包括副本數.
空間配置至少消耗384M的空間大小(目錄本身會占用384M的空間)。
$>hdfs dfsadmin -setSpaceQuota 3 data
$>echo -n a > k.txt
$>hdfs dfs -put k.txt data2
$>hdfs dfsadmin -clrSpaceQuota dir1 //清除配額管理

快照管理
--------------------
1.描述
迅速對文件(夾)進行備份。不產生新文件，使用差值存儲。
默認是禁用快照,先啟用。
2.命令
$>hdfs dfsadmin -allowSnapShot dir1 //在dir1啟用快照
$>hdfs dfsadmin -disallowSnapShot dir1 //在dir1啟用快照
$>hdfs dfs -createSnapshot dir ss1 //創建快照
$>hdfs dfs -renameSnapshot dir ss1 ss2 //重命名
$>hdfs dfs -deleteSnapshot dir ss1 //刪除快照

slaves

黑白名單的組合情況
-------------------------
include //dfs.include
exclude //dfs.hosts.include

include exclude Interpretation
No No 不能連接
No Yes 不能連接
Yes No 可以連接
Yes Yes 可以連接,將會退役狀態。

節點的服役和退役(hdfs)
----------------------
[添加新節點]
1.在dfs.include文件中包含新節點名稱,該文件在nn的本地目錄。
[白名單]
[s201:/soft/hadoop/etc/dfs.include.txt]
s202
s203
s204
s205
2.在hdfs-site.xml文件中添加屬性.
<property>
<name>dfs.hosts</name>
<value>/soft/hadoop/etc/dfs.include.txt</value>
</property>

3.在nn上刷新節點
$>hdfs dfsadmin -refreshNodes

4.在slaves文件中添加新節點ip(主機名)
s202
s203
s204
s205 //新添加的

5.單獨啟動新的節點中的datanode
[s205]
$>hadoop-daemon.sh start datanode

[退役]
1.添加退役節點的ip到黑名單,不要更新白名單.
[/soft/hadoop/etc/dfs.hosts.exclude.txt]
s205

2.配置hdfs-site.xml
<property>
<name>dfs.hosts.exclude</name>
<value>/soft/hadoop/etc/dfs.hosts.exclude.txt</value>
</property>

3.刷新nn節點
$>hdfs dfsadmin -refreshNodes

4.查看webui,節點狀態在decommisstion in progress.

5.當所有的要退役的節點都報告為Decommissioned,數據轉移工作已經完成。

6.從白名單刪除節點,并刷新節點
[s201:/soft/hadoop/etc/dfs.include.txt]
...

$>hdfs dfsadmin -refreshNodes

7.從slaves文件中刪除退役節點

節點的服役和退役(yarn)
----------------------
[添加新節點]
1.在dfs.include文件中包含新節點名稱,該文件在nn的本地目錄。
[白名單]
[s201:/soft/hadoop/etc/dfs.include.txt]
s202
s203
s204
s205
2.在yarn-site.xml文件中添加屬性.
<property>
<name>yarn.resourcemanager.nodes.include-path</name>
<value>/soft/hadoop/etc/dfs.include.txt</value>
</property>

3.在nn上刷新節點
$>yarn rmadmin -refreshNodes

4.在slaves文件中添加新節點ip(主機名)
s202
s203
s204
s205 //新添加的

5.單獨啟動新的節點中的nodemananger
[s205]
$>yarn-daemon.sh start nodemananger

[退役]
1.添加退役節點的ip到黑名單,不要更新白名單.
[/soft/hadoop/etc/dfs.hosts.exclude.txt]
s205

2.配置yarn-site.xml
<property>
<name>yarn.resourcemanager.nodes.exclude-path</name>
<value>/soft/hadoop/etc/dfs.hosts.exclude.txt</value>
</property>

3.刷新rm節點
$>yarn rmadmin -refreshNodes

4.查看webui,節點狀態在decommisstion in progress.

5.當所有的要退役的節點都報告為Decommissioned,數據轉移工作已經完成。

6.從白名單刪除節點,并刷新節點

$>yarn rmadmin -refreshNodes

7.從slaves文件中刪除退役節點

安裝rose
---------------
0.UML
統一建模語言。
畫圖。
use case //用例
class //
1.安裝dtlite虛擬光驅
2.打開虛擬光驅.
?

轉載于:https://www.cnblogs.com/YuanWeiBlogger/p/11530831.html

總結

以上是生活随笔為你收集整理的hadoop 空间配置的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。