2019獨(dú)角獸企業(yè)重金招聘Python工程師標(biāo)準(zhǔn)>>>

HDFS操作文件的基本命令

1.創(chuàng)建文件夾? $>hdfs dfs -mkdir /user/centos/hadoop
2.展示目錄? ? $>hdfs dfs -ls -r /user/centos/hadoop
3.遞歸展示? ? $>hdfs dfs -lsr /user/centos/hadoop
4.上傳文件? ? $>hdfs dfs -put index.html /user/centos/hadoop
5.下載文件? ? $>hdfs dfs -get /user/centos/hadoop/index.html a.html
6.刪除文件? ? $>hdfs dfs -rm -r -f /user/centos/hadoop

----------------

HDFS存儲(chǔ)

?? ?500G? 文件
?? ?1024G = 2T/4T 文件
?? ?切割。
?? ?//切割?? ?
?? ?block: 切割：128M?? ?原因： 讓尋址時(shí)間占用讀取時(shí)間的1%.
?? ?尋址時(shí)間:10ms左右
?? ?磁盤速率 : 100M /s【磁盤I/O】

HDFS 文件存儲(chǔ)： >128M的切割分塊。 如果配置了備份數(shù)，則按照備份數(shù)進(jìn)行備份 放到各個(gè)數(shù)據(jù)節(jié)點(diǎn)

?? ?size = 181260798
?? ?block-0 : 134217728
?? ?block-1 : ?47043070?
?? ?--------------------

?? ?b0.no : 1073741829
?? ?b1.no : 1073741830

找到所有的配置文件
----------------------

1.tar開hadoop-2.7.3.tar.gz
?? ?hadoop-2.7.3\share\hadoop\common\hadoop-common-2.7.3.jar\core-default.xml? ? ?文件存放位置? ??fs.defaultFS=file:///?? ?
?? ?hadoop-2.7.3\share\hadoop\hdfs\hadoop-hdfs-2.7.3.jar\hdfs-default.xml????????????? ? ?文件副本數(shù)? ? dfs.replication?
?? ?hadoop-2.7.3\share\hadoop\mapreduce\hadoop-mapreduce-client-core-2.7.3.jar\mapred-default.xml
?? ?hadoop-2.7.3\share\hadoop\yarn\hadoop-yarn-common-2.7.3.jar\yarn-site.xml

?

2.配置[core-site.xml]文件
?? ?<configuration>
?? ??? ??? ?<property>
?? ??? ??? ??? ??? ?<name>fs.defaultFS</name>
?? ??? ??? ??? ??? ?<value>hdfs://s201/</value>
?? ??? ??? ?</property>
?? ??? ??? ?<!--- 配置新的本地目錄 -->
?? ??? ??? ?<property>
?? ??? ??? ??? ??? ?<name>hadoop.tmp.dir</name>
?? ??? ??? ??? ??? ?<value>/home/centos/hadoop</value>
?? ??? ??? ?</property>
?? ?</configuration>

--------基本思路------------------------

1.hdfs dfs -mkdir /usr/centos/hadoop ?: 創(chuàng)建文件夾
2.hdfs dfs -lsr /usr/centos/hadoop ：查看文件目錄
3.hdfs dfs -put index.html /usr/centos/hadoop : 上傳文件index.html 到 /usr/centos/hadoop

4.通過上傳文件到hdfs后, namenode名稱節(jié)點(diǎn)通過slave配置datanode數(shù)據(jù)節(jié)點(diǎn)后， nn（名稱節(jié)點(diǎn)）的hdfs-site.xml中配置了副本數(shù)，nm(名稱節(jié)點(diǎn))的hdfs-site.xml中配置數(shù)據(jù)存放位置。如果上傳的文件 大于128M，hdfs將會(huì)對(duì)文件進(jìn)行切割，每塊（blcok）128M[為了滿足 尋址時(shí)間為讀取文件是的的 1%]。

?

?

?

轉(zhuǎn)載于:https://my.oschina.net/u/2870118/blog/3014575

總結(jié)

以上是生活随笔為你收集整理的Hadoop----hdfs的基本操作的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。