一個(gè)、hadoop1.1.0演示

?hadoop它適合于大容量數(shù)據(jù)存儲(chǔ)和分布式計(jì)算平臺(tái)

?hadoop核心由hdfs和mapreduce組成

?hdfs這是一個(gè)主從結(jié)構(gòu)，僅有一個(gè)。是namenode：從節(jié)點(diǎn)有非常多個(gè)

?分布式文件系統(tǒng)與HDFS (HDFS體系結(jié)構(gòu)與基本概念)

?Distributed File System

?數(shù)據(jù)量越來(lái)越多，在一個(gè)操作系統(tǒng)管轄的范圍存不下了，那么就分配到很多其它的操作系統(tǒng)管理的磁盤中?？墒遣环奖愎芾砗途S護(hù)，因此迫切須要一種系統(tǒng)來(lái)管理多臺(tái)機(jī)器上 ?的文件，這就是分布式文件管理系統(tǒng) 。

?是一種同意文件通過(guò)網(wǎng)絡(luò)在多臺(tái)主機(jī)上分享的文件系統(tǒng)，可讓多機(jī)器上的多用戶分享文件和存儲(chǔ)空間。

?通透性。

讓實(shí)際上是通過(guò)網(wǎng)絡(luò)來(lái)訪問(wèn)文件的動(dòng)作。由程序與用戶看來(lái)。就像是訪問(wèn)本地的磁盤一般。

?容錯(cuò)。即使系統(tǒng)中有某些節(jié)點(diǎn)脫機(jī)，總體來(lái)說(shuō)系統(tǒng)仍然能夠持續(xù)運(yùn)作而不會(huì)有數(shù)據(jù)損失。

?分布式文件管理系統(tǒng)非常多，hdfs僅僅是當(dāng)中一種。適用于一次寫入多次查詢的情況，不支持并發(fā)寫情況，小文件不合適。

二、HDFS的shell操作

調(diào)用文件系統(tǒng)(FS)Shell命令應(yīng)使用 bin/hadoop fs 的形式。

全部的FS shell命令使用URI路徑作為參數(shù)。

URI格式是scheme://authority/path。HDFS的scheme是hdfs，對(duì)本地文件系統(tǒng)，scheme是file。

當(dāng)中scheme和authority參數(shù)都是可選的。如果未加指定，就會(huì)使用配置中指定的默認(rèn)scheme。

比如：/parent/child能夠表示成hdfs://namenode:namenodePort/parent/child?；蛘吒?jiǎn)單的/parent/child（如果配置文件是namenode:namenodePort）

大多數(shù)FS Shell命令的行為和相應(yīng)的Unix Shell命令類似。

三、HDFS經(jīng)常使用命令

-help [cmd]//顯示命令的幫助信息

-ls(r) <path>//顯示當(dāng)前文件夾下全部文件

-du(s) <path>//顯示文件夾中全部文件大小

-count[-q] <path>//顯示文件夾中文件數(shù)量

-mv <src> <dst>//移動(dòng)多個(gè)文件到目標(biāo)文件夾

-cp <src> <dst>//復(fù)制多個(gè)文件到目標(biāo)文件夾

-rm(r)//刪除文件(夾)

-put <localsrc> <dst>//本地文件拷貝到hdfs

-copyFromLocal//同put

-moveFromLocal//從本地文件移動(dòng)到hdfs

-get [-ignoreCrc] <src> <localdst>//拷貝文件到本地。能夠忽略crc校驗(yàn)

-getmerge <src> <localdst>//將源文件夾中的全部文件排序合并到一個(gè)文件里

-cat <src>//在終端顯示文件內(nèi)容

-text <src>//在終端顯示文件內(nèi)容

-copyToLocal [-ignoreCrc] <src> <localdst>//拷貝到本地

-moveToLocal <src> <localdst>

-mkdir <path>//創(chuàng)建目錄

-touchz <path>//創(chuàng)建一個(gè)空文件

HDFS 的shell練習(xí)

hadoop fs -ls / ?查看HDFS根文件夾

hadoop fs -mkdir /test 在根文件夾創(chuàng)建一個(gè)文件夾test

hadoop fs -mkdir /test1 在根文件夾創(chuàng)建一個(gè)文件夾test1

版權(quán)聲明：本文博客原創(chuàng)文章。博客，未經(jīng)同意，不得轉(zhuǎn)載。

轉(zhuǎn)載于:https://www.cnblogs.com/mfrbuaa/p/4752051.html

總結(jié)

以上是生活随笔為你收集整理的HDFS建筑与shell操作的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。