轉(zhuǎn)自：http://blog.csdn.net/huyuxiang999/article/details/17691405

一、實(shí)驗(yàn)環(huán)境?：

1、硬件：3臺(tái)DELL服務(wù)器，CPU：2.27GHz*16，內(nèi)存：16GB，一臺(tái)為master，另外2臺(tái)為slave。

2、系統(tǒng)：均為CentOS6.3

3、Hadoop版本：CDH4.5，選用的mapreduce版本不是yarn，而是mapreduce1，整個(gè)集群在cloudera manager的監(jiān)控下，配置時(shí)也是通過manager來配置（通過更改配置文件是一樣的道理）。

二、背景：

隨著數(shù)據(jù)量的增長(zhǎng)，實(shí)驗(yàn)室的hdfs存儲(chǔ)不夠，故新買了2*2TB的硬盤，加裝在2臺(tái)datanode服務(wù)器上。hadoop不需要做raid（hdfs有其他機(jī)器保證數(shù)據(jù)冗余），因此將硬盤直接插在服務(wù)器上，在BIOS中找到新的硬盤即可。

三、硬盤分區(qū)、格式化：

每個(gè)硬盤分5個(gè)區(qū)，其中三個(gè)為主分區(qū)，另外兩個(gè)為邏輯分區(qū)。

1、查看硬盤掛載情況

輸入命令fdisk -l可以查看系統(tǒng)中有幾塊硬盤。一般第一塊硬盤為/dev/sda，第二塊為/dev/sdb，以此類推。如果沒有找到加裝的那塊硬盤，說明系統(tǒng)沒有識(shí)別，需重啟服務(wù)器，進(jìn)入BIOS設(shè)置。

2、硬盤分區(qū)

輸入命令fdisk /dev/sdb（因?yàn)檫@里是第二塊硬盤，所以輸入的是/dev/sdb，這個(gè)需要根據(jù)情況）

這里可以輸入m看一下具體有哪些參數(shù)。

輸入p，可以顯示本硬盤分區(qū)情況，由于是新硬盤，因此沒有分區(qū)信息。

下面創(chuàng)建第一個(gè)主分區(qū)。

輸入n創(chuàng)建分區(qū)，然后在接下來的提示中輸入p，代表創(chuàng)建主分區(qū)，再輸入1，表示創(chuàng)建第一個(gè)主分區(qū)（一共可以創(chuàng)建4個(gè)主分區(qū)），接下來輸入起始柱面，一般就選默認(rèn)，然后輸入結(jié)束柱面，此處也可輸入大小，如+400G，表示這個(gè)分區(qū)的大小為400G，這樣，第一個(gè)主分區(qū)就創(chuàng)建好了。

然后按上述步驟創(chuàng)建第2，第3個(gè)主分區(qū)，均為400G。

接下來創(chuàng)建2個(gè)邏輯分區(qū)。

輸入n，然后在接下來的提示中輸入e，表示創(chuàng)建擴(kuò)展分區(qū)，輸入起始柱面，一般為默認(rèn)，然后輸入結(jié)束柱面，同樣為默認(rèn)，表示此擴(kuò)展分區(qū)使用剩下的所有空間。這樣，一個(gè)擴(kuò)展分區(qū)就做好了，然后我們要在這個(gè)擴(kuò)展分區(qū)上創(chuàng)建兩個(gè)邏輯分區(qū)，創(chuàng)建的方法和創(chuàng)建主分區(qū)很相似，同樣先輸入n，然后接下來的步驟相信讀者一定會(huì)做了。

最后所有分區(qū)創(chuàng)建完之后，記得輸入w保存分區(qū)，否則等于沒有做。

3、格式化分區(qū)

輸入命令mkfs -t ext4 /dev/sdb1，表示把分區(qū)/dev/sdb1格式化成ext4文件系統(tǒng)，同樣的方法格式化其他分區(qū)。

4、mount分區(qū)到目錄

可以選擇把某一分區(qū)mount到已有目錄，也可以mount到新建目錄。注意如果mount到已有目錄，要先把該目錄下的文件備份。本文是新建目錄的：mkdir -p /hd/sdb1，然后mount /dev/sdb1 /hd/sdb1，同樣mount其他分區(qū)。

5、修改/etc/fstab

如果不修改，則每次開機(jī)時(shí)都要手動(dòng)做第4步，比較麻煩。打開fstab文件，按照已有的條目添加5個(gè)新建分區(qū)，每一個(gè)條目的最后兩個(gè)數(shù)據(jù)均為0 0

四、hdfs擴(kuò)容

我把上述5個(gè)分區(qū)的容量全部加到hdfs中。首先在每一個(gè)分區(qū)的掛載目錄中新建子目錄/dfs/dn，如mkdir -p /hd/sdb1/dfs/dn，然后修改dn目錄的權(quán)限：

chown -R hdfs:hadoop /hd/sdb1/dfs/dn

這樣hdfs才能使用該目錄（每一個(gè)分區(qū)都要新建/dfs/dn）。

打開cloudera manager，找到“服務(wù)”-》“hdfs”

選擇“配置”-》“查看和編輯”，然后在左邊找到datanode（默認(rèn)），右邊的第一個(gè)屬性中，原來只有一個(gè)條目（我的是/dfs/dn），為了使hdfs使用新的硬盤，因此要添加我們創(chuàng)建的分區(qū)，后面的5條都是我加的目錄。

然后點(diǎn)開datanode(默認(rèn))

找到“高級(jí)”，在右邊的datanode卷選擇策略中，選擇“可用空間”，這樣，后面的兩個(gè)屬性（“10G字節(jié)”和“0.75”）就會(huì)發(fā)揮作用，用于平衡各個(gè)卷中空間使用。

保存以上配置，然后重啟hdfs，即可將hdfs擴(kuò)容。

總結(jié)

以上是生活随笔為你收集整理的【转】Hadoop集群添加磁盘步骤的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。