參考https://github.com/kiwenlau/hadoop-cluster-docker/blob/master/start-container.sh

因?yàn)橹霸赩Mware上操作Hadoop時(shí)發(fā)現(xiàn)資源消耗大，配置麻煩，所以思考能不能使用docker搭建Hadoop集群，感謝上面鏈接的大神弄的集群鏡像，所以很快就能搭建出Hadoop3節(jié)點(diǎn)集群。我使用的是windows下dockerTool安裝啟動(dòng)vagrant、vitrualbox

3節(jié)點(diǎn)Hadoop集群搭建步驟

1. 拉取鏡像

docker pull index.alauda.cn/kiwenlau/hadoop-master:0.1.0

docker pull index.alauda.cn/kiwenlau/hadoop-slave:0.1.0

docker pull index.alauda.cn/kiwenlau/hadoop-base:0.1.0

?

docker pull index.alauda.cn/kiwenlau/serf-dnsmasq:0.1.0

?

查看下載的鏡像

sudo docker images

hadoop-base鏡像是基于serf-dnsmasq鏡像的，hadoop-slave鏡像和hadoop-master鏡像都是基于hadoop-base鏡像

所以其實(shí)4個(gè)鏡像一共也就777.4MB:)

2. 修改鏡像tag

?

docker tag 8bd95b13fdc9 kiwenlau/hadoop-slave:0.1.0 docker tag 5da529a7093a kiwenlau/hadoop-master:0.1.0

docker tag 2017db7bb9af kiwenlau/hadoop-base:0.1.0

docker tag 94c74018c36d kiwenlau/serf-dnsmasq:0.1.0

?

查看修改tag后鏡像

docker images

3.下載源代碼

git clone https://github.com/kiwenlau/hadoop-cluster-docker

(git clone http://git.oschina.net/kiwenlau/hadoop-cluster-docker)

4. 運(yùn)行容器

cd hadoop-cluster-docker

./start-container.sh

一共開啟了3個(gè)容器，1個(gè)master, 2個(gè)slave

開啟容器后就進(jìn)入了master容器root用戶的家目錄（/root）

查看master的root用戶家目錄的文件

ls

?

?

?

5.測(cè)試容器是否正常啟動(dòng)(此時(shí)已進(jìn)入master容器)

查看hadoop集群成員

serf members

運(yùn)行結(jié)果

若結(jié)果缺少節(jié)點(diǎn)，可以稍等片刻，再執(zhí)行"serf members"命令。因?yàn)閟erf agent需要時(shí)間發(fā)現(xiàn)所有節(jié)點(diǎn)。

測(cè)試ssh

?

ssh slave2.kiwenlau.com

?

6. 開啟hadoop

?

./start-hadoop.sh

hadoop的啟動(dòng)速度取決于機(jī)器性能....vitrualbox太慢了

6.運(yùn)行單詞計(jì)數(shù)

.

./run-wordcount.sh

?

使用內(nèi)存3G才跑得出來(lái)，集群的資源消耗很大

?

轉(zhuǎn)載于:https://www.cnblogs.com/liuyifeng/p/5383076.html

總結(jié)

以上是生活随笔為你收集整理的Docker搭建hadoop集群的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。