研究了幾天 Hadoop+Spark 集群部署，雖然現(xiàn)在還是有點(diǎn)不懂（一臉懵B），想寫下自己的總結(jié)，日后有新的發(fā)現(xiàn)再補(bǔ)充。

我安裝時(shí)候的參考教程：

http://www.powerxing.com/install-hadoop/ http://www.powerxing.com/install-hadoop-cluster/

總結(jié)一下，工作分為那么幾個(gè)步驟：（對(duì)于所有機(jī)器）

A:安裝scala（比較簡(jiǎn)單）

B:配置hadoop：

1.創(chuàng)建hadoop用戶

2.安裝JAVA環(huán)境（主要配置 JAVA_HOME 環(huán)境變量）

3.選擇一臺(tái)機(jī)器作為Master （機(jī)器集群的群長(zhǎng)），配置Master ssh ，可以ssh免密登錄其他機(jī)器

4.解壓hadoop到/usr/local

5.將hadoop文件夾所屬者設(shè)置為hadoop

6.修改Hadoop的配置文件 ，在/etc/hadoop/下

7.修改hosts文件 （/etc/hosts），讓大家能通過名字互相溝通

8.啟動(dòng)hadoop集群

C:配置spark：

1.解壓spark

2.修改spark配置文件(slaves ........)

3.啟動(dòng)spark

總結(jié)

以上是生活随笔為你收集整理的Hadoop+Spark 集群部署的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。