目的要求

1. 搭建Spark集群環(huán)境；
2. Spark集群的啟動、瀏覽與關(guān)閉；
3. 使用Eclipse編寫Spark應(yīng)用程序包；
4. 如何運(yùn)行Spark任務(wù)；

實(shí)驗(yàn)環(huán)境

1. Java jdk 1.7；
2. apache-maven-3.6.0；
3. Eclipse；
4. Apache_Hadoop集群；
5. 安裝配置Spark
6. 具體規(guī)劃：

主機(jī)名	IP地址	服務(wù)描述
Cluster-01	192.168.10.111	master節(jié)點(diǎn)
Cluster-03	192.168.10.113	Slave01節(jié)點(diǎn)
Cluster-04	192.168.10.114	Slave01節(jié)點(diǎn)

?

?

?

?

?

練習(xí)內(nèi)容

任務(wù)一： Spark集群環(huán)境部署；

1、下載地址；http://spark.apache.org/downloads.html

?

2、將Spark軟件上傳至集群中；

3、將軟件壓縮包進(jìn)行解壓；

4、移動解壓文件，并重新命名；

5、配置環(huán)境變量，使其生效；

6、配置修改spark的相關(guān)文件；

6.1、配置spark文件；

6.2、配置slaves文件；

7、配置完以上文件后，將Master主機(jī)的/home/admin/spark文件發(fā)送至其他兩臺主機(jī)；

?

任務(wù)二：啟動Spark集群并進(jìn)行驗(yàn)證；

1、啟動hadoop集群；

1.1、啟動Zookeeper服務(wù)；

??? 指令：$zkServer.sh start

1.2、啟動Hadoop服務(wù)；

??? 指令：$start-all.sh

1.3查看進(jìn)程：

指令：$jps

2、啟動Master節(jié)點(diǎn)；

指令：$sbin/start-master.sh

3、啟動所有的Slave節(jié)點(diǎn)；

指令：$sbin/start-slaves.sh

4、在瀏覽器上查看Spark集群的管理信息；

5、啟動Spark-shell；

?

任務(wù)三：關(guān)閉Spark集群

1、首先管理spark的master節(jié)點(diǎn)，然后關(guān)閉spark的slaves節(jié)點(diǎn)，最后關(guān)閉Hadoop集群；

?

任務(wù)四：編寫Spark應(yīng)用程序

1、準(zhǔn)備測試數(shù)據(jù)：hdfs: //Cluster-01:9000/user/input/hello.txt;

2、啟動Spark-shell。運(yùn)行WordCount詞頻統(tǒng)計(jì)程序；

?

?