進入spark 的安裝目錄下的sbin文件夾
master節點
#master的ip是192.168.1.8

這一步就是聲明:我是Master!
你們這些worker向我看其聽我指揮;

./start-master.sh --host 192.168.10.182#master的ip是192.168.10.182

slave節點

cd /home/luogan/spark_install/spark-2.3.1-bin-hadoop2.7/conf cp spark-env.sh.template spark-env.sh vi spark-env.sh

對slave節點進行配置,聲明這個worker出多少人,SPARK_WORKER_CORES=1;
出多少錢,SPARK_WORKER_MEMORY=1g

JAVA_HOME=/home/luogan/spark_install/jdk1.8.0_151 SPARK_WORKER_CORES=1 SPARK_WORKER_MEMORY=1g cp slaves.template slaves vi slaves 你打算在哪幾個主機上放worker就在slaves里加入它的主機名 luogan

進入slave電腦下的 spark 的安裝目錄下的sbin文件夾

./start-slave.sh spark://192.168.1.8:7077

通過下面這條命令就可以在集群環境下進行操作

#./bin/spark-shell --master spark://IP:PORT ./bin/spark-shell --master spark://luogandeMacBook-Pro.local:7077

官方文檔

參考鏈接

總結

以上是生活随笔為你收集整理的两步实现spark集群的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。