搭建

• Standalone【注】jdk1.8

1).下載安裝包，解壓

?

改名為

進入安裝包的conf目錄下，修改slaves文件，添加從節點。保存。

vi slaves

修改spark-env.sh

SPARK_MASTER_IP:master的ip

SPARK_MASTER_PORT:提交任務的端口，默認是7077

SPARK_WORKER_CORES：每個worker從節點能夠支配的core的個數

SPARK_WORKER_MEMORY:每個worker從節點能夠支配的內存數

同步到其他節點上

scp -r spark henu2:`pwd`

scp -r spark henu3:`pwd`

?

啟動集群

進入sbin目錄下，執行當前目錄下的./start-all.sh

【注】如果報JAVA_HOME is not set錯誤，https://blog.csdn.net/qq_41946557/article/details/102653163

啟動成功：

搭建客戶端

將spark安裝包原封不動的拷貝到一個新的節點上，然后，在新的節點上提交任務即可。

【注意】

• 8080是Spark WEBUI界面的端口，7077是Spark任務提交的端口。
• 修改master的WEBUI端口：
  • 修改start-master.sh即可。

• 也可以在Master節點上導入臨時環境變量，只是作用于之后的程序，重啟就無效了。

刪除臨時環境變量：

• yarn

測試

Standalone提交命令：

./spark-submit --master spark://henu1:7077 --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 10000

YARN提交命令：

./spark-submit --master yarn --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 10000

【補充知識】

總結

以上是生活随笔為你收集整理的Spark _04集群搭建及测试的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。