一、啟動(dòng)thrift服務(wù)

啟動(dòng)thriftServer，默認(rèn)端口為10000,。

--jars 添加worker類庫(kù)

--driver-class-path 驅(qū)動(dòng)類庫(kù)

--master spark集群地址

--total-executor-cores? 啟動(dòng)的核數(shù)，默認(rèn)是所有核數(shù)

--executor-memory? 每個(gè)work分配的內(nèi)存，默認(rèn)是work的所有內(nèi)存

--hiveconf hive.server2.thrift.port 啟動(dòng)端口

spark-2.4.4/sbin/start-thriftserver.sh --master spark://hadoop01:7077,hadoop02:7077,hadoop03:7077 --driver-class-path /home/mk/mysql-connector-java-5.1.26-bin.jar --jars /home/mk/mysql-connector-java-5.1.26-bin.jar --total-executor-cores 2 --executor-memory 1gnetstat -nap | grep 10000

??

二、啟動(dòng)beeline

?

spark-2.4.4/bin/beeline#連接 !connect jdbc:hive2://hadoop01:10000show tables;select * from test;#退出 !quit

?

三、總結(jié)

thriftserver/beeline和普通的spark-shell/spark-sql區(qū)別

（1）對(duì)于derby存儲(chǔ)元數(shù)據(jù)
1、spark-shell、spark-sql是啟動(dòng)一個(gè)spark application，只能服務(wù)于唯一的客戶端，同一路徑啟動(dòng)多客戶端會(huì)報(bào)錯(cuò)；
2、thriftservers是啟動(dòng)一個(gè)spark application提供接口服務(wù)，為多客戶端進(jìn)行服務(wù)。解決了數(shù)據(jù)共享的問(wèn)題，多個(gè)客戶端可以共享數(shù)據(jù)問(wèn)題；

（2）對(duì)于其他非本地的數(shù)據(jù)庫(kù)存儲(chǔ)元數(shù)據(jù)

1、spark-shell、spark-sql是啟動(dòng)一個(gè)spark application，服務(wù)于一個(gè)的客戶端。可以啟動(dòng)多個(gè)spark-shell、spark-sql，客戶端之間的操作互相不干擾。
2、thriftservers是啟動(dòng)一個(gè)spark application提供接口服務(wù)，為多客戶端進(jìn)行服務(wù)。如有客戶端的操作過(guò)多，會(huì)干擾到其他客戶端的進(jìn)一步操作。

?

總結(jié)

以上是生活随笔為你收集整理的Spark入门（七）Spark SQL thriftserver/beeline启动方式的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。