一、啟動thrift服務

啟動thriftServer，默認端口為10000,。

--jars 添加worker類庫

--driver-class-path 驅動類庫

--master spark集群地址

--total-executor-cores? 啟動的核數，默認是所有核數

--executor-memory? 每個work分配的內存，默認是work的所有內存

--hiveconf hive.server2.thrift.port 啟動端口

spark-2.4.4/sbin/start-thriftserver.sh --master spark://hadoop01:7077,hadoop02:7077,hadoop03:7077 --driver-class-path /home/mk/mysql-connector-java-5.1.26-bin.jar --jars /home/mk/mysql-connector-java-5.1.26-bin.jar --total-executor-cores 2 --executor-memory 1gnetstat -nap | grep 10000

??

二、啟動beeline

?

spark-2.4.4/bin/beeline#連接 !connect jdbc:hive2://hadoop01:10000show tables;select * from test;#退出 !quit

?

三、總結

thriftserver/beeline和普通的spark-shell/spark-sql區別

（1）對于derby存儲元數據
1、spark-shell、spark-sql是啟動一個spark application，只能服務于唯一的客戶端，同一路徑啟動多客戶端會報錯；
2、thriftservers是啟動一個spark application提供接口服務，為多客戶端進行服務。解決了數據共享的問題，多個客戶端可以共享數據問題；

（2）對于其他非本地的數據庫存儲元數據

1、spark-shell、spark-sql是啟動一個spark application，服務于一個的客戶端。可以啟動多個spark-shell、spark-sql，客戶端之間的操作互相不干擾。
2、thriftservers是啟動一個spark application提供接口服務，為多客戶端進行服務。如有客戶端的操作過多，會干擾到其他客戶端的進一步操作。

?

總結

以上是生活随笔為你收集整理的Spark入门（七）Spark SQL thriftserver/beeline启动方式的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。