sparksql整合hive

• 步驟

  • 1、需要把hive安裝目錄下的配置文件hive-site.xml拷貝到每一個spark安裝目錄下對應的conf文件夾中
  • 2、需要一個連接mysql驅動的jar包拷貝到spark安裝目錄下對應的jars文件夾中
  • 3、可以使用spark-sql腳本 后期執行sql相關的任務

• 啟動腳本

spark-sql \ --master spark://node1:7077 \ --executor-memory 1g \ --total-executor-cores 4 \ --conf spark.sql.warehouse.dir=hdfs://node1:9000/user/hive/warehouse

• 應用場景

#!/bin/sh #定義sparksql提交腳本的頭信息 SUBMITINFO="spark-sql --master spark://node1:7077 --executor-memory 1g --total-executor-cores 4 --conf spark.sql.warehouse.dir=hdfs://node1:9000/user/hive/warehouse" #定義一個sql語句 SQL="select * from employee;" #執行sql語句 類似于 hive -e sql語句 echo "$SUBMITINFO" echo "$SQL" $SUBMITINFO -e "$SQL"

總結

以上是生活随笔為你收集整理的sparksql整合hive的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。