sparksql整合hive

• 步驟

  • 1、需要把hive安裝目錄下的配置文件hive-site.xml拷貝到每一個(gè)spark安裝目錄下對(duì)應(yīng)的conf文件夾中
  • 2、需要一個(gè)連接mysql驅(qū)動(dòng)的jar包拷貝到spark安裝目錄下對(duì)應(yīng)的jars文件夾中
  • 3、可以使用spark-sql腳本 后期執(zhí)行sql相關(guān)的任務(wù)

• 啟動(dòng)腳本

spark-sql \ --master spark://node1:7077 \ --executor-memory 1g \ --total-executor-cores 4 \ --conf spark.sql.warehouse.dir=hdfs://node1:9000/user/hive/warehouse

• 應(yīng)用場景

#!/bin/sh #定義sparksql提交腳本的頭信息 SUBMITINFO="spark-sql --master spark://node1:7077 --executor-memory 1g --total-executor-cores 4 --conf spark.sql.warehouse.dir=hdfs://node1:9000/user/hive/warehouse" #定義一個(gè)sql語句 SQL="select * from employee;" #執(zhí)行sql語句 類似于 hive -e sql語句 echo "$SUBMITINFO" echo "$SQL" $SUBMITINFO -e "$SQL"

總結(jié)

以上是生活随笔為你收集整理的sparksql整合hive的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。