問題描述：
在部署hive on spark，測試時報錯，執行建表操作成功，但是插入insert出現以下錯誤：

Failed to execute spark task, with exception ‘org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session 2df0eb9a-15b4-4d81-aea1-24b12094bf44)’
FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session 2df0eb9a-15b4-4d81-aea1-24b12094bf44

查資料主要列舉了以下三點原因：

Spark沒有啟動；
需在/opt/module/spark路徑下輸入以下內容啟動spark：

[xiaobai@hadoop102 spark]$ ./sbin/start-all.sh

Spark和hive版本不匹配，我的是匹配的；

內存資源不足，導致hive連接spark客戶端超時。

原因分析
在/tmp/xiaobai路徑下按照所需時間查看hive日志：

提示timed out waiting for client connection.表明hive與spark連接時間超時！

解決方法
1). 將/opt/module/spark/conf/目錄下spark-env.sh.template文件改成spark-env.sh，之后添加內容export SPARK_DIST_CLASSPATH=$(hadoop classpath)；
2). 將/opt/module/hive/conf目錄下hive-site.xml修改hive和spark的連接時間。

再次執行insert語句，成功！喜極而泣！

我是昨天晚上就出錯的 查了一晚上也沒解決 結果今天才解決 不說了 解決另一個bug去了😭

總結

以上是生活随笔為你收集整理的记录hiveonspark:Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。