版本：

一、原始數據及Hive表

MongoDB數據格式

Hive普通表

Hive分區表

二、 IDEA+Maven+Java

依賴

代碼

工具類

三、 錯誤解決辦法

1、 IDEA會獲取不到Hive的數據庫和表，將hive-site.xml放入resources文件中。并且將resources設置成配置文件(設置成功文件夾是藍色否則是灰色)

file–>Project Structure–>Modules–>Source

2、 上面錯誤處理完后如果報JDO類型的錯誤，那么檢查HIVE_HOME/lib下時候否mysql驅動，如果確定有，那么就是IDEA獲取不到。解決方法如下：

將mysql驅動拷貝到jdk1.8.0_171.jdk/Contents/Home/jre/lib/ext路徑下(jdk/jre/lib/ext)

在IDEA項目External Libraries下的<1.8>里面添加mysql驅動

四、 注意點

由于將MongoDB數據表注冊成了臨時表和Hive表進行了關聯，所以要將MongoDB中的id字段設置成索引字段，否則性能會很慢。

MongoDB設置索引方法：

查看索引：

總結

以上是生活随笔為你收集整理的hive 分区_代码 | Spark读取mongoDB数据写入Hive普通表和分区表的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。