?文檔編寫目的

Hive在0.14及以后版本支持字段的多分隔符，參考:

https://cwiki.apache.org/confluence/display/Hive/MultiDelimitSerDe

而Fayson在以前的文章中也基于C5的環(huán)境介紹過如何在Hive中使用多分隔符，參考《Hive多分隔符支持示例》。本文主要介紹在CDH6中如何讓Hive支持多分隔符。

• 測試環(huán)境

1.Redhat7.2

2.CDH6.2.0

3.Hive2.1

數(shù)據(jù)準(zhǔn)備

如何將多個字符作為字段分割符的數(shù)據(jù)文件加載到Hive表中，示例數(shù)據(jù)如下：

字段分隔符為“@#$”

test1@#$test1name@#$test2valuetest2@#$test2name@#$test2valuetest3@#$test3name@#$test4value

如何將上述示例數(shù)據(jù)加載到Hive表(multi_delimiter_test)中，表結(jié)構(gòu)如下：

實現(xiàn)方式

1.從CM進入Hive，點擊配置搜索aux，在Hive 輔助 JAR 目錄 中輸入/opt/cloudera/parcels/CDH/lib/hive/contrib，保存更改，重啟。

2.準(zhǔn)備多分隔符文件并裝載到HDFS對應(yīng)目錄

[root@cdh1?~]#?ll?-h?multi_de.txt?-rw-r--r--?1?root?root?1.1G?Jan??6?23:14?multi_de.txt[root@cdh1?~]#?tail?-10?multi_de.txt?test2949@#$test2949name@#$test2950valuetest2950@#$test2950name@#$test2951valuetest2951@#$test2951name@#$test2952valuetest2952@#$test2952name@#$test2953valuetest2953@#$test2953name@#$test2954valuetest2954@#$test2954name@#$test2955valuetest2955@#$test2955name@#$test2956valuetest2956@#$test2956name@#$test2957valuetest2957@#$test2957name@#$test2958valuetest2958@#$test2958name@#$test2959value[root@cdh1?~]#?hadoop?fs?-put?multi_de.txt?/test/[root@cdh1?~]#?hadoop?fs?-ls?/test/Found?1?items-rw-r--r--???3?root?supergroup?1079408772?2020-01-06?23:33?/test/multi_de.txt

3.基于準(zhǔn)備好的多分隔符文件建表

create?external?table?multi_delimiter_test(s1?string,s2?string,s3?string)ROW?FORMAT?SERDE?'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe'?WITH?SERDEPROPERTIES?("field.delim"="@#$")stored?as?textfile?location?'/test';

4.測試

0:?jdbc:hive2://localhost:10000/>?select?*?from?multi_delimiter_test?limit?10;0:?jdbc:hive2://localhost:10000/>?select?count(*)?from?multi_delimiter_test;

常見問題

1.在執(zhí)行HQL時報錯

Error:?Error?while?compiling?statement:?FAILED:?RuntimeException?MetaException(message:java.lang.ClassNotFoundException?Class?org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe?not?found)?(state=42000,code=40000)

這是由于沒有指定Hive 的輔助 JAR 目錄，導(dǎo)致找不到類。需要按照在Cloudera Manager中指定Hive的輔助JAR目錄，然后重啟，再次查詢即可。目錄的路徑為/opt/cloudera/parcels/CDH/lib/hive/contrib

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的hive一次加载多个文件_0738-6.2.0-如何在Hive中使用多分隔符的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。