hive在建表時，通常使用

ROW FORMAT DELIMITED

FIELDS TERMINATED BY "|#" 來限定數據中各個字段的分隔符，這種方式只支持單個分隔符，即：實際只會按照"|"進行分割，若想實現支持多分隔符，有如下幾種方式：

1、hive從0.14版本以后支持MultiDelimitSerDe，可以比較優雅多解決多分隔符問題

ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' WITH SERDEPROPERTIES ("field.delim"="|#")

參考：https://cwiki.apache.org/confluence/display/Hive/MultiDelimitSerDe

2、使用RegexSerDe，需要寫正則表達式

3、重寫 InputFormat 中 RecordReader 類中的 next 方法，重寫完成后打包成jar，放入到Hive目錄的lib文件夾下面。創建表的時候再指定INPUTFORMAT

之后遇到的問題：

1、執行查詢、join時報錯：Class org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe not found

根據網上的方案1：進入hive執行add jar /usr/hdp/3.1.5.0-152/hive/lib/hive-contrib.jar

又報了如下的錯誤：

does not have following privileges for operation ADD [ADMIN] (state=,code=1)

根據網上的方案2：在hive-site.xml中添加如下配置，重啟hive服務還是不生效

hive.aux.jars.path

file:///usr/hdp/3.1.5.0-152/hive/lib/hive-contrib.jar

問題先記下來后續有時間再解決，這里通過對源文件進行逐行處理，將多分隔符"|#"中的"#"替換為空字符，從而變成單分隔符

sed 's/#//g' data.txt > new_data.txt

總結

以上是生活随笔為你收集整理的hive xmlserde_hive多分隔符的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。