背景：DSG數(shù)據(jù)同步到hadoop平臺(tái)，發(fā)現(xiàn)部分表中數(shù)據(jù)存在豎線分隔符（“|”）,導(dǎo)致hadoop平臺(tái)數(shù)據(jù)不準(zhǔn)確。
為解決此問(wèn)題并避免出現(xiàn)內(nèi)容帶分隔符的可能情況，商定分隔符修改為CtrlA（ascii是0x01 ） ，經(jīng)測(cè)試在HDFS可用。

---

分隔符為CtrlA（ascii是0x01 ） 在vi的編輯模式下 Ctrl+V Ctrl+A 。windows cmd模式下 Ctrl+Q Ctrl+A

Hive默認(rèn)用
‘\001’（Ctrl+A）作為字段(Fields)分隔符，
‘\002’(Ctrl+B)作為集合元素(Collections Items)分隔符，
‘\003’作為Map類型Key/Values分隔符。

所以shell中的腳本
FIELDS TERMINATED BY ‘’ 可以不指定

#建立 OFFER日表 fields terminated by '|' 要修改，默認(rèn)的是'\001'（Ctrl+A），也可以不指定; v_create_sql="use ztedb; drop table if exists OFFER_${day_id}; CREATE TABLE OFFER_${day_id} ( OFFER_ID BIGINT, ATOM_ACTION_ID BIGINT, PARTY_ID BIGINT, OFFER_SPEC_ID BIGINT, OFFER_NBR STRING, AREA_ID INT, MKT_ACTIVITY_ID BIGINT, START_DT DATE, END_DT DATE, BSS_START_DT DATE, BSS_END_DT DATE, BILL_START_DT DATE, BILL_END_DT DATE, STATUS_CD STRING, STATUS_DT DATE, CREATE_DT DATE, VERSION DATE, EXT_PROD_OFFER_INST_ID STRING, EXT_SYSTEM STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '' STORED AS TEXTFILE;"

總結(jié)

以上是生活随笔為你收集整理的大数据文件分隔符的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。