hive 數據有時候需要進行數據合并

?

#!/bin/bashhadoop jar /software/servers/bdp_tools/mergefiles-1.7.jar -u lzo -p hdfs://ns1/user/dd_edw/adm.db/table_name/dt=2018-09-01

2018/12/06 今兒談話聊天更精進一部lovely

?

#!/bin/bashend_date='2018-12-05' beg_date='2017-01-01'beg_s=`date -d "$beg_date" +%s` end_s=`date -d "$end_date" +%s`while [ $beg_s -le $end_s ];docur_day=`date -d @$beg_s +"%Y-%m-%d"`;echo $cur_dayhadoop jar /software/servers/bdp_tools/mergefiles-1.7.jar -u orc -p hdfs://ns1/user/dd_edw/adm.db/table_name/dt=$cur_day/tp='day'hadoop jar /software/servers/bdp_tools/mergefiles-1.7.jar -u orc -p hdfs://ns1/user/dd_edw/adm.db/table_name/dt=$cur_day/tp='week'beg_s=$((beg_s+86400));done echo 'process merger done'

?

轉載于:https://www.cnblogs.com/TendToBigData/p/10501155.html

總結

以上是生活随笔為你收集整理的hive 小文件数据合并的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。