注意：路徑需要修改。

s3uri_received=文件存放路徑

IF_FILE_NAME=?文件名。帶“ * ”會匹配指定文件名開頭的所有文件。

DL_PATH=中間文件存放路徑

TMP_PATH=中間文件存放路徑/if_copy_tmp?

刪除空行

sed -i '/^$/d' ${s3uri_received}${IF_FILE_NAME}*

獲取文件size 生成列表到指定文件

stat -c%s ${s3uri_received}${IF_FILE_NAME}* 1> ${TMP_PATH}_FILE_SIZE_LIST_$$ 2>&1FILE_SIZE_LIST=(`cat ${TMP_PATH}_FILE_SIZE_LIST_$$`) for FILE_SIZE in ${FILE_SIZE_LIST[@]}; doif [ ${FILE_SIZE} -eq 0 ]thenlog_error "文件size為0。文件:${s3uri_received}${IF_FILE_NAME}"exit 1fi done

執(zhí)行sh時可以傳入TruncateFlag

# TRUNCATE if [ ${DEL_FLG} -eq 1 ] then# 執(zhí)行指定sql 輸出執(zhí)行結(jié)果到指定文件psql -h ${URL} -p ${PORT} -U ${USERNAME} -d ${DATABASE_NAME} -v ON_ERROR_STOP=1 -A -q -t -f ../sql/${IF_FILE_NAME}_TRUN.sql 1> ${TMP_PATH}_TRUN_SQL_RESULT_$$ 2>&1if [ $? -ne 0 ]thenlog_error "TRUNCATE失敗。../sql/${IF_FILE_NAME}_TRUN.sql"exit 1fi fi

編碼轉(zhuǎn)換

# 例：轉(zhuǎn)換指定文件到utf-8，新文件名帶UTF8，如果執(zhí)行發(fā)生錯誤，輸出到指定_ICONV_RESULT_文件中。 iconv -f ${code} -t UTF-8 ${DL_PATH}${IF_FILE}_$$ > ${DL_PATH}${IF_FILE}_UTF8_$$ 2> ${TMP_PATH}_ICONV_RESULT_$$

?將copy.sql中的 's/%INPUT_FILE%/' 替換為轉(zhuǎn)換后的文件名，生成結(jié)果存放到中間文件中。

cat ../sql/${IF_FILE_NAME}_COPY.sql|sed 's/%INPUT_FILE%/'${IF_FILE}_UTF8_$$'/g' > ${TMP_PATH}_COPY_$$.sql

copy.sql 大概這樣。tsv需要加?DELIMITER '?? ?' （tab），csv不需要。文件路徑需要修改。

\copy "public".test_user (usr_id, usr_name, reg_ymdhms, upd_ymdhms, upd_id ) FROM 'data/work/%INPUT_FILE%'? WITH?CSVDELIMITER '?? ?'?FORCE NULLusr_id, usr_name, reg_ymdhms, upd_ymdhms, upd_idENCODING 'UTF-8' ;

執(zhí)行sql，將文件導(dǎo)入數(shù)據(jù)庫

psql -h ${URL} -p ${PORT} -U ${USERNAME} -d ${DATABASE_NAME} -v ON_ERROR_STOP=1 -A -q -t -f ${TMP_PATH}_COPY_$$.sql 1> ${TMP_PATH}_COPY_SQL_RESULT_$$ 2>&1

總結(jié)

以上是生活随笔為你收集整理的Windows 中通过sh导入csv、tsv文件到数据库的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。