至少在Sqoop 1.4.5中存在支持orc文件格式的hcatalog集成(以及其他).

例如,您可以選擇

--hcatalog-storage-stanza

可以設置為

stored as orc tblproperties ("orc.compress"="SNAPPY")

例：

sqoop import

--connect jdbc:postgresql://foobar:5432/my_db

--driver org.postgresql.Driver

--connection-manager org.apache.sqoop.manager.GenericJdbcManager

--username foo

--password-file hdfs:///user/foobar/foo.txt

--table fact

--hcatalog-home /usr/hdp/current/hive-webhcat

--hcatalog-database my_hcat_db

--hcatalog-table fact

--create-hcatalog-table

--hcatalog-storage-stanza 'stored as orc tblproperties ("orc.compress"="SNAPPY")'

總結

以上是生活随笔為你收集整理的hdfs orc格式_hdfs – Sqoop导入为OrC文件的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。