hive中建立“按天分区“的外表+存储为ORC文件+指定元数据
生活随笔
收集整理的這篇文章主要介紹了
hive中建立“按天分区“的外表+存储为ORC文件+指定元数据
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
CREATE EXTERNAL TABLE `example`(`axxsdf` string,`mydeailyTime` timestamp)
PARTITIONED by (`datetime` string)
STORED AS orcfile
LOCATION '/home/appleyuchi/example_file';
-- 增加分區(這句話在建立表格后必須執行,否則會導致hive寫入ORC文件后,無法被hive讀取)
alter table example add partition (dt = '2021-03-30') location '/xxxx/2021-03-30';
?
?
?
| 建表類型 | 是否使用Location | 插入效果 | 刪除效果 |
| 外部表 | √ | 讀取到數據,同時插入數據,會在LOCATION位置新生成文件000000_0, | 刪除外部表,數據文件還在,證明外部表功能還在。 |
| 內部表 | √ | 讀取到數據,同時插入數據也會生成新文件, | 刪除內部表,數據文件都會消失,整個目錄都會刪除掉 |
| 外部表 | X | 會在默認在/hive/warehouse/數據庫名稱/表名,建立目錄。然后插入數據,會生成新文件 | 刪除表。目錄和文件都還在 |
| 內部表 | X | 在相應位置創建新目錄,插入數據,一樣生成新文件。 | 刪除內部表,目錄和數據文件都會刪除掉。 |
?
ALTER TABLE yyyy DROP PARTITION (dt='1919-01-06', area=xxxxxx');
?
刪除分區
?
?
Reference:
[1]Hive中LOCATION參數和EXTERNAL參數的關系
?
總結
以上是生活随笔為你收集整理的hive中建立“按天分区“的外表+存储为ORC文件+指定元数据的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 梦幻花园怎么退出登录
- 下一篇: kafka的消费隔离级别(持续更新中)