hive中的一個表格中的內(nèi)容可以存儲在不同分區(qū)(可以理解為分片).

?

[1]中描述的是,試圖給表格新增一個字段,結(jié)果只給新分區(qū)進行了新增字段操作,老分區(qū)并沒有影響,

需要使用如下的cascade寫法

alter table tb add columns(col1 string) cascade;

?

[2]中試圖查詢最新的分區(qū),但是又不希望遍歷所有的分區(qū)來尋找,效率太低.

?

總結(jié):

對于hive的操作,要時刻注意新分區(qū)和舊分區(qū)的問題.

否則會導(dǎo)致數(shù)據(jù)不完整以及性能低下的問題

?

?

Reference:

[1][Hive]新增字段(column)后，舊分區(qū)無法更新數(shù)據(jù)問題

[2]如何在HIVE表中找到最新的分區(qū)(How to find the most recent partition in HIVE table)

總結(jié)

以上是生活随笔為你收集整理的hive的新分区和旧分区的概念问题的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。