Kudu1.1.0 、 Kudu1.2.0 Kudu1.3.0的版本信息异同比较
?
?
不多說,直接上干貨!
?
?
?Kudu1.1.0
新特性
?
1.1. 改進了Parial Row的語義?
1.2. 增加了range partition支持?
1.3. 提供了 scan api?
1.4. 增強predicate支持?
1.5. 支持所有kudu的類型,包括datetime.datetime轉化成UNIXTIME_MICROS?
1.6. 支持修改表(alter)?
1.7. scanner可以讀取快照數據?
1.8. 支持scanner副本選擇?
1.9. python?
1.10. 一些bug的修復
為了便于查錯,Java client增加了client-side請求追蹤。原先只有最終的錯誤日志,沒有導致最終錯誤其他日志信息。
優化和改進
?
工具
?
?
兼容性
?
?
參考
?
https://github.com/cloudera/kudu/blob/master/docs/prior_release_notes.adoc?
個人github?https://github.com/qiulp/doc/edit/master/kudu/kudu1.1.0.md
?
?
?
?
?
Kudu1.2.0
新特性
kudu一致性保證的能力大幅度提升了:?
每個副本都會track它們的 safe timestamp,這個時間戳是最大時間戳,在這個時間戳上讀是可重復的。
SCAN_AT_SNAPSHOT模式的scan,要不等待本副本的snapshot safe后再查,要不路由到一個safe的副本查。如此保證數據scan是可重復的。
Kudu會保留以往所有歷史數據,無論是插入,還是刪除,還是相同key插入一條新的數據。以往版本的kudu不會保留歷史數據在這種情況下。如此tablet server可以得到歷史某一時間段點的準確的快照,即便是重新插入的情形。
kudu client會自動記住它們最近成功讀取或者寫入操作的時間戳。在使用READ_AT_SNAPSHOT模式,且沒有指定時間戳的情況下,scan會自動指定一個比最近寫入時間戳大的時間戳。寫入同樣會傳播timestamp,確認一系列的有因果關系的操作,能被指定有序的時間戳。總的來說,這個改變,可以保證數據的讀寫一致性,同樣保證了在其他clients上的快照查詢能等到一致的結果。
?
優化和改進
?
修復的bug
省略
?
兼容性
?
?
不可兼容變化
?
?
約束性
引用
https://github.com/cloudera/kudu/blob/master/docs/release_notes.adoc?
我的github?https://github.com/qiulp/doc/blob/master/kudu/kudu1.2.0.md
?
?
?
?
?
?
Kudu1.3.0
新特性
增加了kerberos安全認證,可以通過kerberos tickets或者keytabs文件認證。此新特性是個可選項,推薦在部署環境中增加安全機制。
增加了Transport Layer Security(TLS)網絡安全傳輸協議,kudu將會對任意client和server間的信息通信進行加密。默認加密是開啟的,無論client或者server端都可以決定是否啟用加密。
增加了粗粒度服務級別的授權。細粒度的授權,例如表級別、字段級別,暫不支持。
增加了清理過期歷史版本數據(超過保留時間)的后臺任務。減少磁盤空間的使用,特別是有頻繁更新的數據。
便于診斷錯誤,集成了Google Breakpad,它產生的reports可以在配置的日志文件夾中看到。
?
優化
修改了數據目錄和數據文件的權限,可以通過–umask配置。升級之后文件權限會更加嚴格。
Web UI 去除了一些用戶的敏感信息,例如查詢時的predicate values。
默認kudu對配置的磁盤預留1%空間,當磁盤空閑空間不足1%時,為避免完全寫滿磁盤,會停止寫入數據。
數字列(int float double)默認編碼BIT_SHUFFLE,binary string類型的變成DICT_ENCODING。此類編碼存儲機制類似于parquet。
WAL使用LZ4壓縮,提升寫入性能和穩定性。
Delta file使用LZ4壓縮,可以提高讀和寫,特別是頻繁更新的可壓縮數據。
Kudu API在查詢時支持IS NULL 和 IS NOT NULL(KuduPredicate.newIsNotNullPredicate)的pridicate,spark datasource集成可以利用這些新的predicate。
C++ 和 Java client “in partitions”的查詢有優化。
Java client的異常信息被截斷成最大的32KB。
?
兼容性
Kudu 1.3 可連接kudu1.0 server,調用新特性時會報錯。
kudu 1.1 可連接kudu1.3 server,但當集群配置了安全認證,將會報錯。
從1.2滾動升級到1.3沒有被充分驗證。建議使用者關閉整個集群,升級版本,然后重啟新版本,通過這種方式來升級。
升級后,如果1.3版本設置了安全認證(authentication or encryption set to “required”),老版本的client將不能連接服務。
升級后,如果1.3版本沒有設置安全認證(set to “optional” or “disabled”),老版本的client還能繼續連接server。
?
不可兼容變化
因為存儲格式變化,1.3版本將不能降級到老版本。
為了在配置了安全的集群上跑mr或者spark任務,需要提供認證憑證。
?
引用
https://github.com/cloudera/kudu/blob/master/docs/release_notes.adoc?
個人github?https://github.com/qiulp/doc/edit/master/kudu/kudu1.3.0.md
?
總結
以上是生活随笔為你收集整理的Kudu1.1.0 、 Kudu1.2.0 Kudu1.3.0的版本信息异同比较的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Qualcomm QXDM工具简介和lo
- 下一篇: 软件的快速开发