[Hadoop in China 2011] HBase在淘宝平台上的应用和改进经验
http://tech.it168.com/a2011/1202/1283/000001283152.shtml
在今天下午進行的NoSQL系統及應用分論壇中,來自淘寶的軟件工程師張毅發表主題演講“淘寶HBase應用和改善”,介紹了HBase在淘寶平臺上使用,以及對HBase的調試和改進的經驗分享。
▲淘寶軟件工程師張毅
隨著淘寶的數據的快速增長,數據量每年都會翻一翻,這樣的增長速度是淘寶選擇HBase的重要原因。據張毅介紹,淘寶自今年年初開始對HBase進行預 演,包括線上應用和調優,以及bug的修改。這一過程包括三個階段,第一階段是對HBase的屬性和配置等性能方面的熟悉過程;第二階段將HBase應用 到線上;第三階段是修改其內部代碼,并投入到HBase的社區中,使其得到進一步的發展。
▲淘寶選擇HBase的原因
HBase是分布式NoSQL存儲系統,其底層數據存儲基于HDFS,具有高可用和高性能的特點,可以處理百億行*百萬列*上萬個版本的列式存儲。談到 淘寶為什么會選擇HBase,張毅表示,淘寶選擇HBase就像當年選擇Hadoop一樣,因其具有海量數據處理的能力。淘寶每天的數據量都能達到PB 級,需要HBase應對海量數據帶來的挑戰。另外,HBase還具有易于橫向擴展、隨機讀寫的高性能、高可靠性和穩定性、單行寫入的強一致性的特點。
▲HBase在淘寶的規模
張毅認為數據瞬間寫入量很大,數據庫不好支撐或者需要很高成本支撐的場景可以考慮使用HBase,或者數據需要長久保存,且量會持續增長到比較大的場景 可以選擇HBase。但是HBase畢竟不是關系型數據庫,因此不適用于有Join、多級索引、表關系復雜的數據模型。
▲NoSQL專場爆滿 向坐在地上的同學們致敬
轉載于:https://www.cnblogs.com/licheng/archive/2011/12/05/2276414.html
總結
以上是生活随笔為你收集整理的[Hadoop in China 2011] HBase在淘宝平台上的应用和改进经验的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 修改 gcc 和 g++ 的默认版本
- 下一篇: 小猿圈之java文件重命名