http://tech.it168.com/a2011/1202/1283/000001283152.shtml

在今天下午進(jìn)行的NoSQL系統(tǒng)及應(yīng)用分論壇中，來(lái)自淘寶的軟件工程師張毅發(fā)表主題演講“淘寶HBase應(yīng)用和改善”，介紹了HBase在淘寶平臺(tái)上使用，以及對(duì)HBase的調(diào)試和改進(jìn)的經(jīng)驗(yàn)分享。

▲淘寶軟件工程師張毅

　 　隨著淘寶的數(shù)據(jù)的快速增長(zhǎng)，數(shù)據(jù)量每年都會(huì)翻一翻，這樣的增長(zhǎng)速度是淘寶選擇HBase的重要原因。據(jù)張毅介紹，淘寶自今年年初開(kāi)始對(duì)HBase進(jìn)行預(yù) 演，包括線(xiàn)上應(yīng)用和調(diào)優(yōu)，以及bug的修改。這一過(guò)程包括三個(gè)階段，第一階段是對(duì)HBase的屬性和配置等性能方面的熟悉過(guò)程;第二階段將HBase應(yīng)用 到線(xiàn)上;第三階段是修改其內(nèi)部代碼，并投入到HBase的社區(qū)中，使其得到進(jìn)一步的發(fā)展。

▲淘寶選擇HBase的原因

　 　HBase是分布式NoSQL存儲(chǔ)系統(tǒng)，其底層數(shù)據(jù)存儲(chǔ)基于HDFS，具有高可用和高性能的特點(diǎn)，可以處理百億行*百萬(wàn)列*上萬(wàn)個(gè)版本的列式存儲(chǔ)。談到 淘寶為什么會(huì)選擇HBase，張毅表示，淘寶選擇HBase就像當(dāng)年選擇Hadoop一樣，因其具有海量數(shù)據(jù)處理的能力。淘寶每天的數(shù)據(jù)量都能達(dá)到PB 級(jí)，需要HBase應(yīng)對(duì)海量數(shù)據(jù)帶來(lái)的挑戰(zhàn)。另外，HBase還具有易于橫向擴(kuò)展、隨機(jī)讀寫(xiě)的高性能、高可靠性和穩(wěn)定性、單行寫(xiě)入的強(qiáng)一致性的特點(diǎn)。

▲HBase在淘寶的規(guī)模

　 　張毅認(rèn)為數(shù)據(jù)瞬間寫(xiě)入量很大，數(shù)據(jù)庫(kù)不好支撐或者需要很高成本支撐的場(chǎng)景可以考慮使用HBase，或者數(shù)據(jù)需要長(zhǎng)久保存，且量會(huì)持續(xù)增長(zhǎng)到比較大的場(chǎng)景 可以選擇HBase。但是HBase畢竟不是關(guān)系型數(shù)據(jù)庫(kù)，因此不適用于有Join、多級(jí)索引、表關(guān)系復(fù)雜的數(shù)據(jù)模型。

▲NoSQL專(zhuān)場(chǎng)爆滿(mǎn) 向坐在地上的同學(xué)們致敬

轉(zhuǎn)載于:https://www.cnblogs.com/licheng/archive/2011/12/05/2276414.html

總結(jié)

以上是生活随笔為你收集整理的[Hadoop in China 2011] HBase在淘宝平台上的应用和改进经验的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。