hadoop的限制/不足
Hadoop不足:
1.不適合低延遲數(shù)據(jù)訪問
HDFS面向大規(guī)模數(shù)據(jù)批處理設(shè)計,采用流式數(shù)據(jù)處理,具有很高的數(shù)據(jù)吞吐率,但這也意味著有較高的延時。
2.不能夠高效的存儲小文件數(shù)據(jù)
Hadoop是基于HDFS文件存儲系統(tǒng),HDFS是采用塊為基本單位存儲數(shù)據(jù),每個塊大小為64KB(不確定現(xiàn)在多少),如果一個文件達(dá)不到64KB,也會存成一個獨立的塊。如果存在大量的小文件(假設(shè)都小于64KB)那么會造成每個塊都無法存儲滿,造成大量的空間浪費。
HDFS是采用主從節(jié)點架構(gòu)。集群中只設(shè)置一個主節(jié)點(可能有備份主節(jié)點),可由很多個從節(jié)點。主節(jié)點負(fù)責(zé)集群管理,資源配置,作業(yè)調(diào)度等。從節(jié)點負(fù)責(zé)數(shù)據(jù)的存儲與讀取。HDFS采用主節(jié)點管理元數(shù)據(jù),元數(shù)據(jù)被保存在內(nèi)存中,從而使得客戶端可以快速查詢到數(shù)據(jù)塊位置,數(shù)據(jù)塊號。然后再在從節(jié)點讀寫數(shù)據(jù)。如果存在大量小文件,則會使得在主節(jié)點查詢效率降低。導(dǎo)致主節(jié)點效率下降。
3.不支持用戶寫入并修改文件
Hadoop現(xiàn)在還不支持多人寫入,任意修改的功能。只允許一個文件有一個寫入者,不允許多個用戶堆同一文件執(zhí)行寫操作,而且只允許對文件進行追加,也就是說每次寫入都會添加在文件末尾(區(qū)分關(guān)系型數(shù)據(jù)庫的特點)。
總結(jié)
以上是生活随笔為你收集整理的hadoop的限制/不足的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 编译asp.net文件为dll文件
- 下一篇: CentOS 5 上安装git