Hadoop的NameNode与SecondaryNameNode,DataNode
NameNode:
主要任務(wù)是接收客戶端的讀寫服務(wù),
主要功能:
1,文件ownship和permission
2,文件包含哪些塊
3,Block保存在哪個DataNode中(由DataNode每次啟動時上報)
元數(shù)據(jù)MetaData在啟動后會加載到內(nèi)存中,其中1,2也會保存在磁盤的fsimage中,但是3不會保存在fsimage中
Edits:
記錄對MetaData的操作日志,但是對MetaData的修改不會馬上修改fsimage,而是將操作記錄在edits中,每隔一定時間將edits和fsimage合并,并根據(jù)記錄再edits中的操作對fsimage進(jìn)行修改。
SecondaryNameNode:
SecondaryNameNode并不是NameNode的備份,但是可以完成一部分元數(shù)據(jù)的備份工作(因?yàn)闀截恌simage到SNN中)
SecondaryNameNode的主要工作是合并edits和fsimage文件,生成新的fsimage并傳送給NameNode,替換NameNode中的舊的fsimage
DataNode:
1,存儲數(shù)據(jù)block
2,每次啟動時向NameNode匯報block信息,
3,主動發(fā)送心跳信息給NameNode(每3秒一次)
Block副本放置策略:
block1放在隨便一個不太忙的節(jié)點(diǎn),block2放在不同于Block1的機(jī)架的節(jié)點(diǎn)上,block3和block2放在同一個機(jī)架上的節(jié)點(diǎn)(保證速度)
總結(jié)
以上是生活随笔為你收集整理的Hadoop的NameNode与SecondaryNameNode,DataNode的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 内推 | 阿里巴巴2020秋季校园招聘正
- 下一篇: Apache Kafka 迎来了“后浪”