日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當(dāng)前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

双NameNode的同步机制

發(fā)布時(shí)間:2025/4/5 编程问答 32 豆豆
生活随笔 收集整理的這篇文章主要介紹了 双NameNode的同步机制 小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

前言:Hadoop2.0中基于JournalNode的雙NameNode的元數(shù)據(jù)同步機(jī)制

日志節(jié)點(diǎn)(JournalNode)的概念及作用

JournalNode是HA集群(高可用集群,HighAvailabilityCluster)中Active NameNode(ANN,活動名稱節(jié)點(diǎn))和StandBy NameNode(SNN,備用名稱節(jié)點(diǎn))之間編輯日志Edits和HDFS元數(shù)據(jù)共享的傳輸介質(zhì)。

主要作用是:為兩個(gè)NameNode之間共享數(shù)據(jù),同步狀態(tài)。

過程

  • Active Namenode往Journal Nodes中寫EditLog數(shù)據(jù)

  • StandBy Namenode再從Journal Nodes中讀取EditLog數(shù)據(jù)進(jìn)行同步

  • 日志管理器(QJM)的概念及工作原理

    概念:QJM是由多個(gè)日志節(jié)點(diǎn)JournalNodes(JN)組成的JournalNode集群,主要用于存儲EditLog,一般運(yùn)行奇數(shù)個(gè)JournalNodes,至少需要3個(gè),每個(gè)JournalNode保存同樣的EditLog副本。

    基于QJM共享存儲的數(shù)據(jù)同步機(jī)制:

  • 當(dāng)Active NameNode執(zhí)行任何有關(guān)命名空間的修改,它需要告知JournalNodes集群中大多數(shù)(一半以上)的JournalNodes進(jìn)程

  • 而Standby NameNode負(fù)責(zé)觀察集群中JournalNodes的變化,有能力從JournalNodes中讀取從Active NameNode發(fā)送過來的信息,一直監(jiān)控EditLog的變化,并更新其內(nèi)部的命名空間,一直監(jiān)控EditLog的變化,并更新其內(nèi)部的命名空間

  • 一旦Active NameNode遇到錯(cuò)誤,Standby NameNode需要已經(jīng)從JournalNodes中讀出全部EditLog日志,保證在故障切換發(fā)生前其NameNodes的狀態(tài)已經(jīng)完全同步,然后,Standby NameNode再切換成Active狀態(tài)

  • 總結(jié)

    以上是生活随笔為你收集整理的双NameNode的同步机制的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。

    如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。