hadoop--HDFS_机架感知与网络拓扑节点距离计算
生活随笔
收集整理的這篇文章主要介紹了
hadoop--HDFS_机架感知与网络拓扑节点距离计算
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
目錄
- 機架感知
- 網絡拓撲--節點距離計算
機架感知
1.什么是機架感知?
Hadoop集群中副本存儲節點選擇;
2.什么時候會涉及機架感知?
當Hadoop集群規模相當大的情況下,就要考慮機架感知;
3.機架感知需考慮哪些因素?分別說明。
1). 第一個副本選擇本地機架,距離近,上傳速度快;
2). 第二個副本選擇遠程機架的隨機節點,保證數據的可靠性;
3). 第三個副本選擇第二個副本所在機架的隨機節點,而不是其他機架,是同時兼顧可靠性+效率;
網絡拓撲–節點距離計算
問:在HDFS寫數據的過程中,NameNode會選擇距離待上傳數據最近距離的DataNode接收數據,最近距離如何計算?
答:兩個節點到達最近的共同祖先的距離總和。
eg:
如圖,5和9的共同祖先為6,所以5到9的距離為:3;
如圖,1和5的共同祖先為6,所以他們的距離為4.
總結
以上是生活随笔為你收集整理的hadoop--HDFS_机架感知与网络拓扑节点距离计算的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 重新想象 Windows 8 Store
- 下一篇: tcp/udp socket编程异同