當(dāng)前位置:
首頁 >
自定义机架感知
發(fā)布時間:2023/12/3
36
豆豆
副本節(jié)點的選擇(機架感知)
1、默認情況下
第一個副本在client所處的節(jié)點上,如果客戶端在集群之外,(在win7上運行程序,寫文件到集群上),隨機選一個。
第二個副本和第一個副本在不同機架上,節(jié)點隨機選
第三個副本和第二個副本在相同的機架上,節(jié)點隨機
2、hadoop2.7.2
第一個副本在client所處的節(jié)點上,如果客戶端在集群之外,(在win7上運行程序,寫文件到集群上),隨機選一個
第二個副本與第一個副本在同一機架上
第三個副本在不同的機架上
{對于副本來講,有一個副本在不同的機架上,可以保證可用性,在client上寫入數(shù)據(jù),用網(wǎng)絡(luò)拓撲距離計算,在client上寫入兩個副本的速度強于 將兩個副本寫入到另外的機架上}
自定義機架感知
1、創(chuàng)建類實現(xiàn)DNSToSwitchMapping接口
2、配置文件core-site.xml
hadoop不能探測到節(jié)點所在的交換機,只能知道節(jié)點的IP地址和主機名稱,所以需要自己定義規(guī)則。
package Hadoop;
總結(jié)
- 上一篇: 反三国志电脑单机游戏(三国志老款经典单机
- 下一篇: 获取笔记本的SHA1的值。