之前一直沒做過rebalance，以為速度很快，結果大意了，等到磁盤達到90%的時候，才開始做rebalance。

默認的從日志中可以看到總共需要遷移1.89T，但是每次只移動40G大小的量。

然后查看40G的數據量從15:45分到15:48分，所以結算結果為每分鐘13G,每秒228M左右。(感覺這計算結果有問題)

?

hadoop有個balancerBandwidth可以通過設置帶寬流量來增加數據移動的大小。

所以通過以下設置來增加每秒流量為500M.

hadoop dfsadmin -setBalancerBandwidth 524288000?

start-balancer.sh -threshold 5

?

總結

以上是生活随笔為你收集整理的hadoop rebalance的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。