因為NameNode的數(shù)據(jù)需要加載到內(nèi)存里，隨著數(shù)據(jù)越來越大，內(nèi)存會不夠用出現(xiàn)內(nèi)存受限問題。

解決方法：

官網(wǎng)：hdfs聯(lián)邦 ? ?http://blog.csdn.net/zengmingen/article/details/52143300

國內(nèi)：

因為數(shù)據(jù)存在階段性，時間，內(nèi)容不同等。

一個集群只能有一個NameNode，則把不同階段的數(shù)據(jù)存到不同的集群里，這是國內(nèi)如京東百度淘寶等的解決方法。

如：

京東的訂單存一個集群

京東的流水存一個集群

京東的商品信息存一個集群

訂單里10年前的一個集群，10年內(nèi)的一個集群

總結(jié)

以上是生活随笔為你收集整理的Hadoop解决内存受限问题的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。