生活随笔
收集整理的這篇文章主要介紹了
linux centos/debian下hadoop2.6.5单机伪分布式安装
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
官方文檔
hadoop2.6.5官方安裝文檔
配置/etc/hosts
增加節(jié)點名稱node01
修改hdp配置文件
cd /opt/hadoop-2.6.5/etc/hadoop
第一個：hadoop-env.sh
vim hadoop-env.sh
export JAVA_HOME
=${JAVA_HOME}
export JAVA_HOME
=/opt/jdk1.8.0_271
第二個：core-site.xml
<configuration><property><name>fs.defaultFS
</name><value>hdfs://node01:9000
</value></property><property><name>hadoop.tmp.dir
</name><value>/opt/hadoop-2.6.5/tmp
</value></property>
</configuration>
第三個：hdfs-site.xml
<configuration> <property><name>dfs.replication
</name><value>1
</value></property><property><name>dfs.secondary.http.address
</name><value>node01:50090
</value></property>
</configuration>
對于目錄更詳盡的配置：
<property><name>dfs.replication
</name><value>1
</value>
</property>
<property><name>dfs.namenode.name.dir
</name><value>/opt/hadoop-2.6.5/local/dfs/name
</value>
</property>
<property><name>dfs.datanode.data.dir
</name><value>/opt/hadoop-2.6.5/local/dfs/data
</value>
</property>
<property><name>dfs.namenode.secondary.http-address
</name><value>node01:50090
</value>
</property>
<property><name>dfs.namenode.checkpoint.dir
</name><value>/opt/hadoop-2.6.5/local/dfs/secondary
</value>
</property>
第四個：mapred-site.xml (需要從此文件復制mapred-site.xml.template)
cp mapred-site.xml.template mapred-site.xml
<configuration><property><name>mapreduce.framework.name
</name><value>yarn
</value></property></configuration>
第五個：yarn-site.xml
<configuration><property><name>yarn.nodemanager.aux-services
</name><value>mapreduce_shuffle
</value></property><property><name>yarn.resourcemanager.hostname
</name><value>node01
</value></property>
</configuration>
初始化namenode
執(zhí)行下述命令沒有報錯即為初始化正常：
hdfs namenode -format
啟動文HDFS和YARN
為了避免start-all.sh腳本執(zhí)行時需要多次輸入密碼，需配置ssh localhost免密登錄。debian上最好以普通用戶來執(zhí)行該腳本。
start-all.sh
接下來，使用jps查看進程情況
jps（jps 在Linux/unix平臺上簡單察看當前java進程的一些簡單情況），如果有以下進程則表示測試通過
Jps （java進程）
SecondaryNameNode （相當于NameNode的助理）
DataNode （hdfs部門的小弟，負責存放數(shù)據(jù)）
NameNode （hdfs部門的老大）
ResourceManager （yarn部門的老大，yarn負責資源管理）
NodeManager （yarn部門的小弟，可以一個，集群的話會有很多）
總結
以上是生活随笔為你收集整理的linux centos/debian下hadoop2.6.5单机伪分布式安装的全部內容，希望文章能夠幫你解決所遇到的問題。
如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。
