我們將描述在單節點和多節點上的Hadoop設置。 將詳細描述Hadoop環境的設置和配置。 首先，您需要下載以下軟件（rpm）。

• Java JDK RPM
• Apache Hadoop 0.20.204.0 RPM

A）單節點系統Hadoop設置

1）在Red Hat或CentOS 5+系統上安裝JDK。

$ ./jdk-6u26-linux-x64-rpm.bin.sh

Java已安裝，并將JAVA_HOME設置為/ usr / java / default

2）安裝Apache Hadoop 0.20.204。

$ rpm -i hadoop-0.20.204.0-1.i386.rpm

3）設置Apache Hadoop配置并啟動Hadoop進程。

$ /usr/sbin/hadoop-setup-single-node.sh

設置向導將指導您完成一系列問題以設置Hadoop。 對所有問題回答“是”后，Hadoop應該正在運行。

在HDFS上為您自己創建一個用戶帳戶。

$ /usr/sbin/hadoop-create-user.sh -u $USER

B）多節點Hadoop設置

1）在所有節點上同時安裝JDK和Hadoop 0.20.204.0 RPM

2）在所有節點上生成hadoop配置：

$ /usr/sbin/hadoop-setup-conf.sh \--namenode-url=hdfs://${namenode}:9000/ \--jobtracker-url=${jobtracker}:9001 \--conf-dir=/etc/hadoop \--hdfs-dir=/var/lib/hadoop/hdfs \--namenode-dir=/var/lib/hadoop/hdfs/namenode \--mapred-dir=/var/lib/hadoop/mapred \--datanode-dir=/var/lib/hadoop/hdfs/data \--log-dir=/var/log/hadoop \--auto

其中$ {namenode}和$ {jobtracker}應替換為namenode和jobtracker的主機名。

3）格式化namenode并設置默認的HDFS布局。

$ /usr/sbin/hadoop-setup-hdfs.sh

4）啟動所有數據節點。

$ /etc/init.d/hadoop-datanode start

5）啟動作業跟蹤器節點。

$ /etc/init.d/hadoop-jobtracker start

6）啟動任務跟蹤器節點。

$ /etc/init.d/hadoop-tasktracker start

7）在HDFS上為您自己創建一個用戶帳戶。

$ /usr/sbin/hadoop-create-user.sh -u $USER

C）Hadoop的安裝環境

$ vi ~/.bash_profile

在INSERT模式下，設置JAVA_HOME的路徑

匯出JAVA_HOME

通過單擊esc：wq保存文件

運行.bash_profile

$ source ~/.bash_profile

在Hadoop環境文件中設置JAVA_HOME路徑

$ /etc/hadoop/hadoop-env.sh

D）Hadoop的配置

使用以下內容：

conf / core-site.xml：

<configuration><property><name>fs.default.name</name><value>hdfs://localhost:9000</value></property> </configuration>

conf / hdfs-site.xml：

<configuration><property><name>dfs.replication</name><value>1</value></property> </configuration>

conf / mapred-site.xml：

<configuration><property><name>mapred.job.tracker</name><value>localhost:9001</value></property> </configuration>

E）Hadoop命令

$ hadoop $ hadoop namenode –format (Format the namenode, If ask to answer press ‘Y’) $ hadoop namenode (Start the namenode) $ find / -name start-dfs.sh (find the file in directory) $ cd usr/sbin (Go to respective directory directly) $ start-dfs.sh $ start-mapred.sh$ hadoop fs –ls / (Shows the HDFS root folder) $ hadooop fs –put input/file01 /input/file01 (Copy local input/file01 to HDFS root /input/file01)

參考： TechAlpine –技術世界博客上的JCG合作伙伴 Kaushik Pal提供了在單節點和多節點上的Hadoop設置 。

翻譯自: https://www.javacodegeeks.com/2013/05/hadoop-setup-on-single-node-and-multi-node.html

總結

以上是生活随笔為你收集整理的在单节点和多节点上的Hadoop设置的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。