hadoop偽分布式模式

了解了什么是Hadoop之后，讓我們?cè)趩螜C(jī)上啟動(dòng)Hadoop：

這篇文章包含在ubuntu上安裝Hadoop的說明。 這是Hadoop安裝的快速分步教程。 在這里，您將獲得以獨(dú)立模式 （單節(jié)點(diǎn)集群）安裝Hadoop所需的所有命令及其說明， ? 偽分布式模式下的Hadoop （單節(jié)點(diǎn)群集）和分布式模式下的Hadoop （多節(jié)點(diǎn)群集）。

本教程的主要目標(biāo)是啟動(dòng)并運(yùn)行“簡(jiǎn)單的” Hadoop安裝，以便您可以試用該軟件并了解更多信息。

本教程已經(jīng)過測(cè)試：

• Ubuntu Linux（10.04 LTS）
• Hadoop 0.20.2

先決條件：
安裝Java：
推薦將Java 1.6.x（Sun Java或Open Java）用于Hadoop

1.將Canonical合作伙伴存儲(chǔ)庫添加到您的apt存儲(chǔ)庫中：

$ sudo add-apt-repository "deb http://archive.canonical.com/ lucid partner"

2.更新源列表

$ sudo apt-get update

3.安裝sun-java6-jdk

$ sudo apt-get install sun-java6-jdk

4.安裝后，快速檢查Sun的JDK是否正確設(shè)置：

user@ubuntu:~# java -version java version "1.6.0_20" Java(TM) SE Runtime Environment (build 1.6.0_20-b02) Java HotSpot(TM) Client VM (build 16.3-b01, mixed mode, sharing)

添加專用的Hadoop系統(tǒng)用戶：
我們將使用專用的Hadoop用戶帳戶來運(yùn)行Hadoop。 雖然這不是必需的，但建議這樣做，因?yàn)樗兄趯adoop安裝與同一計(jì)算機(jī)上運(yùn)行的其他軟件應(yīng)用程序和用戶帳戶分開（請(qǐng)考慮：安全性，權(quán)限，備份等）

$ sudo adduser hadoop_admin

登錄到hadoop_admin用戶：

user@ubuntu:~$ su - hadoop_admin

Hadoop安裝：

$ cd /usr/local $ sudo tar xzf hadoop-0.20.2.tar.gz $ sudo chown -R hadoop_admin /usr/local/hadoop-0.20.2

定義JAVA_HOME：

編輯配置文件/usr/local/hadoop-0.20.2/conf/hadoop-env.sh并設(shè)置JAVA_HOME：
導(dǎo)出JAVA_HOME =要成為Java安裝根目錄的路徑（例如：/ usr / lib / jvm / java-6-sun）

$ vi conf/hadoop-env.sh

進(jìn)入您的hadoop安裝目錄（HADOOP_HOME，即/usr/local/hadoop-0.20.2/）：

$ bin/hadoop

它將生成以下輸出：

Usage: hadoop [--config confdir] COMMAND where COMMAND is one of: namenode -format format the DFS filesystem secondarynamenode run the DFS secondary namenode namenode run the DFS namenode datanode run a DFS datanode dfsadmin run a DFS admin client mradmin run a Map-Reduce admin client fsck run a DFS filesystem checking utility fs run a generic filesystem user client balancer run a cluster balancing utility jobtracker run the MapReduce job Tracker node pipes run a Pipes job tasktracker run a MapReduce task Tracker node job manipulate MapReduce jobs queue get information regarding JobQueues version print the version jar <jar> run a jar file distcp <srcurl> <desturl> copy file or directories recursively archive -archiveName NAME <src>*<dest> create a hadoop archive daemonlog get/set the log level for each daemon or CLASSNAME run the class named CLASSNAME Most commands print help when invoked w/o parameters:

獨(dú)立模式下的Hadoop安裝已完成……。!!!!!!!

現(xiàn)在讓我們運(yùn)行一些示例：
1.運(yùn)行經(jīng)典Pi示例：

$ bin/hadoop jar hadoop-*-examples.jar pi 10 100

2.運(yùn)行g(shù)rep示例：

$ mkdir input $ cp conf/*.xml input $ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+' $ cat output/*

3.運(yùn)行字?jǐn)?shù)示例：

$ mkdir inputwords $ cp conf/*.xml inputwords $ bin/hadoop jar hadoop-*-examples.jar wordcount inputwords outputwords

如果發(fā)現(xiàn)任何錯(cuò)誤，請(qǐng)?jiān)L問Hadoop故障排除

在以獨(dú)立模式運(yùn)行Hadoop之后，讓我們以偽分布式模式 （單節(jié)點(diǎn)群集）啟動(dòng)Hadoop ：

配置SSH：
Hadoop需要SSH訪問權(quán)限來管理其節(jié)點(diǎn)，即遠(yuǎn)程計(jì)算機(jī)和本地計(jì)算機(jī)。 因此，對(duì)于我們的Hadoop單節(jié)點(diǎn)設(shè)置，我們需要為hadoop_admin用戶配置對(duì)localhost的SSH訪問

user@ubuntu:~$ su - hadoop_admin hadoop_admin@ubuntu:~$ sudo apt-get install openssh-server openssh-clienthadoop_admin@ubuntu:~$ ssh-keygen -t rsa -P "" Generating public/private rsa key pair. Enter file in which to save the key (/home/hadoop_admin/.ssh/id_rsa): Created directory '/home/hadoop_admin/.ssh'. Your identification has been saved in /home/hadoop_admin/.ssh/id_rsa. Your public key has been saved in /home/hadoop_admin/.ssh/id_rsa.pub. The key fingerprint is: 9b:82:ea:58:b4:e0:35:d7:ff:19:66:a6:ef:ae:0e:d2 hadoop_admin@ubuntu The key's randomart image is: [...snipp...] hadoop_admin@ubuntu:~$

啟用S??SH訪問本地計(jì)算機(jī)并使用ssh連接

$ cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys $ ssh localhost The authenticity of host 'localhost (::1)' can't be established. RSA key fingerprint is e7:89:26:49:ae:02:30:eb:1d:75:4f:bb:44:f9:36:29. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added 'localhost' (RSA) to the list of known hosts. Linux ubuntu 2.6.32-22-generic #33-Ubuntu SMP Wed Apr 30 13:27:30 UTC 2010 i686 GNU/Linux Ubuntu 10.04 LTS [...snipp...] $

編輯配置文件：

$ vi conf/core-site.xml <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property><property> <name>hadoop.tmp.dir</name> <value>/tmp/hadoop-${user.name}</value> </property></configuration>

如果提供其他路徑，請(qǐng)確保hadoop_admin用戶具有該目錄的讀寫權(quán)限（sudo chown hadoop_admin / your / path）

$ vi conf/hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>$ vi conf/mapred.xml <configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration>

格式化名稱節(jié)點(diǎn)：

$ /hadoop/bin/hadoop namenode -format

它將生成以下輸出：

$ bin/hadoop namenode -format 10/05/10 16:59:56 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = ubuntu/127.0.1.1 STARTUP_MSG: args = [-format] STARTUP_MSG: version = 0.20.2 STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707; compiled by 'chrisdo' on Fri Feb 19 08:07:34 UTC 2010 ************************************************************/ 10/05/10 16:59:56 INFO namenode.FSNamesystem: fsOwner=hadoop_admin,hadoop 10/05/08 16:59:56 INFO namenode.FSNamesystem: supergroup=supergroup 10/05/08 16:59:56 INFO namenode.FSNamesystem: isPermissionEnabled=true 10/05/08 16:59:56 INFO common.Storage: Image file of size 96 saved in 0 seconds. 10/05/08 16:59:57 INFO common.Storage: Storage directory .../.../dfs/name has been successfully formatted. 10/05/08 16:59:57 INFO namenode.NameNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at ubuntu/127.0.1.1 ************************************************************/ $

啟動(dòng)單節(jié)點(diǎn)集群：

$ /bin/start-all.sh

它將生成以下輸出：

hadoop_admin@ubuntu:/usr/local/hadoop$ bin/start-all.sh starting namenode, logging to /usr/local/hadoop/bin/../logs/hadoop-hadoop-namenode-ubuntu.out localhost: starting datanode, logging to /usr/local/hadoop/bin/../logs/hadoop-hadoop-datanode-ubuntu.out localhost: starting secondarynamenode, logging to /usr/local/hadoop/bin/../logs/hadoop-hadoop-secondarynamenode-ubuntu.out starting jobtracker, logging to /usr/local/hadoop/bin/../logs/hadoop-hadoop-jobtracker-ubuntu.out localhost: starting tasktracker, logging to /usr/local/hadoop/bin/../logs/hadoop-hadoop-tasktracker-ubuntu.out hadoop_admin@ubuntu:/usr/local/hadoop$

檢查jps是否正在運(yùn)行預(yù)期的Hadoop進(jìn)程

$ jps 14799 NameNode 14977 SecondaryNameNode 15183 DataNode 15596 JobTracker 15897 TaskTracker

偽分布式模式下的Hadoop安裝已完成……。!!!!!!!

停止單節(jié)點(diǎn)集群：

$ /bin/stop-all.sh

它將產(chǎn)生以下輸出：

$ bin/stop-all.sh stopping jobtracker localhost: stopping tasktracker stopping namenode localhost: stopping datanode localhost: stopping secondarynamenode $

您可以在oder中運(yùn)行與獨(dú)立模式下相同的示例集，以檢查安裝是否成功

基于Web的NameNode接口
http：//本地主機(jī)：50070
基于Web的JobTracker界面 http：//本地主機(jī)：50030 基于Web的TaskTracker界面 http：//本地主機(jī)：50060

在以獨(dú)立模式運(yùn)行Hadoop之后，讓我們以分布式模式 （多節(jié)點(diǎn)集群）啟動(dòng)Hadoop。

先決條件：在分布式模式下啟動(dòng)hadoop之前，必須在偽分布式模式下設(shè)置hadoop，并且至少需要兩臺(tái)計(jì)算機(jī)，其中一臺(tái)用于主機(jī)，另一臺(tái)用于從機(jī)（您可以在一臺(tái)計(jì)算機(jī)上創(chuàng)建多臺(tái)虛擬機(jī)）。

命令 描述

$ bin / stop-all.sh	在以分布式模式啟動(dòng)hadoop之前，請(qǐng)先停止每個(gè)集群。 在群集中的所有計(jì)算機(jī)（主服務(wù)器和從服務(wù)器）上運(yùn)行此cmd ?
$ vi / etc / hosts	然后輸入 IP添加主機(jī)（例如：192.168.0.1主機(jī)） IP添加從站（例如192.168.0.2從站） 在群集中的所有計(jì)算機(jī)（主服務(wù)器和從服務(wù)器）上運(yùn)行此cmd ?
$ ssh-copy-id -i $ HOME / .ssh / id_rsa.pub從屬	設(shè)置無密碼的SSH （ 在所有計(jì)算機(jī)上，您必須使用相同的用戶名登錄 ） 在master上運(yùn)行此cmd
要么 $ cat .ssh / id_rsa.pub 然后將其內(nèi)容復(fù)制到 從屬服務(wù)器的$ .ssh / authorized_keys文件（您希望SSH到的系統(tǒng)，而不會(huì)提示您輸入密碼）	我們還可以手動(dòng)設(shè)置無密碼的ssh
$ vi conf / master 然后輸入master	conf / masters文件定義了我們的多節(jié)點(diǎn)集群的名稱節(jié)點(diǎn) 在master上運(yùn)行此cmd ?
$ vi conf /從屬 然后輸入slave	此conf / slaves文件列出了主機(jī)（每行一個(gè)），將在其中運(yùn)行Hadoop從屬守護(hù)程序（數(shù)據(jù)節(jié)點(diǎn)和任務(wù)跟蹤器）。 在群集中的所有計(jì)算機(jī)（主服務(wù)器和從服務(wù)器）上運(yùn)行此cmd ? ?
$ vi conf / core-site.xml 然后輸入： <屬性> <name> fs.default.name </ name> <value> hdfs：// master：54310 </ value> </ property>	編輯配置文件core-site.xml 在群集中的所有計(jì)算機(jī)（主服務(wù)器和從服務(wù)器）上運(yùn)行此cmd ?
$ vi conf / mapred-site.xml 然后輸入： <屬性> <name> mapred.job.tracker </ name> <value> master：54311 </ value> </ property>	編輯配置文件mapred-site.xml 在群集中的所有計(jì)算機(jī)（主服務(wù)器和從服務(wù)器）上運(yùn)行此cmd ?
$ vi conf / hdfs-site.xml 然后輸入： <屬性> <name> dfs.replication </ name> <value> 2 </ value> </ property>	編輯配置文件hdfs-site.xml 在群集中的所有計(jì)算機(jī)（主服務(wù)器和從服務(wù)器）上運(yùn)行此cmd
$ vi conf / mapred-site.xml 然后輸入： <屬性> <name> mapred.local.dir </ name> <value> $ {hadoop.tmp.dir} / mapred / local </ value> </ property> <屬性> <name> mapred.map.tasks </ name> <value> 20 </ value> </ property> <屬性> <name> mapred.reduce.tasks </ name> <value> 2 </ value> </ property>	編輯配置文件mapred-site.xml 在master上運(yùn)行此cmd
$ bin / start-dfs.sh	啟動(dòng)多節(jié)點(diǎn)集群。 首先，啟動(dòng)HDFS守護(hù)程序。 namenode守護(hù)程序在主服務(wù)器上啟動(dòng)，而datanode守護(hù)程序在所有從屬服務(wù)器上啟動(dòng) 在master上運(yùn)行此cmd ? ?
$ jps	它應(yīng)該給出如下輸出： 14799 NameNode 15314秒 16977 secondaryNameNode 在master上運(yùn)行此cmd
$ jps	它應(yīng)該給出如下輸出： 15183數(shù)據(jù)節(jié)點(diǎn) 15616 Jps 在所有奴隸上運(yùn)行這個(gè)命令
$ bin / start-mapred.sh	MapReduce守護(hù)程序已啟動(dòng)：jobtracker守護(hù)程序在主服務(wù)器上啟動(dòng)，而tasktracker守護(hù)程序在所有從屬服務(wù)器上啟動(dòng) 在master上運(yùn)行此cmd ?
$ jps	它應(yīng)該給出如下輸出： 16017每秒 14799 NameNode 15596 JobTracker 14977 SecondaryNameNode 在master上運(yùn)行此cmd ?
$ jps	它應(yīng)該給出如下輸出： 15183數(shù)據(jù)節(jié)點(diǎn) 15897 TaskTracker 16284每秒 在所有奴隸上運(yùn)行這個(gè)命令 ?
恭喜，Hadoop安裝完成
http：// localhost：50070 /	基于Web的名稱節(jié)點(diǎn)界面
http：// localhost：50030 /	基于Web的作業(yè)跟蹤器界面
現(xiàn)在運(yùn)行一些示例
$ bin / hadoop jar hadoop-*-examples.jar pi 10 100	運(yùn)行pi示例
$ bin / hadoop dfs -mkdir輸入 $ bin / hadoop dfs -put conf輸入 $ bin / hadoop jar hadoop-*-examples.jar grep輸入輸出'dfs [az。] +' $ bin / hadoop dfs -cat輸出/ *	運(yùn)行g(shù)rep示例
$ bin / hadoop dfs -mkdir輸入字 $ bin / hadoop dfs -put conf輸入字 $ bin / hadoop jar hadoop-*-examples.jar字?jǐn)?shù)輸入詞輸出詞 $ bin / hadoop dfs -cat outputwords / *	運(yùn)行wordcount示例
$ bin / stop-mapred.sh $ bin / stop-dfs.sh	阻止惡魔 在master上運(yùn)行此cmd ??

參考： JCG合作伙伴提供的 獨(dú)立模式下的 Hadoop，偽分布式模式下的 Hadoop和分布式模式 下的 Hadoop ? Rahul Patodi在高性能計(jì)算博客上。

翻譯自: https://www.javacodegeeks.com/2012/01/hadoop-modes-explained-standalone.html

hadoop偽分布式模式

總結(jié)

以上是生活随笔為你收集整理的hadoop伪分布式模式_Hadoop模式介绍-独立，伪分布式，分布式的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。