2019獨(dú)角獸企業(yè)重金招聘Python工程師標(biāo)準(zhǔn)>>>

一、目的

這篇文檔描述了怎樣去安裝和配置一個(gè)單節(jié)點(diǎn)的Hadoop，因此您可以使用Hadoop MapReduce?和 Hadoop Distributed File System (HDFS) 快速展現(xiàn)一個(gè)簡(jiǎn)單的運(yùn)算。

二、安裝的先決條件

支持的平臺(tái)

Hadoop支持GNU/Linux系統(tǒng)，并被作為開發(fā)和產(chǎn)品平臺(tái)。經(jīng)證實(shí)，在GNU/Linux平臺(tái)上Hadoop可以支持2000個(gè)節(jié)點(diǎn)的集群。

Windows系統(tǒng)也是被支持的，但是下面的文檔僅描述Hadoop在Linux上的安裝，Hadoop在Windws系統(tǒng)的安裝請(qǐng)參考?wiki page。

所需軟件

Linux需求的軟件包含：

Java? 必須被安裝，推薦的Java版本請(qǐng)參考?HadoopJavaVersions. ssh 必須被安裝并且sshd是運(yùn)行狀態(tài)， 因?yàn)樾枰肏adoop腳本去管理遠(yuǎn)程守護(hù)進(jìn)程。

?

安裝軟件

如果你的集群中沒有上述軟件，請(qǐng)安裝它。

例如在Ubuntu下：

$ sudo apt-get install ssh
$ sudo apt-get install rsync

三、下載所需軟件

獲取Hadoop 分布式集群軟件，從?Apache Download Mirrors上下載一個(gè)最近的穩(wěn)定版本（當(dāng)期穩(wěn)定版本是2.4.1）。

四、準(zhǔn)備開始Hadoop集群

解壓下載好的Hadoop軟件。 在安裝目錄里，編輯文件etc/hadoop/hadoop-env.sh，并定義下面一些參數(shù)：?

# 設(shè)置JAVA的安裝目錄export JAVA_HOME=/usr/java/latest # 設(shè)置hadoop的安裝目錄，假如您的安裝目錄是 /usr/local/hadoopexport HADOOP_PREFIX=/usr/local/hadoop
在Termimal中嘗試輸入以下命令: $ bin/hadoop

輸入上述命令后，Terminal中將會(huì)顯示hadoop scripts的使用幫助文檔。

接下來(lái)，你可以在下面三種模式中開始您的Hadoop集群

• 本地模式（單機(jī)模式）
• 為分布式模式
• 完全分布式模式

?

五、單機(jī)安裝（運(yùn)行一個(gè)例子）

默認(rèn)情況下，Hadoop作為一個(gè)簡(jiǎn)單的Java程序，被運(yùn)行在一個(gè)沒有分布式的模式。更多的是被用來(lái)調(diào)式程序。

在下面的例子中，復(fù)制Hadoop安裝文件中的conf目錄，使用它作為輸入。然后再conf文件中找出與給定正則表達(dá)式匹配的文件。輸出被寫到給定的output目錄。

$ mkdir input$ cp etc/hadoop/*.xml input$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar grep input output 'dfs[a-z.]+'$ cat output/*

六、偽分布式安裝

?Hadoop也可以在一個(gè)單節(jié)點(diǎn)中運(yùn)行偽分布式模式，Hadoop守護(hù)進(jìn)程運(yùn)行在一個(gè)分割的Java程序中。

?配置

?配置的文件和屬性如下：

?etc/hadoop/core-site.xml：

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property> </configuration>

etc/hadoop/hdfs-site.xml:

<configuration><property><name>dfs.replication</name><value>1</value></property> </configuration>

?

配置ssh無(wú)秘鑰登錄

使用如下命令檢查您的ssh是否可以無(wú)秘鑰登錄

$ ssh localhost

如果不能使用無(wú)秘鑰登錄到localhost，請(qǐng)執(zhí)行下面的命令：

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

?執(zhí)行

?下面這些命令運(yùn)行一個(gè)MapReduce作業(yè)，如果您想執(zhí)行一個(gè)YARN作業(yè)，請(qǐng)參考下一節(jié)的內(nèi)容：?在單節(jié)點(diǎn)上運(yùn)行YARN。

格式化文件系統(tǒng):
$ bin/hdfs namenode -format

開啟NameNode守護(hù)進(jìn)程和DataNode守護(hù)進(jìn)程:
$ sbin/start-dfs.sh
Hadoop守護(hù)進(jìn)程日志輸出在$HADOOP_LOG-DIRdiewctory目錄（默認(rèn)在 $HADOOP_HOME/logs 目錄中）。

瀏覽NameNode的web接口; at:

• NameNode -http://localhost:50070/

生成執(zhí)行MapReduce作業(yè)需要的HDFS目錄 :? $ bin/hdfs dfs -mkdir /user $ bin/hdfs dfs -mkdir /user/<username>
上傳輸入文件(etc/hadoop)到HDFS，并重新命名為input:
$ bin/hdfs dfs -put etc/hadoop input
運(yùn)行Hadoop提供的例子:
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar grep input output 'dfs[a-z.]+'
檢查輸出文件:

從HDFS中復(fù)制出輸出文件到本地文件系統(tǒng)并檢查他們:

$ bin/hdfs dfs -get output output$ cat output/*
或者

直接在HDFS中查看輸出文件:

$ bin/hdfs dfs -cat output/*
當(dāng)你完成后,可以使用下面命令停止守護(hù)進(jìn)程 :
$ sbin/stop-dfs.sh

?在單節(jié)點(diǎn)上運(yùn)行YARN

?你可以在偽分布式模式下通過設(shè)置一些參數(shù)，并運(yùn)行ResourceManager和NodeMangaer守護(hù)進(jìn)程的條件下，來(lái)運(yùn)行一個(gè)在YARN上的MapReduce作業(yè)。

??? 執(zhí)行下面的命令，要確保以上的1~4個(gè)步驟已經(jīng)被執(zhí)行。

配置下面文件的參數(shù):

etc/hadoop/mapred-site.xml:

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property> </configuration>

etc/hadoop/yarn-site.xml:

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property> </configuration>

開啟?ResourceManager?守護(hù)進(jìn)程和NodeManager守護(hù)進(jìn)程:
$ sbin/start-yarn.sh

瀏覽ResourceManager的web接口; 默認(rèn)的有效路徑是:

• ResourceManager -http://localhost:8088/

運(yùn)行一個(gè)MapReduce作業(yè)。

當(dāng)你完成的時(shí)候, 可以使用以下命令停止YARN守護(hù)進(jìn)程:
$ sbin/stop-yarn.sh

七、完全分布式安裝

?完全分布式更詳細(xì)的安裝文檔請(qǐng)參考 Cluster Setup? 。

?

轉(zhuǎn)載于:https://my.oschina.net/997155658/blog/313420

總結(jié)

以上是生活随笔為你收集整理的Apache Hadoop 2.4.1 单节点安装的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。