本篇博客將主要介紹如何設(shè)置和配置單節(jié)點Hadoop安裝，以便我們可以使用Hadoop 的MapReduce與HDFS快速執(zhí)行簡單的操作。

零、先決條件

1、本系列以Ubuntu Linux作為開發(fā)和生產(chǎn)平臺
2、Linux所需的軟件包括：

• JAVA：必須安裝Java，配置好JDK環(huán)境變量；
• SSH：如果要使用可選的啟動和停止腳本，則必須安裝ssh并且必須運行sshd才能使用管理遠(yuǎn)程Hadoop守護(hù)程序的Hadoop腳本；
• pdsh：安裝pdsh以便更好地進(jìn)行ssh資源管理。

如果群集中沒有必需的軟件，則需要安裝它。在Ubuntu Linux上：

$ sudo apt-get install ssh$ sudo apt-get install pdsh

一、下載

可以從 Apache Download Mirrors下載獲得最穩(wěn)定的發(fā)行版
下載后，使用 : tar -zxvf tar包名，解壓到指定位置！

編輯文件etc/ hadoop / hadoop-env.sh以定義一些參數(shù)

# set to the root of your Java installationexport JAVA_HOME=/usr/local/java/jdk1.8export HADOOP_CONF_DIR=/usr/local/apps/hadoop-3.2.1/etc/hadoop

嘗試以下命令：

$ bin / hadoop

二、準(zhǔn)備啟動Hadoop集群

這將顯示hadoop腳本的用法文檔
現(xiàn)在，我們可以以三種支持的模式之一啟動Hadoop集群：

• 本地（獨立）模式
• 偽分布式模式
• 全分布式模式

2.1、獨立模式運行

默認(rèn)情況下，Hadoop被配置為在非分布式模式下作為單個Java進(jìn)程運行。這對于調(diào)試很有用。
下面的示例復(fù)制解壓縮的conf目錄以用作輸入，然后查找并顯示給定正則表達(dá)式的每個匹配項。輸出被寫入給定的輸出目錄。

$ mkdir input$ cp etc/hadoop/*.xml input$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output 'dfs[a-z.]+'$ cat output/*

2.2、偽分布式操作模式運行

Hadoop也可以以偽分布式模式在單節(jié)點上運行，其中每個Hadoop守護(hù)程序都在單獨的Java進(jìn)程中運行。
在以下配置文件中進(jìn)行修改或添加內(nèi)容

etc/hadoop/core-site.xml:

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property> </configuration>

etc/hadoop/hdfs-site.xml:

<configuration><property><name>dfs.replication</name><value>1</value></property> </configuration>

設(shè)置無密碼SSH
現(xiàn)在檢查您是否可以在不使用密碼的情況下SSH到本地主機(jī)：

$ ssh localhost

如果沒有密碼就無法SSH到本地主機(jī)，就執(zhí)行以下命令：

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys$ chmod 0600 ~/.ssh/authorized_keys

以下說明是在本地運行MapReduce作業(yè)：

格式化文件系統(tǒng)：

$ bin/hdfs namenode -format

啟動NameNode守護(hù)程序和DataNode守護(hù)程序：

$ sbin/start-dfs.sh

hadoop守護(hù)程序日志輸出將寫入$ HADOOP_LOG_DIR目錄（默認(rèn)為$ HADOOP_HOME / logs）。

瀏覽Web界面的NameNode；默認(rèn)情況下，它在以下位置可用：
NameNode - http://localhost:9870/

設(shè)置執(zhí)行MapReduce作業(yè)所需的HDFS目錄：

$ bin/hdfs dfs -mkdir /user$ bin/hdfs dfs -mkdir /user/root

將輸入文件復(fù)制到分布式文件系統(tǒng)中：

$ bin/hdfs dfs -mkdir input$ bin/hdfs dfs -put etc/hadoop/*.xml input

運行提供的一些示例：

$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output 'dfs[a-z.]+'

檢查輸出文件：將輸出文件從分布式文件系統(tǒng)復(fù)制到本地文件系統(tǒng)并檢查它們：

$ bin/hdfs dfs -get output output$ cat output/*

完成后，使用以下命令停止守護(hù)進(jìn)程：

$ sbin / stop-dfs.sh

以偽分布式模式在YARN上運行MapReduce作業(yè):
以下指令假定上述本地運行MapReduce作業(yè)指令的1.?4. 步驟已經(jīng)執(zhí)行。

如下配置參數(shù)：

etc / hadoop / mapred-site.xml：

<configuration> <property> <name> mapreduce.framework.name </ name> <value> yarn </ value> </ property> <property> <name> mapreduce.application.classpath </ name> <value> $ HADOOP_MAPRED_HOME / share / hadoop / mapreduce / *：$ HADOOP_MAPRED_HOME / share / hadoop / mapreduce / lib / * </ value> </ property> </ configuration>

etc / hadoop / yarn-site.xml：

<configuration> <property> <name> yarn.nodemanager.aux-services </ name> <value> mapreduce_shuffle </ value> </ property> <property> <name> yarn.nodemanager.env-whitelist </ name> <value> JAVA_HOME，HADOOP_COMMON_HOME，HADOOP_HDFS_HOME，HADOOP_CONF_DIR，CLASSPATH_PREPEND_DISTCACHE，HADOOP_YARN_HOME，HADOOP_MAPRED_HOME </ value> </ property> </ configuration>

啟動ResourceManager守護(hù)程序和NodeManager守護(hù)程序：

$ sbin/start-yarn.sh

瀏覽Web界面以找到ResourceManager；默認(rèn)情況下，它在以下位置可用：

ResourceManager- http：// localhost：8088 /
運行MapReduce作業(yè)。

完成后，使用以下命令停止守護(hù)進(jìn)程：

$ sbin/stop-yarn.sh

2.3、全分布式運行

有關(guān)設(shè)置完全分布式的非重要集群的信息，將在以后進(jìn)行介紹！

總結(jié)

以上是生活随笔為你收集整理的Hadoop的安装与配置——设置单节点群集的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。