關防火墻

1.首先關閉window防火墻
service iptables status 查看Linux 防火墻狀態(tài)
service iptables stop 關閉Linux防火墻
chkconfig iptables off 永久關閉

設置靜態(tài)Ip地址

vi /etc/sysconfig/network-scripts/ifcfg-et0 修改網(wǎng)卡信息
service network restart 重啟網(wǎng)卡
ping ip 連接 window ip地址
vim /etc/udev/rules.d/70-persistent-net.rules
如果是克隆虛擬機的話得修改

修改HostName

hostname hadoop （臨時）
vi /etc/sysconfig/network （永久）
重啟網(wǎng)卡 （命令行重啟）
需要進行 機器重啟（reboot） ? 注： 在虛擬機中重啟

IP與HostName 綁定

設置network文件hosts 映射文件
配置映射 ： vim /etc/hosts
ip 名字 別名 如：127.0.0.1 hadoop

安裝jdk hadoop

1.先通過SSH Secure Shell Client 上傳tar.gz壓縮包到 Downloads
2.cd ~ 到根目錄
3.ls 查看tar壓縮包是否存在
4.cd Downloads/
5.tar -zxvf jdk壓縮包
6.vim /etc/profile 顯示編譯配置文件
7.export JAVA_HOME=/root/Downloads/jdk1.7.0_79 export PATH=$PATH:$JAVA_HOME/bin export HADOOP_HOME=/root/Downloads/hadoop-2.6.5 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
8.source /etc/profile 啟動配置文件
9.查看是否配置成功 java | hadoop 輸出數(shù)據(jù)則代表配置成功

配置密鑰 ssh

1.cd /bin 轉(zhuǎn)到bin配置文件下
2.ssh-keygen -t rsa 生成密鑰 回車鍵
3.cd ~ 回到超級用戶家目錄
4.ls -la 顯示文件及隱藏文件
5.cd .ssh 到.ssh根目錄下
6.ls 顯示文件內(nèi)容
7.當密鑰是空的話 ssh文件是空的
8.cat 查看內(nèi)容鑰匙 id_rsa 私有化鎖 id_rsa.pub 公有鑰匙
9.cd ~ 回到家目錄
10.ssh-copy-id ip地址 (如果在搭建全局集群的時候，寫映射 主機別名就可以了)復制鑰匙
11.ifconfig 查看網(wǎng)卡
12.ssh root@IP地址 另一臺機器的ip 進入到其他虛擬機
13.改配置文件 映射 vim /etc/hosts
之后進入 i 輸入ip地址 別名 保存退出

修改配置文件（$HADOOP_HOME壓縮包/etc/hadoop/目錄下）

1.cd ~
2. ls
3.找到存儲包目錄 如Downloads
4.cd Downloads/
5.ls
6.cd hadoop-2.6.5 （hadoop解壓以后包）
7.ls
8.cd etc
9.ls
10.cd hadoop
11.ls
修改以下配置文件
hadoop-env.sh
core-site.xml
hdfs-site.xml
Mapred-site.xml
yarn-site.xml

配置文件 hadoop-env.sh

export JAVA_HOME=/root/Downloads/jdk1.7.0_79 export HADOOP_HOME=/root/Downloads/hadoop-2.6.5

9. 配置文件 core-site.xml （namenode 服務的）

<configuration> <property> — — 指定NameNode主機名與端口號<name>fs.defaulFS</name><value>hdfs://hadoop:8020</value></property><property><name>hadoop.tmp.dir</name><value>/hadoop/tmpdir</value></property></configuration>

namenode 的主機名和端口號 ： 主機名是自己的 比如 ： 9000
hadoop 集群格式化之后形成的
（name 是標準的，value路徑 ：最好不要寫在/root下 ，這個是fsimage和edits 生成文件的路徑）

配置文件 hdfs-site.xml --設置HDFS的副本數(shù) （默認的是3)

<property> — — 設置HDFS的副本數(shù)<name>dfs.replication</name><value>1</value></property>

配置文件 yarn-site.xml （服務于yarn） mr 運行在yarn上

<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>

Hdfs:分布式的 nodemanager (namenode) resourceManager(datenode)
一主多從的關系

配置文件 mapred-site.xml mr---->yarn

<property> <name>mapreduce.framework.name</name><value>yarn</value></property>

集群進行格式化 format

啟動HDFS :

格式化 NameNode(只需運行一次)
$ bin/hdfs namenode -format
啟動 NameNode
$ sbin/hadoop-daemon.sh start namenode
啟動 DataNode
$ sbin/hadoop-daemon.sh start datanode
HDFS 監(jiān)控WEB頁面
http://master:50070/
啟動 SecondaryNameNode
$ sbin/hadoop-daemon.sh start secondarynamenode
SecondaryNameNode 監(jiān)控WEB頁面
http://master:50090/

啟動YARN:

啟動 ResourceManager
$ sbin/yarn-daemon.sh start resourcemanager
啟動 NodeManager
$ sbin/yarn-daemon.sh start nodemanager
查看啟動守護進程
$ jps
查看日志
yarn-hadoop-resourcemanager-hadoop-yarn.dragon.org.log
yarn-hadoop-nodemanager-hadoop-yarn.dragon.org.log
登陸監(jiān)控WEB頁面
http://master:8088/
http://master:8042/

啟動集群

start-dfs.sh

常見問題

1.Jps 看不到東西
2.Web訪問 50070和8088看不到
3.運行yarn jar ----- 報錯
4.Linux文件目錄系統(tǒng)和Hadoop目錄系統(tǒng)不熟悉

解決方法

1.Jps看不到 需要查：hadoop目錄下的各個配置文件是否有問題（尤其注意env.sh的java目錄），主機環(huán)境問題（主機名稱文件和映射文件），java是否有問題，
如果是集群考慮是否是網(wǎng)絡問題
2.查看jps各個組件服務是否都起來了，虛擬機本地先試下，沒有問題的話，可能是網(wǎng)絡問題。
3.可能是mapred-site.xml和yarn-site.xml 配置有問題，具體需要查看logs日志

建議-經(jīng)驗

1.經(jīng)常使用ping命令 檢查通訊
2.腦中有對那些文件做的那些配置有概念，這樣才能快速找到問題（這個需要時間的累積）
3.想不到問題的時候翻日志
4.還找不到只能仔細的對所有配過的文件配置做逐字的審核

日志文件

啟動日志文件目錄 $HADOOP_HOME/logs
分析日志文件的格式 【log】和【out】
.log：通過log4j記錄的，記錄大部分應用程序的日志信息
.out：記錄標準輸出和標準錯誤日志，少量記錄
日志文件的命名規(guī)則
【框架名稱-用戶名-進程名-主機名-日志格式后綴】

Hadoop啟動方式 共三種

1.無腦啟動 --不常用
Start-all.sh/Stop-all.sh

2.安裝大模塊啟動 —常用
Start-dfs.sh
Start-yarn.sh

3.安裝小模塊一個一個啟動 --原始方法
hadoop-daemon.sh start namenode
hadoop-daemons.sh start datanode
hadoop-daemon.sh start secondarynamenode

yarn-daemon.sh start resourcemanager
yarn-daemons.sh start nodemanager
mr-jobhistory-daemon.sh start historyserver

總結：

start-all.sh ----start-dfs.sh and start-yarn.sh
start-dfs.sh — hadoop-daemons.sh 5個
start-yarn.sh – yarn-daemons.sh 2個
hadoop-daemons.sh --hadoop-env.sh
hadoop-env.sh 設置大量的環(huán)境變量 給hadoop使用

Hadoop啟動流程 1.讀取hadoop-env.sh 2.讀取core-default.xml、hdfs-default.xml 、mapred-default.xml 、yarn-default.xml 四個默認文件 3.讀取core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves 五個用戶自定義文件 4.依次啟動hadoop服務（運行sbin下的start-dfs.sh和start-yarn.sh腳本）

總結

以上是生活随笔為你收集整理的Hadoop集群环境搭建之伪分布式搭建流程的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。