簡介與環(huán)境準(zhǔn)備
　　hadoop的核心是分布式文件系統(tǒng)HDFS以及批處理計算MapReduce。近年，隨著大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)的興起，也極大的吸引了我的興趣，看了網(wǎng)上很多文章，感覺還是云里霧里，很多不必要的配置都在入門教程出現(xiàn)。通過思考總結(jié)與相關(guān)教程，我想通過簡單的方式傳遞給同樣想入門hadoop的同學(xué)。其實，如果你有很好的Java基礎(chǔ)，當(dāng)你入門以后，你會感覺到hadoop其實也是很簡單的，大數(shù)據(jù)無非就是數(shù)據(jù)量大，需要很多機(jī)器共同來完成存儲工作，云計算無非就是多臺機(jī)器一起運(yùn)算。

　　操作建議：理論先了解三分，先實踐操作完畢，再回頭看理論，在后續(xù)文章我將對理論進(jìn)行分析，最后用思維導(dǎo)圖總結(jié)了解它的hadoop的整體面貌。還是要推薦下我自己創(chuàng)建的大數(shù)據(jù)學(xué)習(xí)交流Qun: 710219868 有大佬有資料， 進(jìn)Qun聊邀請碼填寫 南風(fēng)（必填 ）有學(xué)習(xí)路線的分享公開課，聽完之后就知道怎么學(xué)大數(shù)據(jù)了

　　環(huán)境準(zhǔn)備： http://pan.baidu.com/s/1dFrHyxV 密碼:1e9g

　　CentOS-Linux系統(tǒng)：CentOS-7-x86_64-DVD-1511.iso

　　VirtualBox虛擬機(jī)：VirtualBox-5.1.18-114002-Win.exe

　　xshell遠(yuǎn)程登錄工具：xshell.exe

　　xftp遠(yuǎn)程文件傳輸：xftp.exe

　　hadoop：hadoop-2.7.3.tar.gz

　　jdk8：jdk-8u91-linux-x64.rpm

hadoop的物理架構(gòu)
　　物理架構(gòu)：假設(shè)機(jī)房有四臺機(jī)器搭建一個集群環(huán)境，Master(ip:192.168.56.100)、Slave1(ip:192.168.56.101)、Slave2(ip:192.168.56.102)、Slave3(ip:192.168.56.103)。在這里簡要介紹一下，至于具體內(nèi)容，我將在Hadoop的Hdfs文章詳細(xì)介紹。

　　分布式：將不同地點，不同功能的，用于不同數(shù)據(jù)的多態(tài)計算機(jī)通過通信網(wǎng)絡(luò)連接其他，統(tǒng)一控制，協(xié)調(diào)完成大規(guī)模信息處理的計算機(jī)系統(tǒng)。簡單說，一塊硬盤可以分成兩部分：文件索引和文件數(shù)據(jù)，那么文件索引部署在單獨(dú)一臺服務(wù)器上我們稱為Master根節(jié)點(NameNode)，文件數(shù)據(jù)部署在Master結(jié)點管理的孩子結(jié)點被稱為Slave結(jié)點(DataNode)。

　　

利用VirtulBox安裝Linux
　　參考：http://www.cnblogs.com/qiuyong/p/6815903.html

配置集群在同一虛擬局域網(wǎng)下通信
　　說明：通過上述操作，已經(jīng)搭建好master(192.168.56.100)這臺機(jī)器，開始配置虛擬網(wǎng)絡(luò)環(huán)境在同一虛擬機(jī)下。

vim /etc/sysconfig/network
NETWORKING=yes GATEWAY=192.168.56.1(說明：配置意思是，連上VirtualBox這塊網(wǎng)卡)
vim /etc/sysconfig/network-sripts/ifcfg-enp0s3
TYPE=Ethernet IPADDR=192.168.56.100 NETMASK=255.255.255.0(說明：配置意思是，設(shè)置自己ip)
修改主機(jī)名：hostnamectl set-hostname master
重啟網(wǎng)絡(luò)：service network restart
查看ip：ifconfig
與windows能否ping通、若ping不同，關(guān)閉防火墻。master：ping 192.168.56.1 windows：ping 192.168.56.100
systemctl stop firewalld -->system disable firewalld
利用Xshell、Xftp進(jìn)行遠(yuǎn)程登錄與文件傳輸
　　利用VirtualBox登錄，上傳文件會比較麻煩，采用Xshell遠(yuǎn)程登錄。

　

　　

　　采用Xftp上傳文件。

　　

　　

　　上傳hadoop-2.7.3.tar.gz、jdk-8u91-linux-x64.rpm到/usr/local目錄下。新手提示：在右邊窗口選中/usr/local目錄，左邊雙擊壓縮包就上傳成功了。

配置hadoop環(huán)境
解壓jdk-8u91-linux-x64.rpm：rpm -ivh /usr/local/jdk-8u91-linux-x64.rpm-->默認(rèn)安裝目錄到/usr/java
確認(rèn)jdk是否安裝成功。 rpm -qa | grep jdk，java -version查看是否安裝成功。
解壓hadoop-2.7.3.tar.gz：tar -vhf /usr/local/hadoop-2.7.3.tar.gz。
修改目錄名為hadoop：mv /usr/local/hadoop-2.7.3 hadoop
切換目錄到hadoop配置文件目錄：cd /usr/local/hadoop/etc/hadoop
vim hadoop-env.sh
修改export JAVA_HOME 語句為 export JAVA_HOME=/usr/java/default
退出編輯頁面：按esc鍵 輸入:wq
vim /etc/profile
在文件最后追加 export PATH=$PATH:/usr/hadoop/bin:/usr/hadoop/sbin
source /etc/profile
發(fā)散思考-更進(jìn)一步
　　問題1：現(xiàn)在只是配置了一臺master？那slave1、slave2、slave3也這樣一臺一臺配置嗎？

　　答：潛意識里面，肯定有解決辦法避免。當(dāng)然，VirtualBox也提供了，復(fù)制機(jī)器的功能。選中master，右鍵復(fù)制。這樣的話，就一臺跟master一模一樣的機(jī)器就搞定了。我們只需要修改網(wǎng)絡(luò)的相關(guān)配置即可。注意：搭建集群環(huán)境需要自己復(fù)制三臺。

　　問題2：如何查看這些linux機(jī)器是否在同一個環(huán)境下？

　　答：我重新捋一遍內(nèi)容。啟動四臺linux機(jī)器(可以右鍵選擇×××面啟動)-->利用xshell遠(yuǎn)程登錄-->選擇工具(發(fā)送鍵到所用界面)。依次輸入ping 192.168.56.100、192.168.56.101、192.168.56.102、192.168.56.103。

配置與啟動hadoop
　　1、為四臺機(jī)器配置域名。vim /etc/hosts

　　　　192.168.56.100 master

　　　　192.168.56.101 slave1

　　　　192.168.56.102 slave2

　　　　192.168.56.103 slave3

　　2、切換到hadoop配置文件目錄 /usr/local/hadoop/etc/hadoop vim core-site.xml

　　3、修改四臺linux機(jī)器的core-site.xml，指名四臺機(jī)器誰是master(NameNode)。

　　　　<property>
　　　　　　<name>fs.defaultFS</name>
　　　　　　<value>hdfs://master:9000</value>
　　　　</property>

　　4、在master結(jié)點機(jī)器指名它的子節(jié)點有哪些：vim /usr/local/hadoop/etc/hadoop/slaves(其實就是指名子節(jié)點的ip)

　　　　slave1

　　　　slave2

　　　　slave3

　　5、初始化一下master配置：hdfs namenode -format

　　6、啟動hadoop集群并且用jps查看結(jié)點的啟動情況

　　　　啟動master：hadoop-daemon.sh start namenode

　　　　啟動slave:hadoop-daemon.sh start datanode

　　　　

　　7、查看集群啟動情況：hdfs dfsadmin -report或者利用網(wǎng)頁http://192.168.56.100:50070/

　　　

轉(zhuǎn)載于:https://blog.51cto.com/13769996/2141750

總結(jié)

以上是生活随笔為你收集整理的Hadoop从安装Linux到搭建集群环境的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。