好程序员大数据笔记之：Hadoop集群搭建
? ? ? ? ?好程序員大數據筆記之：Hadoop集群搭建在學習大數據的過程中，我們接觸了很多關于Hadoop的理論和操作性的知識點，尤其在近期學習的Hadoop集群的搭建問題上，小細節，小難點拼頻頻出現，所以，今天集中總結以下筆記，希望對各位同學有所幫助。ps：以下不涉及完全分布式，只說明單機版和偽分布式。
一、hadoop本地模式和偽分布式模式之間的區別
1.單機(非分布式)模式。這種模式在一臺單機上運行，沒有分布式文件系統，而是直接讀寫本地操作系統的文件系統。
2.偽分布式運行模式。這種模式也是在一臺單機上運行，但用不同的Java進程模仿分布式運行中的各類結點: (NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)。請注意分布式運行中的這幾個結點的區別：從分布式存儲的角度來說，集群中的結點由一個NameNode和若干個DataNode組成,另有一個SecondaryNameNode作為NameNode的備份;從分布式應用的角度來說，集群中的結點由一個JobTracker和若干個TaskTracker組成，JobTracker負責任務的調度，TaskTracker負責并行執行任務。TaskTracker必須運行在DataNode上，這樣便于數據的本地計算。JobTracker和NameNode則無須在同一臺機器上。一個機器上，既當namenode，又當datanode,或者說既是jobtracker,又是tasktracker。沒有所謂的在多臺機器上進行真正的分布式計算，故稱為"偽分布式"。
二，hadoop本地模式的搭建
1.首先需要一臺客戶機。
2.安裝jdk。
1)首先在客戶機根目錄root文件夾下建立tools文件夾：root> mkdir tools。
2)用遠程連接工具連接客戶機，拖拽壓縮包到客戶機 root/tools/目錄下
3) 解壓jdk到/etc/local下：tar -zxvf jdk-8u152-linux-x64.tar.gz -C /usr/local/
3.安裝hadoop
1) 拖拽壓縮包到客戶機root/rools 目錄下。
2)解壓hadoop到etc/local/下：tar -zxvf hadoop-2.7.2.tar.gz -C /usr/local/。
4.配置環境變量
hadoop> vi /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_152
export HADOOP_HOME=/usr/local/hadoop-2.7.2/
export CLASSPATH=.;JAVA_HOME/lib/dt.jar;JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bi
PATH;HADOOP_HOME/bin;
HADOOP_HOME/sbin/;
5. hadoop version
java –version。以上兩項，都能正常顯示除版本號，即為環境搭建成功，以上步驟為本地模式搭建成功!
三，hadoop偽分布式模式的搭建(以上五步到配置環境搭建成功為基礎)
1..配置集群
1)配置：hadoop-env.sh。Linux 系統中獲取jdk 的安裝路徑：/usr/local/jdk1.8.0_15并修改JAVA_HOME 路徑為：export JAVA_HOME=/opt/module/jdk1.8.0_144
2)配置：core-site.xml
?
3）配置：hdfs-site.xml
?
4)啟動集群。格式化namenode(第一次啟動時格式化，以后就不要總格式化) [qianfeng@hadoop101 hadoop-2.7.2]$ bin/hdfs namenode –format。啟動namenode。[qianfeng@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode。啟動datanode。[qianfeng@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode
5)查看集群是否成功。[qianfeng@hadoop101 hadoop-2.7.2]$ jps。13586 NameNode。13668 DataNode。13786 Jps。//正常應該啟動這三個進程
6)查看產生的log日志。當前目錄：/usr/local/hadoop-2.7.2/logs>ls。
hadoop-qianfeng-datanode-hadoop.qianfeng.com.log
hadoop-qianfeng-datanode-hadoop.qianfeng.com.out
hadoop-qianfeng-namenode-hadoop.qianfeng.com.log
hadoop-qianfeng-namenode-hadoop.qianfeng.com.out
SecurityAuth-root.audit
cat hadoop-qianfeng-datanode-hadoop101.log
以上步驟即為偽分布式搭建成功!
學習大數據開發，可以參考好程序員提供的大數據學習路線，該學習路線提供完整的大數據開發知識體系，內容包含Linux&&Hadoop生態體系、大數據計算框架體系、云計算體系、機器學習&&深度學習。
總結
以上是生活随笔為你收集整理的好程序员大数据笔记之：Hadoop集群搭建的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： JAVA操作MYSQL数据库
- 下一篇： MAC下PHP7.1.23安装intl3