?

學(xué)習(xí)hadoop有一個(gè)星期了，先是看了看書，hadoop權(quán)威指南，很不錯(cuò)的入門級(jí)教材。

書的內(nèi)容偏向于基礎(chǔ)原理，多讀幾遍會(huì)收獲很多。

本人菜鳥一只，為了把自己的學(xué)習(xí)心得分享給大家，就在此開始記錄一下，希望大神們批評(píng)指點(diǎn)，好吧，主題開始：

hadoop 偽分布模式

操作系統(tǒng)：Centos6.2

JDK：jdk1.6.0_30

hadoop版本：hadoop-0.20.203.0

--建議不在root下操作，可以新建hadoop用戶和組

1.安裝JDK環(huán)境

--在/usr/java/目錄下解壓并安裝，安裝好之后配置一下環(huán)境變量PATH

--vi或者gedit /etc/profile 在最后添加java環(huán)境

----export JAVA_HOME=/usr/java/jdk1.6.0_30

----export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

----export PATH=$PATH:$JAVA_HOME/bin

--環(huán)境配置好之后，在終端里輸入java -version ，出現(xiàn)版本信息則表示成功，否則可能是環(huán)境路徑配置有誤，請(qǐng)仔細(xì)檢查。

2.ssh驗(yàn)證配置

--Hadoop 需要使用SSH 協(xié)議，namenode 將使用SSH 協(xié)議啟動(dòng) namenode和datanode 進(jìn)程，偽分布式模式數(shù)據(jù)節(jié)點(diǎn)和名稱節(jié)點(diǎn)均是本身，必須配置 SSH localhost驗(yàn)證。

--驗(yàn)證步驟有提示就按回車

----$ssh-keygen -t? rsa

有提示就按回車 然后通過(guò)命令行cd .ssh進(jìn)入目錄 ?執(zhí)行下面的命令，就會(huì)設(shè)置好無(wú)密碼登錄了

----$cat id_rsa.pub > authorized_keys

3.host主機(jī)的設(shè)置

127.0.0.1 localhost.localdomain localhost

::1 localhost6.localhostdomain6 localhost6

127.0.0.1 namenode datanode01

4.hadoop安裝與配置

--在用戶目錄下解壓hadoop并進(jìn)行配置

----在conf目下找到hadoop-env.sh，打開編輯器添加下面的jdk安裝路徑

#set java env

export JAVA_HOME=/usr/java/jdk1.6.0_30

?--/conf/配置core-site.xml

?<property>

? ? ? ? ?<name>fs.default.name</name>

? ? ? ? ?<value>hdfs://namenode:9000/</value>

? ?</property>

? ?<property>

? ? ?<name>hadoop.tmp.dir</name>

? ? ?<value>/home/hadoop/hadooptmp</value>

? ?</property>

--?配置hdfs-site.xml

<property>

? ? ?<name>dfs.name.dir</name>

? ? ?<value>/home/hadoop/hdfs/name</value>

? </property>

? <property>

? ? ?<name>dfs.data.dir</name>

? ? ?<value>/home/hadoop/hdfs/data</value>

? </property>

? ? ?<property>

? ? ? ? ?<name>dfs.replication</name>

? ? ? ? ?<value>1</value>

? ? ?</property>

--配置mapred-site.xml

? ?<property>

? ? ? ? ?<name>mapred.job.tracker</name>

? ? ? ? ?<value>namenode:9001</value>

? ? ?</property>

--配置master，slaves文件

vi master 內(nèi)容修改為 namenode

vi slaves 內(nèi)容修改為 datanode01

hadoop偽分布模式算是基本配置好，然后測(cè)試一下吧

hadoop namenoede -format 格式化一下

./start-all.sh 啟動(dòng)所有守護(hù)進(jìn)程

然后jps一下 會(huì)看到下面的內(nèi)容

6179 JobTracker

6296 TaskTracker

6367 Jps

5883 NameNode

6002 DataNode

6111 SecondaryNameNode

這樣才算是真正跑起來(lái)了 ? ??

大家快來(lái)試試吧！

?

文章比較簡(jiǎn)略，我也是配置了大半天才成功，現(xiàn)在正在研究Hbase+Hive，就寫到這吧。

?

轉(zhuǎn)載于:https://blog.51cto.com/mygirl721/831596

總結(jié)

以上是生活随笔為你收集整理的hadoop 伪分布模式的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。