前言

Hadoop從存儲上來說，是相似于冗余磁盤陣列(RAID)的存儲方式。將數(shù)據(jù)分散存儲并提供以提供吞吐量，它的存儲系統(tǒng)就是HDFS（Hadoop?Distuibute?Fils?System）。從計算上來說，它通過MapReduce模型，將大數(shù)據(jù)的計算分發(fā)到多臺計算機上完畢，再將結(jié)果合并，降低計算的時間。

Hadoop適合于：

1、超大數(shù)據(jù)的計算。

2、一次寫入、多次讀取的模式；

3、能夠跑在普通的硬件上。

?

Hadoop不適合：

1、低延遲的數(shù)據(jù)訪問。它是為高數(shù)據(jù)吞吐量應(yīng)用優(yōu)化的；

2、大量的小文件

Hadoopclient須要和namenode進行交互，而namenode中存放的是datanode的文件屬性，且都是在內(nèi)存中，假設(shè)小文件過多。namenode是存放不了的；

3、多用戶寫入，隨意改動文件。

Hadoop適合于一次計算，多次讀取的場景，如搜索引擎，僅僅支持隨機讀取不支持隨機寫入，如Hadoop和Lucene的集成就不能夠直接集成，由于Lucene支持隨機寫入。

?

本文將從使用的角度上談了怎樣搭建Hadoop、怎樣配置Hadoop、怎樣驗證Hadoop及在Hadoop上面運行計算。以及可能會遇到些什么樣的問題。

一、Hadoop環(huán)境搭建

由于Hadoop須要在Linux運行。而且Hadoop是基于Java的，在繼續(xù)進行以下的步驟之前，請確認你已經(jīng)準備好Linux操作系統(tǒng)以及Java?6或以上版本號，而且已經(jīng)正確的設(shè)置了JAVA_HOME。

?

1、下載Hadoop

搭建Hadpp的版本號為1.2.1?下載地址為：http://apache.fayea.com/apache-mirror/hadoop/common/hadoop-1.2.1/

?

2、安裝Hadoop

解壓縮Hadoop到隨意文件夾。我當(dāng)前的Hadoop是將其解壓到文件夾/usr/local/hadoop-1.2.1，并在/etc/profile中設(shè)置好環(huán)境變量HADOOP_HOME（這個變量不是必須的，在1.2.1已經(jīng)是Deprecated了，這里我之所以設(shè)置，還是為了方便）。以及將$HADOOP_HOME/bin文件夾添加到PATH中，這樣我們就能夠在隨意地方運行hadoop命令了，為了使用上的方便。再給”hadoop?fs”設(shè)一個名為hdfs的alias方便使用，以下是我機器上/etc/profile添加的內(nèi)容：

export?JAVA_HOME=/usr/local/jdk1.6.0_33 export?HADOOP_HOME=/usr/local/hadoop-1.2.1 export?CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin #Alias?for?hadoop alias?hdfs='hadoop?fs'

注：該文件的編輯須要root權(quán)限，改動完畢后，假設(shè)想馬上生效，須要通過source命令操作一下：

source?/etc/profile

否則就僅僅有退出又一次登陸才會生效。

?

3、準備ssh

Hadoop須要通過SSH和其他計算server進行溝通。所以首先要確定本機或者是其他Hadoop計算server。是否都已經(jīng)安裝了ssh。

（1）、確定系統(tǒng)是否安裝了ssh和ssh-keygey

能夠通過which命令來確認

which?ssh which?ssh-keygen

假設(shè)出現(xiàn)

/usr/bin/which:?no?ssh?in?(/usr/.....)則表示系統(tǒng)里面沒有安裝SSH服務(wù)。能夠通過www.openssh.com下載安裝

（2）、公布公鑰證書

運行例如以下命令：

ssh-keygen?-t?rsa?-P?''?-f?~/.ssh/id_rsa

在~/.ssh/?文件夾會生成id_rsa和id_rsa.pub兩個文件。將id_rsa.pub復(fù)制一份在~/.ssh/文件夾下，并重命名為authorized_keys，假設(shè)是單機搭建偽分布式。此時ssh的準備工作已經(jīng)完畢了，假設(shè)使用全分布式環(huán)境，那么須要將authorized_keys（或authorized_keys中的內(nèi)容追加到須要無password登陸的server的~/.ssh/authorized_keys文件里）及id_rsa（或id_rsa中的內(nèi)容追加到須要無password登陸的server的~/.ssh/id_rsa文件里）兩個文件復(fù)制到各臺分布式slave機器的“~/.ssh文件夾中”中，這樣隨意兩臺機器之間互相通過ssh訪問。都不須要輸入password了。假設(shè)僅僅是復(fù)制到authorized_keys到slave機器中，就僅僅能夠?qū)崿F(xiàn)主到從的不輸password訪問。

注：假設(shè)須要遠程登陸的server上還沒有.ssh文件夾。那么就在登陸用戶的文件夾下新建.ssh文件夾，權(quán)限至少設(shè)置成744。假設(shè).ssh文件夾下沒有authorized_keys文件。也新建該文件。并將其權(quán)限設(shè)置為644。

（3）測試登陸驗證

在本例中。採用的是在單機中搭建偽分布式系統(tǒng)，通過例如以下ssh命令嘗試登陸：

ssh?localhost 或 ssh?127.0.0.1

假設(shè)不再提示輸入password，直接登陸成功。那么SSH登陸就設(shè)置成功了。

總結(jié)

以上是生活随笔為你收集整理的Hadoop入门进阶步步高（一）-环境准备的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。