日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 人文社科 > 生活经验 >内容正文

生活经验

两台ubuntu虚拟机环境下hadoop安装配置

發布時間:2023/11/27 生活经验 26 豆豆
生活随笔 收集整理的這篇文章主要介紹了 两台ubuntu虚拟机环境下hadoop安装配置 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
http://blog.itpub.net/26978437/viewspace-730136/ 按照上幾篇的內容,安裝好兩臺ubuntu虛擬機之后,首先確定好哪臺機子做namenode,哪臺做datanode,打開終端,輸入:$sudo vi /etc/hosts 在打開的文件中輸入主機名和IP地址,比如我的是: 127.0.0.0 localhost 202.118.212.4 ubuntu 202.118.212.5 ubuntu01 兩臺虛擬機上都要這么寫,然后開啟SSH服務,確保兩臺虛擬機能互相無密碼登陸,然后關閉防火墻: $sudo ufw disable 準備工作做好之后開始安裝hadoop ?? 1.安裝jdk,版本要在1.6以上(以ubuntu為例,ubuntu01設置是一樣的) ??? 從java官網下載jdk(linux版),如果是從下載到物理機,則在虛擬機上安裝VMwareTools之后,就可以直接將jdk-6u24-linux-i586.bin從物理機中拖入虛擬機系統/home/hadoop目錄下,打開終端,輸入$sudo ./jdk-6u24-linux-i586.bin

?????即可進行安裝。如果不能成功安裝,可能是安裝包出現了錯誤,可以多拖幾次。本例是將路徑安裝在:/home/hadoop/jdk1.6.0.24

????? 很多資料上寫要設置環境變量,但是我是默認安裝的,所以沒有設置環境變量。如果路徑安裝不是默認的,可能要修改:

???? 這里記一下環境變量的修改:

?? 打開終端:$ sudo gedit /etc/profile

?? 在打開的文件中寫入:

?? #set java enviornment

???? JAVA_HOME=/usr/java/jdk1.6.0_24

??? PATH=$JAVA_HOME/bin:$PATH

??? CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

??? export JAVA_HOME

??? export PATH

??? export CLASSPATH

?? 保存退出。

?2.??從apache官網下載hadoop安裝包,以hadoop-0.20.2為例,將安裝包解壓:$sudo tar -zxvf? /home/hadoop/hadoop-0.20.2.tar.gz

?3.安裝完之后

把Hadoop 的安裝路徑添加到環/etc/profile 中:
export HADOOP_HOME=/home/hadoop/hadoop-0.20.2
export PATH=$HADOOP_HOME/bin:$PATH
4. 配置hadoop
hadoop 的主要配置都在hadoop-0.20.2/conf 下。
(1)在conf/hadoop-env.sh 中配置Java 環境(namenode 與datanode 的配置相同):
$ gedit hadoop-env.sh
$ export JAVA_HOME=/home/hadoop/jdk1.6.0.24

在兩臺虛擬機上都需要配置文件:map-site.xml,core-site.xml和hdfs-site.xml.簡單配置如下:

? (2)core-site.xml配置文件

內容配置如下所示:?

?

?

?

hadoop.tmp.dir

/home/hadoop/tmp?//hadoop 啟動的臨時文件夾的地址,你可以設在任何地方,只要你愿意。


??
????fs.default.name?
????hdfs://202.118.212.4:9000?
??
?

(3) hdfs-site.xml配置文件

內容配置如下所示:

view plaincopy to clipboardprint?
??
??
?????
????
??????
????dfs.replication????

????1?// dfs的副本數,默認是3,如果

datanode少于3臺,可改為1???
? ????
?

(4) mapred-site.xml配置文件

配置內容如下所示:

view plaincopy to clipboardprint?
??
??
????
????
???????
?mapred.job.tracker??????????????????????????????????????????????????????????202.118.212.4:9001????
????
??

3.配置文件,只在namenode上配置就可以了:hadoop-0.20.2/conf/masters和hadoop-0.20.2/conf/slaves ?? masters: 202.118.212.4 (second namenode)

? slaves: 202.118.212.5

???? 如果第二名稱節點second namenode設在另外的機子上就寫上那臺機子的IP地址就可以了,也可以不設第二名稱節點。

4 啟動Hadoop

首先格式化namenode:

hadoop@ubuntu:~ $sudo cd /home/hadoop/hadoop-0.20.2/bin

進入hadoop-0.20.2/bin之后:$hadoop namenode -format

然后啟動:$start-all.sh?????????????????????????????????????

用jps查看進程啟動情況,也可以用web查看;

http://202.118.212.4:50030查看jobtracker

http://202.118.212.4:50070查看namenode

轉載于:https://www.cnblogs.com/southdom/articles/5004587.html

總結

以上是生活随笔為你收集整理的两台ubuntu虚拟机环境下hadoop安装配置的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。