两台ubuntu虚拟机环境下hadoop安装配置
?????即可進行安裝。如果不能成功安裝,可能是安裝包出現了錯誤,可以多拖幾次。本例是將路徑安裝在:/home/hadoop/jdk1.6.0.24
????? 很多資料上寫要設置環境變量,但是我是默認安裝的,所以沒有設置環境變量。如果路徑安裝不是默認的,可能要修改:
???? 這里記一下環境變量的修改:
?? 打開終端:$ sudo gedit /etc/profile
?? 在打開的文件中寫入:
?? #set java enviornment
???? JAVA_HOME=/usr/java/jdk1.6.0_24
??? PATH=$JAVA_HOME/bin:$PATH
??? CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
??? export JAVA_HOME
??? export PATH
??? export CLASSPATH
?? 保存退出。
?2.??從apache官網下載hadoop安裝包,以hadoop-0.20.2為例,將安裝包解壓:$sudo tar -zxvf? /home/hadoop/hadoop-0.20.2.tar.gz
?3.安裝完之后
把Hadoop 的安裝路徑添加到環/etc/profile 中:
export HADOOP_HOME=/home/hadoop/hadoop-0.20.2
export PATH=$HADOOP_HOME/bin:$PATH
4. 配置hadoop
hadoop 的主要配置都在hadoop-0.20.2/conf 下。
(1)在conf/hadoop-env.sh 中配置Java 環境(namenode 與datanode 的配置相同):
$ gedit hadoop-env.sh
$ export JAVA_HOME=/home/hadoop/jdk1.6.0.24
在兩臺虛擬機上都需要配置文件:map-site.xml,core-site.xml和hdfs-site.xml.簡單配置如下:
? (2)core-site.xml配置文件
內容配置如下所示:?
?
?
?
hadoop.tmp.dir
/home/hadoop/tmp?//hadoop 啟動的臨時文件夾的地址,你可以設在任何地方,只要你愿意。
??
????fs.default.name?
????hdfs://202.118.212.4:9000?
??
?
(3) hdfs-site.xml配置文件
內容配置如下所示:
view plaincopy to clipboardprint?
??
??
?????
????
??????
????dfs.replication????
????1?// dfs的副本數,默認是3,如果
datanode少于3臺,可改為1???
? ????
?
(4) mapred-site.xml配置文件
配置內容如下所示:
view plaincopy to clipboardprint?
??
??
????
????
???????
?mapred.job.tracker??????????????????????????????????????????????????????????202.118.212.4:9001????
????
??
? slaves: 202.118.212.5
???? 如果第二名稱節點second namenode設在另外的機子上就寫上那臺機子的IP地址就可以了,也可以不設第二名稱節點。
4 啟動Hadoop
首先格式化namenode:
hadoop@ubuntu:~ $sudo cd /home/hadoop/hadoop-0.20.2/bin
進入hadoop-0.20.2/bin之后:$hadoop namenode -format
然后啟動:$start-all.sh?????????????????????????????????????
用jps查看進程啟動情況,也可以用web查看;
http://202.118.212.4:50030查看jobtracker
http://202.118.212.4:50070查看namenode
轉載于:https://www.cnblogs.com/southdom/articles/5004587.html
總結
以上是生活随笔為你收集整理的两台ubuntu虚拟机环境下hadoop安装配置的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 总是是什么歌啊?
- 下一篇: 十大Intellij IDEA快捷键转