伪分布式Hadoop2.x集群的搭建1
1. 安裝JDK
?a.查出當前已經安裝的JDK ?# rpm -qa | grep java?
?b.卸載原先自帶的JDK ?# rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64 tzdata-java-2012j-1.el6.noarch java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64
?c.解壓安裝?# tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules/
?d.配置JDK的環境變量 ?
??
??
2. 創建hadoop普通用戶
? ?
? ?給hadoop用戶設置sudo權限,更改/etc/sudoers ,如果該文件不可寫設置權限 # chmod 640 /etc/sudoers
? ?
??
? 切換到hadoop用戶 # su - hadoop
3. 創建規范的軟件安裝文件
? ???
? /opt/modules # 大型軟件的安裝路徑
? /opt/softwares # 軟件源程序安裝包上傳路徑
? /opt/tools # 工具安裝路徑
? /opt/datas #數據文件存放路徑
4. 配置handoop?
? ?a. 在/opt/modules 目錄下，創建子目錄。更改hadoop所屬者和所屬組為hadoop
? ??
? b. 用ftp將hadoop2.5.0.tar.gz 上傳到/opt/softwares, 將hadoop2.5.0.tar.gz解壓縮到 /opt/hadoop/modules/hadoop
? ? ?
? c. 在/opt/modules/hadoop/hadoop-2.5.0/etc/hadoop 修改hadoop-env.sh
? ? ?
? d. 修改core-site.xml?
? ??
?e. 修改hdfs-site.xml
? ? 因為是偽分布式,所以這邊備份數量為1
? ?
? f. 格式化nameNode
? ?
? g.驗證?
? ? 1. 啟動namenode, 用jps命令查看是否啟動成功
? ? ?
? ?2. 啟動datanode, 用jps命令查看是否啟動成功
? ? ?
? 3. 啟動secondaryNameNode,用jps命令查看進程是否啟動成功
? ? ?
? ?4. 通過web頁面驗證HDFS
? ? ? 打開網址:?http://linux.liuhui.com:50070/dfshealth.html#tab-overview ?就會看到如下頁面
? ? ?
?5. ?頁面導航 -->Utilities -->Browse the file ?system ?創建目錄。
? ? ?
? ? ??
? ? ? ?創建一個文件test.txt 將其文件上傳到hdfs
? ? ? ?
? ? ? ?
? ? ? ?查詢出hdfs目錄下文件?
? ? ? ??
?
轉載于:https://www.cnblogs.com/goahead327/p/5522861.html
新人創作打卡挑戰賽發博客就能抽獎！定制產品紅包拿不停！總結
以上是生活随笔為你收集整理的伪分布式Hadoop2.x集群的搭建1的全部內容，希望文章能夠幫你解決所遇到的問題。
