2019獨(dú)角獸企業(yè)重金招聘Python工程師標(biāo)準(zhǔn)>>>

Centos6.5集群安裝64位hadoop2.2.0：

• 網(wǎng)絡(luò)環(huán)境，整3臺(tái)虛擬機(jī)或者物理機(jī)，配置好相應(yīng)網(wǎng)絡(luò)，編輯/etc/hosts, 如：

• ssh無密碼登錄，很簡(jiǎn)單，每臺(tái)機(jī)器都生成公鑰，密鑰(事先建立一個(gè)統(tǒng)一的hadoop用戶) ? ? ? ? ? ? ? ? ? ? // 生成key, 都不輸入密碼 ssh-keygen -t rsa// 于是在用戶主目錄下會(huì)有.ssh/文件夾生成, 文件有：id_rsa id_rsa.pub 將三臺(tái)機(jī)器的id_rsa.pub的內(nèi)容合并到一個(gè)authorized_keys文件，并復(fù)制到三臺(tái)機(jī)器用戶主目錄/.ssh/下。 注意, Centos默認(rèn)沒有啟動(dòng)ssh無密登錄，去掉/etc/ssh/sshd_config其中3行的注釋：

? ? ?

? ? ? 完成后就可以無密ssh了，如：

? ? ??

• 安裝hadoop：
• 解壓，并做配置$HADOOP_HOME/etc/hadoop下：
• 詳細(xì)配置可見：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/ClusterSetup.html

//1. hadoop-env.sh中添加JAVA_HOME, 如： # The java implementation to use. export JAVA_HOME=/usr/java/jdk1.7.0_45//2. core-site.xml(tmp目錄需手動(dòng)創(chuàng)建): <configuration><property><name>hadoop.tmp.dir</name><value>/home/hadoop/tmp/hadoop-${user.name}</value></property><property><name>fs.default.name</name><value>hdfs://hadoopmaster:9000</value></property> </configuration>//3. mapred-site.xml <configuration><property><name>mapred.job.tracker</name><value>hadoopmaster:9001</value></property> </configuration>//4. hdfs-site.xml <configuration><property><name>dfs.replication</name><value>2</value></property> </configuration>//5. slaves hadoopslave1 hadoopslave2 // 配置yarn-site.xml <configuration><property><name>yarn.resourcemanager.address</name><value>hadoopmaster:8080</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>hadoopmaster:8081</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>hadoopmaster:8082</value></property><property><name>yarn.nodemanager.resource.memory-mb</name><value>10240</value></property><property><name>yarn.nodemanager.remote-app-log-dir</name><value>${hadoop.tmp.dir}/nodemanager/remote</value></property><property><name>yarn.nodemanager.log-dirs</name><value>${hadoop.tmp.dir}/nodemanager/logs</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property> </configuration>

• 將整個(gè)hadoop目錄復(fù)制到其他兩臺(tái)機(jī)器：

scp -r hadoop-2.2.0 hadoop@hadoopslave1:/home/hadoop scp -r hadoop-2.2.0 hadoop@hadoopslave2:/home/hadoop

• 格式化hadoop文件系統(tǒng)：

hdfs namenode -format

• 啟動(dòng)hadoop集群：

start-dfs.sh start-yarn.sh

• 視覺圖：

• 收工。

轉(zhuǎn)載于:https://my.oschina.net/indestiny/blog/191537

總結(jié)

以上是生活随笔為你收集整理的Centos6.5集群安装64位hadoop2.2.0的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。