Hadoop RestFulHadoop HDFS原理1Hadoop HDFS原理2Hadoop作業(yè)調(diào)優(yōu)參數(shù)調(diào)整及原理Hadoop HAHadoop MapReduce高級(jí)編程Hadoop IOHadoop MapReduce工作原理Hadoop 管理Hadoop 集群安裝Hadoop RPC第一部分：環(huán)境規(guī)劃用戶 test 密碼 test機(jī)器

主機(jī)名	IP	角色
bigdata-1	172.16.206.205	NameNode JobTrakerSencondary NameNode
bigdata-2	172.16.206.231	DataNode TaskTracker

NameNode元數(shù)據(jù)目錄/home/test/dfs/namenodeDataNode 數(shù)據(jù)存放目錄/home/test/dfs/datanodeSencondary NameNode/home/test/dfs/sencondnode第二部分：安裝JDK并配置環(huán)境變量安裝JDK并配置環(huán)境變量2 臺(tái)機(jī)器做同樣的事情更改執(zhí)行權(quán)限chmod +x jdk-6u24-linux-i586.bin安裝./jdk-6u24-linux-i586.bin配置環(huán)境變量Home路徑下，打開.bashrc文件，命令如下vi .bashrc添加JAVA環(huán)境變量export JAVA_HOME=/home/hadoop/javaexport PATH=$JAVA_HOME/bin:$PATH第三部分：建立互信配置SSH配置互信每臺(tái)機(jī)器上執(zhí)行$ ssh-keygen$ ssh-copy-id ? -i ? ~/.ssh/id_rsa.pub ? bigdata-1$ ssh-copy-id ? -i ? ~/.ssh/id_rsa.pub ? bigdata-2第四部分：安裝Hadoop并配置環(huán)境變量安裝并配置Hadoop的環(huán)境變量解壓Hadoop，到/home/test路徑下tar zxvf hadoop-1.0.0.tar.gz建立軟連接ln –s ? hadoop-1.0.0 ?hadoop配置環(huán)境變量vi ?.bashrc添加如下內(nèi)容export HADOOP_CORE_HOME=/home/test/ hadoopexport PATH=.:$HADOOP_CORE_HOME/bin:$PATH第五部分：配置Hadoop集群core-site.xml<configuration><property><name>fs.default.name</name><value>hdfs://bigdata-1:9000</value></property><property><name>fs.checkpoint.dir</name><value>/home/test/dfs/sencondnode</value></property></configuration>hdfs-site.xml<configuration><property><name>dfs.name.dir</name><value>/home/test/dfs/namenode </value></property><property><name>dfs.data.dir</name><value> >/home/test/dfs/datanode</value></property><property><name>dfs.replication</name><value>1</value></property></configuration>mapred-site.xml<configuration><property><name>mapred.job.tracker</name><value>bigdata-1:9001</value></property></configuration>master與slavesmaster文件添加內(nèi)容如下bigdata-1Slaves文件添加內(nèi)容如下bigdata-2Hadoop-env.shexport JAVA_HOME=/home/tes/soft/java第六部分：啟動(dòng)Hadoop集群啟動(dòng)Hadoop集群hadoop namenode -formatstart-all.shstart-dfs.sh start-mapred.shhadoop-deamon.sh start ?namenodedatanodejobtrackertasktrackersencondnamenode第七部分：測試WordCount 程序測試WordCount 程序hadoop fs –mkdir inputhadoop fs –put test.txt inputhadoop jar ?hadoop-examples-*.jar ? wordcount ?input output
轉(zhuǎn)載請(qǐng)注明出處【 ? http://sishuok.com/forum/blogPost/list/0/5969.html 】

轉(zhuǎn)載于:https://blog.51cto.com/javasishu/1339146

總結(jié)

以上是生活随笔為你收集整理的Hadoop实战-中高级部分 之 Hadoop 集群安装的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。