• 目錄
  • 一、準(zhǔn)備的資源：
  • 二、安裝配置過程

目錄

本章就說下各種軟件的安裝和配置。

一、準(zhǔn)備的資源：

1、tomcat(如用于在網(wǎng)頁上查看HDFS的存儲等)
地址：http://pan.baidu.com/s/1miC93ny
密碼：52dd
2、jdk
地址：http://pan.baidu.com/s/1mhVWiM0
密碼：fmn1
3、Hadoop（最好用centos6.5系統(tǒng)，否則配置時會出現(xiàn)各種BUG）
地址：http://pan.baidu.com/s/1qXXPUdm
密碼：5zqe

二、安裝配置過程

在安裝這些軟件之前，再介紹個比較好用的軟件給大家
SecureCRT7.3.3 x64(SSH工具)：http://pan.baidu.com/s/1gfzm7Fd
密碼：5zy0
先說下這個軟件，這個軟件是安裝在windows環(huán)境下，用于在Windows環(huán)境下通過SSH協(xié)議來控制Linux系統(tǒng)。
簡單介紹下使用的過程：
打開軟件按照下圖進(jìn)行操作

按照以上操作完畢后，你就可以在右邊的命令行下來控制Linux，該軟件支持命令行的命令粘貼等功能,詳細(xì)的使可以自行百度。
接下來介紹各個軟件的安裝：

1、安裝JDK

1.上傳jdk-7u45-linux-x64.tar.gz到Linux上
2.解壓jdk到/usr/local目錄
tar -zxvf jdk-7u45-linux-x64.tar.gz -C /usr/local/
3.設(shè)置環(huán)境變量，在/etc/profile文件最后追加相關(guān)內(nèi)容
vi /etc/profile
export JAVA_HOME=/usr/local/jdk1.7.0_45
export PATH=PATH:PATH:JAVA_HOME/bin
4.刷新環(huán)境變量
source /etc/profile
5.測試java命令是否可用
java -version

2、安裝Tomcat

1.上傳apache-tomcat-7.0.68.tar.gz到Linux上
2.解壓tomcat
tar -zxvf apache-tomcat-7.0.68.tar.gz -C /usr/local/
3.啟動tomcat
/usr/local/apache-tomcat-7.0.68/bin/startup.sh
./startup.sh
4.查看tomcat進(jìn)程是否啟動
jps
5.查看tomcat進(jìn)程端口
netstat -anpt | grep 2465
6.通過瀏覽器訪問tomcat
http://192.168.0.101:8080/

3、安裝hadoop

先上傳hadoop的安裝包到服務(wù)器上去/home/hadoop/
注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop
偽分布式需要修改5個配置文件

3.1配置hadoop第一個：hadoop-env.sh vim hadoop-env.sh #第27行 export JAVA_HOME=/usr/java/jdk1.7.0_65 第二個：core-site.xml<!-- 指定HADOOP所使用的文件系統(tǒng)schema（URI），HDFS的老大（NameNode）的地址 --><property><name>fs.defaultFS</name><value>hdfs://weekend-1206-01:9000</value></property><!-- 指定hadoop運(yùn)行時產(chǎn)生文件的存儲目錄 --><property><name>hadoop.tmp.dir</name><value>/home/hadoop/hadoop-2.4.1/tmp</value></property>第三個：hdfs-site.xml <!-- 指定HDFS副本的數(shù)量 --><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.secondary.http.address</name><value>192.168.1.152:50090</value></property>第四個：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)mv mapred-site.xml.template mapred-site.xmlvim mapred-site.xml<!-- 指定mr運(yùn)行在yarn上 --><property><name>mapreduce.framework.name</name><value>yarn</value></property>第五個：yarn-site.xml<!-- 指定YARN的老大（ResourceManager）的地址 --><property><name>yarn.resourcemanager.hostname</name><value>weekend-1206-01</value></property><!-- reducer獲取數(shù)據(jù)的方式 --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>3.2將hadoop添加到環(huán)境變量vim /etc/proflieexport JAVA_HOME=/usr/java/jdk1.7.0_65export HADOOP_HOME=/itcast/hadoop-2.4.1export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbinsource /etc/profile3.3格式化namenode（是對namenode進(jìn)行初始化）hdfs namenode -format (hadoop namenode -format)3.4啟動hadoop先啟動HDFSsbin/start-dfs.sh再啟動YARNsbin/start-yarn.sh3.5驗(yàn)證是否啟動成功使用jps命令驗(yàn)證27408 NameNode28218 Jps27643 SecondaryNameNode28066 NodeManager27803 ResourceManager27512 DataNodehttp://192.168.1.101:50070 （HDFS管理界面）http://192.168.1.101:8088 （MR管理界面）

在下面的章節(jié)中會介紹下HDFS的原理和基本操作等知識

總結(jié)

以上是生活随笔為你收集整理的大数据集群搭建之hadoop、tomcat、jdk等工具的安装（三）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。