一、JDK的安裝

JDK使用root用戶安裝

1.1　上傳安裝包并解壓

[root@hadoop1 soft]# tar -zxvf jdk-8u73-linux-x64.tar.gz -C /usr/local/

1.2　配置環(huán)境變量

[root@hadoop1 soft]# vi /etc/profile #JAVA export JAVA_HOME=/usr/local/jdk1.8.0_73 export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin

1.3　驗(yàn)證Java版本

[root@hadoop1 soft]# java -version

二、配置配置ssh localhost?

使用hadoop用戶安裝

2.1　檢測(cè)

正常情況下，本機(jī)通過(guò)ssh連接自己也是需要輸入密碼的

2.2　生成私鑰和公鑰秘鑰對(duì)

[hadoop@hadoop1 ~]$ ssh-keygen -t rsa

2.3　將公鑰添加到authorized_keys

[hadoop@hadoop1 ~]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

2.4　賦予authorized_keys文件600的權(quán)限

[hadoop@hadoop1 ~]$ chmod 600 ~/.ssh/authorized_keys

2.5　修改Linux映射文件(root用戶)

[root@hadoop1 ~]$ vi /etc/hosts

2.6　驗(yàn)證

[hadoop@hadoop1 ~]$ ssh hadoop1

此時(shí)不需要輸入密碼，免密登錄設(shè)置成功。

三、安裝Hadoop-2.7.5

使用hadoop用戶

3.1　上傳解壓縮

[hadoop@hadoop1 ~]$ tar -zxvf hadoop-2.7.5-centos-6.7.tar.gz -C apps/

3.2　創(chuàng)建安裝包對(duì)應(yīng)的軟連接

為解壓的hadoop包創(chuàng)建軟連接

[hadoop@hadoop1 ~]$ cd apps/ [hadoop@hadoop1 apps]$ ll 總用量 4 drwxr-xr-x. 9 hadoop hadoop 4096 12月 24 13:43 hadoop-2.7.5 [hadoop@hadoop1 apps]$ ln -s hadoop-2.7.5/ hadoop

3.3　修改配置文件

進(jìn)入/home/hadoop/apps/hadoop/etc/hadoop/目錄下修改配置文件

（1）修改hadoop-env.sh

[hadoop@hadoop1 hadoop]$ vi hadoop-env.sh export JAVA_HOME=/usr/local/jdk1.8.0_73?

（2）修改core-site.xml

[hadoop@hadoop1 hadoop]$ vi core-site.xml <configuration><property><name>fs.defaultFS</name><value>hdfs://hadoop1:9000</value></property><property><name>hadoop.tmp.dir</name><value>/home/hadoop/data/hadoopdata</value></property> </configuration>

（3）修改hdfs-site.xml

[hadoop@hadoop1 hadoop]$ vi hdfs-site.xml

dfs的備份數(shù)目，單機(jī)用1份就行

<property><name>dfs.namenode.name.dir</name><value>/home/hadoop/data/hadoopdata/name</value><description>為了保證元數(shù)據(jù)的安全一般配置多個(gè)不同目錄</description></property><property><name>dfs.datanode.data.dir</name><value>/home/hadoop/data/hadoopdata/data</value><description>datanode 的數(shù)據(jù)存儲(chǔ)目錄</description></property><property><name>dfs.replication</name><value>2</value><description>HDFS 的數(shù)據(jù)塊的副本存儲(chǔ)個(gè)數(shù), 默認(rèn)是3</description></property>

（4）修改mapred-site.xml

[hadoop@hadoop1 hadoop]$ cp mapred-site.xml.template mapred-site.xml [hadoop@hadoop1 hadoop]$ vi mapred-site.xml

mapreduce.framework.name：指定mr框架為yarn方式,Hadoop二代MP也基于資源管理系統(tǒng)Yarn來(lái)運(yùn)行 。

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property> </configuration>

（5）修改yarn-site.xml

[hadoop@hadoop1 hadoop]$ vi yarn-site.xml 　　　　<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value><description>YARN 集群為 MapReduce 程序提供的 shuffle 服務(wù)</description></property>

3.4　配置環(huán)境變量

千萬(wàn)注意：

1、如果你使用root用戶進(jìn)行安裝。 vi /etc/profile 即可 系統(tǒng)變量

2、如果你使用普通用戶進(jìn)行安裝。 vi ~/.bashrc 用戶變量

[hadoop@hadoop1 ~]$ vi .bashrc #HADOOP_HOME
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.7.5 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:

使環(huán)境變量生效

[hadoop@hadoop1 bin]$ source ~/.bashrc

3.5　查看hadoop版本

[hadoop@hadoop1 ~]$ hadoop version

3.6　創(chuàng)建文件夾

文件夾的路徑參考配置文件hdfs-site.xml里面的路徑

[hadoop@hadoop1 ~]$ mkdir -p /home/hadoop/data/hadoopdata/name [hadoop@hadoop1 ~]$ mkdir -p /home/hadoop/data/hadoopdata/data

3.7　Hadoop的初始化

[hadoop@hadoop1 ~]$ hadoop namenode -format

3.8　啟動(dòng)HDFS和YARN

[hadoop@hadoop1 ~]$ start-dfs.sh
[hadoop@hadoop1 ~]$ start-yarn.sh

3.9　檢查WebUI

瀏覽器打開(kāi)端口50070：http://hadoop1:50070

其他端口說(shuō)明：?
port 8088: cluster and all applications?
port 50070: Hadoop NameNode?
port 50090: Secondary NameNode?
port 50075: DataNode?

四、Scala的安裝（可選）

使用root安裝

4.1　下載

Scala下載地址http://www.scala-lang.org/download/all.html

選擇對(duì)應(yīng)的版本，此處在Linux上安裝，選擇的版本是scala-2.11.8.tgz

4.2　上傳解壓縮

[root@hadoop1 hadoop]# tar -zxvf scala-2.11.8.tgz -C /usr/local/

4.3　配置環(huán)境變量

[root@hadoop1 hadoop]# vi /etc/profile #Scala export SCALA_HOME=/usr/local/scala-2.11.8 export PATH=$SCALA_HOME/bin:$PATH

保存并使其立即生效

[root@hadoop1 scala-2.11.8]# source /etc/profile

4.4　驗(yàn)證是否安裝成功

[root@hadoop1 ~]# scala -version

五、Spark的安裝

5.1　下載安裝包

下載地址：

http://spark.apache.org/downloads.html

http://mirrors.hust.edu.cn/apache/

https://mirrors.tuna.tsinghua.edu.cn/apache/

5.2　上傳解壓縮

[hadoop@hadoop1 ~]$ tar -zxvf spark-2.3.0-bin-hadoop2.7.tgz -C apps/

5.3　為解壓包創(chuàng)建一個(gè)軟連接

[hadoop@hadoop1 ~]$ cd apps/ [hadoop@hadoop1 apps]$ ls hadoop hadoop-2.7.5 spark-2.3.0-bin-hadoop2.7 [hadoop@hadoop1 apps]$ ln -s spark-2.3.0-bin-hadoop2.7/ spark

5.4　進(jìn)入spark/conf修改配置文件

[hadoop@hadoop1 apps]$ cd spark/conf/

?復(fù)制spark-env.sh.template并重命名為spark-env.sh，并在文件最后添加配置內(nèi)容

[hadoop@hadoop1 conf]$ cp spark-env.sh.template spark-env.sh [hadoop@hadoop1 conf]$ vi spark-env.sh export JAVA_HOME=/usr/local/jdk1.8.0_73 export SCALA_HOME=/usr/share/scala-2.11.8 export HADOOP_HOME=/home/hadoop/apps/hadoop-2.7.5 export HADOOP_CONF_DIR=/home/hadoop/apps/hadoop-2.7.5/etc/hadoop export SPARK_MASTER_IP=hadoop1 export SPARK_MASTER_PORT=7077

5.5　配置環(huán)境變量

[hadoop@hadoop1 conf]$ vi ~/.bashrc #SPARK_HOME export SPARK_HOME=/home/hadoop/apps/spark export PATH=$PATH:$SPARK_HOME/bin

保存使其立即生效

[hadoop@hadoop1 conf]$ source ~/.bashrc

5.6　啟動(dòng)Spark

[hadoop@hadoop1 ~]$? ~/apps/spark/sbin/start-all.sh?

5.7　查看進(jìn)程

5.8　查看web界面

http://hadoop1:8080/

?

轉(zhuǎn)載于:https://www.cnblogs.com/qingyunzong/p/8903714.html

總結(jié)

以上是生活随笔為你收集整理的Spark学习之路 （五）Spark伪分布式安装的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。