目錄

• 前言
• Java安裝
  • 方法一
  • 方法二
  • 測試
• hadoop安裝
  • 下載
  • 配置環境變量
• Scala安裝
  • 下載
  • 配置環境變量
  • 測試
• Spark安裝
  • 方法一
  • 方法二
  • 兩種方法的區別
• 說明:

---

前言

操作系統win10
安裝時間2018年12月
java版本jdk1.8.0_191
hadoop版本hadoop-2.8.5
spark版本spark-2.3.1-bin-hadoop2.7

Java安裝

方法一

下載

JDK 8 網址,如下圖所示:

這時有兩種JDK可以選擇，如下兩圖，選其中一種即可:(疑問,這兩種有什么區別?)

配置環境變量

選擇兩種JDK其中一種下載好,開始安裝,,完成之后,環境變量配置：

操作變量名變量值

新建	JAVA_HOME	安裝路徑jdk
新建	CLASSPATH	.;安裝路徑jdk\bin;安裝路徑jdk\lib\dt.jar;安裝路徑jdk\lib\tools.jar;
增加	PATH	安裝路徑jdk\bin;安裝路徑jdk\jre\bin;

方法二

下載

JDK 11 網址,如下圖所示:

選擇對應的exe文件進行下載:

配置環境變量

開始安裝,完成之后,環境變量配置：

操作變量名變量值

新建	JAVA_HOME	安裝路徑
新建	CLASSPATH	安裝路徑\lib
增加	PATH	安裝路徑\lib

測試

C:\Users\yun>java -version java version "11.0.1" 2018-10-16 LTS Java(TM) SE Runtime Environment 18.9 (build 11.0.1+13-LTS) Java HotSpot(TM) 64-Bit Server VM 18.9 (build 11.0.1+13-LTS, mixed mode) C:\Users\yun>javac -version javac 11.0.1

hadoop安裝

下載

最新幾個版本的hadoop 網址,如下圖所示:

選擇'Source download'或或者'Binary download'進入如下頁面,下載文件:

配置環境變量

解壓文件,環境變量配置：

操作變量名變量值

新建	HADOOP_HOME	解壓路徑
增加	PATH	解壓路徑\bin

Scala安裝

下載

Scala 官網


瀏覽到網址最下面(選msi文件安裝更省事哦):

配置環境變量

開始安裝,完成之后,環境變量配置(使用msi文件安裝默認會配置好,如果沒有配置,如下表配置)：

操作變量名變量值

增加	PATH	安裝路徑\bin

測試

C:\Users\yun>scala -version Scala code runner version 2.12.8 -- Copyright 2002-2018, LAMP/EPFL and Lightbend, Inc.

Spark安裝

方法一

下載

Apache Spark? 官網

按照網址提示步驟,'Choose a Spark release'-->'Choose a package type'-->'Download Spark':

復制文件

配置環境變量

• 解壓文件
• 把'解壓路徑\python\pyspark'文件夾復制到'python安裝路徑\Lib\site-packages'文件夾里面
• 環境變量配置：

操作變量名變量值

新建	SPARK_HOME	解壓路徑
增加	PATH	解壓路徑\bin

測試

(退出spark-shell時提示“ERROR ShutdownHookManager:91 - Exception while deleting Spark temp dir:.....(省略)”，未解決)

C:\Users\yun>spark-shell ......(省略) Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). Spark context Web UI available at http://10.135.110.114:4040 Spark context available as 'sc' (master = local[*], app id = local-1544323487923). Spark session available as 'spark'. Welcome to____ __/ __/__ ___ _____/ /___\ \/ _ \/ _ `/ __/ '_//___/ .__/\_,_/_/ /_/\_\ version 2.4.0/_/Using Scala version 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 11.0.1) Type in expressions to have them evaluated. Type :help for more information.scala>

方法二

(疑問:選擇這種方法可以不需要安裝Scala?)

下載

pip install pyspark

測試

C:\Users\yun>pyspark Python 3.7.0 (default, Jun 28 2018, 08:04:48) [MSC v.1912 64 bit (AMD64)] :: Anaconda, Inc. on win32 Type "help", "copyright", "credits" or "license" for more information. ......(省略) Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). Welcome to____ __/ __/__ ___ _____/ /___\ \/ _ \/ _ `/ __/ '_//__ / .__/\_,_/_/ /_/\_\ version 2.4.0/_/Using Python version 3.7.0 (default, Jun 28 2018 08:04:48) SparkSession available as 'spark'. >>>

兩種方法的區別

方法一:

'spark-shell'命令和'pyspark'命令位于'spark解壓路徑\lib'中
把'解壓路徑\python\pyspark'文件夾復制到'python安裝路徑\Lib\site-packages'文件夾里面

方法二:

'spark-shell'命令和'pyspark'命令位于'python安裝路徑\Scripts'中
執行的文件'是pip install pyspark'命令時安裝在'python安裝路徑\Lib\site-packages'中的包

說明:

疑問：環境變量是按照順序來執行的嗎？
如果是，那就沒什么問題了，哈哈

安裝完Hadoop之后運行spark相關命令('spark-shell'命令和'pyspark'命令)時出現‘Could not locate executable null\bin\winutils.exe in the Hadoop binaries.’
從github下載winutils，然后把對應版本的hadoop目錄下的bin文件夾中的winutils.exe做復制就不會報這個錯誤了哦

疑問:'spark-shell'命令可以根據輸出信息中的'Spark context Web UI available at...'一行進入網址查看spark的UI界面,pip安裝的'pyspark'命令如何查看spark的UI界面呢?
已解決:'pyspark'命令進入默認網址'localhost:4040'或者‘127.0.0.1:4040'可以查看spark的UI界面哇waha

配置pyspark啟動時自動啟動jupyter notebook（建議在用戶變量中操作）：

操作變量名變量值

新建	PYSPARK_DRIVER_PYTHON	jupyter
新建	PYSPARK_DRIVER_PYTHON_OPTS	notebook

轉載于:https://www.cnblogs.com/yun1233/p/10201960.html

總結

以上是生活随笔為你收集整理的win10安装java+hadoop+spark的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。