Windows下hadoop配置
第一步:安裝JDK,點擊一下鏈接下載JDK,并安裝。
http://www.oracle.com/technetwork/java/javase/downloads/index.html
在安裝過程中,第一小步安裝jdk,第二小步是安裝jre。建議兩個都安裝在同一個java文件夾中的不同文件夾中。(不能都安裝在java文件夾的根目錄下,jdk和jre安裝在同一文件夾會出錯)
第二步:配置環境變量,找到 計算機→屬性→高級系統設置→高級→環境變量
系統變量→新建 JAVA_HOME 變量 。
變量值填寫jdk的安裝目錄(本人是 C:\PROGRA~1\Java\jdk1.8.0_171)
系統變量→尋找 Path 變量→編輯
在變量值最后輸入 %JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;
(注意原來Path的變量值末尾有沒有;號,如果沒有,先輸入;號再輸入上面的代碼)
系統變量→新建 CLASSPATH 變量
變量值填寫 ? .;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar(注意最前面有一點)
系統變量配置完畢
檢驗是否配置成功 運行cmd 輸入 java -version (java 和 -version 之間有空格)
若如圖所示 顯示版本信息 則說明安裝和配置成功。
注意,在這個地方有一個Java的環境變量配置中不能出現空格,否則hadoop配置不會成功,跑不起來。我這里JDK安裝的目錄就有空格,如下圖,本來是C盤program files下Java文件夾,在JAVA_HOME配置那個地方直接用PROGRA~1代替program files
第三步:下載hadoop并安裝
hadoop安裝步驟可以參考https://blog.csdn.net/xrui_java7/article/details/70231221
或者https://www.cnblogs.com/wuxun1997/p/6847950.html?這兩篇就OK啦,很簡單的。
需要注意的是 在hadoop-3.0.3\etc\hadoop配置hadoop文件的hdfs-site.xml 文件時注意要根據自己的hadoop安裝路徑做相應的調整,改成自己的安裝路徑
其他就沒什么了,配好之后cmd打開控制臺,運行
hadoop namenode -format可以看到如下圖的效果就配好了。
接著使用? start-all.cmd 命令啟動服務
啟動這四個服務:
Hadoop Namenode
Hadoop datanode
YARN Resourc Manager
YARN Node Manager?
如果有服務沒啟動起來,看下報啥錯。這里我本來也沒啟動起來,打開Hadoop/etc/hadoop 下的hadoop-env.cmd文件 把Java_home值改成jdk安裝的絕對路徑。
HDFS應用
在瀏覽器輸入 http://127.0.0.1:8088/cluster 就能看到集群所有節點的狀態
2、訪問http://localhost:9870/即可查看文件管理頁面:
進入文件管理頁面:如果這里打不開不對的話,重新用? hdfs namenode -format命令建一下namenode,然后去D:\hadoop\data\dfs\namenode 里頭(hdfs-site.xml里配的namenode和datanode保存的路徑,自己建下文件夾)看下有沒有東西,如果有東西了就是已經成功。這樣才能訪問文件管理頁面。
第四步 安裝Spark
點擊鏈接可下載Spark:http://spark.apache.org/downloads.html,可根據自己安裝的hadoop版本在箭頭位置選擇自己對應的版本。
下載完之后直接,解壓安裝就可以了,很簡單的。
然后cmd 在DOS下輸入:
spark-shell醬紫就安裝成功了。
但這個時候每次運行spark-shell(spark的命令行交互窗口)的時候,都需要先cd到Spark的安裝目錄下,比較麻煩,因此可以將Spark的bin目錄添加到系統變量PATH中。例如我這里的Spark的bin目錄路徑為D:\spark-2.3.0-bin-hadoop2.7\bin,那么就把這個路徑名添加到系統變量的PATH中即可,方法和JDK安裝過程中的環境變量設置一致,設置完系統變量后,在任意目錄下的cmd命令行中,直接執行spark-shell命令,即可開啟Spark的交互式命令行模式。
?
?
?
?
?
總結
以上是生活随笔為你收集整理的Windows下hadoop配置的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: WebStorm自定义主题/护眼主题
- 下一篇: 推荐三款windows下提高工作效率的软