日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 运维知识 > windows >内容正文

windows

Windows下hadoop配置

發布時間:2023/12/20 windows 37 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Windows下hadoop配置 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

第一步:安裝JDK,點擊一下鏈接下載JDK,并安裝。

http://www.oracle.com/technetwork/java/javase/downloads/index.html

在安裝過程中,第一小步安裝jdk,第二小步是安裝jre。建議兩個都安裝在同一個java文件夾中的不同文件夾中。(不能都安裝在java文件夾的根目錄下,jdk和jre安裝在同一文件夾會出錯)

第二步:配置環境變量,找到 計算機→屬性→高級系統設置→高級→環境變量

系統變量→新建 JAVA_HOME 變量 。

變量值填寫jdk的安裝目錄(本人是 C:\PROGRA~1\Java\jdk1.8.0_171)

系統變量→尋找 Path 變量→編輯
在變量值最后輸入 %JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;

(注意原來Path的變量值末尾有沒有;號,如果沒有,先輸入;號再輸入上面的代碼)

系統變量→新建 CLASSPATH 變量
變量值填寫 ? .;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar(注意最前面有一點)
系統變量配置完畢

檢驗是否配置成功 運行cmd 輸入 java -version (java 和 -version 之間有空格)

若如圖所示 顯示版本信息 則說明安裝和配置成功。

注意,在這個地方有一個Java的環境變量配置中不能出現空格,否則hadoop配置不會成功,跑不起來。我這里JDK安裝的目錄就有空格,如下圖,本來是C盤program files下Java文件夾,在JAVA_HOME配置那個地方直接用PROGRA~1代替program files

第三步:下載hadoop并安裝

hadoop安裝步驟可以參考https://blog.csdn.net/xrui_java7/article/details/70231221

或者https://www.cnblogs.com/wuxun1997/p/6847950.html?這兩篇就OK啦,很簡單的。

需要注意的是 在hadoop-3.0.3\etc\hadoop配置hadoop文件的hdfs-site.xml 文件時注意要根據自己的hadoop安裝路徑做相應的調整,改成自己的安裝路徑

其他就沒什么了,配好之后cmd打開控制臺,運行

hadoop namenode -format

可以看到如下圖的效果就配好了。

接著使用? start-all.cmd 命令啟動服務

啟動這四個服務:

Hadoop Namenode

Hadoop datanode

YARN Resourc Manager

YARN Node Manager?

如果有服務沒啟動起來,看下報啥錯。這里我本來也沒啟動起來,打開Hadoop/etc/hadoop 下的hadoop-env.cmd文件 把Java_home值改成jdk安裝的絕對路徑。

HDFS應用

在瀏覽器輸入 http://127.0.0.1:8088/cluster 就能看到集群所有節點的狀態

2、訪問http://localhost:9870/即可查看文件管理頁面:

進入文件管理頁面:如果這里打不開不對的話,重新用? hdfs namenode -format命令建一下namenode,然后去D:\hadoop\data\dfs\namenode 里頭(hdfs-site.xml里配的namenode和datanode保存的路徑,自己建下文件夾)看下有沒有東西,如果有東西了就是已經成功。這樣才能訪問文件管理頁面。

第四步 安裝Spark

點擊鏈接可下載Spark:http://spark.apache.org/downloads.html,可根據自己安裝的hadoop版本在箭頭位置選擇自己對應的版本。

下載完之后直接,解壓安裝就可以了,很簡單的。

然后cmd 在DOS下輸入:

spark-shell

醬紫就安裝成功了。

但這個時候每次運行spark-shell(spark的命令行交互窗口)的時候,都需要先cd到Spark的安裝目錄下,比較麻煩,因此可以將Spark的bin目錄添加到系統變量PATH中。例如我這里的Spark的bin目錄路徑為D:\spark-2.3.0-bin-hadoop2.7\bin,那么就把這個路徑名添加到系統變量的PATH中即可,方法和JDK安裝過程中的環境變量設置一致,設置完系統變量后,在任意目錄下的cmd命令行中,直接執行spark-shell命令,即可開啟Spark的交互式命令行模式。

?

?

?

?

?

總結

以上是生活随笔為你收集整理的Windows下hadoop配置的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。