hadoop2.0以后不需要借助cywin运行在Windows上
Hadoop 2.0及以后的版本可以直接在windows上跑, 不用cygwin了, 凡是講cygwin的攻略都可以忽略.
?
去官網下載hadoop,其實都是tar.gz linux版本,所以我們單獨下載window需要一些文件。
關于環境變量: 我實驗下來要加的唯一一個環境變量是系統變量里的Path, 往里加上Hadoop的bin目錄的路徑.
關于winutils: 除了Hadoop安裝包和JDK外,還要下載的一個第三方工具是名為winutils的一套類庫, 下載地址:
https://github.com/steveloughran/winutils
注意比如你hadoop下載的是3.1版本, 那么這個類庫你也要用3.1的. 下載完了把里面所有的dll等文件都覆蓋到hadoop目錄的bin子目錄下去.
關于hadoop的配置: 在hadoop目錄下的etc/hadoop下找到大量配置文件, 文件后綴名為sh的是linux環境用的, cmd的就是windows的腳本,先要配置hadcoop-env.cmd: 這個文件唯一要配置的地方是:
set JAVA_HOME=C:\Java\jdk1.8.0_121尤其要注意的一點是如果你的Java裝在Program Files這樣帶空格的文件夾下的話, 一定要把這個文件夾命名為不帶空格的名字, 或者用 "C:\PROGRA~1" 來表示 "C:\Program Files", 否則會報錯, 這是一個坑.!!!
?
?
?
總結
以上是生活随笔為你收集整理的hadoop2.0以后不需要借助cywin运行在Windows上的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: jenkins的历史
- 下一篇: GPS系统研发人员面试题(VC通讯)