Hadoop從一出生就只面向Linux操作系統(tǒng)，且一直未曾考慮支持Windows操作系統(tǒng)。但隨著Hadoop的普及，微軟不得不開始為Hadoop增加patch以推進(jìn)Windows成為生產(chǎn)環(huán)境。經(jīng)過各方努力，Apache Hadoop已經(jīng)同意將這些windows patch融入到核心代碼中（ http://hortonworks.com/blog/hadoop-in-windows/ ），目前，Hadoop svn上已經(jīng)增加了兩個分支：branch-1-win和branch-trunk-win，且Hortonworks聯(lián)合微軟發(fā)布了Hadoop windows安裝版（ http://hortonworks.com/blog/installing-hadoop-on-windows/ ）。

對于Hadoop平臺支持問題，很多讀者可能有這樣的疑問：既然Hadoop是采用JAVA語言編寫的，而JAVA具有跨平臺特性，那么為什么官方只推薦Linux作為生產(chǎn)環(huán)境，而不推薦Windows呢？ 在本文中，我將簡單介紹目前Hadoop的哪些特性不能夠得到windows平臺的支持。

總體上講，Hadoop中的以下幾個特性無法得到windows平臺的支持，換句話說，為了支持windows平臺，必須修改這幾個特性的實現(xiàn)（https://issues.apache.org/jira/browse/HADOOP-8079）：

（1）管理腳本。?在Hadoop 1.0的安裝目錄中有一個bin目錄，里面存放著各種shell管理腳本。很明顯，對于Windows而言，無法運行直接這些shell腳本，需要對這些腳本進(jìn)行修改。 在Hadoop Windows中，重新添加了后綴為.cmd的一系列管理腳本。

（2）HDFS權(quán)限管理。?HDFS的文件權(quán)限管理采用了Linux操作系統(tǒng)的權(quán)限管理，如果移植到Hadoop windows上，需要將對應(yīng)的文件權(quán)限管理改為windows中的權(quán)限管理機制。

（3）Hadoop native library。?Hadoop中有一種native library機制，允許用戶直接采用本地庫（一般為C/C++編寫）進(jìn)行某種操作以優(yōu)化性能，比如壓縮解壓庫，Native IO等。如果將Hadoop移植到windows，這些對應(yīng)的庫需要跟著移植。

（4）Native TaskController。?TaskTracker啟動時，會調(diào)用一個插拔式組件TaskController運行任務(wù)，TaskController一般會添加一些任務(wù)控制機制，比如設(shè)定任務(wù)啟動用戶。默認(rèn)實現(xiàn)是DefaultTaskController，另外一個可使用的是LinuxTaskController，該TaskController將以提交用戶的身份運行任務(wù)（默認(rèn)情況下是以TaskTracker啟動用戶運行任務(wù)）。

（5）單元測試用例。原始的Hadoop很多測試用例無法再windows上運行通過，需要進(jìn)行修改。

（6）其他零散問題。比如路徑問題、資源泄露等（具體參考：https://issues.apache.org/jira/browse/HADOOP-8079）。

參考資料：

http://hortonworks.com/blog/hadoop-in-windows/

https://issues.apache.org/jira/browse/HADOOP-8079

原創(chuàng)文章，轉(zhuǎn)載請注明：?轉(zhuǎn)載自董的博客

本文鏈接地址:?http://dongxicheng.org/mapreduce/hadoop-for-windows/

總結(jié)

以上是生活随笔為你收集整理的Hadoop For Windows的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。