2019獨角獸企業重金招聘Python工程師標準>>>

框架簡介

Hadoop使用主/從（Master/Slave）架構，主要角色有NameNode，DataNode，secondary NameNode，JobTracker，TaskTracker組成。

其中NameNode，secondary NameNode，JobTracker運行在Master節點上，DataNode和TaskTracker運行在Slave節點上。

1，NameNode

NameNode是HDFS的守護程序，負責記錄文件是如何分割成數據塊的，以及這些數據塊被存儲到哪些數據節點上。它的功能是對內存及I/O進行集中管理。

2，DataNode

集群中每個從服務器都運行一個DataNode后臺程序，后臺程序負責把HDFS數據塊讀寫到本地文件系統。需要讀寫數據時，由NameNode告訴客戶端去哪個DataNode進行具體的讀寫操作。

3，Secondary NameNode

Secondary NameNode是一個用來監控HDFS狀態的輔助后臺程序，如果NameNode發生問題，可以使用Secondary NameNode作為備用的NameNode。

4，JobTracker

JobTracker后臺程序用來連接應用程序與Hadoop，用戶應用提交到集群后，由JobTracker決定哪個文件處理哪個task執行，一旦某個task失敗，JobTracker會自動開啟這個task。

5，TaskTracker

TaskTracker負責存儲數據的DataNode相結合，位于從節點，負責各自的task。

windows下使用hadoop

1.Cygwin下用Open SSH啟動SSH服務

2.運行命令

cd?./bin ./hadoop?namenode?-format ./start-all.sh #啟動成功后測試 ./hadoop?fs?-mkdir?In ./hadoop?dfs?-ls?/

轉載于:https://my.oschina.net/briviowang/blog/208717

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的hadoop使用的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。