戳藍字“CSDN云計算”關注我們哦！

技術的日新月異,讓我們見證了Hadoop十年從無到有，再到稱王。2006年項目成立的一開始，“Hadoop”這個單詞只代表了兩個組件——HDFS和MapReduce。到現在的10個年頭，這個單詞代表的是“核心”以及與之相關的一個不斷成長的生態系統。今天，我們就來一起看看關于Hadoop的精華問答。

1

Q：能不能給點Hadoop的學習方法以及學習規劃，Hadoop系統有點龐大，感覺無從學起。

A：首先搞清楚什么是Hadoop以及Hadoop可以用來做什么？然后，可以從最經典的詞頻統計程序開始，初步了解MapReduce的基本思路和處理數據的方式。接著，就可以正式學習Hadoop的基本原理，包括HDFS和MapReduce，先從整體，宏觀核心原理看，先別看源碼級別。進一步，就可以深入HDFS和MapReduce和模塊細節，這個時候可以結合源碼深入理解，以及實現機制。最后就是需要實戰了，可以結合自己的項目或者相關需求來完成一些Hadoop相關應用。

2

Q：以后想從事大數據方面工作，算法要掌握到什么程度，算法占主要部分嗎？

A：首先，如果要從事大數據相關領域的話，Hadoop是作為工具來使用的，首先需要掌握使用方法。可以不用深入到Hadoop源碼級別細節。然后就是對算法的理解，往往需要設計到數據挖掘算法的分布式實現，而算法本身你還是需要理解的，例如常用的k-means聚類等。

3

Q：大數據處理都是服務器上安裝相關軟件嗎，對程序有什么影響呢，集群、大數據是屬于運維的工作內容還是工程師的呢？

A：傳統的程序只能運行在單機上，而大數據處理這往往使用分布式編程框架編寫，例如Hadoop?MapReduce，只能運行在Hadoop集群平臺上。

運維的責任：保證集群，機器的穩定性和可靠性

Hadoop系統本身研發：提高Hadoop集群的性能，增加新功能。

大數據應用：把Hadoop作為工具，去實現海量數據處理或者相關需求。

4

Q：Hadoop適不適用于電子政務？為什么？

A：電子政務是利用互聯網技術實現政府組織結構和工作流程的重組優化，建成一個精簡、高效、廉潔、公平的政府運作信息服務平臺。因此電子政務肯定會產生相關的大量數據以及相應的計算需求，而這兩種需求涉及的數據和計算達到一定規模時傳統的系統架構將不能滿足，就需要借助海量數據處理平臺，例如Hadoop技術，因此可以利用Hadoop技術來構建電子政務云平臺。

總結一下，任何系統沒有絕對的適合和不適合，只有當需求出現時才可以決定，在一個非常小的電子政務系統上如果沒有打數據處理以及計算分析需求時就不需要hadoop這樣的技術，而實際上，商用的電子政務平臺往往涉及到大規模的數據和大量的計算分析處理需求，因此就需要Hadoop這樣的技術來解決。

5

Q：非大數據的項目能否用Hadoop？

A：非大數據項目是否可以用Hadoop的關鍵問題在于是否有海量數據的存儲，計算，以及分析挖掘等需求，如果現有系統已經很好滿足當前需求那么就沒有必要使用Hadoop，沒有必要使用并不意味這不能使用Hadoop，很多傳統系統能做的Hadoop也是可以做的，例如使用HDFS來代替LINUX?NFS，使用MapReduce來代替單服務器的統計分析相關任務，使用Hbase代替MySQL等關系數據庫等，在數據量不大的情況下通常Hadoop集群肯定比傳統系統消耗更多的資源。

---------------- ?完? --------------

小伙伴們沖鴨，后臺留言區等著你！

關于Hadoop，今天你學到了什么？還有哪些不懂的？除此還對哪些話題感興趣？快來留言區打卡啦！留言方式：打開第XX天，答：……

同時歡迎大家搜集更多問題，投稿給我們！風里雨里留言區里等你~

---------------- ?完? --------------

1.微信群：

添加小編微信：color_ld，備注“進群+姓名+公司職位”即可，加入【云計算學習交流群】，和志同道合的朋友們共同打卡學習！

2.征稿：

投稿郵箱：liudan@csdn.net；微信號：color_ld。請備注投稿+姓名+公司職位。

推薦閱讀

• Kafka學習筆記

• “拼多多”驚爆重大 Bug！程序員的眼淚，羊毛黨的狂歡

• “黃鱔門”視頻女主播一審宣判！

• 12306能扛住明星出軌這種流量沖擊嗎？

• V神說，解釋以太坊2.0最好的文章就是這篇了
  

• 以太坊升級的拖油瓶，竟只是這幾行代碼
  

• 程序員有話說 | 程序猿在乘地鐵的時候都在想什么??文?推 薦?

點擊“閱讀原文”，打開 CSDN App 閱讀更貼心！

喜歡就點擊“好看”吧！

總結

以上是生活随笔為你收集整理的Hadoop精华问答 | 非大数据的项目能否用Hadoop？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。