戳藍(lán)字“CSDN云計(jì)算”關(guān)注我們哦！

我們很榮幸能夠見證Hadoop十幾年間經(jīng)歷了從無到有，再到稱王。感動(dòng)于技術(shù)的日新月異時(shí)，希望通過本篇有問有答，帶大家解決Hadoop的常見問題。

1

Q：?Hadoop 的發(fā)展歷史

A：

2

Q：Hadoop有哪些優(yōu)點(diǎn)呢？

A：Hadoop 是一個(gè)能夠讓用戶輕松架構(gòu)和使用的分布式計(jì)算的平臺(tái)。用戶可以輕松地在 Hadoop 發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用程序。其優(yōu)點(diǎn)主要有以下幾個(gè)：

(1) 高可靠性?：Hadoop 按位存儲(chǔ)和處理數(shù)據(jù)的能力值得人們信賴。

(2) 高擴(kuò)展性?：Hadoop 是在可用的計(jì)算機(jī)集簇間分配數(shù)據(jù)并完成計(jì)算任務(wù)的，這些集簇可以方便地?cái)U(kuò)展到數(shù)以干計(jì)的節(jié)點(diǎn)中。

(3) 高效性?：Hadoop能夠在節(jié)點(diǎn)之間動(dòng)態(tài)地移動(dòng)數(shù)據(jù)，并保證各個(gè)節(jié)點(diǎn)的動(dòng)態(tài)平衡，因此處理速度非常快。

(4) 高容錯(cuò)性?：Hadoop能夠自動(dòng)保存數(shù)據(jù)的多個(gè)副本，并且能夠自動(dòng)將失敗的任務(wù)重新分。

(5) 低成本?：與一體機(jī)、商用數(shù)據(jù)倉庫以及 QlikView、 Yonghong Z- Suites 等數(shù)據(jù)集市相比，Hadoop 是開源的，項(xiàng)目的軟件成本因此會(huì)大大降低。

Hadoop 帶有用 Java 語言編寫的框架，因此運(yùn)行在 linux 生產(chǎn)平臺(tái)上是非常理想的， Hadoop 上的應(yīng)用程序也可以使用其他語言編寫，比如 C++。

3

Q：25%的Spark正在脫離Hadoop生態(tài)單獨(dú)運(yùn)行

A：Gartner報(bào)告其實(shí)是該系列調(diào)查的導(dǎo)火索。在早前的報(bào)告中，Gartner曾指出，盡管企業(yè)對(duì)大數(shù)據(jù)解決方案的需求不斷增長，但對(duì)Hadoop的需求沒有像預(yù)期那樣加速。同時(shí)，25%的Spark已經(jīng)開始脫離Hadoop生態(tài)單獨(dú)運(yùn)行。

4

Q：Hadoop能干什么？

A：大數(shù)據(jù)存儲(chǔ)：分布式存儲(chǔ)

日志處理：擅長日志分析

ETL:數(shù)據(jù)抽取到oracle、mysql、DB2、mongdb及主流數(shù)據(jù)庫

機(jī)器學(xué)習(xí): 比如Apache Mahout項(xiàng)目

搜索引擎:Hadoop + lucene實(shí)現(xiàn)

數(shù)據(jù)挖掘：目前比較流行的廣告推薦，個(gè)性化廣告推薦

Hadoop是專為離線和大規(guī)模數(shù)據(jù)分析而設(shè)計(jì)的，并不適合那種對(duì)幾個(gè)記錄隨機(jī)讀寫的在線事務(wù)處理模式。

5

Q：Hadoop的特點(diǎn)

A：擴(kuò)容能力（Scalable）?

能可靠地（reliably）存儲(chǔ)和處理千兆字節(jié)（PB）數(shù)據(jù)

成本低（Economical）?

可以通過普通機(jī)器組成的服務(wù)器集群來分發(fā)以及處理數(shù)據(jù)。這些服務(wù)器幾圈總計(jì)可以達(dá)到千個(gè)節(jié)點(diǎn)。

高效率（Efficient）?

通過分發(fā)數(shù)據(jù)，hadoop 可以在數(shù)據(jù)所在的節(jié)點(diǎn)上并行的(parallel)處理它們，這使得處理非常快。

可靠性（Reliable）?

hadoop 能自動(dòng)地維護(hù)數(shù)據(jù)的多份副本，并且在任務(wù)失敗后能自動(dòng)重新部署(redeploy)計(jì)算任務(wù)

小伙伴們沖鴨，后臺(tái)留言區(qū)等著你！

關(guān)于Hadoop，今天你學(xué)到了什么？還有哪些不懂的？除此還對(duì)哪些話題感興趣？快來留言區(qū)打卡啦！留言方式：打開第XX天，答：……

同時(shí)歡迎大家搜集更多問題，投稿給我們！風(fēng)里雨里留言區(qū)里等你~

福利

掃描添加小編微信，備注“姓名+公司職位”，加入【云計(jì)算學(xué)習(xí)交流群】，和志同道合的朋友們共同打卡學(xué)習(xí)！

推薦閱讀：

• 微博宕機(jī)復(fù)盤：什么樣的技術(shù)架構(gòu)，可支持80個(gè)明星并發(fā)出軌？

• 漫畫 | Kubernetes帶你一帆風(fēng)順去遠(yuǎn)航

• Android 告急！

• 超酷炫！Facebook用深度學(xué)習(xí)和弱監(jiān)督學(xué)習(xí)繪制全球精準(zhǔn)道路圖

• 多地GitHub賬號(hào)使用受限；Python之父考慮重構(gòu)解釋器；62歲程序員埋邏輯炸彈 | 開發(fā)者周刊

• 3個(gè)核心差異, 告訴你為什么Libra永遠(yuǎn)成不了比特幣！
  

真香，朕在看了！

總結(jié)

以上是生活随笔為你收集整理的Hadoop常见问题 | Hadoop能干什么？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。