2006年項目成立的一開始,“Hadoop”這個單詞只代表了兩個組件——HDFS和MapReduce。到現(xiàn)在的13個年頭,這個單詞代表的是“核心”，今天我們就來看看關(guān)于Hadoop的精華問答。

1

Q：Hadoop是什么？

A：Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進行高速運算和存儲。

2

Q：Hadoop框架最核心的設(shè)計是？

A：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲，則MapReduce為海量的數(shù)據(jù)提供了計算。

3

Q：Hadoop的主要優(yōu)點？

A：Hadoop的主要優(yōu)點有以下幾個：

(a) 高可靠性。Hadoop按位存儲和處理數(shù)據(jù)的能力值得人們信賴。

(b)高擴展性。Hadoop是在可用的計算機集簇間分配數(shù)據(jù)并完成計算任務(wù)的，這些集簇可以方便地擴展到數(shù)以千計的節(jié)點中。

(c)高效性。Hadoop能夠在節(jié)點之間動態(tài)地移動數(shù)據(jù)，并保證各個節(jié)點的動態(tài)平衡，因此處理速度非常快。

(d)高容錯性。Hadoop能夠自動保存數(shù)據(jù)的多個副本，并且能夠自動將失敗的任務(wù)重新分配。

(e)低成本。與一體機、商用數(shù)據(jù)倉庫以及QlikView、Yonghong Z-Suite等數(shù)據(jù)集市相比，Hadoop是開源的，項目的軟件成本因此會大大降低。

4

Q：HDFS是什么？

A：Hadoop實現(xiàn)了一個分布式文件系統(tǒng)（Hadoop Distributed File System），簡稱HDFS.

HDFS有高容錯性的特點，并且設(shè)計用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streaming access）文件系統(tǒng)中的數(shù)據(jù)。

對外部客戶機而言，HDFS就像一個傳統(tǒng)的分級文件系統(tǒng)。可以創(chuàng)建、刪除、移動或重命名文件，等等。但是 HDFS 的架構(gòu)是基于一組特定的節(jié)點構(gòu)建的，這是由它自身的特點決定的。

這些節(jié)點包括 NameNode（僅一個），它在 HDFS 內(nèi)部提供元數(shù)據(jù)服務(wù)；DataNode，它為 HDFS 提供存儲塊。由于僅存在一個 NameNode，因此這是 HDFS 的一個缺點（單點失敗）。?

存儲在 HDFS 中的文件被分成塊，然后將這些塊復(fù)制到多個計算機中（DataNode）。這與傳統(tǒng)的 RAID 架構(gòu)大不相同。塊的大小（通常為 64MB）和復(fù)制的塊數(shù)量在創(chuàng)建文件時由客戶機決定。NameNode 可以控制所有文件操作。HDFS 內(nèi)部的所有通信都基于標(biāo)準(zhǔn)的 TCP/IP 協(xié)議。

5

Q：HDFS有何特性？

A：HDFS的部分特性：

1. 一致性，高可用性，分區(qū)容錯性?

2. 存儲超大文件?

3. 一次寫入，多次讀取（流式數(shù)據(jù)訪問）?

4. 運行在普通廉價的服務(wù)器上?

5. 以高延遲為代價?

6. 不適合存儲大量小容量的文件?

7. 會在多個datanode上存儲多份副本，默認3份，三份副本一般會保存在兩個或者兩個以上的服務(wù)器中?

8. namenode 負責(zé)管理文件目錄，文件和block的對應(yīng)關(guān)系以及block和datanode的對應(yīng)關(guān)系?

9. datanode負責(zé)存儲，大部分的容錯機制都是在datanode上實現(xiàn)

小伙伴們沖鴨，后臺留言區(qū)等著你！

關(guān)于Hadoop，今天你學(xué)到了什么？還有哪些不懂的？除此還對哪些話題感興趣？快來留言區(qū)打卡啦！留言方式：打開第XX天，答：……

同時歡迎大家搜集更多問題，投稿給我們！風(fēng)里雨里留言區(qū)里等你~

福利

1、掃描添加小編微信，備注“姓名+公司職位”，加入【云計算學(xué)習(xí)交流群】，和志同道合的朋友們共同打卡學(xué)習(xí)！

2、公眾號后臺回復(fù)：白皮書，獲取IDC最新數(shù)據(jù)白皮書整理資料！

推薦閱讀：

• 輕松了解面試官心理！ElasticSearch寫入數(shù)據(jù)的工作原理是什么？ | 技術(shù)頭條

• 專訪圖靈獎得主John Hopcroft：中國必須提升本科教育水平，才能在AI領(lǐng)域趕上美國

• 程序員與程序媛的神仙愛情 | 程序員有話說

• 他曾主導(dǎo)世界上第一臺安卓智能機, 如今能否靠區(qū)塊鏈?zhǔn)謾C找回昔日的光榮？|人物志

• 移動開發(fā)或?qū)⒈活嵏?#xff1f;

• 如何將TensorFlow Serving的性能提高超過70%？
  

喜歡就點擊“在看”吧

總結(jié)

以上是生活随笔為你收集整理的Hadoop精华问答：Hadoop框架最核心的设计是？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。