我們很榮幸能夠見證Hadoop十年從無到有，再到稱王。感動于技術的日新月異時，讓我們再來看看關于Hadoop的精華問答。

1

Q：NameNode的工作特點

A：NameNode始終在內存中保存metedata，用于處理“讀請求”，到有“寫請求”到來時，NameNode首先會寫editlog到磁盤，即向edits文件中寫日志，成功返回后，才會修改內存，并且向客戶端返回。

Hadoop會維護一個人fsimage文件，也就是NameNode中metedata的鏡像，但是fsimage不會隨時與NameNode內存中的metedata保持一致，而是每隔一段時間通過合并edits文件來更新內容。Secondary NameNode就是用來合并fsimage和edits文件來更新NameNode的metedata的。

2

Q：某個節點上任務數目太多，資源利用率太高，怎么控制一個節點上的任務數目?

A：一個節點上運行的任務數目主要由兩個因素決定，一個是NodeManager可使用的資源總量，一個是單個任務的資源需求量，比如一個NodeManager上可用資源為8 GB內存，8 cpu，單個任務資源需求量為1 GB內存，1cpu，則該節點最多運行8個任務。

NodeManager上可用資源是由管理員在配置文件yarn-site.xml中配置的，相關參數如下：

yarn.nodemanager.resource.memory-mb：總的可用物理內存量，默認是8096

yarn.nodemanager.resource.cpu-vcores：總的可用CPU數目，默認是8

對于MapReduce而言，每個作業的任務資源量可通過以下參數設置：

mapreduce.map.memory.mb：物理內存量，默認是1024

mapreduce.map.cpu.vcores：CPU數目，默認是1

默認情況，各個調度器只會對內存資源進行調度，不會考慮CPU資源，你需要在調度器配置文件中進行相關設置。

3

Q：如何設置單個任務占用的內存量和CPU數目？

A：對于MapReduce而言，每個作業的任務資源量可通過以下參數設置：

mapreduce.map.memory.mb：物理內存量，默認是1024

mapreduce.map.cpu.vcores：CPU數目，默認是1

需要注意的是，默認情況，各個調度器只會對內存資源進行調度，不會考慮CPU資源，你需要在調度器配置文件中進行相關設置。

4

Q：用戶給任務設置的內存量為1000MB，為何最終分配的內存卻是1024MB？

A：為了易于管理資源和調度資源，Hadoop YARN內置了資源規整化算法，它規定了最小可申請資源量、最大可申請資源量和資源規整化因子，如果應用程序申請的資源量小于最小可申請資源量，則YARN會將其大小改為最小可申請量，也就是說，應用程序獲得資源不會小于自己申請的資源，但也不一定相等；如果應用程序申請的資源量大于最大可申請資源量，則會拋出異常，無法申請成功；規整化因子是用來規整化應用程序資源的，應用程序申請的資源如果不是該因子的整數倍，則將被修改為最小的整數倍對應的值，公式為ceil(a/b)*b，其中a是應用程序申請的資源，b為規整化因子。

以上介紹的參數需在yarn-site.xml中設置，相關參數如下：

yarn.scheduler.minimum-allocation-mb：最小可申請內存量，默認是1024

yarn.scheduler.minimum-allocation-vcores：最小可申請CPU數，默認是1

yarn.scheduler.maximum-allocation-mb：最大可申請內存量，默認是8096

yarn.scheduler.maximum-allocation-vcores：最大可申請CPU數，默認是4

對于規整化因子，不同調度器不同，具體如下：

FIFO和Capacity Scheduler，規整化因子等于最小可申請資源量，不可單獨配置。

Fair Scheduler：規整化因子通過參數yarn.scheduler.increment-allocation-mb和yarn.scheduler.increment-allocation-vcores設置，默認是1024和1。

通過以上介紹可知，應用程序申請到資源量可能大于資源申請的資源量，比如YARN的最小可申請資源內存量為1024，規整因子是1024，如果一個應用程序申請1500內存，則會得到2048內存，如果規整因子是512，則得到1536內存。

5

Q：hadoop能干什么？

A：hadoop擅長日志分析，facebook就用Hive來進行日志分析，2009年時facebook就有非編程人員的30%的人使用HiveQL進行數據分析；淘寶搜索中的自定義篩選也使用的Hive；利用Pig還可以做高級的數據處理，包括Twitter、LinkedIn 上用于發現您可能認識的人，可以實現類似Amazon.com的協同過濾的推薦效果。淘寶的商品推薦也是！在Yahoo！的40%的Hadoop作業是用pig運行的，包括垃圾郵件的識別和過濾，還有用戶特征建模。（2012年8月25新更新，天貓的推薦系統是hive，少量嘗試mahout！）

小伙伴們沖鴨，后臺留言區等著你！

關于Hadoop，今天你學到了什么？還有哪些不懂的？除此還對哪些話題感興趣？快來留言區打卡啦！留言方式：打開第XX天，答：……

同時歡迎大家搜集更多問題，投稿給我們！風里雨里留言區里等你~

福利

1、掃描添加小編微信，備注“姓名+公司職位”，加入【云計算學習交流群】，和志同道合的朋友們共同打卡學習！

2、公眾號后臺回復：白皮書，獲取IDC最新數據白皮書整理資料！

推薦閱讀：

• 上萬條數據撕開微博熱搜的真相！

• IT公司老板落水，各部門員工怎么救？？

• HTML 30 年進化史

• 讀了鴻蒙 OS 的代碼后，我發現優秀項目都有這個共性！

• 字節跳動李航：自學機器學習，研究AI三十載，他說AI發展或進入平緩期

• 主鏈增幅最高飚至152%，主流幣卻驚現回落；以太坊發幣速度持續放緩

真香，朕在看了！

總結

以上是生活随笔為你收集整理的Hadoop精华问答 | NameNode的工作特点的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。