1、談談什么是Hadoop?

Hadoop是一個開源軟件框架，用于存儲大量數據，并發計算/查詢節點的集群上的數據。Hadoop包括以下內容：HDFS(Hadoop Distributed File System)：Hadoop分布式文件存儲系統。MapReduce：分布式計算框架。它以分布式和并行的方式處理大量的數據。YARN(資源定位器)：用于管理和調度集群資源的框架。

2、談談 hadoop1 和 hadoop2 的區別？

　hadoop1.x：由Common（公共模塊輔助工具）、HDFS（分布式數據存儲）、MapReduce（分布式計算+資源調度）組成hadoop2.x：由Common（公共模塊輔助工具）、HDFS（分布式數據存儲）、MapReduce（分布式計算）、YARN（統一資源調度）組成

3、什么是HDFS文件系統？

HDFS是大數據開源框架hadoop的組件之一，全稱（Hadoop Distributed File System），它是一個分布式 文件系統，由多臺服務器聯合起來實現文件存儲功能，通過目錄樹來定位文件，集群中的服務器都有有各自的角色。

4、HDFS文件系統有什么特點？

　　1.數據通過副本存儲，提高容錯性2.能夠處理PB級及以上數據，可處理百萬級文件數量3.節約成本，可分布在“廉價”機器上4.不適合低延時數據訪問5.不適合對大量文件的存儲和訪問6.單線程操作文件不能多用戶執行寫操作，并且不支持文件隨機修改

5、HDFS默認數據塊得大小是多少？為什么？

　HDFS目前默認塊大小在Hadoop2.x版本中是128M，老版本中是64M,因為目前磁盤的傳輸率約為100M/s,而HDFS讀取文件時最佳的尋址時間為10ms，尋址時間為傳輸時間的百分之1時最佳，所以定義塊大小為128M，1秒左右可以快速讀取完畢；本質上HDFS的塊大小取決于磁盤的傳輸速率。

6、為什么HDFS不支持存儲小文件？

　　1）存儲大量小文件會占用NameNode大量的內存和磁盤來存儲文件目錄和塊信息。是不可取的，因為NameNode的內存是有限的；2）讀取小文件時尋址時間會超過讀取時間，不合理，違反了HDFS的設計目標.

7、 簡單描述hdfs文件的讀取流程？

說說hdfs的文件上傳的流程1.首先客戶端通過Distributed FileSystem模塊向NameNode請求上傳文件，NameNode檢查目標文件是否已存在，父目錄是否存在。2.NameNode返回是否可以上傳。3.如果文件大于128M則分塊存儲，客戶端請求第一個 Block上傳到哪幾個DataNode服務器上。4.NameNode根據副本儲存策略返回3個DataNode節點，假如為dn1、dn2、dn3。5.客戶端通過FSDataOutputStream模塊請求dn1上傳數據，dn1收到請求調用dn2，dn2調用dn3，建立通信管道完成,dn1、dn2、dn3逐級應答客戶端。6.客戶端以Packet為單位往dn1上傳第一個Block數據,dn1收到Packet就會傳給dn2，dn2傳給dn3；dn1,dn2,dn3每接收packet會放入一個待寫隊列等待寫入數據，落盤。7.當一個Block傳輸完成之后，客戶端再次請求NameNode上傳第二個Block的服務器，重復執行3-6步。說說文件的下載流程1.客戶端通過Distributed FileSystem向NameNode請求下載文件，NameNode通過查詢元數據，找到文件塊所在的DataNode地址。2.挑選一臺DataNode（就近原則，然后隨機）服務器，請求讀取數據。3.DataNode開始傳輸數據給客戶端（從磁盤里面讀取數據輸入流，以Packet為單位來做校驗）。4.客戶端以Packet為單位接收，先在本地緩存，然后寫入目標文件。

8、我們在上傳文件的時候namenode如何選取的datanode存儲副本？有什么優勢?

　　HDFS的放置策略是將一個副本放置在本地機架中的一個節點上，將另一個副本放置在本地機架中的另一個節點上，最后一個副本放置在不同機架中的另一個節點上（一個副本在Client所處的節點上。如果客戶端在集群外，隨機選一個,第二個副本和第一個副本位于相同機架，隨機節點,第三個副本位于不同機架，隨機節點）。優點：該策略減少了機架間的寫流量，通常可以提高寫性能。機架故障的機會遠小于節點故障的機會。此策略不會影響數據的可靠性和可用性保證

9、描述一下Namenode和secondarynamenode的工作機制

1. NameNode啟動和工作內容1.1第一次啟動NameNode格式化后，創建Fsimage和Edits文件。如果不是第一次啟動，會加載編輯日志和鏡像文件到內存。1.2客戶端對元數據進行增刪改的請求。1.3NameNode記錄操作日志，更新滾動日志。1.4NameNode在內存中對元數據進行增刪改。 2. Secondary NameNode工作內容2.1 2NN詢問NN是否需要CheckPoint（合并鏡像和編輯日志），并帶回NameNode是否執行結果。2.2 2NN請求執行CheckPoint2.3 NN滾動正在寫的Edits編輯日志。2.4 將滾動前的編輯日志和鏡像文件拷貝到2NN。2.5 2NN加載編輯日志和鏡像文件到內存，并執行合并，生成新的鏡像文件fsimage.chkpoint。2.6 2NN拷貝fsimage.chkpoint到NN。2.7 NN將fsimage.chkpoint重新命名成fsimage，替換之間舊的fsimage

10、fsimage和edits文件分別指的是什么？存的是什么？

fsimage：HDFS文件系統元數據的鏡像文件，其中包含HDFS文件系統的所有目錄和文件inode及相關屬性的序列化 信息。 edits：用戶操作的編輯日志文件，存放HDFS文件系統的所有更新操作的動作，文件所有寫操作會被記錄到Edits 文件中。

11、默認情況下進行ckeckpoint（合并鏡像及編輯日志）的觸發條件是什么？

默認情況下，2NN每隔一小時執行一次checkpoint 默認情況下，一分鐘檢查一次Edits文件的操作次數，當操作次數達到1百萬時，2NN執行一次checkpoint。

12、工作中假如你的namenode發生故障，導致namenode中的元數據丟失，如何恢復數據？

方法一：將2NN所在服務器元數據存儲目錄namesecondary中數據拷貝到NameNode存儲元數據的name目錄下， 重新開啟服務即可。 方法二：使用-importCheckpoint選項啟動NameNode守護進程，將2NN所在服務器元數據存儲目錄 namesecondary拷貝到NameNode所在服務器的同級目錄下，導入檢查點數據，重新開啟服務即可。1.修改hdfs-site.xml中的<property><name>dfs.namenode.checkpoint.period</name><value>120</value></property><property><name>dfs.namenode.name.dir</name><value>/opt/module/hadoop-2.7.2/data/tmp/dfs/name</value></property>導入檢查點數據：hdfs namenode -importCheckpoint注意：恢復后會丟失最后一次Edits文件記錄的用戶操作

13、什么情況下集群會進入安全模式？安全模式下集群有有什么限制？如何查看、進入、退出、等待安全模式

1.NameNode啟動時，會將鏡像文件（Fsimage）和編輯日志（Edits）加載到內存。一旦在內存中成功建立文件系統元數據的映像，則創建一個新的Fsimage文件和一個空的編輯日志。此時，NameNode開始監聽DataNode請求。這個過程期間，NameNode處于安全模式。當數據塊的副本數不滿足（dfs.replication.min=1）最小副本數時，不會主動退出安全模式； 2.安全模式下：NameNode的文件系統對于客戶端來說是只讀的。 3.（1）bin/hdfs dfsadmin -safemode get （功能描述：查看安全模式狀態）（2）bin/hdfs dfsadmin -safemode enter （功能描述：進入安全模式狀態）（3）bin/hdfs dfsadmin -safemode leave （功能描述：離開安全模式狀態）（4）bin/hdfs dfsadmin -safemode wait （功能描述：等待安全模式狀態） 注意：集群正常啟動完成后，自動退出安全模式，如果無法正常退出可使用hdfs dfsadmin -safemode leave 退出安全模式；對于全新創建的HDFS集群，NameNode啟動后不會進入安全模式，因為沒有Block信息。

14.啟動集群時，我們要對namenode進行格式化操作？為什么只能格式化一次

因為格式化NameNode，就會產生新的集群id,導致NameNode和DataNode的集群id不一致，集群找不到已往數據（現象datanode無法正常啟動）;所以，重新格式化NameNode時，一定要先刪除data數據和log日志，然后再格式化NameNode，后再啟動集群

15.公司現在有4臺服務器hadoop1、hadoop2、hadoop3、hadoop4 4臺服務器，hadoop2和hadoop4配置相對較好，根據現有配置設計一個集群，并簡單說說基本的配置流程？

hadoop1 　　　　 hadoop2 　　　　 hadoop3　　　　 hadoop4datanode 　　 　 datanode　　　　 datanode 　　 　　 datanodenodemanager 　 nodemanager　　 nodemanager 　　 nodemanagernamenode 　　　　　　　　　　　　 resourcemanager

16.啟動集群的相關命令有哪些？

啟動集群之前一定要格式化(/opt/module/hadoop-2.7.2)

bin/hdfs namenode -format ( has been successfully formatted

啟動HDFS服務

啟動namenodesbin/hadoop-daemon.sh start|stop namenode 啟動datanodesbin/hadoop-daemon.sh start|stop datanode 檢查namenode的web頁面是否可以訪問http://192.168.232.201:50070

啟動YARN服務

啟動resourcemanagersbin/yarn-daemon.sh start|stop resourcemanager 啟動nodemanagersbin/yarn-daemon.sh start|stop nodemanager 檢查yarn的web頁面:http://192.168.232.201:8088

開啟歷史服務

sbin/mr-jobhistory-daemon.sh start|stop historyserver

實現了集群的群停和群起

群起群停HDFS服務進程（在namenode所在的服務器上）配置etc/hadoop/slaves （相對于hadoop-2.7.2）群起的命令：start-dfs.sh群停的命令：stop-dfs.sh 群起群停YARN服務進程（在resourcemanager所在的服務器上）配置etc/hadoop/slaves （相對于hadoop-2.7.2）群起的命令：start-yarn.sh群停的命令：stop-yarn.sh stop-all.sh | start-all.sh

17.HDFS文件操作的命令有哪些？

hadoop fs | hdfs dfs 命令分類本地文件 -> HDFS-put 將本地數據上傳至hdfs-copyFromLocal 將本地文件數據拷貝到hdfs-moveFromLocal 將本地文件數據移動到hdfs，成功后本地數據會刪除-appendToFile 追加一個文件到已經存在的文件末尾HDFS與HDFS之間-ls 查看hdfs文件目錄-mkdir 在HDFS上創建目錄-rm 刪除文件或者文件夾-rmr | -rm -r 遞歸刪除-cp 從一個目錄拷貝文件至另一目錄-mv 在HDFS目錄中移動文件-chown 修改文件所屬用戶權限-chmod 修改文件所屬讀寫權限-du -h 文件夾暫用的空間大小-df -h 查看系統分區情況-cat 查看文件HFDS -> 本地-get 從hdfs下載文件至本地-getmerge 合并hdfs目錄下的文件至本地-copyToLocal 從hdfs拷貝文件至本地其他-setrep 設置文件副本數（注意：具體的副本數得看DataNode的數量）-help 幫助命令

18.配置集群過程中如果發現各臺服務器的datanode啟動后，過一段時間自動消失了，
查看原因發現datanode的集群clusterID=CID-9a578a40-2089-492b-9599-54dadbcd9849
而namenode的clusterID=CID-0b798a40-2089-492b-9599-54dadbcd9849，這時如果需要讓集群正常工作，如何處理？

　原因：這是因為多次格式化namenode后造成，datanode和namenode的集群id不一致，導致的，方案一：如何集群沒有任何數據，可以刪除個服務器的data logs目錄重新格式化，重新啟動集群方案二：如果集群中已經存在大量數據，則找到無法啟動datanode的服務器進入到data/tmp/dfs/data 目錄下找到VERSION文件刪除后，重新開啟datanode服務

19. 請列出正常工作的Hadoop 集群中Hadoop 都分別需要啟動哪些進程，它們的作用分別是什么? 請盡量列的詳細一些？

　namenode：負責接受客戶端讀寫數據請求負責數據塊副本的存儲策略負責管理快數據的映射關系儲存元數據信息datanode：存儲實際的數據塊真實處理數據塊的讀/寫操作Secondary NameNode：輔助后臺程序,與NameNode進行通信,定期合并FSimage和Edits編輯日志,合并為最新的鏡像文件。保存HDFS元數據的快照。resourcemanager:統一資源調度和管理器處理客戶端請求監控NodeManager啟動或監控ApplicationMaster資源的分配與調度nodemanager:提供計算資源管理單個節點上的資源處理來自ResourceManager的命令處理來自ApplicationMaster的命令

20. 現在為了滿足公司業務需求，在原有hadoop集群的基礎之上要求擴展兩個節點（也可以說擴展兩臺服務器）,該如何操作？

1.從現有集群的任意服務器克隆兩臺服務器，修改主機名和ip地址2.刪除集群hadoop-2.7.2目錄下的data logs目錄3.修改/etc/hosts文件,添加本機的主機、ip映射關系4.將/etc/hosts分發到其他服務器5.配置免密登錄6.啟動datanode和nodemanager

21. 公司現有100臺服務器組成的集群，由于疫情期間業務驟減，現需要減少10臺服務器，如何退役這些節點？有哪幾種方式退役節點？

　本業務場景適合使用黑名單退役節點：步驟：1.可以在hadoop-2.7.2/etc/hadoop目錄下創建黑名單dfs.hosts.exclude文件2.在dfs.hosts.exclude文件中添加要退役的服務器名稱3.在hdfs-site.xml文件中添加黑名單那的配置項<property><name>dfs.hosts.exclude</name><value>黑名單文件絕對路徑</value></property>4.刷新NameNode、刷新ResourceManagerhdfs dfsadmin -refreshNodesyarn rmadmin -refreshNodes退役的方式：黑名單：在黑名單上面的主機都會被強制退出。白名單：添加到白名單的主機節點，都允許訪問NameNode，不在白名單的主機節點，都會被強制退出。注意：黑名單和白名單最好不要同時出現，如果同時出現不允許白名單和黑名單中同時出現同一個主機名稱。

22. 刷新namenode的命令是什么? 刷新resourcemanager的命令是什么？

刷新NameNode、刷新ResourceManagerhdfs dfsadmin -refreshNodesyarn rmadmin -refreshNodes

22. namenode是怎么確定datanode能夠正常工作的？他們之間是怎么保持聯系的？

datanode會先向namdnode注冊，namdnode返回注冊成功；后每一小時datanode向namenode上傳塊信息，每3秒datanode向namenode發送一次心跳包，并攜帶namenode給datanode的命令，默認情況下如果超過10分30秒namenode沒有收到datanode的心跳，則任務datanode掉線dn和nn是通過心跳包來保持聯系的

23、簡要描述如何安裝配置apache 的一個開源Hadoop，只描述即可，無需列出具體步驟，列出具體步驟更好？

1、準備服務器修改ip和主機名（虛擬機需要）、創建用戶和軟件安裝目錄 2、安裝JDK并配置環境變量(/etc/profile); 3、關閉防火墻; 4、配置hosts文件，方便hadoop通過主機名訪問(/etc/hosts); 5、設置ssh免密碼登錄; 6、解壓縮hadoop安裝包，并配置環境變量; 7、修改配置文件hadoop-env.sh、yarn-env.sh、mapred-env.sh、 core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml; 8、格式化hdfs文件系統(hadoop namenode -format); 9、啟動hadoop:start-def.sh、start-yarn.sh 10、使用jps查看進程。

24. 簡述Hadoop 的幾個默認端口及其含義？

dfs.namenode.http-address:50070 SecondaryNameNode輔助名稱節點端口號：50090 fs.defaultFS:9000 yarn.resourcemanager.webapp.address:8088 historyserver：19888

25 hadoop集群可以運行的3個模式是什么？

　本地運行模式、偽分布式運行模式、完全分布式運行模式

26 搭建完全分布式集群有哪些注意點？

完全分布式集群通常被用于生產環境，這里我們使用N臺主機組成一個Hadoop集群， Hadoop守護進程運行在每臺主機之上。這里會存在Namenode運行的主機，Datanode 運行的主機，以及task tracker運行的主機。在完全分布式環境下，主節點和從節點會分開。

27 通常情況下我們搭建集群時，需要自定義一些參數，需要修改哪些配置文件，列出文件名即可？

　修改配置文件hadoop-env.sh、yarn-env.sh、mapred-env.sh、 core-site.xml hdfs-site.xml mapred-site.xml

28 jps命令的作用？

jps這個命令是是jdk提供的一個查看當前java進程的小工具，在hadoop中可以用來查看集群相關 服務進程是否正常開啟例如：namenode、datanode、secondarynamenode、resourcemanager、 nodemanager等

29 datanode可以設置多目錄存儲數據嗎？怎么實現？

　DataNode也可以配置成多個目錄，并且每個目錄存儲的數據不一樣。編輯hdfs-site.xml文件，添加如下配置項，這里塊數據會分布存儲在data1和data2目錄中<property><name>dfs.datanode.data.dir</name><value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value></property>

30 是否可以在Windows上運行Hadoop?

你最好不要這么做，Red Hat Linux或者是Ubuntu才是Hadoop的最佳操作系統。在Hadoop安裝中， Windows通常不會被使用，因為會出現各種各樣的問題。因此，Windows絕對不是Hadoop的推薦系統。

31 hadoop有哪些發行版？

hadoop三大發行版本：Apache、Cloudera、Hortonworks。Apache版本最原始（最基礎）的版本。Cloudera在大型互聯網企業中用的較多。Hortonworks文檔較好。

32 是否可以在不同集群之間復制文件? 如果是的話，怎么能做到這一點? （新特性）

采用distcp命令實現兩個Hadoop集群之間的遞歸數據復制例如：將集群hadoop102上的文件復制到hadoop103上hadoop distcp hdfs://haoop102:9000/user/jinghang/hello.txt hdfs://hadoop103:9000/user/jinghang/hello.txt

33 你們公司用的hadoop的哪個版本？運行Hadoop需要什么平臺和哪個Java版本？

hadoop 2.x比較多，因為企業開發追求的是穩定性，也有歷史兼容問題，比如hadoop 3.x需要jdk8以上， 但是如果整個方案都是之前的java版本，那么比較保守的辦法就是用原來的。 企業開發的原則就是如果沒有問題，就不用新版的。但是以后的趨勢肯定是3.0會流行，只是一個時間的問題。 如果你是從0開始，沒有包袱，那么用3.0好了，越舊的軟件，維護的成本越大。需要Linux操作平臺，jdk8及以上版本

34 當兩個用戶嘗試訪問HDFS中的同一文件并修改時會發生什么？

HDFS上的文件只支持單用戶操做，因此只有第一個用戶能夠操作文件，第二個用戶會被拒絕

35、關于ssh協議中的免登錄，下列理解錯誤的是( D )

A. 可以用命令 ssh-keygen -t rsa 生成公鑰、私鑰對B. ssh協議是一種采用的是非對稱加密往往采用rsa加密算法C. 可以用 ssh-copy-id 命令來發送公鑰到別的服務器，實現免密登錄D. ssh的私鑰不是必須保留在服務器上，可以進行分發，可以保證數據的安全性。

36、下列描述錯誤的是( A )

A. Hadoop在完全參照GSF項目的基礎上演變而來B. Hadoop充分吸收google三大論文的思想C. Hadoop解決了大數據中海量數據的存儲和海量數據的計算問題D. Hadoop現目前屬于apache 基金組織，屬于top項目之一

37、下面描述正確的是( A )

A. NameNode是一個中心服務器(master端)，負責管理文件元數據的存儲、以及客戶端對文件的訪問等B. DataNode負責元數據操作，文件內容相關的數據流經過會DataNode.C. 副本存放在哪些DataNode上由NameNode和DataNode協商任意分配D. DataNode全權自主管理數塊的存儲，接受心跳信號和塊狀態報告

總結

以上是生活随笔為你收集整理的hadoop(hdfs)常见面试题的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。