Hdfs

概念：

Hadoop 實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。 Hadoop是Apache Lucene創始人Doug Cutting開發的使用廣泛的文本搜索庫。它起源于Apache Nutch，后者是一個開源的網絡搜索引擎，本身也是Luene項目的一部分。Aapche Hadoop架構是MapReduce算法的一種開源應用，是Google開創其帝國的重要基石。

架構設計：

采用了主從（Master/Slave）結構模型，一個HDFS集群是由一個NameNode和若干個DataNode組成的。其中NameNode作為主服務器，管理文件系統的命名空間和客戶端對文件的訪問操作；集群中的DataNode管理存儲的數據。

?

部署方式：

分布式搭建

~單臺服務器上運行多個進程(角色). 一般學習Hadoop時常用這種模式.?? ~角色NameNode – 掌控全局SecondaryNameNode – 持久化DataNode – 存儲數據 ? ?

?

完全分布式搭建

~工作中應該使用的模式, 不同角色運行在不同的服務器上. ~角色1/NameNode2/SecondaryNameNode3/DataNode * 3 (兩個副本) ?

?

高可用（High Available）模式

??

~雖然完全分布式是在實際工作中使用的模式, 但它并不是可靠的. 原因很簡單, 就是集群會發生單點故障, 如果namenode節點故障, 掛掉后, 那么這么集群就不可用, 不能被外部訪問. 因此, 一般都會對集群做HA. 角色1/NameNode(active)2/NameNode(standby)3/DataNode4/Zookeeper(ZK) 5/JournalNode(JNN)6/ZookeeperFailoverController(ZKFC) ?

?

使用方法：

我所認為的使用方法，也就是說整個分布式文件系統的核心——讀寫流程。

讀流程：

?

寫流程：

?

應用場景：

?HDFS不適合大量小文件的存儲，

HDFS適用于高吞吐量，而不適合低時間延遲的訪問

流式讀取的方式，不適合多用戶寫入一個文件（一個文件同時只能被一個客戶端寫）以及任意位置寫入（不支持隨機寫），支持文件尾部apend操作，或者文件的覆蓋操作；

HDFS更加適合寫入一次，讀取多次的應用場景

總結

以上是生活随笔為你收集整理的分布式文件系统之Hdfs是什么？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。