hadoop分布式文件系统hdfs的概念和特性
生活随笔
收集整理的這篇文章主要介紹了
hadoop分布式文件系统hdfs的概念和特性
小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
首先,它是一個(gè)文件系統(tǒng)。
有一個(gè)統(tǒng)一的命名空間——目錄樹, 客戶端訪問hdfs文件時(shí)就是通過指定這個(gè)目錄樹中的路徑來進(jìn)行
其次,它是分布式的,由很多服務(wù)器聯(lián)合起來實(shí)現(xiàn)功能;
- hdfs文件系統(tǒng)會(huì)給客戶端提供一個(gè)統(tǒng)一的抽象目錄樹, Hdfs中的文件都是分塊(block)存儲(chǔ)的,塊的大小可以通過配置參數(shù)( dfs.blocksize)來規(guī)定,默認(rèn)大小在hadoop2.x版本中是128M,老版本中是64M
- 文件的各個(gè)block由誰來進(jìn)行真實(shí)的存儲(chǔ)呢?----分布在各個(gè)datanode服務(wù)節(jié)點(diǎn)上,而且每一個(gè)block都可以存儲(chǔ)多個(gè)副本(副本數(shù)量也可以通過參數(shù)設(shè)置dfs.replication,默認(rèn)值是3)
- Hdfs中有一個(gè)重要的角色:namenode,負(fù)責(zé)維護(hù)整個(gè)hdfs文件系統(tǒng)的目錄樹,以及每一個(gè)路徑(文件)所對應(yīng)的block塊信息(block的id,及所在的datanode服務(wù)器)
- hdfs是設(shè)計(jì)成適應(yīng)一次寫入,多次讀出的場景,并不支持文件的修改
(hdfs并不適合用來做網(wǎng)盤應(yīng)用,因?yàn)?#xff0c;不便修改,延遲大,網(wǎng)絡(luò)開銷大,成本太高)
特性:
容量可以線性擴(kuò)展
數(shù)據(jù)存儲(chǔ)高可靠
分布式運(yùn)算處理很方便
數(shù)據(jù)訪問延遲較大,不支持?jǐn)?shù)據(jù)的修改操作
適合一次寫入多次讀取的應(yīng)用場景
總結(jié)
以上是生活随笔為你收集整理的hadoop分布式文件系统hdfs的概念和特性的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Hadoop分布式文件系统hdfs的sh
- 下一篇: Hadoop大数据分布式文件系统hdfs