1.HDFS

HDFS : 偽分布式(學習)

NN

DN

SNN

sbin/start-dfs.sh(開啟hdfs使用的腳本)

bin/hdfs dfs -ls (輸入命令加前綴bin/hdfs dfs)

2.block(塊)

dfs.blocksize ： 134217728(字節) / 128M 官網默認一個塊的大小128M

*舉例理解塊

1個文件 130M，默認一個塊的大小128M

130/128=1…2M有兩個塊128M 2M

1個文件 260M 260/128=2…4M有三個塊

2個128M 1個4M

每個瓶子容量128ML 1碗水260ML

需要3個瓶子

A 128mlB 128mlC 4ml

3.副本數

dfs.replication 1 / 3指的是一個塊的復制數(1是在學習中，3是在生產中)

例如

*每個瓶子容量128ML 1碗水260ML

需要3個瓶子

A 128ml A 128ml A1 A2 A3 (A1 A2 A3 為副本數)

B 128ml B 128ml B1 B2 B3 …

C 4ml C 4ml C1 C2 C3 …

260/128=2...4M 3個塊

實際有9個塊= 33副本實際存儲空間 260M3

面試題: 一個文件160m，副本數2，塊大小128m,實際存儲空間多少？塊數量多少？

答：160/128=1…32 2個塊

但是有副本數為2就是22=4個塊

實際存儲空間是1604=640m

總結

以上是生活随笔為你收集整理的hdfs的副本数为啥增加了_HDFS详解之块大小和副本数的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。