GFS翻譯：https://www.cnblogs.com/cxxjohnson/p/4984309.html

?

一、GFS架構(gòu)：

二、保存文件的方式

1、保存小文件：磁盤中分塊，每個block大小為1024Byte,每個文件的索引由塊號+偏置組成

2、保存大文件：把block換成chunk,每個chunk為64MB.

3、保存超大數(shù)據(jù)：把chunk放在不同的chunk服務器上，有一個Master服務器存放所有chunk所在的ChunkServer編號。每個chunkserver保存每個chunk在其中的偏移量。

?

三、ChunkServer和Master服務器

1、如何發(fā)現(xiàn)數(shù)據(jù)損壞

• 每一個block都保存32bit校驗信息

2、減少ChunkServer掛掉帶來的損失

• 保存額外兩個chunk副本

• 選擇硬盤利用率低的但是不能把新的chunk都寫在一個硬盤上，避免形成熱點

• 2+1:跨數(shù)據(jù)中心，在一個數(shù)據(jù)中心中放在不同的機架上

3、chunkserver損壞的解決方法：

• 向master報告損壞的數(shù)據(jù)塊

• master返回其他副本的chunkserver號

• 向最近的副本請求受損chunk

4、如何發(fā)現(xiàn)chunkserver掛掉

心跳：定時向master報告存活

?

5、應對熱點

?

四、讀文件過程

?

五、寫文件過程

向Master詢問chunkserver位置

向最近的chunkserver寫文件

chunkserver之間高速同步（只寫在cache里）

由主chunkserver發(fā)出寫命令

副本通知主chunkserver寫成功

通知應用寫成功

?

?

?

轉(zhuǎn)載于:https://www.cnblogs.com/pihaochen/p/10968387.html

總結(jié)

以上是生活随笔為你收集整理的Google File System 学习笔记的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。