本文源碼：GitHub·點這里 || GitEE·點這里

一、讀寫機制

1、數(shù)據(jù)寫入

• 客戶端訪問NameNode請求上傳文件；
• NameNode檢查目標文件和目錄是否已經(jīng)存在；
• NameNode響應客戶端是否可以上傳；
• 客戶端請求NameNode文件塊Block01上傳服務位置；
• NameNode響應返回3個DataNode節(jié)點；
• 客戶端通過輸入流建立DataNode01傳輸通道；
• DataNode01調(diào)用DataNode02，DataNode02調(diào)用DataNode03，通信管道建立完成；
• DataNode01、DataNode02、DataNode03逐級應答客戶端。
• 客戶端向DataNode01上傳第一個文件塊Block；
• DataNode01接收后傳給DataNode02，DataNode02傳給DataNode03;
• Block01傳輸完成之后，客戶端再次請求NameNode上傳第二個文件塊；

2、數(shù)據(jù)讀取

• 客戶端通過向NameNode請求下載文件；
• NameNode查詢獲取文件元數(shù)據(jù)并返回；
• 客戶端通過元數(shù)據(jù)信息獲取文件DataNode地址；
• 就近原則選擇一臺DataNode服務器，請求讀取數(shù)據(jù)；
• DataNode傳輸數(shù)據(jù)返回給客戶端；
• 客戶端以本地處理目標文件；

二、基礎API案例

1、基礎演示接口

public interface HdfsFileService {// 創(chuàng)建文件夾void mkdirs(String path) throws Exception ;// 文件判斷void isFile(String path) throws Exception ;// 修改文件名void reName(String oldFile, String newFile) throws Exception ;// 文件詳情void fileDetail(String path) throws Exception ;// 文件上傳void copyFromLocalFile(String local, String path) throws Exception ;// 拷貝到本地：下載void copyToLocalFile(String src, String dst) throws Exception ;// 刪除文件夾void delete(String path) throws Exception ;// IO流上傳void ioUpload(String path, String local) throws Exception ;// IO流下載void ioDown(String path, String local) throws Exception ;// 分塊下載void blockDown(String path, String local1, String local2) throws Exception ; }

2、命令API用法

@Service public class HdfsFileServiceImpl implements HdfsFileService {@Resourceprivate HdfsConfig hdfsConfig ;@Overridepublic void mkdirs(String path) throws Exception {// 1、獲取文件系統(tǒng)Configuration configuration = new Configuration();FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),configuration, "root");// 2、創(chuàng)建目錄fileSystem.mkdirs(new Path(path));// 3、關閉資源fileSystem.close();}@Overridepublic void isFile(String path) throws Exception {// 1、獲取文件系統(tǒng)Configuration configuration = new Configuration();FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),configuration, "root");// 2、判斷文件和文件夾FileStatus[] fileStatuses = fileSystem.listStatus(new Path(path));for (FileStatus fileStatus : fileStatuses) {if (fileStatus.isFile()) {System.out.println("文件:"+fileStatus.getPath().getName());}else {System.out.println("文件夾:"+fileStatus.getPath().getName());}}// 3、關閉資源fileSystem.close();}@Overridepublic void reName(String oldFile, String newFile) throws Exception {// 1、獲取文件系統(tǒng)Configuration configuration = new Configuration();FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),configuration, "root");// 2、修改文件名fileSystem.rename(new Path(oldFile), new Path(newFile));// 3、關閉資源fileSystem.close();}@Overridepublic void fileDetail(String path) throws Exception {// 1、獲取文件系統(tǒng)Configuration configuration = new Configuration();FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),configuration, "root");// 2、讀取文件詳情RemoteIterator<LocatedFileStatus> listFiles =fileSystem.listFiles(new Path(path), true);while(listFiles.hasNext()){LocatedFileStatus status = listFiles.next();System.out.println("文件名："+status.getPath().getName());System.out.println("文件長度："+status.getLen());System.out.println("文件權限："+status.getPermission());System.out.println("所屬分組："+status.getGroup());// 存儲塊信息BlockLocation[] blockLocations = status.getBlockLocations();for (BlockLocation blockLocation : blockLocations) {// 塊存儲的主機節(jié)點String[] hosts = blockLocation.getHosts();for (String host : hosts) {System.out.print(host+";");}}System.out.println("==============Next==============");}// 3、關閉資源fileSystem.close();}@Overridepublic void copyFromLocalFile(String local, String path) throws Exception {// 1、獲取文件系統(tǒng)Configuration configuration = new Configuration();FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),configuration, "root");// 2、執(zhí)行上傳操作fileSystem.copyFromLocalFile(new Path(local), new Path(path));// 3、關閉資源fileSystem.close();}@Overridepublic void copyToLocalFile(String src,String dst) throws Exception {// 1、獲取文件系統(tǒng)Configuration configuration = new Configuration();FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),configuration, "root");// 2、執(zhí)行下載操作// src 服務器文件路徑 ; dst 文件下載到的路徑fileSystem.copyToLocalFile(false, new Path(src), new Path(dst), true);// 3、關閉資源fileSystem.close();}@Overridepublic void delete(String path) throws Exception {// 1、獲取文件系統(tǒng)Configuration configuration = new Configuration();FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),configuration, "root");// 2、刪除文件或目錄 是否遞歸fileSystem.delete(new Path(path), true);// 3、關閉資源fileSystem.close();}@Overridepublic void ioUpload(String path, String local) throws Exception {// 1、獲取文件系統(tǒng)Configuration configuration = new Configuration();FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),configuration, "root");// 2、輸入輸出流FileInputStream fis = new FileInputStream(new File(local));FSDataOutputStream fos = fileSystem.create(new Path(path));// 3、流對拷IOUtils.copyBytes(fis, fos, configuration);// 4、關閉資源IOUtils.closeStream(fos);IOUtils.closeStream(fis);fileSystem.close();}@Overridepublic void ioDown(String path, String local) throws Exception {// 1、獲取文件系統(tǒng)Configuration configuration = new Configuration();FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),configuration, "root");// 2、輸入輸出流FSDataInputStream fis = fileSystem.open(new Path(path));FileOutputStream fos = new FileOutputStream(new File(local));// 3、流對拷IOUtils.copyBytes(fis, fos, configuration);// 4、關閉資源IOUtils.closeStream(fos);IOUtils.closeStream(fis);fileSystem.close();}@Overridepublic void blockDown(String path,String local1,String local2) throws Exception {readFileSeek01(path,local1);readFileSeek02(path,local2);}private void readFileSeek01(String path,String local) throws Exception {// 1、獲取文件系統(tǒng)Configuration configuration = new Configuration();FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),configuration, "root");// 2、輸入輸出流FSDataInputStream fis = fileSystem.open(new Path(path));FileOutputStream fos = new FileOutputStream(new File(local));// 3、部分拷貝byte[] buf = new byte[1024];for(int i =0 ; i < 1024 * 128; i++){fis.read(buf);fos.write(buf);}// 4、關閉資源IOUtils.closeStream(fos);IOUtils.closeStream(fis);fileSystem.close();}private void readFileSeek02(String path,String local) throws Exception {// 1、獲取文件系統(tǒng)Configuration configuration = new Configuration();FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),configuration, "root");// 2、輸入輸出流FSDataInputStream fis = fileSystem.open(new Path(path));// 定位輸入數(shù)據(jù)位置fis.seek(1024*1024*128);FileOutputStream fos = new FileOutputStream(new File(local));// 3、流拷貝IOUtils.copyBytes(fis, fos, configuration);// 4、關閉資源IOUtils.closeStream(fos);IOUtils.closeStream(fis);fileSystem.close();} }

3、合并切割文件

cat hadoop-2.7.2.zip.block1 hadoop-2.7.2.zip.block2 > hadoop.zip

三、機架感知

Hadoop2.7的文檔說明

第一個副本和client在一個節(jié)點里，如果client不在集群范圍內(nèi)，則這第一個node是隨機選取的；第二個副本和第一個副本放在相同的機架上隨機選擇；第三個副本在不同的機架上隨機選擇，減少了機架間的寫流量，通常可以提高寫性能,機架故障的概率遠小于節(jié)點故障的概率，因此該策略不會影響數(shù)據(jù)的穩(wěn)定性。

四、網(wǎng)絡拓撲

HDFS寫數(shù)據(jù)的過程中，NameNode會選擇距離待上傳數(shù)據(jù)最近距離的DataNode接收數(shù)據(jù)，基于機架感知，NameNode就可以畫出上圖所示的datanode網(wǎng)絡拓撲圖。D1,R1都是交換機，最底層是datanode。

Distance(/D1/R1/N1,/D1/R1/N1)=0 相同的節(jié)點 Distance(/D1/R1/N1,/D1/R1/N2)=2 同一機架下的不同節(jié)點 Distance(/D1/R1/N1,/D1/R2/N1)=4 同一IDC下的不同datanode Distance(/D1/R1/N1,/D2/R3/N1)=6 不同IDC下的datanode

五、源代碼地址

GitHub·地址 https://github.com/cicadasmile/big-data-parent GitEE·地址 https://gitee.com/cicadasmile/big-data-parent

推薦閱讀：編程體系整理

序號項目名稱GitHub地址GitEE地址推薦指數(shù)

01	Java描述設計模式,算法,數(shù)據(jù)結構	GitHub·點這里	GitEE·點這里	☆☆☆☆☆
02	Java基礎、并發(fā)、面向?qū)ο蟆eb開發(fā)	GitHub·點這里	GitEE·點這里	☆☆☆☆
03	SpringCloud微服務基礎組件案例詳解	GitHub·點這里	GitEE·點這里	☆☆☆
04	SpringCloud微服務架構實戰(zhàn)綜合案例	GitHub·點這里	GitEE·點這里	☆☆☆☆☆
05	SpringBoot框架基礎應用入門到進階	GitHub·點這里	GitEE·點這里	☆☆☆☆
06	SpringBoot框架整合開發(fā)常用中間件	GitHub·點這里	GitEE·點這里	☆☆☆☆☆
07	數(shù)據(jù)管理、分布式、架構設計基礎案例	GitHub·點這里	GitEE·點這里	☆☆☆☆☆
08	大數(shù)據(jù)系列、存儲、組件、計算等框架	GitHub·點這里	GitEE·點這里	☆☆☆☆☆

總結

以上是生活随笔為你收集整理的Hadoop框架：HDFS读写机制与API详解的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。