用asp.net core结合fastdfs打造分布式文件存储系统
最近被安排開發文件存儲微服務，要求是能夠通過配置來無縫切換我們公司內部研發的文件存儲系統，FastDFS，MongDb GridFS，阿里云OSS，騰訊云OSS等。根據任務緊急度暫時先完成了通過配置來無縫切換內部文件系統以及FastDFS。至于MongDb GridFS，阿里云OSS，騰訊云OSS等則后期需要的話再開發對應的提供者程序即可。
作者：依樂祝
首發公眾號：DotNetCore實戰
原文鏈接：?https://www.cnblogs.com/yilezhu/p/12797543.html
今天主要是對開發過程，以及對FastDFS這個通用的分布式文件存儲服務的單機及集群安裝部署過程做個總結。希望對想要自建分布式文件系統的朋友有所幫助。
什么是FastDFS
這里先簡單介紹下分布式文件存儲系統。
FastDFS 是一個開源的高性能分布式文件系統（DFS）。 它的主要功能包括：文件存儲，文件同步和文件訪問，以及高容量和負載平衡。主要解決了海量數據存儲問題，特別適合以中小文件（建議范圍：4KB < file_size <500MB）為載體的在線服務。
FastDFS 系統有三個角色：跟蹤服務器(Tracker Server)、存儲服務器(Storage Server)和客戶端(Client)。
Tracker Server：跟蹤服務器，主要做調度工作，起到均衡的作用；負責管理所有的 storage server和 group，每個 storage 在啟動后會連接 Tracker，告知自己所屬 group 等信息，并保持周期性心跳。
Storage Server：存儲服務器，主要提供容量和備份服務；以 group 為單位，每個 group 內可以有多臺 storage server，數據互為備份。
Client：客戶端，上傳下載數據的服務器，也就是我們自己的項目所部署在的服務器。
FastDFS開源地址：https://github.com/happyfish100
FastDFS的單機版安裝
這里先簡單介紹下單機版的安裝，跟著做你也可以從0還是搭建一個單機版的FastDFS。集群版也是在單機版基礎上安裝的。
第一步 安裝相關工具
如果已經安裝和wget可以跳過這一步
yum -y install vim wget unzip-y：不經過詢問直接同意所有操作
vim：linux上面一個比較好用的文本編輯軟件
wget：linux上文件下載工具
第二步 安裝相關依賴
yum install -y gcc-c++ perl第三步 安裝libfastcommon
大家可以直接到github上面先找到ibfastcommon。這里為了大家方便查找。我已經把把鏈接給大家整理好了
libfastcommon
這里大家可以先下載到本地，然后再傳至服務器上面。這里我使用的是FinalShell。具體操作就不在這里詳細說了。
這里目錄為：/root/fastdfs/
下載下來的是zip格式壓縮包，然后，我們解壓zip
進入到剛剛解壓的文件里面
cd libfastcommon-master/進行編譯安裝
./make.sh && ./make.sh install
如上圖所示表示安裝成功！
第四步 安裝FastDFS
同樣這里我用的也是github上面的FastDFS。為此，我已經幫大家把相關的鏈接整理到下方了
fastdfs
這里可以使用像上面libfastcommon一樣的方式，先下載到自己的電腦上面，再上傳至服務器。
目錄為：/root/fastdfs/
下面我們先進行解壓
進入上面的解壓目錄，然后編譯安裝
./make.sh && ./make.sh install第五步 修改配置文件
切換到配置文件目錄下
cd /etc/fdfs/查看所有配置文件
使用ls命令就行了
去除所有的.sample后綴
我們再次使用ls命令查看
可以看到我們已經去除了所有的.sample后綴
下一步，創建文件夾，分別創建client，storage，tracker文件夾
client.config配置
下面我們開始配置文件修改，首先修改的是clietn.conf,使用vim編輯器進行文件的編輯
vim client.conf使用 :set number 顯示行數
修改第11行，確定日志文件的存儲路徑，這里用我們剛剛創建client文件夾路徑
base_path = /home/software/fastdfs/data/client
修改第22 行，tracker的地址與端口，根據實際情況進行修改，我的是192.168.1.14。
這里貌似有兩個tracker_server,畢竟是單機版部署因此我這里注釋了一個
tracker_server = 192.168.1.14:22122
修改號之后記得保存修改！
storage.conf修改
下面我們修改storage.conf。同上是用vim進行修改
首先我們修改下11行的分組設置
group_name = group1
接下來修改49行的基礎路徑，這里也用上面我們已經創建的路徑
base_path = /home/software/fastdfs/data/storage
修改第129行的storage路徑。
store_path0 = /home/software/fastdfs/data/storage
注意：這里提示下：存儲路徑的順序很重要，不要弄亂了，
基礎路徑應該獨立于存儲路徑，即盡量讓這兩個路徑不一樣。這里我設置了一樣
修改第145行 ，配置tracker的IP地址與端口。至于如何填寫這個地址，上面配置client.conf的時候，我們就已經說過了。
tracker_server = 192.168.1.14:22122
tracker.conf 配置
現在修改tracker.conf文件
修改第23行，修改tracker的基礎路徑。這個路徑的文件夾我們剛剛在上面已經創建過了
base_path = /home/software/fastdfs/data/tracker
修改第57行 歸屬組設置
store_group = group1
第六步 啟動tracker 與storage
啟動tracker
fdfs_trackerd /etc/fdfs/tracker.conf start啟動storage
fdfs_storaged /etc/fdfs/storage.conf start測試是否啟動成功，我們嘗試上傳文件。我的root文件夾下有一張圖片
fdfs_test /etc/fdfs/client.conf upload /root/fastdfs/test.jpeg如上圖所示表示上傳成功。
第七步 安裝nginx訪問圖片
這里由于服務器已經安裝了nginx，因此需要在現有的nginx的版本基礎上安裝新的fastdfs的模塊。，安裝方法可能略有不同
首先查看下nginx的版本
這里需要注意一下，如果你服務器上沒有安裝過nginx則需要先安裝nginx的依賴，然后再進行安裝
yum -y install gcc-c++ zlib-devel pcre-devel如下圖所示：
因此我們需要下載對應版本的源碼
解壓安裝包
tar zxvf nginx-1.14.0.tar.gz下載nginx的fastdfs模塊，這里我已經幫大家把這個項目github地址整理好了。
astdfs-nginx-module
這這里我們可以先下載到自己電腦上，再上傳服務器。
進行解壓
這里由于我們已經安裝了nginx，因此需要備份之前的nginx防止出現問題進行還原
mv /usr/sbin/nginx /usr/sbin/nginx.back cp -rf /etc/nginx/ /etc/nginx.back切換到nginx壓縮包的解壓目錄里面去
cd nginx-1.16.1進行配置檢測并且添加模塊
./configure --prefix=/etc/nginx/ --sbin-path=/usr/sbin/nginx --add-module=/root/fastdfs/fastdfs-nginx-module-master/src/--prefix : nginx的安裝目錄
--add-module：解壓后模塊所在目錄，記得要加上src
執行如下命令進行nginx的重新編譯,如果之前已經安裝了nginx則不能執行install，否則會覆蓋之前的配置文件,也可以在安裝后再把之前的配置覆蓋過來。
make && make install拷貝編譯后的nginx到原來的安裝目錄
cp objs/nginx /usr/sbin/nginx重啟nginx
systemctl restart nginx //第二種方式 nginx -s reload//第一次安裝,直接輸入nginx nginx切換至fastdfs的解壓包里面去
cd /root/fastfdfs/fastdfs-master進行文件的復制
cp conf/http.conf /etc/fdfs/ cp conf/mime.types /etc/fdfs/切換至fastdfs-nginx-module的解壓目錄下面
cd /root/fastdfs/fastdfs-nginx-module-master進行配置文件的復制
cp src/mod_fastdfs.conf /etc/fdfs/mod_fastdfs.conf配置
修改/etc/fdfs下面的mod_fastdfs.conf配置文件
vim /etc/fdfs/mod_fastdfs.conf修改 40行，更改tracker的ip地址與端口
tracker_server=192.168.1.14:22122
修改48行的group_name
修改53行 url地址中是否包含組名，如果鏈接中包含group則需要設置為true
url_have_group_name = true修改62行 storage所在目錄
store_path0=/home/software/fastdfs/data/storage
保存修改。
nginx修改
這里注意，每個笨的配置文件存儲的方式不同，此步驟可能有所不同。
進行nginx配置文件的修改，我們可以切換到nginx的安裝目錄下面。也可以直接輸入如下命令
注意：這里我的nginx版本為1.16.1，配置文件為conf.d下面的所有的*.conf文件。因此我的輸入命令如下：
vim /etc/nginx/conf.d/default.conf進行nginx.conf的修改，如下圖所示：
server {listen 8888;server_name 192.168.1.93;location ~/group([0-9])/M00 {#root html;#index index.html index.htm;root /home/software/fastdfs/data/storage/data;ngx_fastdfs_module;}}多個group的配置
當配置多個組，且mod_fastdfs.conf 里面指定了url_have_group_name= true 時，配置方式:
location ~ /group([0-9]) /M00 {root /home/software/fastdfs/data/storage/data;ngx_fastdfs_module; }比如:在group1上的 nginx 的nginx.conf 配置是
location /group1/M00 {root /home/software/fastdfs/data/storage/data;ngx_fastdfs_module; }比如:在group2上的 nginx 的nginx.conf 配置是
location /group2/M00 {root /home/software/fastdfs/data/storage/data;ngx_fastdfs_module; }查看nginx的配置文件是否有效
nginx -t
顯示 is ok沒有任何問題，現在啟動nginx。這里我配置為開機自動啟動
依照上面的方式，我們重新上傳一張圖片。并進行訪問
測試是否啟動成功，我們嘗試上傳文件。我的root文件夾下有一張圖片
上傳成功，訪問下面的地址
路徑說明
group1：表示這張圖片被保存在了哪個組當中，
M00：代表磁盤目錄，如果電腦只有一個磁盤那就只有M00， 如果有多個磁盤，那就M01、M02...等等。
00/00：代表磁盤上的兩級目錄，每級目錄下是從00到FF共256個文件夾，兩級就是256*256個。
wKgBE1r-fICAcd3kAAHY-4ojheI481.jpeg表示被存儲到storage上的test.jpeg被重命名的名字，這樣做的目的是為了防止圖片名字重復。
我們到單機版的數據目錄下查看一下是否有我們剛才上傳的圖片，發現是有的返回的圖片信息中明確說明了存儲在了group1下面。
FastDFS集群版的安裝
這里集群版的安裝是在單機版的基礎上安裝的。
機器準備
| 192.168.1.14 | storage(group1)? ? tracker1 | fastdfs+nginx+fastdfs-nginx-module |
| 192.168.1.15 | storage(group1) | fastdfs+nginx+fastdfs-nginx-module |
| 192.168.1.16 | storage(group2)? ?tracker2 | fastdfs+nginx+fastdfs-nginx-module |
| 192.168.1.93 | storage(group2) | fastdfs+nginx+fastdfs-nginx-module |
| 192.168.1.197 | VIP（對外提供服務） | nginx |
安裝步驟
軟件準備
在所有服務器上創建如下目錄用來存儲需要安裝的軟件包
mkdir -p ~/fastdfs/在tracker1上下載所需要的軟件安裝包，并放在如下目錄下
~/fastdfs/查看如下所示：
進入對應的文件夾并拷貝對應的文件到其他幾臺服務器上：
在storage服務器及tracker服務器都創建如下的文件夾，用來存放fastdfs的數據及日志文件
mkdir -p /home/software/fastfdfs/client mkdir -p /home/software/fastfdfs/storage mkdir -p /home/software/fastfdfs/tracker在所有服務器上執行·如下命令安裝相關工具
yum -y install vim wget unzip在所有sotrage及tracker服務器上執行如下命令安裝相關依賴
yum install -y gcc-c++ perl安裝
這些操作需要在所有storage及tracker服務器上都進行操作
storage及tracker服務器安裝libfastcommon
在需要安裝fastdfs的storage及tracker服務器上安裝libfastcommon
這里我們進入安裝文件目錄~/fastdfs/，執行如下命令，解壓并編譯安裝：
出現如下圖所示則表示安裝成功
storage及tracker服務器安裝fastdfs
在需要安裝fastdfs的storage及tracker服務器上安裝fastdfs
這里我們進入安裝文件目錄~/fastdfs/，執行如下命令，解壓并編譯安裝：
進行文件的復制
cp conf/http.conf /etc/fdfs/ cp conf/mime.types /etc/fdfs/修改配置文件
切換到配置文件目錄，并執行如下命令去除所有的.sample后綴：
cd /etc/fdfs/ cp client.conf.sample client.conf cp storage.conf.sample storage.conf cp storage_ids.conf.sample storage_ids.conf cp tracker.conf.sample tracker.conf修改client.config配置
需要測試的時候才需要配置此client.conf配置
vim client.conf修改內容如下：
11 base_path = /home/software/fastdfs/client 22 tracker_server = 192.168.1.14:22122vim修改storage.conf?
修改內容如下：
vim修改tracker.conf配置
這里只有tracker服務器才需要配置此配置及 14跟16
修改內容如下：
23 base_path = /home/software/fastdfs/tracker 57 store_group = group1安裝nginx
只有sotrage服務器及vip服務器需要安裝nginx用來提供文件的訪問
在安裝nginx前需要安裝相關的依賴并下載對應的源碼，執行如下命令。此文件也保存到文件安裝目錄
解壓nginx的fastdfs模塊,并進入到文件夾下進行配置文件的復制
nginx的fastdfs模塊在所有storage服務器上進行安裝
unzip fastdfs-nginx-module-master.zip cd ~/fastdfs/fastdfs-nginx-module-master cp src/mod_fastdfs.conf /etc/fdfs/進入到nginx源碼目錄，進行配置檢測并添加對應的fastdfs模塊。然后進行nginx的安裝
./configure --prefix=/etc/nginx/ --sbin-path=/usr/sbin/nginx --add-module=/root/fastdfs/fastdfs-nginx-module-master/src/ make && make install #如有需要可以拷貝nginx到sbin目錄 cp objs/nginx /usr/sbin/nginxmod_fastdfs.conf配置
vim修改/etc/fdfs下面的mod_fastdfs.conf配置文件
40 tracker_server=192.168.1.14:22122 48 group_name=group1 53 url_have_group_name = true 62 store_path0=/home/software/fastdfs/storagenginx配置修改
只有sotrage服務器及vip服務器需要安裝，
group1的服務器需要新增如下server配置，root路徑為storage的data路徑
group2的服務器上新增如下server配置，root路徑為storage的data路徑
server {listen 8888;server_name 192.168.1.93;location /group2/M00 {#root html;#index index.html index.htm;root /home/software/fastdfs/storage/data;ngx_fastdfs_module;}}vip服務器的nginx配置如下：
#設置 group1 的服務器 upstream fdfs_group1 {server 192.168.1.14:8888 weight=1 max_fails=2 fail_timeout=30s;server 192.168.1.15:8888 weight=1 max_fails=2 fail_timeout=30s; }#設置 group2 的服務器 upstream fdfs_group2 {server 192.168.1.16:8888 weight=1 max_fails=2 fail_timeout=30s;server 192.168.1.93:8888 weight=1 max_fails=2 fail_timeout=30s; }server {listen 80;server_name 192.168.1.197;#charset koi8-r;#access_log /var/log/nginx/host.access.log main;#設置默認路徑location / {root html;index index.html index.htm;}#設置 group 的負載均衡參數location /group1/M00 {proxy_set_header Host $host;proxy_set_header X-Real-IP $remote_addr;proxy_pass http://fdfs_group1;}location /group2/M00 {proxy_set_header Host $host;proxy_set_header X-Real-IP $remote_addr;proxy_pass http://fdfs_group2;} }查看nginx的配置文件是否有效
nginx -t顯示 is ok沒有任何問題，現在啟動nginx。這里我配置為開機自動啟動
# 服務形式的nginx重啟方式 systemctl restart nginx //第二種方式 nginx -s reload//第一次安裝,直接輸入nginx nginx依照上面的方式，我們重新上傳一張圖片。并進行訪問
測試是否啟動成功，我們嘗試上傳文件。我的root文件夾下有一張圖片
上傳成功，訪問下面的地址
asp.net core操作FastDFS
這里的微服務是基于abp vnext的。只是在應用層進行相關的服務開發。這里需要說明下，這里我是使用工廠模式，根據配置來創建對應的文件操作提供者，進而對對應的文件服務器上的文件進行操作的。這里我只摘錄FastDFS相關的代碼供大家參考。
第一步 安裝對應的nuget包
這里我用的是更新時間相對比較近下載量相對比較多的作者的nuget包，
Install-Package FastDFSNetCore -Version 1.2.5第二步，編寫一個FastDFSProvider
具體的代碼如下所示：
/// <summary>/// 功能介紹:FastDFS提供者/// 作者:lzhu/// 創建日期:2020/4/23 19:54:35/// </summary> public class FastDFSProvider : IStorageProvider, ITransientDependency{/// <summary>/// 提供程序名稱/// </summary>public string ProviderName => "FastDFS";//配置private readonly FastDFSConfig _fastDFSConfig;/// <summary>/// 構造函數/// </summary>/// <param name="fastDFSConfig">注入配置數據</param>public FastDFSProvider(FastDFSConfig fastDFSConfig){_fastDFSConfig = fastDFSConfig ?? throw new ArgumentNullException(nameof(fastDFSConfig));string[] trackers = fastDFSConfig.Trackers.Split(',', StringSplitOptions.RemoveEmptyEntries);var trackerIPs = new List<IPEndPoint>();foreach (var onetracker in trackers){trackerIPs.Add(new IPEndPoint(IPAddress.Parse(onetracker), fastDFSConfig.Port));}ConnectionManager.Initialize(trackerIPs);}/// <summary>/// 通過文件名刪除對應的文件/// </summary>/// <param name="objectName">對象名稱</param>/// <param name="groupName">分組名稱</param>/// <returns>是否成功</returns>public async Task<bool> DeleteObjectByNameAsync(string objectName, string groupName = ""){RestoreFileName(objectName, out string fileName, out groupName);await FastDFSClient.RemoveFileAsync(groupName, fileName);return true;}/// <summary>/// 獲取網關連接/// </summary>/// <returns>網關連接</returns>public Task<string> GetGateWayUrl() => Task.FromResult(_fastDFSConfig.GateWayUrl);/// <summary>/// 獲取對象二進制數組/// </summary>/// <param name="groupName">組名稱</param>/// <param name="objectName">對象名稱</param>/// <returns>對象的二進制數組</returns>public async Task<byte[]> GetObjectByteAsync(string objectName, string groupName = ""){RestoreFileName(objectName, out string fileName, out groupName);var storageNode = await GetStorageNodeAsync(groupName);return await FastDFSClient.DownloadFileAsync(storageNode, fileName);}/// <summary>/// 獲取對象流/// </summary>/// <param name="groupName">組名稱</param>/// <param name="objectName">對象名稱</param>/// <returns>對象流</returns>public async Task<Stream> GetObjectStreamAsync(string objectName, string groupName = ""){RestoreFileName(objectName, out string fileName, out groupName);var storageNode = await GetStorageNodeAsync(groupName);FDFSFileInfo fileInfo = await FastDFSClient.GetFileInfoAsync(storageNode, fileName);Stream stream = new MemoryStream();int limit = 1024 * 100;//每次獲取100KB的數據//如果文件大小大于100KB 分次寫入if (fileInfo.FileSize >= limit){long offset = 0;long len = limit;while (len > 0){byte[] buffer = await FastDFSClient.DownloadFileAsync(storageNode, fileName, offset, len);stream.Write(buffer, 0, int.Parse(len.ToString()));stream.Flush();offset += len;len = (fileInfo.FileSize - offset) >= limit ? limit : (fileInfo.FileSize - offset);}}else{//如果文件大小小小于100KB 直接寫入文件byte[] buffer = await FastDFSClient.DownloadFileAsync(storageNode, fileName);stream.Write(buffer, 0, buffer.Length);stream.Flush();}stream.Seek(0, SeekOrigin.Begin);return stream;}/// <summary>/// 存儲文件/// </summary>/// <param name="objectByte">對象</param>/// <param name="objectName">對象名</param>/// <param name="groupName">分組</param>/// <returns></returns>public async Task<string> StoreObjectByteAsync(byte[] objectByte, string objectName, string groupName = ""){var storageNode = await GetStorageNodeAsync("");var filePath = await FastDFSClient.UploadFileAsync(storageNode, objectByte, Path.GetExtension(objectName));return storageNode.GroupName + "/" + filePath;}/// <summary>/// 存儲文件/// </summary>/// <param name="objectStream">文件流</param>/// <param name="objectName">對象名</param>/// <param name="groupName">分組</param>/// <returns>文件路徑</returns>public async Task<string> StoreObjectStreamAsync(Stream objectStream, string objectName, string groupName = ""){var storageNode = await GetStorageNodeAsync("");var filePath = await FastDFSClient.UploadFileAsync(storageNode, objectStream, Path.GetExtension(objectName));return storageNode.GroupName + "/" + filePath;}}第三步 在分布式配置中心中進行配置
這里的分布式配置中心中進行FastDFS的配置如下：
"ObjectStorage": {"StoreType": "FastDFS","FastDFS": {"Trackers": "192.168.1.14,192.168.1.16","Port": 22122,"GateWayUrl": "http://192.168.1.197"}}第四步 文件提供者工廠方法中加入FastDFS的處理
工廠方法根據上面配置中的StoreType從而知道對應的存儲是往FastDFS集群進行存儲的，進而再加載對應的FastDFS的配置，然后創建上面的FastDFSProvider。
主要代碼摘錄如下：
總結
今天首先給大家講解了如何搭建FastDFS單機版及集群版，然后講解了如何通過asp.net core對FastDFS進行操作。當然由于我的文件系統對應多個文件存儲程序，因此這里只是把FastDFS作為其中一個提供者進行處理。大伙可以只參考其中的操作方法即可。本來想錄個視頻的，畢竟安裝過程稍顯復雜，奈何機器不允許，Pass了！有問題可以加QQ兩千人群637326624進行交流。
參考文章
https://zhuanlan.zhihu.com/p/80256918
https://blog.51cto.com/13712476/2130525
https://www.cnblogs.com/youzhibing/p/9187765.html
https://github.com/happyfish100/fastdfs/wiki
往期精彩回顧
【推薦】.NET Core開發實戰視頻課程?★★★
.NET Core實戰項目之CMS 第一章 入門篇-開篇及總體規劃
【.NET Core微服務實戰-統一身份認證】開篇及目錄索引
Redis基本使用及百億數據量中的使用技巧分享（附視頻地址及觀看指南）
.NET Core中的一個接口多種實現的依賴注入與動態選擇看這篇就夠了
10個小技巧助您寫出高性能的ASP.NET Core代碼
用abp vNext快速開發Quartz.NET定時任務管理界面
在ASP.NET Core中創建基于Quartz.NET托管服務輕松實現作業調度
現身說法：實際業務出發分析百億數據量下的多表查詢優化
關于C#異步編程你應該了解的幾點建議
C#異步編程看這篇就夠了
給我好看 您看此文用??·?秒，轉發只需1秒呦~ 好看你就點點我總結
以上是生活随笔為你收集整理的用asp.net core结合fastdfs打造分布式文件存储系统的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Asp.Net.Core WebApi
- 下一篇： asp.net ajax控件工具集 Au