Kubernetes中分布式存储Rook-Ceph的使用：一个ASP.NET Core MVC的案例
在《Kubernetes中分布式存儲(chǔ)Rook-Ceph部署快速演練》文章中，我快速介紹了Kubernetes中分布式存儲(chǔ)Rook-Ceph的部署過程，這里介紹如何在部署于Kubernetes的ASP.NET Core MVC的應(yīng)用程序中使用Rook-Ceph所創(chuàng)建的存儲(chǔ)對(duì)象。
構(gòu)建ASP.NET Core MVC (.NET 5)應(yīng)用程序
這個(gè)程序的基本功能就是用戶可以通過主頁上傳一個(gè)文件并保存到由Rook-Ceph創(chuàng)建的S3對(duì)象存儲(chǔ)，同時(shí)將文件信息和上傳時(shí)間保存為一個(gè)MongoDB的文檔。MongoDB使用Rook-Ceph創(chuàng)建的塊存儲(chǔ)（Block Storage）。
首先，新建一個(gè)基于.NET 5的ASP.NET Core MVC應(yīng)用程序，添加AWSSDK.S3和MongoDB.Driver這兩個(gè)NuGet Package的引用。
然后，修改Startup.cs的ConfigureServices方法：
這里用到了配置信息，為了調(diào)試方便，可以修改appsettings.json文件，添加對(duì)于S3和MongoDB的配置信息：
{"Logging": {"LogLevel": {"Default": "Information","Microsoft": "Warning","Microsoft.Hosting.Lifetime": "Information"}},"s3": {"endpoint": "http://localhost:9000","accessKey": "AKIAIOSFODNN7EXAMPLE","secretKey": "wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY"},"mongo": {"connectionString": "mongodb://localhost:27017","database": "form-file-upload"},"AllowedHosts": "*" }之后，修改Index.cshtml文件，將界面元素準(zhǔn)備好：
@{ViewData["Title"] = "Home Page"; } @model FileUploadModel<div class="text-center"><h1 class="display-4">Welcome</h1><p>Learn about <a href="https://docs.microsoft.com/aspnet/core">building Web apps with ASP.NET Core</a>.</p><form method="post" enctype="multipart/form-data" asp-controller="Home" asp-action="Index"><div class="form-group"><div class="col-md-10"><p>Upload one or more files using this form:</p><input type="file" name="file" /></div></div><div class="form-group"><div class="col-md-10"><input type="submit" value="Save" /></div></div></form> </div>修改HomeController：
public class HomeController : Controller {private readonly ILogger<HomeController> _logger;private readonly IDataAccessObject _dao;private readonly IAmazonS3 _s3;public HomeController(ILogger<HomeController> logger, IAmazonS3 s3, IDataAccessObject dao)=> (_logger, _s3, _dao) = (logger, s3, dao);public IActionResult Index(){return View();}[HttpPost][ValidateAntiForgeryToken]public async Task<IActionResult> Index(FileUploadModel model){if (model.File != null){var fileName = Path.GetFileName(model.File.FileName);var fileTransUtility = new TransferUtility(_s3);using var stream = model.File.OpenReadStream();await fileTransUtility.UploadAsync(stream, "data", $"FormFileUpload/{fileName}");await _dao.AddAsync<SavedFile>(new SavedFile{Timestamp = DateTime.UtcNow,FileName = fileName});return View();}else{}return View();}public IActionResult Privacy(){return View();}[ResponseCache(Duration = 0, Location = ResponseCacheLocation.None, NoStore = true)]public IActionResult Error(){return View(new ErrorViewModel { RequestId = Activity.Current?.Id ?? HttpContext.TraceIdentifier });} }其它相關(guān)代碼這里就不全部貼出來了，可以直接參考本案例的源代碼。
在開發(fā)模式下，我使用運(yùn)行于Docker的MongoDB以及MINIO分別作為數(shù)據(jù)庫后端和S3服務(wù)后端。在按下F5進(jìn)行Debug之前，請(qǐng)先確保MongoDB和MINIO已經(jīng)運(yùn)行。可以參考https://github.com/daxnet/form-file-upload/blob/main/docker-compose.yml。
生成用于部署應(yīng)用程序的HELM Chart
仍然使用上面提到的docker-compose.yml文件，然后使用下面的命令來生成HELM Chart:
kompose convert -f docker-compose.yml -c -o k8s執(zhí)行成功后會(huì)在k8s的目錄下產(chǎn)生用于部署到Kubernetes的HELM Chart。完整內(nèi)容可以參考：https://github.com/daxnet/form-file-upload/tree/main/k8s
需要注意幾個(gè)內(nèi)容：
使用Ceph Object Store (S3)
要使用Ceph Object Store，只需要正確配置app中S3的Access Key、Secret Key以及Endpoint即可。對(duì)應(yīng)的就是form-file-upload-service-deployment.yaml中的s3__accessKey、s3__endpoint和s3__secretKey環(huán)境變量設(shè)置。它們的取值在《Kubernetes中分布式存儲(chǔ)Rook-Ceph部署快速演練》文章中已經(jīng)介紹過了，只是在Endpoint的Host名稱上需要加上http://。詳細(xì)可以參考values.yaml文件。
使用Ceph Block Storage
部署到Kubernetes的MongoDB會(huì)需要使用Ceph Block Storage。在mongodb-deployment.yaml中，會(huì)指定容器的volumeMount：
volumeMounts: - mountPath: /data/dbname: mongo-data然后在Volume的定義部分，指定使用名為{{ .Release.Name }}-form-file-upload-mongo-data的PersistentVolumeClaim：
volumes: - name: mongo-datapersistentVolumeClaim:claimName: {{ .Release.Name }}-form-file-upload-mongo-data這里的{{ .Release.Name }}表示HELM的release的名字。接下來，在這個(gè)PersistentVolumeClaim中（mongo-data-persistentvolumeclaim.yaml），可以指定所需使用的StorageClass：
spec:accessModes:- ReadWriteOnceresources:requests:storage: 20GistorageClassName: {{ .Values.mongoStorageClassName }}在這里，storageClassName在values.yaml中設(shè)置：
mongoStorageClassName: "rook-ceph-block"而rook-ceph-block就是我們?cè)谇拔闹袆?chuàng)建的Block Storage的名字。
部署并運(yùn)行程序
使用git將https://github.com/daxnet/form-file-upload.git克隆到本地，進(jìn)入k8s目錄，然后：
helm install ffu .安裝成功后，查看pods：
$ kubectl get po NAME READY STATUS RESTARTS AGE dnsutils 1/1 Running 2 160m ffu-form-file-upload-mongo-8c46f48fc-vm76k 1/1 Running 0 23m ffu-form-file-upload-service-7c5c679b96-rxl5s 1/1 Running 0 23m查看PersistentVolumeClaims：
$ kubectl get pvc NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE ffu-form-file-upload-mongo-data Bound pvc-8e681be4-4378-11eb-8a9b-0ac973bf1e37 20Gi RWO rook-ceph-block 64m可以看到，ffu-form-file-upload-mongo-data這個(gè)PVC使用的StorageClass就是rook-ceph-block。
查看Services：
通過port-forward來訪問應(yīng)用程序：
$ kubectl port-forward svc/ffu-form-file-upload-service 8081:8080 Forwarding from 127.0.0.1:8081 -> 80 Forwarding from [::1]:8081 -> 80打開瀏覽器，訪問http://localhost:8081：
點(diǎn)擊Choose File按鈕，選擇一個(gè)文件（測(cè)試方便盡量選擇小一點(diǎn)的文件）點(diǎn)擊Save。成功后沒有任何信息提示，會(huì)返回到?jīng)]有上傳文件時(shí)的狀態(tài)。
驗(yàn)證結(jié)果
使用下面的命令查看S3中已經(jīng)保存的文件：
$ kubectl exec -it -n rook-ceph deploy/rook-ceph-tools -- s3cmd ls s3://data/FormFileUpload/ 2020-12-21 11:47 1260 s3://data/FormFileUpload/abc.sldimport可以看到，文件已經(jīng)成功上傳到S3。
使用下面的命令查看MongoDB中的數(shù)據(jù)：
可以看到，數(shù)據(jù)記錄已經(jīng)成功保存到MongoDB。
源代碼和部署腳本
一切的一切，盡在https://github.com/daxnet/form-file-upload。
Enjoy!
總結(jié)
以上是生活随笔為你收集整理的Kubernetes中分布式存储Rook-Ceph的使用：一个ASP.NET Core MVC的案例的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 知名Node.js组件存在代码注入漏洞
- 下一篇： 如何在 ASP.Net Core 中使用