來源 | 無敵碼農(nóng)

責編 | 寇雪芹

頭圖 | 下載于視覺中國

實施微服務架構(gòu)后，原先單一的系統(tǒng)結(jié)構(gòu)統(tǒng)變成了數(shù)量眾多的微服務應用，開發(fā)、測試、運維部署等都會面臨不少挑戰(zhàn)。在微服務架構(gòu)下如何提高工程研發(fā)效率，確保開發(fā)、測試、運維部署等流程上的順暢，是微服務技術(shù)體系能夠真正落地產(chǎn)生效益的關(guān)鍵。

要實現(xiàn)上述目標就需要基于DevOps（開發(fā)運維）思想構(gòu)建一套高度自動化的發(fā)布系統(tǒng)，在該系統(tǒng)中開發(fā)人員可以隨時隨地構(gòu)建代碼并將其發(fā)布至指定的運行環(huán)境中，這個過程也就是我們通常所說的CI/CD（持續(xù)集成/持續(xù)交付）流程。

關(guān)于DevOps的具體實踐，不同的公司一般會根據(jù)自身的發(fā)展階段和實際需要來選擇具體落地的方案。具備條件的公司可以研發(fā)功能豐富的可視化發(fā)布系統(tǒng)，而條件有限的創(chuàng)業(yè)公司則可以通過開源或現(xiàn)有的技術(shù)組件（如GitLab、Jenkins等）來實現(xiàn)操作相對簡陋但功能完備的自動化發(fā)布系統(tǒng)。

在本將以Spring Cloud微服務技術(shù)體系為背景，通過GitLab自帶的CI/CD機制并基于Kubernetes容器化技術(shù)來實現(xiàn)一套具備相對完整CI/CD流程的自動化發(fā)布系統(tǒng)。

CI/CD流程概述

實際上DevOps并不是微服務架構(gòu)流行之后才產(chǎn)生的概念，而是業(yè)界在多年軟件開發(fā)實踐中積累的理論、工具的集合。本文所要討論的自動化發(fā)布系統(tǒng)實際上是要通過搭建CI/CD流水線來建立一套應用程序構(gòu)建、測試、打包及發(fā)布的高效自動化方法。關(guān)于CI(持續(xù)集成)/CD（持續(xù)交付）的概念并不是指某一種具體的技術(shù)，而是一種軟件工程文化加一系列操作原則和具體實踐的集合。

其中CI（持續(xù)集成）的主要目標是通過建立一致的自動化構(gòu)建方法來打包程序代碼，使得團隊成員能夠以更頻繁地動作提交代碼、更早地進行代碼集成，以及時發(fā)現(xiàn)和解決代碼中的問題、提高協(xié)作開發(fā)效率及軟件交付質(zhì)量。可持續(xù)集成（CI）的基本流程如圖所示：

從實現(xiàn)流程上來說CI的主要過程就是將開發(fā)人員提交的代碼以高度自動化的方式打包成可以在具體基礎架構(gòu)環(huán)境運行的程序包（例如Docker鏡像）。而這個過程可以由一組工具如GitLab Runner（CI Pipeline）、Sonar（代碼檢測工具）等去完成，具體構(gòu)建CI流程時根據(jù)實際需要集成運用即可。

持續(xù)交付（CD）的主要邏輯則是將CI流程中構(gòu)建的程序鏡像從鏡像倉庫自動發(fā)布到具體的基礎架構(gòu)環(huán)境（如測試/生產(chǎn)Kubernetes集群），實現(xiàn)CD的工具主要有GitLab Runner（CD Pipeline）、Helm（Kubernetes軟件包管理工具）等。

實際上CD的核心就是通過輸入的各種用戶參數(shù)（如yaml文件、環(huán)境配置參數(shù)等）最終自動生成具體的發(fā)布指令（如Helm指令），并根據(jù)參數(shù)中設置的相應信息來配置程序的具體運行環(huán)境。可持續(xù)交付（CD）的基本運行流程如下圖所示：

以上就是CI/CD的基本概念及流程，也是自動化發(fā)布系統(tǒng)的實現(xiàn)的依據(jù)。在后面的內(nèi)容中將主要圍繞這兩個階段來實現(xiàn)自動化發(fā)布系統(tǒng)的基本流程邏輯。

系統(tǒng)的基本組成

本文所要描述的自動化發(fā)布系統(tǒng)主要是利用GitLab提供的GitLab CI機制，實現(xiàn)當代碼發(fā)生提交或合并等事件時自動觸發(fā)預設的CI/CD流程。其中CI流程主要包括基本的代碼編譯、構(gòu)建、打包等階段，并在完成上述步驟后將打包好的應用Docker鏡像發(fā)布至鏡像倉庫。

而CD階段則是從鏡像倉庫拉取應用Docker鏡像，并根據(jù)設置的CD流程將應用發(fā)布至指定的Kubernetes集群。具體系統(tǒng)結(jié)構(gòu)如下圖所示：

如上圖所示，該自動化發(fā)布系統(tǒng)主要由GitLab、Harbor鏡像倉庫及Kubernetes集群組成。其中GitLab主要承擔代碼版本的管理，以及CI/CD流程定義和觸發(fā)， Harbor負責應用Docker鏡像的存儲和分發(fā)，而Kubernetes集群則是應用容器運行的基礎架構(gòu)環(huán)境。

GitLab-CI自動化發(fā)布系統(tǒng)的關(guān)鍵實現(xiàn)

前面我們描述了基于GitLab-CI機制實現(xiàn)自動化發(fā)布系統(tǒng)的基本組成，要具體實現(xiàn)這套系統(tǒng)你需要安裝部署GitLab服務器并配置GItLab Runner功能，私有鏡像倉庫服務（Harbor或JFrog）以及Kubernetes集群（具體可參見本專欄的其他文章）。

由于GitLab服務器是CI/CD流程執(zhí)行的主要承載點，如果你的服務是基于Maven構(gòu)建的Java服務，那么還需要在GitLab服務器中安裝Maven客戶端，并配置Maven私服的地址，以提高構(gòu)建速度。此外GitLab服務器在CI/CD流程執(zhí)行中還會運行Docker鏡像打包構(gòu)建，將鏡像push到Docker鏡像倉庫以及將Docker鏡像從私有倉庫發(fā)布至Kubernetes集群等邏輯，所以GitLab服務器還需要安裝Docker環(huán)境及kubelet客戶端。

如果環(huán)境都OK，那么我們就可以在Gitlab項目根目錄代碼中創(chuàng)建“.gitlab-ci.yml”文件并定義具體的CI/CD流程了。但在具體定義之前，我們需要在Maven項目中添加應用Docker鏡像打包的插件配置及Dockerfile文件定義，具體如下：

<!--添加Docker鏡像Maven打包插件--> <plugin><groupId>com.spotify</groupId><artifactId>dockerfile-maven-plugin</artifactId><version>1.4.13</version><executions><execution><id>build-image</id><phase>package</phase><goals><goal>build</goal></goals></execution></executions><configuration><!--指定Dockerfile文件位置--><dockerfile>docker/Dockerfile</dockerfile><!--指定Docker鏡像倉庫路徑--><repository>${docker.repository}/springcloud-action/${app.name}</repository><buildArgs><!--提供參數(shù)向Dockerfile傳遞--><JAR_FILE>target/${project.build.finalName}.jar</JAR_FILE></buildArgs></configuration> </plugin>

在項目工程pom.xml文件中添加“dockerfile-maven-plugin”插件，該插件是早期“docker-maven-plugin”插件的替代品，支持將Maven項目構(gòu)建打包為Docker鏡像。上述配置中，針對Docker鏡像的具體構(gòu)建方式，是通過在<configuration>標簽中指定Dockerfile文件來實現(xiàn)的。具體可在項目工程中創(chuàng)建docker目錄，并創(chuàng)建Dockerfile文件，內(nèi)容如下：

FROM?openjdk:8u191-jre-alpine3.9 ENTRYPOINT?["/usr/bin/java",?"-jar",?"/app.jar"] ARG?JAR_FILE ADD?${JAR_FILE}?/app.jar EXPOSE?8080

配置好Maven打包插件后，就能支持通過Maven打包命令，將應用代碼打包成Docker鏡像了。此時我們在".gitlab-ci.yml"文件中定義具體的CI/CD構(gòu)建Stages，示例如下：

#環(huán)境參數(shù)信息 variables:#Docker鏡像倉庫地址&賬號密碼信息DOCKER_REPO_URL:?"10.211.55.11:8088"DOCKER_REPO_USERNAME:?adminDOCKER_REPO_PASSWORD:?Harbor12345#Kubernetes相關(guān)信息配置(空間與服務端口)K8S_NAMESPACE:?"wudimanong"PORT:?"8080"#定義CI/CD階段 stages:-?test-?build-?push-?deploy#執(zhí)行單元測試階段 maven-test:stage:?testscript:-?mvn?clean?test#代碼編譯打包鏡像階段 maven-build:stage:?buildscript:-?mvn?clean?package?-DskipTests#將打包的Docker鏡像上傳至私有鏡像倉庫 docker-push:stage:?pushscript:#對打包的鏡像進行tag-?docker?tag?$DOCKER_REPO_URL/$CI_PROJECT_PATH?$DOCKER_REPO_URL/$CI_PROJECT_PATH/$CI_BUILD_REF_NAME:${CI_COMMIT_SHA:0:8}#登錄私有鏡像倉庫-?docker?login?$DOCKER_REPO_URL?-u?$DOCKER_REPO_USERNAME?-p?$DOCKER_REPO_PASSWORD#上傳應用鏡像至鏡像倉庫-?docker?push?$DOCKER_REPO_URL/$CI_PROJECT_PATH/$CI_BUILD_REF_NAME:${CI_COMMIT_SHA:0:8}-?docker?rmi?$DOCKER_REPO_URL/$CI_PROJECT_PATH/$CI_BUILD_REF_NAME:${CI_COMMIT_SHA:0:8}-?docker?rmi?$DOCKER_REPO_URL/$CI_PROJECT_PATH#將應用發(fā)布至Kubernetes測試集群（這里指定為手動確認方式） deploy-test:stage:?deploywhen:?manualscript:-?kubectl?config?use-context?kubernetes-admin@kubernetes-?sed?-e??"s/__REPLICAS__/1/;?s/__PORT__/$PORT/;?s/__APP_NAME__/$CI_PROJECT_NAME/;?s/__PROFILE__/test/;??s/__IMAGE__/$DOCKER_REPO_URL\/${CI_PROJECT_PATH//\//\\/}\/${CI_BUILD_REF_NAME//\//\\/}:${CI_COMMIT_SHA:0:8}/"?kubernetes/deploy.yaml?|?kubectl?-n?${K8S_NAMESPACE}??apply?-f??-

如上所述，我們在“.gitlab-ci.yml”文件中定義了”test、build、push、deploy”這4個stages階段。這幾個stages的具體說明如下：

• test：執(zhí)行單元測試代碼；

• build：執(zhí)行構(gòu)建打包指令，將應用構(gòu)建打包為Docker鏡像；

• push：該階段主要是將build構(gòu)建的本地Docker鏡像經(jīng)過tag處理后上傳至Harbor鏡像倉庫，并在成功后清理掉本地鏡像文件；

• deploy：該階段主要是執(zhí)行Kubernetes指令，根據(jù)Kubernetes發(fā)布部署文件的配置，將容器鏡像部署發(fā)布至Kubernetes集群；

在deploy階段，是將Docker鏡像發(fā)布運行至Kubernetes集群，其中涉及編寫Kubernetes部署發(fā)布yaml文件，具體示例如下：

--- apiVersion:?apps/v1 kind:?Deployment metadata:name:?__APP_NAME__ spec:replicas:?__REPLICAS__selector:matchLabels:app:?__APP_NAME__strategy:type:?RollingUpdatetemplate:metadata:labels:app:?__APP_NAME__spec:imagePullSecrets:-?name:?wudimanong-ecrcontainers:-?name:?__APP_NAME__image:?__IMAGE__resources:requests:memory:?"1000M"limits:memory:?"1000M"volumeMounts:-?name:?time-zonemountPath:?/etc/localtime-?name:?java-logsmountPath:?/opt/logsports:-?containerPort:?__PORT__env:-?name:?SPRING_PROFILES_ACTIVEvalue:?__PROFILE__-?name:?JAVA_OPTSvalue:?-Xms1G?-Xmx1G?-Dapp.home=/opt/volumes:-?name:?time-zonehostPath:path:?/etc/localtime-?name:?java-logshostPath:path:?/data/app/deployment/logs

如果一切準備妥當，此時你向GitLab倉庫提交代碼將自動觸發(fā)構(gòu)建Pipeline，而Pipeline將自動運行你在“.gitlab-ci.yml”文件中定義的具體CI/CD流水線邏輯，從而實現(xiàn)應用的自動化發(fā)布效果。

基于GitLab-CI機制的自動化發(fā)布系統(tǒng)由于其構(gòu)建方式比較簡單，不需要太多的開發(fā)工作，因此目前不少創(chuàng)業(yè)公司中都采用了此類方案來實現(xiàn)微服務的自動化構(gòu)建和交付。

以上就是本文所要表達的全部內(nèi)容，希望能對你理解自動化發(fā)布系統(tǒng)的實現(xiàn)原理有所幫助！

關(guān)于?Devops 技術(shù)，我們還有

如何部署一個Kubernetes集群

Docker私有鏡像倉庫是什么？

上手 Docker 容器，不應該是個問題

什么魔力讓 Docker 一發(fā)不可收拾？

60+專家，13個技術(shù)領(lǐng)域，CSDN?《IT 人才成長路線圖》重磅來襲！

直接掃碼或微信搜索「CSDN」公眾號，后臺回復關(guān)鍵詞「路線圖」，即可獲取完整路線圖！

更多精彩推薦 ?5G、射頻、奧特曼，這仨有聯(lián)系嗎？?再見 Nacos，我要玩 Service Mesh 了！?用根因定位法，讓運維效率再高一點！點分享點收藏點點贊點在看

總結(jié)

以上是生活随笔為你收集整理的如何搞定 K8S 微服务自动化发布系统的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。