?

目錄

一、CICD簡介

二、CICD實踐過程

三、含淚踩坑

四、歷史文章指路

一、CICD簡介

1、CICD定義

• Continuous Integration (CI) 持續集成

• Continuous Delivery (CD) 持續交付

• Continuous Deployment (CD) 持續部署

2、DevOps定義

DevOps（Development和Operations的組合詞）是一組過程、方法與系統的統稱，用于促進開發（應用程序/軟件工程）、技術運營和質量保障（QA）部門之間的溝通、協作與整合。

DevOps的基礎核心是CICD。

CICD的基礎核心是自動化。

二、CICD實踐過程

1、起因

在我之前的團隊，因為要切換全新業務線，需要為新業務搭建一套全新的環境，所有東西從0開始。

原先只是用于部署測試環境，后面決定一起部署生產環境，這個過程中我還造成了一個嚴重生產環境問題，好在當時的生產環境還未正式使用，未造成嚴重影響。

在當時挺害怕也挺有壓力的，但是后面項目完整落地，平穩運行，我還是挺有成就感的，接下來我將整個項目過程完整的分享出來。

2、技術棧選型

首先進行技術棧選型，我們選擇的是Jenkins，Jenkins當屬業內持續集成老大哥，有著非常豐富的插件，也可以選擇gitlab集成的CICD，因為我們還有其它的測試腳本需要集成，所以Jenkins對于我們來說是最優的選擇；

Ansible是批量運維工具，通過編寫yaml腳本，可以方便實現批量管理多臺機器，并且Ansible是比較輕量級應用，很容易上手；

shell腳本可以用于執行一系列命令。

其它的就結合團隊項目情況進行搭建。

• Jenkins–持續集成

• Ansible–下發文件

• Shell–Linux腳本

• Git–版本管理

• GitLab–代碼托管

• Node.js–前端編譯

• Maven–后端編譯

• JDK–Java運行環境

• Nginx–請求代理

• Dubbo–RPC框架

• Disconf–配置中心

• Redis–緩存數據庫（購買阿里云服務）

• Zookeeper–中間件（購買阿里云服務）

• RDS（MySQL）–數據庫（購買阿里云服務）

3、Jenkins應用部署實現流程

首先來梳理下整個項目的實現流程，主要分為Jenkins主節點和應用服務器，是一對多的關系。

Jenkins主節點的主要負責項目部署前的工作，主要包含拉取代碼，前端打包，后端打包，快照版檢測，將壓縮包和部署腳本發送到目標機器（即應用服務器），遠程調用目標機器上的部署腳本進行代碼替換。

應用服務器部署腳本執行過程有：解壓壓縮包，停止服務，覆蓋代碼，拉取disconf，應用目錄分組賦權，重啟服務，檢查服務是否有進程，查看啟動日志，刪除/tmp目錄下舊壓縮包。

Jenkins應用部署流程圖

4、任務計劃

4.1、搭建環境

Jenkins

指路【Jenkins系列】如何搭建Jenkins環境。

Ansible

1、安裝Ansible yum install ansible -y2、查看版本信息 ansible -version

Git

1、安裝Git yum install git -y2、查看版本信息 git --version

GitLab

因為這個我沒有實踐成功的教程，所以在這里就不貼啦~

Node.js

1、解壓node安裝包，注：參數不用z tar xvf node-v6.16.0-linux-x64.tar -C /data2、安裝cnpm npm install -g cnpm --registry=https://registry.npm.taobao.org3、在/usr/bin目錄下設置軟連接 ln -s /data/node-v6.16.0-linux-x64/bin/cnpm /usr/bin/cnpm4、查看版本信息 cnpm -v

Maven

1、下載Maven 方式一：官網下載：http://maven.apache.org/download.cgi 方式二：wget Maven下載地址 wget http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz（清華大學開源軟件鏡像服務） wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz（北京理工大學開源軟件鏡像服務）2、解壓tar包到/usr/local/ tar -zxvf apache-maven-3.3.9-bin.tar.gz -C /usr/local/3、配置環境變量，編輯/etc/profile文件，在/etc/profile文件末尾增加以下配置：vim /etc/profile export MAVEN_HOME=/usr/local/apache-maven-3.3.9 export PATH=$MAVEN_HOME/bin:$PATH4、使用source命令立即生效，刷新環境變量 source /etc/profile5、查看版本信息 mvn -version

JDK

1、下載JDK：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html2、解壓tar包到/usr/local/目錄下 tar zxvf jdk1.8.0_201.tar.gz -C /usr/local/3、配置環境變量，編輯/etc/profile文件，在/etc/profile文件末尾增加以下配置：vim /etc/profile export JAVA_HOME=/usr/local/jdk1.8.0_201 export PATH=${JAVA_HOME}/bin:$PATH export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar4、使用source命令立即生效，刷新環境變量 source /etc/profile5、檢驗JDK是否安裝成功,注：-version,不是--version java -version 或者 javac6、踩坑 如果出現這-bash: /usr/local/java/jdk1.8.0_171/bin/java: /lib/ld-linux.so.2: bad ELF interpreter: No such file問題 運行這個命令解決：sudo yum install glibc.i686

Nginx

0、前提 安裝依賴包 yum -y install gcc zlib zlib-devel pcre-devel openssl openssl-devel1、下載nginx 方式一：官網下載：http://nginx.org/en/download.html 方式二：wget http://nginx.org/download/nginx-1.13.7.tar.gz2、解壓tar包到/usr/local/nginx/目錄下 tar -zxvf nginx-1.13.7.tar.gz -C /usr/local/ngnix/3、安裝nginx cd /usr/local/nginx/nginx-1.13.7 執行配置 ./configure 編譯安裝 make && make install4、配置nginx.conf,將端口號改成8089，因為可能apeache占用80端口，apeache端口盡量不要修改，選擇修改nginx端口 vim /usr/local/nginx/nginx-1.13.7/conf/nginx.con5、啟動nginx cd /usr/local/nginx/sbin/nginx/nginx-1.13.7 ./nginx 啟動 ./nginx -s stop 關閉 ./nginx -s reload 重啟6、查看nginx進程是否啟動 ps -ef | grep nginx7、驗證nginx是否配置成功 nginx -t8、查詢nginx的安裝路徑 whereis nginx

2、編寫前置腳本

#!/bin/bash#app_build.shapp_name=${1} #項目名稱,例:Learn-Java group_name=${2} #分組名稱,例:best env_name=${3} #環境名稱,例:test1 time=`date +%Y-%m-%d_%H:%M:%S` #時間#檢測前端編譯是否成功 shell_check(){if [ $? -eq 0 ];thenecho -e "\033[32m${time} ===前端編譯成功，繼續===\033[0m"elseecho -e "\033[31m${time} ===前端編譯失敗，請排查問題再發布===\033[0m"exit 1fi }if [[ ${env_name} = "請選擇" ]] ; thenecho -e "\033[31m${time} 請選擇正確環境!\033[0m"exit 1 elif [[ ${env_name} = "test1" || ${env_name} = "test2" ]] ; thenecho -e "\033[32m${time} ${group_name} ${app_name} ${env_name} 前端編譯 cnpm install\033[0m"cd /jenkins_workspace/${group_name}_${app_name}/${app_name}-view/cnpm installecho -e "\033[32m${time} ${group_name} ${app_name} ${env_name}\033[0m"npm run build:test1shell_checkecho -e "\033[32m${time} cp /jenkins_workspace/deploy.sh to /jenkins_workspace/${group_name}_${app_name}\033[0m"cp /jenkins_workspace/deploy.sh /jenkins_workspace/${group_name}_${app_name} elseecho -e "\033[31m${time} 請輸入正確參數!\033[0m" fi

3、編寫應用部署腳本

#!/bin/bash#deploy.shapp_name=${1} #項目名稱,例:Learn-Java env_name=${3} #環境名稱,例:test1 time=`date +%Y-%m-%d_%H:%M:%S` #時間#檢查上一條命令是否執行成功 shell_check(){if [ $? -eq 0 ];thenecho -e "\033[32m${time} 2|8、上一條命令執行成功, 繼續\033[0m"else echo -e "\033[31m${time} 2|8、上一條命令執行失敗, 退出\033[0m"exit 1fi }#部署應用服務 deploy_app(){echo -e "\033[32m${time} 1、解壓${app_name}.tar.gz\033[0m"cd /tmp/${app_name}/target/ && tar -xzvf ${app_name}.tar.gzshell_checkecho -e "\033[32m${time} 3、停止${app_name}服務\033[0m"var=`cd /app/${app_name}/bin/ && su ${app_name} stop.sh`if [[ $var = *alive* ]];thenecho -e "\033[31m${time} $var 無法正常停止應用進程,請前往服務器進行排查\033[0m"exit 1elseecho -e "\033[32m${time} $var ,繼續\033[0m"fiecho -e "\033[32m${time} 4、覆蓋代碼\033[0m"rsync -r /tmp/${app_name}/target/conf/ /app/${app_name}/configrsync -r --delete /tmp/${app_name}/target/lib/ /app/${app_name}/libecho -e "\033[32m${time} 5、拉取disconf\033[0m"cd /app/${app_name}/config && wget -O configs.tar.gz http://disconf.demo.com/api/config/downConfigs?app=${app_name}'&'env_name=${env_name}'&'version=1.0.0 && tar -xvf configs.tar.gz && rm -rf configs.tar.gzecho -e "\033[32m${time} 6、分組賦權\033[0m"cd /app && chown -R ${app_name}:coreapp ${app_name}echo -e "\033[32m${time} 7、重啟服務\033[0m"cd /app/${app_name}/bin/ && su ${app_name} start.shshell_checkpid=`ps aux | grep ${app_name} | grep -v grep | awk '{print $2}'`if [ "${pid}" ]; thenecho -e "\033[32m${time} 9、${app_name} core ${pid} 啟動成功\033[0m"elseecho -e "\033[31m${time} 9、${app_name} core ${pid} 啟動失敗\033[0m"exit 1fiecho -e "\033[32m${time} 10、查看日志\033[0m"cd /app/${app_name}/log/ && tail -n 200 stdout.logecho -e "\033[32m${time} 11、刪除/tmp目錄下舊壓縮包,避免再次部署代碼重復\033[0m"cd /tmp && rm -rf ${app_name} }deploy_app

4、Jenkins配置

指路【Jenkins系列】如何構建Jenkins Job。

新增Job，主要用于拉取代碼，執行Maven編譯，執行app_build.sh，將壓縮包通過ssh發送到目標機器，遠程調用目標機器的deploy.sh。

三、含淚踩坑

踩坑1

問題描述：在錯誤的路徑拉取配置，原因是未成功解壓壓縮包。

解決方案：校驗壓縮包是否解壓成功解壓成功，并且在cd到正確的路徑后添加&&（&&表示上一條命令執行成功再執行下一條命令）才進行拉取配置。

踩坑2

問題描述：項目沒有正常停止，導致無法重新啟動。

解決方案：雖然執行kill -9，但是未找到根本原因，因此加了一個檢測機制，如果檢測沒有正常停止服務，則退出程序。

踩坑3

問題描述：生產部署腳本拉取了開發環境的的jdbc配置，原因是生產部署腳本寫錯了開發環境disconf的域名，當時我同時在搞開發生產環境的腳本，開發和生產是兩套不同的腳本，一時混亂寫錯了，嚇得一批，好在當時生產環境還沒投產使用。

解決方案：為了避免后續這種情況的發生，而且是必須避免的，我們通過環境名稱來判斷走開發還是生產域名，這樣就能保證腳本一致性了。

在這個項目實際遇到的問題遠不止上面這幾個，在這個實踐過程中，我對整個應用部署流程有了更深的理解，平時方方面面的學習終于集中化起來進行實踐了。

我習慣將學到的知識和遇到的問題記錄起來，在寫這篇文章的過程回過頭來看，五味雜陳，原來我都經歷了這些哈哈哈…

踩過的坑終究使我更加強大**，帶你見證呱呱本呱成長為參天大呱~**

四、歷史文章指路

關注【嘎嘎軟件測試】

搞測試，不迷路

呱呱大王本呱帶你飛！

嘎嘎軟件測試

將分享個人成長、團隊管理、軟件測試技能知識等內容，更新頻率一周兩篇，做到有思想、有觀點、有深度，歡迎訂閱。

總結

以上是生活随笔為你收集整理的【自动化运维】从0到1 CICD自动化部署落地分享的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。