Docker+Jenkins+Gitlab+Django应用部署实践
生活随笔
收集整理的這篇文章主要介紹了
Docker+Jenkins+Gitlab+Django应用部署实践
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
一、背景介紹
在互聯(lián)網(wǎng)應(yīng)用快速更新迭代的大背景下，傳統(tǒng)的人工手動或簡單腳本已經(jīng)不能適應(yīng)此變化，此時Devops為我們提供了良好的解決方案，應(yīng)用好CI/CD可以大大的方便我們的日常工作，自動化快速的持續(xù)集成/持續(xù)交付為我們帶來了應(yīng)用開放的更快速度、更好的穩(wěn)定性和更強的可靠性。
二、拓撲環(huán)境
2.1 架構(gòu)拓撲
如上圖實例，簡單花了下流程拓撲：
- 當(dāng)研發(fā)push本地代碼到gitlab-server后，webhook自動觸發(fā)jenkins構(gòu)建應(yīng)用
- 在docker host上部署應(yīng)用git clone來自gitlabserver源碼，并啟動應(yīng)用
- 前端可以放置lb來做高可用
- 數(shù)據(jù)庫連接云數(shù)據(jù)庫
- 可將日志存儲在log后期投遞到elk實現(xiàn)日志可視化
- 構(gòu)建完成郵件通知相關(guān)人員（測試或開放）
2.2 系統(tǒng)軟件版本
| Linux系統(tǒng) | CentOS7.3 64位 |
| Docker | 1.13 |
| Django | 2.0 |
三、安裝部署
3.1 Jenkins安裝部署
Jenkins安裝部署可參考：jenkins筆記
- 安裝完成后添加Docker目標服務(wù)器
- 配置郵件發(fā)送服務(wù)器
3.2 Docker安裝部署
Docker安裝部署及Dockerfile編寫可參考：容器Docker詳解
3.3 Gitlab安裝部署
GitLab安裝在公網(wǎng)Linux服務(wù)器運行一些命令即可，如果沒有公網(wǎng)需要手動修改 /etc/gitlab/gitlab.rb文件的external_url 'http://自己的內(nèi)網(wǎng)IP'
yum install -y libsemanage-static libsemanage-devel policycoreutils openss h-server openssh-clients postfix systemctl enable postfix && systemctl start postfixwget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-8.0. 0-ce.0.el7.x86_64.rpm rpm -i gitlab-ce-8.0.0-ce.0.el7.x86_64.rpm # 獲取公網(wǎng)IP PUBLICIP=$(curl http://ipv4.icanhazip.com) # 修改 sed -i "s/gitlab-server/${PUBLICIP}/g" /etc/gitlab/gitlab.rbgitlab-ctl reconfigure gitlab-ctl restartecho "Username:root" echo "Password:5iveL!fe"3.4 配置發(fā)布流程
- Jenkins新建構(gòu)建一個自由風(fēng)格的軟件項目
- 利用參數(shù)化構(gòu)建方便后續(xù)部署Docker傳入映射的源端口和release
- 源代碼來自gitlab的django項目
- 利用webhook關(guān)聯(lián)gitlab和jenkins
jenkins安裝插件：
生成隨機token值
將jenkins生成的GitLab webhook URL配置到gitlab
- 當(dāng)開發(fā)者在本地push代碼后自動觸發(fā)jenkins構(gòu)建項目，有Dockerfile內(nèi)寫的git pull代碼，再次不用將代碼由jenkins分發(fā)到docker宿主機，jenkins作為觸發(fā)docker構(gòu)建使用
- 配置構(gòu)建完成后的郵件
郵件模版，郵件類型選擇：
內(nèi)容類型選擇：HTML
郵件主題填寫：構(gòu)建通知:${BUILD_STATUS} - ${PROJECT_NAME} - Build # ${BUILD_NUMBER} !
構(gòu)建通知模版：
觸發(fā)類型可根據(jù)自身需要填寫，這里填寫always無論成功還是失敗都發(fā)送郵件
- 查看遠程Docker服務(wù)器內(nèi)的文件
- django部署已經(jīng)利用conda打包好了項目的Python3.6的環(huán)境包自制了Docker鏡像
之前利用的是純凈的Python3.6系統(tǒng)，在每次構(gòu)建的時候利用pip安裝requirements.txt的模塊，但是長此以往由于環(huán)境變化很少，每次需要pip安裝耗時，所以利用conda將打包好的Python環(huán)境自制成定制化環(huán)境，以此來減少環(huán)境部署時間，也可以通過docker鏡像制作是-v參數(shù)將本地磁盤掛載在環(huán)境內(nèi)，每次構(gòu)建本地的conda即可，完成快速環(huán)境部署。
查看Dockerfile
FROM 87a69025db6a MAINTAINER kaliarch# 定義docker中工作目錄 ENV WORK_DIR /work/ # 創(chuàng)建docker內(nèi)工作目錄 RUN mkdir $WORK_DIR # 定義映射端口EXPOSE 80WORKDIR $WORK_DIR RUN git clone http://123.xxxx.xxxxx.245/Devops/go2cloud.git# 添加啟動服務(wù)腳本 ADD *.sh ${WORK_DIR}CMD `which bash` /work/start_all.sh && tail -f /work/logs/server-$(date +%F).log查看Django啟動腳本
#!/bin/bashBASEPATH=$(cd `dirname $0`;pwd)PY_CMD=/python3/bin/python# 服務(wù)入口文件 #MAIN_APP=${BASEPATH}/go2cloud/manage.py # 遷移腳本入口文件 SCRIPTS_APP=${BASEPATH}/go2cloud/scripts/migrate_task_schdule.py # 刪除腳本入口文件 DELETE_APP=${BASEPATH}/go2cloud/scripts/delete_transfer_server.py# 日志目錄LOG_DIR=${BASEPATH}/logs/ [ ! -d ${LOG_DIR} ] && mkdir ${LOG_DIR}# 啟動服務(wù) #nohup ${PY_CMD} -u ${MAIN_APP} runserver 0.0.0.0:80 >> ${LOG_DIR}server-$(date +%F).log 2>&1 & # 啟動腳本遷移調(diào)度腳本 echo "---------$0 $(date) excute----------" >> ${LOG_DIR}task-script-$(date +%F).log nohup ${PY_CMD} -u ${SCRIPTS_APP} >> ${LOG_DIR}script-$(date +%F).log 2>&1 &# 啟動遷移刪除腳本 echo "---------$0 $(date) excute----------" >> ${LOG_DIR}delete-script-$(date +%F).log nohup ${PY_CMD} -u ${DELETE_APP} >> ${LOG_DIR}delete-script-$(date +%F).log 2>&1 &查看jenkins部署腳本
#!/bin/bashrelease=$1 port=$2BASEPATH=$(cd `dirname $0`;pwd)# 構(gòu)建go2cloud-platform 鏡像 cd /dockerwork docker build -t go2cloud-platform-mini:$release .IMGNAME=$(docker images|awk -v release=$release '{if($1=="go2cloud-platform-mini" && $2==release) print $3}')echo $IMGNAME # 啟動容器 docker run -d -p ${port}:80 -v /testlog/:/work/logs ${IMGNAME}利用-v參數(shù)將日志持續(xù)化存儲到docker 宿主機之上
四、測試展示
4.1 測試構(gòu)建
手動構(gòu)建測試
4.2 查看log
4.3 查看docker容器
4.4 測試app
五、反思改進
- 目前數(shù)據(jù)庫連接的為云服務(wù)器搭建的數(shù)據(jù)庫，后期數(shù)據(jù)庫也利用docker，多組采用docker-compose統(tǒng)一部署管理
- 后期可以利用利用公有云k8s集群進行方便測試
- 目前docker容器產(chǎn)生的日志在docker宿主機上，后期可以將其存儲在cos上，再投遞到elk集群日志可視化處理
- 將鏡像統(tǒng)一管理制作本地鏡像倉庫
- gitlab添加code review并結(jié)合自動測試
轉(zhuǎn)載于:https://blog.51cto.com/kaliarch/2337551
總結(jié)
以上是生活随笔為你收集整理的Docker+Jenkins+Gitlab+Django应用部署实践的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Centos-7.4_安装_Redis_
- 下一篇： 又是一年年终总结