半天搭建你的Jenkins持续集成与自动化部署系统
前言
????相信每一位程序員都經(jīng)歷過深夜加班上線的痛苦！而作為一個加班上線如家常便飯的碼農(nóng)，更是深感其痛。由于我們所做的系統(tǒng)業(yè)務(wù)復雜，系統(tǒng)龐大，設(shè)計到多個系統(tǒng)之間的合作，而核心系統(tǒng)更是采用分布式系統(tǒng)架構(gòu)，由于當時對系統(tǒng)劃分的不合理等等原因?qū)е旅看伟l(fā)版都會設(shè)計到多個系統(tǒng)的發(fā)布，小的版本三五個，大的版本十幾個甚至幾十個系統(tǒng)的同時發(fā)布！而我們也沒有相應(yīng)的基礎(chǔ)設(shè)施的支撐，發(fā)版方式更是最傳統(tǒng)的，開發(fā)人員將發(fā)布包發(fā)給運維人員，由其講各個發(fā)布包一個一個覆蓋到生產(chǎn)環(huán)境。因此每次上線僅僅發(fā)版就需要2-3個小時。這種方式不僅僅耗時、耗力，更是由于人工操作經(jīng)常導致一些丟、落的現(xiàn)象。而我們當時的測試也是采用純手工的測試，發(fā)版完畢后一輪回歸測試就需要3-4個小時(當時主要是手工測試)。之前也一直提倡持續(xù)集成、自動化的測試和運維，但遲遲沒有推進落地。終于在一個加班到凌晨四點的夜晚后，我再也受不了。回家后躺在床上遲遲睡不著，心想這個自動化的發(fā)布能有多難，他們搞不了，老子自己搞，于是6點爬起來來到公司，正式開始了我的持續(xù)集成、自動化部署的研究與推進之路。
一、初識Jenkins
????由于之前亦沒有相關(guān)知識的積累，因此也是對如何實現(xiàn)也是一頭霧水。于是只能找度娘，關(guān)鍵字"自動化發(fā)布"。搜索到很多工具和方法，但都是以Java平臺居多，.net平臺相關(guān)資料不多。其中以Jenkins介紹較多，微軟也提供一套自動化部署的方式，也有一些其他持續(xù)集成工具可以實現(xiàn)自動化的發(fā)布，但最終還是選擇了Jenkins。主要有以下幾個原因：
代碼開源、插件豐富完善、系統(tǒng)穩(wěn)定
社區(qū)活躍，成功實踐和網(wǎng)上資源較為豐富
安裝配置簡單
web形式的可視化的管理頁面
1. Jenkins是什么
?????Jenkins是一個開源軟件項目，是基于Java開發(fā)的一種持續(xù)集成工具，用于監(jiān)控持續(xù)重復的工作，旨在提供一個開放易用的軟件平臺，使軟件的持續(xù)集成變成可能。
持續(xù)集成：
????持續(xù)集成是一種軟件開發(fā)實踐，即團隊開發(fā)成員經(jīng)常集成他們的工作，通過每個成員每天至少集成一次，也就意味著每天可能會發(fā)生多次集成。每次集成都通過自動化的構(gòu)建（包括編譯，發(fā)布，自動化測試）來驗證，從而盡早地發(fā)現(xiàn)集成錯誤。
2.Jenkins能干什么
????眾所周知，工業(yè)革命解放了人類的雙手，使得人們避免了很多重復性的工作，而Jenkins能幫助開發(fā)測試運維人員解決很多重復性工作，我們可以將一些重復性的工作，寫成腳本，如：代碼提交，執(zhí)行單元測試，程序的編譯、構(gòu)建、發(fā)布等封裝成腳本，由Jenkins替我們定時或按需執(zhí)行。事實上Jenkins的眾多插件就是如此，究其根本就是執(zhí)行一個或多個windows或linux命令來完成我們的需求。
3.Jenkins的一個工作流程
????通過對Jenkins的簡單了解后，對完成自動化發(fā)布有了大致思路，如下圖為Jenkins的一個工作流程
思路已經(jīng)有了，接下來就是針對此流程，一步一步簡單實現(xiàn).NET Web應(yīng)用程序基于Jenkins的自動化部署。
二、Jenkins 安裝
????Jenkins有windows版本也有l(wèi)inux版本，由于我們項目都是基于.net freamwork進行開發(fā)，而jenkins構(gòu)建需要編譯.net程序,為了更方便的編譯，因此選擇安裝windows版本。
1.下載
????可從Jenkins官網(wǎng)https://jenkins.io/download/下載windows安裝包。
2.安裝
????下載完成后，可按照提示進行安裝即可。(windows下傻瓜式安裝，注意Jenkins是java開發(fā)，因此需先安裝對應(yīng)jdk版本)
3.配置
????安裝完成后會自動安裝并啟動一個windows服務(wù)，名為Jenkins，打開瀏覽器localhost:8080(Jenkins默認端口號為8080，如需修改可打開Jenkins安裝目錄找到Jenkins.xml修改其中端口，然后打開服務(wù)重啟Jenkins服務(wù)即可)之后按照提示進行配置即可！配置完成后看到如下界面代表安裝成功!
????整個安裝過程非常簡單，基本上是傻瓜式按照提示操作即可，期間并未遇到問題，基本上10分鐘左右就搞定了！接下來將介紹如何按照上述流程實現(xiàn).NET下Jenkins的持續(xù)集成與自動化部署!
三、通過SVN獲取源代碼
1.安裝插件
?????根據(jù)我們的思路，首先要做的就是獲取到我們的源代碼。由于我們公司使用的源代碼管理工具主要是SVN因此在這里主要介紹SVN的方式方法。根據(jù)度娘的指引，我們需要安裝一個SVN的插件:Subversion Plug-in(如果：安裝Jenkins時選擇的安裝推薦的插件，則Jenkins會直接給安裝上這個插件，無需自己安裝)。
2.項目配置
????安裝插件后，選擇新建一個自由風格的軟件項目，起個名字，進入到項目配置后，找到源代碼管理選項：
主要有以下幾個選項需要配置:
Repository URL:要獲取的SVN的路徑，如:https://127.0.0.1:9666/svn/HS.Mall/SoureCode/Trunk/Test
Credentials:配置SVN用戶名和密碼
Ignore externals:是否忽略SVN外部引用(這個很重要，稍后會用到，關(guān)于SVN外部引用，可自行百度)
Additional Credentials:當你的SVN版本庫使用外部引用關(guān)聯(lián)其它版本庫是這個就很重要了
Realm：填寫SVN服務(wù)器的地址
<https://127.0.0.1:9666> VisualSVN Server //(注意這個格式)Credentials:填寫SVN用戶名和密碼信息
其它一些選項直接按照默認值就可以，關(guān)于每一項的詳細介紹可以點擊后面的小？號查看。
配置完成后點擊保存后，構(gòu)建該項目查看結(jié)果。若能夠?qū)⒃创a更新至Jenkins的工作空間內(nèi)，則代表配置成功!
四、通過MSBuild編譯應(yīng)用程序
1.安裝插件與環(huán)境
?????編譯.NET應(yīng)用程序可通過微軟提供的MSBuild工具，先安裝插件:MSBuild。(注意:Jenkins服務(wù)器需安裝MSBuild，建議在Jenkins上安裝VS開發(fā)工具，可以在構(gòu)建出問題的時候打開VS調(diào)試，省去很多不必要的麻煩)。
2.全局配置
????插件安裝完畢后，進入系統(tǒng)管理->全局工具配置(ConfigureTools)找到MSBuild配置選項:
Name：自己起個名字
Path to MSBuild:MSBuild.exe程序的物理路徑
注意:此處MSBuild.exe必須與程序所使用freamwork版本相對應(yīng)，此處我在這就遇到了一個大坑，一開始隨便找個一個MSBuild工具，沒想到根本編譯不了C#6.0的語法。建議直接指向visual studio安裝目錄內(nèi)的MSBuild.exe,可以避免很多問題。如VS2017在:Program Files (x86)\Microsoft Visual Studio\2017\Enterprise\MSBuild\15.0\Bin路徑內(nèi)。
3.項目配置
?????打開我們之前創(chuàng)建的項目，找到構(gòu)建選項->增加構(gòu)建步驟->Build a Visual Studio project or solution using MSBuild
Name:選擇全局MSBuild配置的名稱
MSBuild Build?File:填寫我們的要構(gòu)建的項目.csproj文件，所相對工作的路徑。如:/Test.csproj
Command Line Arguments:MSBuild的參數(shù)如：/t:Rebuild /P:Configuration=Release /p:VisualStudioVersion=14.0 /p:DeployOnBuild=True;PublishProfile=Test.pubxml
配置完成后，點擊構(gòu)建，查看控制臺信息，如能構(gòu)建成功，則代表我們的配置無誤！
/t:Rebuild 重新生成
/p:Configuration=Release Release 生成模式
/p:VisualStudioVersion=14.0 指定子工具集(VS2015為14.0，2017為15.0)，不設(shè)置會報錯
/p:DeployOnBuild=True;PublishProfile=Test.pubxml 使用 Test.pubxml 發(fā)布文件來發(fā)布項目 .pubxml文件可在VS發(fā)布時配置，位于Properties文件夾內(nèi)。
4.遇到的問題
????原以為按照度娘的一系列解決方案能夠很順利的構(gòu)建，可是在連續(xù)失敗了幾十次之后，才明白遠遠沒有那么簡單。期間主要遇到幾個問題：
MSBuild版本不對導致構(gòu)建不了C#6.0的語法
Jenkins 是講版本庫源代碼更新到自己的工作空間內(nèi)，再執(zhí)行后續(xù)的構(gòu)建工作。我們的程序很不規(guī)范，其中引用了許多不屬于自己版本庫的第三方依賴包，和一些自己開發(fā)的公共庫，當時這些第三方包和公共庫放在我們SVN的另一個版本庫里進行管理，因此在構(gòu)建的時候?qū)е潞芏喑绦蚣也坏揭谩?/span>
關(guān)于問題1:上面已經(jīng)提過，只需要找到對應(yīng)版本即可
而問題2:一開始找了很多資料也沒有找到解決方案，后來還是從源代碼管理上找到了方案。
方案1：
????借鑒Nuget的思想，使用Nuget服務(wù)器管理我們自己開發(fā)的一些公共依賴庫。關(guān)于Nuget管理依賴的文章在另一篇博客里。
方案2:
????就是上面提到的SVN 外部引用，當時也是走投無路，于是瘋狂翻譯Jenkins的這些英文解釋，在翻譯到SVN插件的Ignore externals時，找到了這種方案，就是SVN可以設(shè)置外部引用，這樣在更新版本庫的時候就可以把依賴的版本庫也更新下來，然后Jenkins SVN插件把這個Ignore externals選項去掉，然后在Additional Credentials選項里填上所依賴版本庫的SVN配置，就能夠把這些依賴也更新到SVN工作空間內(nèi)。
????以上兩個問題解決后，基本沒有遇到太難的問題。由此可見我們的源代碼管理的科學、規(guī)范是多么的重要。
幾十次的構(gòu)建失敗，一堆亂七八糟的引用是多么痛的領(lǐng)悟!
五、通過Ftp發(fā)布至應(yīng)用服務(wù)器
????構(gòu)建成功后，Test.pubxml會指定發(fā)布的包的路徑(最好是放到工作空間下)，按照思路，接下來就是要想辦法把發(fā)布包Copy到應(yīng)用服務(wù)器的根目錄下。由于我們的應(yīng)用服務(wù)器都是windows系統(tǒng)，因此不能像linux系統(tǒng)一樣通過ssh遠程Copy過去，當時能想到的就是使用Ftp直接上傳到應(yīng)用服務(wù)器。
1.安裝插件與環(huán)境
????Jenkins 安裝插件Publish Over FTP,應(yīng)用服務(wù)器上需開啟Ftp。
2.全局配置
????系統(tǒng)管理->系統(tǒng)配置下找到Publish over FTP配置項
Name:起個名字，后面項目配置里會用的到
HostName:Ftp主機名(端口號默認21，在高級里面可以改)
Username:Ftp用戶名
Password:Ftp密碼
3.項目配置
????打開我們之前建的項目，找到構(gòu)建后操作->增加構(gòu)建后操作步驟->Send build artifacts over FTP
Name:選擇全局配置里的
Source files:選擇你的發(fā)布包路徑(這里是相對于工作空間的路徑)
Remote directory：放到遠程的哪個路徑里(這里是相對于Ftp根目錄的路徑)
配置完成后，點擊保存，構(gòu)建即可！
六、結(jié)束語
????如上，就基本實現(xiàn)了我們的自動化發(fā)布的需求，這期間從早晨六點開始，差不多中午就完成了，當然也并不像上面介紹的那么簡單，期間也遇到了許多問題，構(gòu)建了大概一百多次，才最終成功了第一次。本文主要介紹實現(xiàn)自動化部署的一種基本的思路，當然還有很多方案可以實現(xiàn)我們的需求，甚至不僅僅局限于Jenkins。而這種方案其中也有許多細節(jié)的地方在文章中沒有提到，如：如何實現(xiàn)自動化的Nunit單元測試，如何定時構(gòu)建......，因為當時我在完成之后也給我的團隊成員提供了一個非常詳細的配置文檔，并且培訓了很多次，但事實證明，講的越詳細越會限制他們自己的主動思考與動手的能力。這也導致了后來我去做其他工作的時候，我們將近一年的時間還是停留在我這半天的研究結(jié)果的層面上，而生產(chǎn)環(huán)境更是遲遲沒有使用。其實思路才是最重要的，有了思路我們就可以通過各種方式來解決我們的問題，還是建議大家注重解決問題的思路，多動手，自己實踐，才能學得更透!關(guān)于.NET 平臺下Jenkins實現(xiàn)持續(xù)集成與自動化部署的落地與實現(xiàn)的問題與討論，可以在文章下留言。
相關(guān)文章：
VSTS + XX云服務(wù)器構(gòu)建netcore+docker持續(xù)集成交付部署
.NET Core 從 Github到 Nuget 持續(xù)集成、部署
ASP.NET Core + Docker + Jenkins + gogs + CentOS 從零開始搭建持續(xù)集成
一步步部署基于Windows系統(tǒng)的Jenkins持續(xù)集成環(huán)境
部署:持續(xù)集成（CI）與持續(xù)交付（CD）——《微服務(wù)設(shè)計》讀書筆記
基于Jenkins快速搭建持續(xù)集成環(huán)境
.Net項目使用持續(xù)集成服務(wù)AppVeyor，Travis-CI實戰(zhàn)
.NET Core微服務(wù)之基于Jenkins+Docker實現(xiàn)持續(xù)部署（Part 1）
.Net Core 自動化部署：使用jenkins部署應(yīng)用
jenkins~集群分發(fā)功能的具體實現(xiàn)
原文地址:https://www.cnblogs.com/hunternet/p/9590287.html
.NET社區(qū)新聞，深度好文，歡迎訪問公眾號文章匯總 http://www.csharpkit.com
總結(jié)
以上是生活随笔為你收集整理的半天搭建你的Jenkins持续集成与自动化部署系统的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Steeltoe之Config客户端篇
- 下一篇： Microsoft Tech Summi