在上文 [生信分析云平臺產(chǎn)品開發(fā) - 4 生信分析pipeline的圖形化] 討論了生信分析pipeline的圖形化，如何用圖形的方式顯示生信pipeline，但是pipeline腳本按照變量的形式保存之后，如何運(yùn)行，在什么環(huán)境下運(yùn)行？是本文要解決的問題。

運(yùn)行方式：本地 VS 遠(yuǎn)程

1. 本地模式：

• 優(yōu)勢：容易實(shí)現(xiàn)，運(yùn)行效率高，不依賴網(wǎng)絡(luò)
• 劣勢：限制了軟件的適用范圍，本機(jī)性能就決定了分析性能，不易擴(kuò)展，限于運(yùn)算量較低的業(yè)務(wù)。

2. 遠(yuǎn)程模式：

• 優(yōu)勢：便于擴(kuò)展，部署方便。本程序作為控制端，可以和分析端部署在一臺機(jī)器，也可以通過聯(lián)網(wǎng)方式連接。這樣就可以把控制端單獨(dú)部署，控制一個服務(wù)器集合>從單臺到簡單的集群
• 劣勢：增加了編程復(fù)雜度；需要編程實(shí)現(xiàn)與服務(wù)器端的交互，并保持長連接，時刻保持通信。分析過程狀態(tài)、服務(wù)器運(yùn)行狀態(tài)，需要由服務(wù)器端推送到用戶端。

綜合考慮，結(jié)合軟件設(shè)計目標(biāo)，這里選擇遠(yuǎn)程模式

運(yùn)行服務(wù)器節(jié)點(diǎn)：

服務(wù)器節(jié)點(diǎn)信息：

經(jīng)常手動分析腳本的朋友大家的習(xí)慣可能是，ssh遠(yuǎn)程登錄Linux服務(wù)器，在shell控制臺輸入各種腳本，軟件。這里首先要解決的就是服務(wù)器信息的保存，操作。根據(jù)日常習(xí)慣歸納實(shí)現(xiàn)后，上圖：

• 首先這里實(shí)現(xiàn)了，服務(wù)器賬戶信息的管理，賬戶、主機(jī)名、端口、密鑰、密碼，這些信息為了保證安全，需要二次加密，不能將密碼明文保存在數(shù)據(jù)庫中，一旦泄漏危害巨大

• 針對分析流程，按照約定定義了兩個變量：${data}數(shù)據(jù)輸入目錄，${result}輸出目錄
• 考慮到并行運(yùn)算，這里設(shè)置了該賬戶可以并行運(yùn)行的任務(wù)數(shù)量，已經(jīng)連續(xù)運(yùn)行任務(wù)的最小時間間隔。
• 前文中，針對pipeline里的變量，每個服務(wù)器賬戶對應(yīng)一組變量，彼此獨(dú)立，互相隔離。
• 針對服務(wù)器狀態(tài)，提供狀態(tài)按鈕來驗(yàn)證是否符合要求。網(wǎng)絡(luò)狀態(tài)、變量值是否符合要求
• Web終端應(yīng)急操作，可以點(diǎn)擊終端按鈕直接打開shell，手動操作，見下圖:

運(yùn)行的方式：

之前系統(tǒng)設(shè)計時所做的準(zhǔn)備：

通過圖形化設(shè)計之后獲得的pipeline腳本

對應(yīng)于服務(wù)器賬戶信息中的變量

錄入系統(tǒng)的樣本信息：樣本編號，${sn} Run ID ${id}等等

通過將保存的shell腳本，將腳本變量用以上信息替換為實(shí)際需要運(yùn)行的腳本，通過遠(yuǎn)程連接發(fā)送指令在服務(wù)器上運(yùn)行

運(yùn)行的過程：狀態(tài)監(jiān)控，結(jié)果的判斷

發(fā)送完腳本，服務(wù)器端運(yùn)行狀態(tài)需要和控制端保持連接，監(jiān)控運(yùn)行狀態(tài)，獲取運(yùn)行輸出。

運(yùn)行完成后服務(wù)器端推送信息到控制端，判斷是否符合要求，輸出文件是否存在

運(yùn)行失敗后服務(wù)器端推送信息到控制端，顯示錯誤信息，錯誤日志，便于生信開發(fā)人員查找錯誤

統(tǒng)計每一個分析步驟的運(yùn)行時間，便于統(tǒng)計分析

運(yùn)行的結(jié)果：

如果需要獲取分析結(jié)果文件的，這時候需要將該文件下載至本系統(tǒng)指定目錄中。

如果需要將分析結(jié)果vcf，csv等格式文件保存于數(shù)據(jù)庫，按照前文中，pipeline圖形化中設(shè)計格式，讀取文件保存于系統(tǒng)數(shù)據(jù)庫中。

收集標(biāo)準(zhǔn)化的數(shù)據(jù)，累積數(shù)據(jù)，為以后數(shù)據(jù)挖掘，回歸分析做好準(zhǔn)備

總結(jié)

以上是生活随笔為你收集整理的属于服务器端运行的程序_生信分析云平台产品开发 - 5 生信分析pipeline服务器端运行...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。