日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

属于服务器端运行的程序_生信分析云平台产品开发 - 5 生信分析pipeline服务器端运行...

發布時間:2024/7/23 编程问答 40 豆豆
生活随笔 收集整理的這篇文章主要介紹了 属于服务器端运行的程序_生信分析云平台产品开发 - 5 生信分析pipeline服务器端运行... 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

在上文 [生信分析云平臺產品開發 - 4 生信分析pipeline的圖形化] 討論了生信分析pipeline的圖形化,如何用圖形的方式顯示生信pipeline,但是pipeline腳本按照變量的形式保存之后,如何運行,在什么環境下運行?是本文要解決的問題。

運行方式:本地 VS 遠程

1. 本地模式:

  • 優勢:容易實現,運行效率高,不依賴網絡
  • 劣勢:限制了軟件的適用范圍,本機性能就決定了分析性能,不易擴展,限于運算量較低的業務。

2. 遠程模式:

  • 優勢:便于擴展,部署方便。本程序作為控制端,可以和分析端部署在一臺機器,也可以通過聯網方式連接。這樣就可以把控制端單獨部署,控制一個服務器集合>從單臺到簡單的集群
  • 劣勢:增加了編程復雜度;需要編程實現與服務器端的交互,并保持長連接,時刻保持通信。分析過程狀態、服務器運行狀態,需要由服務器端推送到用戶端。

綜合考慮,結合軟件設計目標,這里選擇遠程模式

運行服務器節點:

  • 服務器節點信息:
  • 經常手動分析腳本的朋友大家的習慣可能是,ssh遠程登錄Linux服務器,在shell控制臺輸入各種腳本,軟件。這里首先要解決的就是服務器信息的保存,操作。根據日常習慣歸納實現后,上圖:
    • 首先這里實現了,服務器賬戶信息的管理,賬戶、主機名、端口、密鑰、密碼,這些信息為了保證安全,需要二次加密,不能將密碼明文保存在數據庫中,一旦泄漏危害巨大
    • 針對分析流程,按照約定定義了兩個變量:${data}數據輸入目錄,${result}輸出目錄
    • 考慮到并行運算,這里設置了該賬戶可以并行運行的任務數量,已經連續運行任務的最小時間間隔。
    • 前文中,針對pipeline里的變量,每個服務器賬戶對應一組變量,彼此獨立,互相隔離。
    • 針對服務器狀態,提供狀態按鈕來驗證是否符合要求。網絡狀態、變量值是否符合要求
    • Web終端應急操作,可以點擊終端按鈕直接打開shell,手動操作,見下圖:

    運行的方式:

    之前系統設計時所做的準備:

  • 通過圖形化設計之后獲得的pipeline腳本
  • 對應于服務器賬戶信息中的變量
  • 錄入系統的樣本信息:樣本編號,${sn} Run ID ${id}等等
  • 通過將保存的shell腳本,將腳本變量用以上信息替換為實際需要運行的腳本,通過遠程連接發送指令在服務器上運行

    運行的過程:狀態監控,結果的判斷

  • 發送完腳本,服務器端運行狀態需要和控制端保持連接,監控運行狀態,獲取運行輸出。
  • 運行完成后服務器端推送信息到控制端,判斷是否符合要求,輸出文件是否存在
  • 運行失敗后服務器端推送信息到控制端,顯示錯誤信息,錯誤日志,便于生信開發人員查找錯誤
  • 統計每一個分析步驟的運行時間,便于統計分析
  • 運行的結果:

  • 如果需要獲取分析結果文件的,這時候需要將該文件下載至本系統指定目錄中。
  • 如果需要將分析結果vcf,csv等格式文件保存于數據庫,按照前文中,pipeline圖形化中設計格式,讀取文件保存于系統數據庫中。
  • 收集標準化的數據,累積數據,為以后數據挖掘,回歸分析做好準備
  • 總結

    以上是生活随笔為你收集整理的属于服务器端运行的程序_生信分析云平台产品开发 - 5 生信分析pipeline服务器端运行...的全部內容,希望文章能夠幫你解決所遇到的問題。

    如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。