王玲玲，勞保強(qiáng)，陸揚(yáng)，伍筱聰，郭紹光

中國科學(xué)院上海天文臺，上海 200030

摘要：針對平方公里陣列（SKA）望遠(yuǎn)鏡數(shù)據(jù)中心海量數(shù)據(jù)存儲和管理的要求，結(jié)合當(dāng)前云計算和大數(shù)據(jù)技術(shù)的發(fā)展趨勢，對SKA數(shù)據(jù)中心的云平臺方案進(jìn)行了研究。調(diào)研了有關(guān)業(yè)界的發(fā)展?fàn)顩r，對建設(shè)數(shù)據(jù)中心“私有云”進(jìn)行了前期的一系列嘗試，將具體的天文處理軟件部署到云平臺并進(jìn)行初步測試。

關(guān)鍵詞：平方公里陣列；云計算；數(shù)據(jù)中心；私有云

中圖分類號：TP391 ? ? ? ? ?文獻(xiàn)標(biāo)識碼：A?

doi: 10.11959/j.issn.2096-0271.2016068

Conceptual research of the cloud platform?scheme for SKA data centres

WANG Lingling, LAO Baoqiang, LU Yang, WU Xiaocong, GUO Shaoguang

Shanghai Astronomical Observatory, Chinese Academy of Sciences, Shanghai 200030, China

Abstract:?The cloud platform concept of the datacenter of the square kilometre array (SKA) was investigated, aiming at the bigdata storage and management requirements of the data centres of SKA. Based onsome research of the industry development, the preliminary tests of theconstruction of data center "private cloud" were presented here,including a specific astronomical processing software deployment and operationin the cloud platform.

Key words:?square kilometre array, cloud computing,data center, private cloud

---

論文引用格式：王玲玲，勞保強(qiáng)，陸揚(yáng)，等.?SKA數(shù)據(jù)中心云平臺方案的概念性研究[J]. 大數(shù)據(jù), 2016, 2(6): 75-82.

WANG L L, LAO B Q, LU Y, et al. Conceptual research of the cloud platform scheme for SKA data centres[J]. Big Data Research,?2016, 2(6): 75-82.

---

1? 引言

平方公里陣列（square kilometer array，SKA）望遠(yuǎn)鏡項目是國際天文界自20世紀(jì)90年代就開始計劃建造的超級望遠(yuǎn)鏡，平方公里是指望遠(yuǎn)鏡陣列的綜合接收面積可達(dá)一平方公里，整個望遠(yuǎn)鏡最終將由近3 000個拋物面天線和上百萬個螺旋陣子天線組成 ^[1，2]。SKA項目涉及除了天文之外的眾多領(lǐng)域，集成了各領(lǐng)域的最高科技成果，這需要非常廣泛的國際合作才能實現(xiàn)，歷經(jīng)多年的多番論證和談判，目前確定的主要參加國包括英國、澳大利亞、南非、中國、意大利、荷蘭、新西蘭、瑞典、加拿大等，還有更多國家和地區(qū)在關(guān)注或洽談中。項目計劃從2018年開始建設(shè)，到2030年結(jié)束，共分兩個階段進(jìn)行，即所謂的SKA1（2018—2023年）和SKA2（2024—2030年），屆時將分別在南非和澳大利亞兩個站址國建設(shè)數(shù)據(jù)處理中心。

2? 面臨的挑戰(zhàn)

2.1? 大數(shù)據(jù)量

SKA的數(shù)據(jù)量可以說是驚人的，僅在SKA1階段，需要長期存檔的科學(xué)數(shù)據(jù)就將每年增加50~300 PB，到了SKA2階段，這個數(shù)字將提高100倍，龐大的數(shù)據(jù)量和預(yù)算的限制決定了所有數(shù)據(jù)都由站址國數(shù)據(jù)處理中心分析處理是不可能的，還需要在其他國家或地區(qū)建設(shè)區(qū)域數(shù)據(jù)中心來進(jìn)行相應(yīng)的數(shù)據(jù)處理，并更好地為區(qū)域內(nèi)科學(xué)家開展科學(xué)研究提供必要的計算和存儲資源，為此，SKA總部已明確提出了建設(shè)區(qū)域中心的要求，并組建了協(xié)調(diào)小組負(fù)責(zé)區(qū)域中心的頂層設(shè)計。區(qū)域數(shù)據(jù)中心的數(shù)據(jù)處理量或許會少于站址國數(shù)據(jù)處理中心，但在量級上是相當(dāng)?shù)?#xff0c;具體的規(guī)模和設(shè)計取決于各承建國的預(yù)算、需求和能力。

SKA數(shù)據(jù)中心是一個共享的平臺，需要承擔(dān)科學(xué)分析、數(shù)據(jù)存儲和備份的任務(wù)，需要為科學(xué)家提供便捷、高效的數(shù)據(jù)處理和分析的服務(wù)，按照SKA的數(shù)據(jù)量和實時處理要求，這勢必要依賴超級計算機(jī)的支持，但若是按照現(xiàn)有架構(gòu)設(shè)計，不僅投資巨大，光是設(shè)備運轉(zhuǎn)的電費成本都將是一個天文數(shù)字。因此，設(shè)計低能耗、低成本、更先進(jìn)的計算架構(gòu)是SKA數(shù)據(jù)中心建設(shè)迫切需要解決的一大難題。

2.2? 高性能計算和云計算

高性能計算向來是密集型科學(xué)計算的首選，多采用昂貴的服務(wù)器和頂尖的硬件配置來實現(xiàn)，這其中最著名的當(dāng)屬連續(xù)6年位居世界第一的“天河二號”。然而，如前所述，這些超級計算機(jī)的建設(shè)和運營成本太高，若要達(dá)到SKA的數(shù)據(jù)存儲和實時處理要求，需要的造價要遠(yuǎn)遠(yuǎn)超出預(yù)算。

近幾年來，云計算已經(jīng)越來越得到業(yè)界青睞，以“亞馬遜云”為代表的一大批云服務(wù)已向公眾開放，企業(yè)用戶紛紛向各種“云”靠攏，各種云計算技術(shù)層出不窮，可以說云計算正以一種“不可替代”“不可阻擋”的趨勢發(fā)展。云計算的本質(zhì)就是將眾多普通計算機(jī)通過網(wǎng)絡(luò)連接，共同解決大數(shù)據(jù)量的計算問題，是一種較低成本的、可擴(kuò)展的計算架構(gòu)。

事實上，國際同行已經(jīng)分別對云、超算和集群3 種平臺下的軟件運行進(jìn)行了性能測試，結(jié)果表明云計算的表現(xiàn)還是很樂觀的，尤其在針對不同的計算實現(xiàn)靈活調(diào)配硬件資源方面具有明顯的領(lǐng)先優(yōu)勢^[3]。

針對SKA的實際情況和高性能計算、云計算的各自優(yōu)勢，筆者認(rèn)為高性能計算和云計算兩者的融合將很可能是一種值得探討的方案。在本文中，筆者將對若干云平臺進(jìn)行一些嘗試，包括將天文數(shù)據(jù)處理軟件部署在云平臺上運行。

2.3? 天文數(shù)據(jù)處理軟件的瓶頸

幾十年的天文科學(xué)發(fā)展，產(chǎn)生了眾多的天文數(shù)據(jù)處理軟件，甚至針對某些同一類的科學(xué)觀測內(nèi)容，也會有多種軟件可供科學(xué)家選擇，鑒于SKA項目的復(fù)雜性和長期性，將考慮采用現(xiàn)有的主流射電天文數(shù)據(jù)處理軟件，繼承其主要架構(gòu)和庫并針對SKA的數(shù)據(jù)特點進(jìn)行修改更新。其中，大型天文數(shù)據(jù)處理軟件普通天文軟件應(yīng)用（common astronomy software applications，CASA）是目前SKA采用的 數(shù) 據(jù) 分析軟件，它是以美國國家 射電天文臺（national radio astronomical observatory，NRAO）為首的眾多國際天文界的科學(xué)家共同開發(fā)完成，CASA不但可以處理干涉陣的數(shù)據(jù)，也可以進(jìn)行單天線數(shù)據(jù)的處理，目前已廣泛應(yīng)用于射電天文界。然而，CASA的原初設(shè)計并沒有考慮到PB量級的大數(shù)據(jù)，因此它是基于單點串行的，并不能很好地支持并行，這一點局限了CASA在未來大規(guī)模天文數(shù)據(jù)處理中的使用。為了解決這一難題，國際同行已在其數(shù)據(jù)I/O接口的改造方面做了很重要的工作，在一定程度上提升了數(shù)據(jù)讀寫速度^[4]。

筆者以CASA為例，將其部署到云平臺上運行，研究在云平臺上提高CASA性能的方法。

3? 云平臺的選擇

云計算的種類很多，根據(jù)數(shù)據(jù)公開的程度可以分為公有云、私有云、混合云；而從技術(shù)角度或者服務(wù)層面又可以分為基礎(chǔ)設(shè)施即服務(wù)（infrastructure as a service，IaaS）、平臺即服務(wù)（platform as a service，PaaS）和軟件即服務(wù)（software as a service，SaaS）。用戶有兩種選擇：使用成熟的公有云服務(wù)或是自己搭建私有云。筆者選取了其中有代表性的產(chǎn)品逐一進(jìn)行了嘗試。

3.1? 公有云

在公有云領(lǐng)域，亞馬遜云、Microsoft Azure、阿里云等都是業(yè)內(nèi)著名產(chǎn)品，廠商提供服務(wù)，用戶租用所需資源或部署應(yīng)用、開發(fā)產(chǎn)品，用戶不需關(guān)心底層運維的一切事務(wù)，可大大節(jié)省精力去關(guān)注產(chǎn)品或應(yīng)用本身。這種云都具有復(fù)雜的計費系統(tǒng)，根據(jù)用戶使用資源的大小、數(shù)量、時長等進(jìn)行收費，或者有若干免費項目可供用戶試用。筆者在亞馬遜云上進(jìn)行了嘗試，注冊后登錄，選擇區(qū)域（需要注意的是每個區(qū)域能夠提供的服務(wù)會有些許差別），在控制頁面可以直觀地看到眾多服務(wù)，可以看出，亞馬遜云雖然是國際上IaaS市場用戶占有率最大的廠商，但是它的服務(wù)范圍并不限于IaaS的資源，還提供了很多PaaS及SaaS的服務(wù)和工具可供選擇，這些大大提升了用戶體驗。

這里主要關(guān)注其中的亞馬遜彈性計算云（Amazon elastic compute cloud， EC2）服務(wù)，該服務(wù)提供在云中可調(diào)整大小的計算容量，即可以提供任意大小的虛擬服務(wù)器。使用時，首先，啟動一個實例，也就是啟動一個虛擬服務(wù)器，選擇一個鏡像，按照提示一步步配置，創(chuàng)建密鑰對并下載，完成。點擊查看實例可以看到新啟動的實例的詳細(xì)信息，使用安全外殼協(xié)議（secure shell protocol, SSH）連接實例（連接需要驗證之前創(chuàng)建的密鑰對）進(jìn)行操作。

由于亞馬遜云并沒有在中國建立數(shù)據(jù)中心，筆者測試時使用的區(qū)域是美國東部（美國弗吉尼亞州北部），所以連接實例時有時會產(chǎn)生命令延遲的感覺，即使嘗試亞太區(qū)域（日本東京）也沒有明顯提高。

3.2? 私有云

“私有云”顧名思義就是可供一定范圍內(nèi)的用戶使用的專有云，用戶自己擁有基礎(chǔ)設(shè)施，自行安裝專用的軟件，同時也需自行控制網(wǎng)絡(luò)和數(shù)據(jù)的安全性?；A(chǔ)設(shè)施架構(gòu)的選擇有VMware和OpenStack等，其中后者是開源的，鑒于研究經(jīng)費限制，這里重點關(guān)注后者。

OpenStack由美國國家航空航天局（National Aeronautics and Space Administration，NASA）和Rackspace （全球三大云計算中心之一）共同發(fā)起，是如今最流行的大型開源項目，是全球開發(fā)人員的合作成果，旨在提供標(biāo)準(zhǔn)的公有云和私有云的云計算平臺，背后有著活躍的開發(fā)者社區(qū)和一些業(yè)界最大企業(yè)的支持，其社區(qū)是全世界增長最快的開源社區(qū)之一，目前已有59 583人，涉及612個企業(yè)、 184個國家和地區(qū)，共產(chǎn)生了超過2 000萬行代碼。

OpenStack本質(zhì)是一個云操作系統(tǒng)，控制整個數(shù)據(jù)中心的大量計算、存儲和網(wǎng)絡(luò)資源，所有這些都通過儀表盤管理，管理員授權(quán)用戶通過Web界面或者應(yīng)用程序編程接口（application programming interface，API）訪問資源，在這一點上，所有的基礎(chǔ)設(shè)施架構(gòu)都差不多。

再進(jìn)一步細(xì)分，OpenStack由多個針對不同用途的項目組成，比如針對計算、塊存儲、對象存儲、鏡像、網(wǎng)絡(luò)、認(rèn)證等服務(wù)，分別稱為NOVA、CINDER、SWIFT、 GLANCE、NEUTRON、KEYSTONE等，這些稱之為核心服務(wù)，用戶可以根據(jù)需求選擇安裝與否。

4? 測試

本節(jié)重點介紹OpenStack私有云的搭建和CASA軟件在其中運行的體驗過程。

4.1? 安裝OpenStack

OpenStack的安裝方法有多種，第一種是直接下載源代碼安裝。按照文檔介紹一步步配置網(wǎng)絡(luò)，安裝各組件，這是最直接的一種安裝方式，但是這對于初學(xué)者來說太過復(fù)雜，門檻較高。尤其是OpenStack的網(wǎng)絡(luò)很復(fù)雜，標(biāo)準(zhǔn)的配置有4個不同的網(wǎng)絡(luò)層：管理網(wǎng)絡(luò)、數(shù)據(jù)網(wǎng)絡(luò)、外部公共網(wǎng)絡(luò)和API網(wǎng)絡(luò)，安裝人員必須對網(wǎng)絡(luò)尤其是虛擬網(wǎng)絡(luò)技術(shù)有很深刻的理解，并且需在進(jìn)行一定的規(guī)劃和設(shè)計之后才能進(jìn)行，否則就需要全部重新開始。

第 二 種 方 法 是官 網(wǎng) 推 薦 的 使 用DevStack快速安裝。DevStack是一系列腳本，可以幫助用戶在單機(jī)上很快速地安裝完整的OpenStack實驗環(huán)境，整個安裝過程非常簡單，筆者測試用的計算機(jī)的操作系統(tǒng)是Ubuntu14.04，按照說明逐步進(jìn)行操作，具體如圖1所示。

圖1 ?DevStack安裝示意

第三種安裝方法是利用業(yè)內(nèi)廠商集成的軟件來安裝。眾多專注于OpenStack的企業(yè)提供了各具特色的集成服務(wù)，比如IBM、CISCO、RedHat、Mirantis、九州云、海云捷迅、EasyStack、UnitedStack等。這幾家廠商的產(chǎn)品各有側(cè)重，最終，筆者選用了業(yè)內(nèi)普遍好評的Mirantis公司的Fuel工具來試用。

Fuel是專門用于部署和管理OpenStack的實用工具，部署過程中可以任意選擇OpenStack版本或是其他第三方插件，并實時查看部署狀態(tài)，部署完成后可以隨時進(jìn)行維護(hù)或擴(kuò)展自己的云。另外，Fuel還可以輕松實現(xiàn)部署并管理多個云，所有這些操作均通過Web界面進(jìn)行，用戶體驗好。

筆者的測試在一臺運行Windows7系統(tǒng)的筆記本上進(jìn)行，使用VirtualBox工具生成多個虛擬機(jī)進(jìn)行安裝。詳細(xì)過程如圖2所示，過程中全部選用默認(rèn)設(shè)置。

圖2 ?使用Fuel安裝OpenStack示意?

4.2? 安裝CASA軟件并測試運行

目前CASA的最新版本是v4.7.0，筆者測試時用的版本是v4.5.3，因為創(chuàng)建的實例是Ubuntu系統(tǒng)，所以按照推薦，選擇了其中的Red Hat 6版本，安裝過程跟本地安裝完全相同。

CASA軟件的數(shù)據(jù)處理過程由很多任務(wù)和工具組成，用戶可根據(jù)數(shù)據(jù)情況選擇使用，主要的任務(wù)包括Manipulation、 Calibration及Imaging等。

實 際 測 試 過 程 選 用了一段 大 小為596 MB的數(shù)據(jù)，數(shù)據(jù)來自坐落于智利的阿塔卡瑪毫米/亞毫米波陣列(atacama large millimeter/submillimeter array， ALMA)望遠(yuǎn)鏡，觀測時間近2 h，已經(jīng)過校準(zhǔn)。創(chuàng)建存儲卷并掛載到該實例，運行CASA執(zhí)行clean（清除）任務(wù)，運行過程跟在本地執(zhí)行任務(wù)相同。

然后，將此實例制作映像，以此為準(zhǔn)再次創(chuàng)建并啟動5個實例，分別運行split（拆分）及clean任務(wù)，其中split任務(wù)以數(shù)據(jù)的每個field （區(qū)域）為范圍進(jìn)行，中間數(shù)據(jù)及結(jié)果數(shù)據(jù)復(fù)制到存儲卷備用。具體測試流程如圖3所示。

圖3 ?啟動5個實例同時開始處理數(shù)據(jù)

測試過程中各實例各任務(wù)執(zhí)行所花費的時間統(tǒng)計如圖4所示，因為5個實例同時運行，所以其中耗時最多的實例所用時間可視為整個任務(wù)的執(zhí)行時間，顯而易見，其中實例4總用時最多，達(dá)79.38 s，而同樣的數(shù)據(jù)若由一臺主機(jī)來處理，各任務(wù)加起來則需用時180.5 s，所以，云平臺的處理速度優(yōu)勢很明顯。

圖4 ?執(zhí)行各個任務(wù)所花費的時間

仔細(xì)分析可發(fā)現(xiàn)，在各個實例的任務(wù)執(zhí)行過程中，耗時最多的任務(wù)是數(shù)據(jù)復(fù)制，即數(shù)據(jù)從實例復(fù)制到公用存儲卷所花費的時間最多。不過，隨著數(shù)據(jù)的增長，數(shù)據(jù)I/O口對整個數(shù)據(jù)處理時間的影響會大大削弱（如圖5、圖6所示）。

圖5 ?數(shù)據(jù)容量與復(fù)制時間示意

圖6 ?數(shù)據(jù)容量與復(fù)制時間示意（與原始數(shù)據(jù)比較）

4.3?? 討論

上述測試中，創(chuàng)建和運行的實例是通過儀表盤Web 應(yīng)用程序來手動執(zhí)行的，如果希望實現(xiàn)自動化運行應(yīng)用，則需要編寫自動化腳本，而由于所有 OpenStack 服務(wù)都公開了原生的Python API綁定，所以用戶只要安裝OpenStack客戶端就可以進(jìn)行自動化配置及操作。具體使用方法是先安裝相應(yīng)服務(wù)的工具，比如若要使用計算服務(wù)，則先安裝novaclient，若要啟動一個實例，則只需一條指令。

上述只是一個演示性測試，若真正用于天文數(shù)據(jù)處理，還有很多細(xì)節(jié)問題需要考慮，以目前的結(jié)果來看，效果已經(jīng)很顯著，可以說，云平臺方案對于天文數(shù)據(jù)中心的應(yīng)用前景是樂觀的。同時，云平臺的建設(shè)并不需要特別昂貴的基礎(chǔ)設(shè)施成本投入，這對于一個數(shù)據(jù)中心的建設(shè)來說無疑是個很大的優(yōu)勢。

另外，值得注意的是，由于將來要處理的數(shù)據(jù)是海量的，所以在實際運行中需將數(shù)據(jù)盡量小地分割，盡量降低單個實例上運行的數(shù)據(jù)量，最后再將數(shù)據(jù)整合。根據(jù)天文數(shù)據(jù)的特點，可以按照頻率、通道或時間來切分。具體實施需要繼續(xù)測試，如圖7所示。

圖7 ?啟動批量實例協(xié)同處理數(shù)據(jù)示意

分割的過程中，需注意數(shù)據(jù)分割的粒度問題，即仔細(xì)分析每種實例一次處理多大的數(shù)據(jù)是最優(yōu)化的，依此來確定在開始時需將數(shù)據(jù)分割成多大。另一個很重要的問題是資源調(diào)度，實際運行中每個實例的處理速度不完全相同，如何給實例分配資源、創(chuàng)建啟動的順序從而實現(xiàn)協(xié)同處理，也是需要仔細(xì)研究的課題。

5? 結(jié)束語

由于資源的限制，本次原理性驗證實驗只是構(gòu)建了一個最基本配置的測試平臺，節(jié)點少，配置低，使用的測試數(shù)據(jù)量也不太大，目前的工作只是萬里長征的第一步，進(jìn)一步的大規(guī)模性能測試需要擴(kuò)展云平臺的資源后進(jìn)行。在后續(xù)研究中，將綜合比較云平臺與超算平臺下軟件的執(zhí)行效率等性能，詳細(xì)研究SKA數(shù)據(jù)中心的建設(shè)方案。

參考文獻(xiàn):

[1]??? ?DEWDNEY P E, HALL P J, SCHILLIZZI R T, et al. The square kilometre array[J]. Proceedings of the IEEE, 2009(97): 1482-1496.

[2]?? ?彭勃, 金乘進(jìn), 杜彪, 等. 持續(xù)參與世界最大綜合孔徑望遠(yuǎn)鏡SKA國際合作[J]. 中國科學(xué): 物理學(xué)力學(xué)天文學(xué), 2012, 42(12): 1292-1307.

PENG B, JIN C J, DU B, et al. China's participation in the SKA-the world's largest synthesis radio telescope[J ]. Scientia Sinica: Physica, Mechanica & Astronmica, 2012, 42(12): 1292-1307.

[3]?? DODSON R, VINSEN K, WU C, et al. Imaging SKA-scale data in three different computing environments[J ]. Physics, 2015(14): 8-22.

[4] ? WANG R, HARRIS C, WICENEC A. AdiosStMan: parallelizing casacore table data system using adaptive IO system[J]. Astronomy and Computing, 2016(16): 146-154.

基金項目：中國科學(xué)院天文財政專項“SKA1科學(xué)與數(shù)據(jù)中心概念性研究”基金資助項目

Foundation Item: Conceptual Studies of the SKA-1 Science and Data Centre, Special Funding for Astronomy of the Chinese Academy of Sciences

王玲玲（1978-），女，中國科學(xué)院上海天文臺高級工程師，主要研究方向為射電望遠(yuǎn)鏡臺站監(jiān)控、臺站時頻系統(tǒng)、天文大數(shù)據(jù)存儲和云計算等。

勞保強(qiáng)（1989-），男，中國科學(xué)院上海天文臺助理工程師，主要研究方向為存儲底層I/O并行技術(shù)和數(shù)字波束形成技術(shù)。

陸揚(yáng)（1985-），女，中國科學(xué)院上海天文臺助理工程師，主要研究方向為天文與統(tǒng)計。

伍筱聰（1989-），女，中國科學(xué)院上海天文臺助理工程師，主要研究方向為SKA數(shù)據(jù)處理。

郭紹光（1985-），男，中國科學(xué)院上海天文臺工程師，主要研究方向為VLBI技術(shù)、相關(guān)處理及終端存儲。

總結(jié)

以上是生活随笔為你收集整理的【2016年第6期】SKA数据中心云平台方案的概念性研究的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。