銀聯(lián)基于OpenStack的金融私有云建設(shè)實(shí)踐

發(fā)表于2015-10-06 17:17| 1390次閱讀| 來源CSDN| 1 條評論| 作者中國銀聯(lián) 祖立軍

OpenStackSaaS銀聯(lián)金融私有云云計(jì)算 width="22" height="16" src="http://hits.sinajs.cn/A1/weiboshare.html?url=http%3A%2F%2Fwww.csdn.net%2Farticle%2F2015-10-06%2F2825848&type=3&count=&appkey=&title=%E4%B8%AD%E5%9B%BD%E9%93%B6%E8%81%94%E5%9F%BA%E4%BA%8EOpenStack%E7%9A%84%E7%A7%81%E6%9C%89%E4%BA%91%E5%B7%B2%E7%BB%8F%E7%A8%B3%E5%AE%9A%E8%BF%90%E8%A1%8C1000%E5%A4%9A%E5%A4%A9%EF%BC%8C%E7%B4%AF%E8%AE%A111960vCPU%E3%80%8133280G%E5%86%85%E5%AD%98%E5%92%8C600TB%E4%BC%81%E4%B8%9A%E7%BA%A7%E5%AD%98%E5%82%A8%E8%AE%A1%E7%AE%97%E5%8A%9B%EF%BC%8C%E5%88%9D%E6%AD%A5%E5%BB%BA%E6%88%90%E4%BA%86%E5%8C%85%E6%8B%AC%E4%BA%91%E8%B5%84%E6%BA%90%E7%AE%A1%E7%90%86%E5%B9%B3%E5%8F%B0%E3%80%81%E4%BA%91%E9%9B%86%E6%88%90%E5%BC%80%E5%8F%91%E5%B9%B3%E5%8F%B0%E3%80%81%E6%99%BA%E8%83%BD%E6%94%AF%E4%BB%98%E7%BB%88%E7%AB%AF%E5%B9%B3%E5%8F%B0%E7%AD%89%E5%9C%A8%E5%86%85%E7%9A%84%E4%BA%91%E8%AE%A1%E7%AE%97%E5%9F%BA%E7%A1%80%E5%B9%B3%E5%8F%B0%E5%92%8C%E5%BA%94%E7%94%A8%E5%B9%B3%E5%8F%B0%E3%80%82&pic=&ralateUid=&language=zh_cn&rnd=1444226512071" frameborder="0" scrolling="no" allowtransparency="true">摘要：中國銀聯(lián)基于OpenStack的私有云已經(jīng)穩(wěn)定運(yùn)行1000多天，累計(jì)11960vCPU、33280G內(nèi)存和600TB企業(yè)級存儲(chǔ)計(jì)算力，初步建成了包括云資源管理平臺(tái)、云集成開發(fā)平臺(tái)、智能支付終端平臺(tái)等在內(nèi)的云計(jì)算基礎(chǔ)平臺(tái)和應(yīng)用平臺(tái)。

【編者按】已經(jīng)5歲的OpenStack已經(jīng)成為極富生命力的框架。其簡化云部署、構(gòu)建應(yīng)用和服務(wù)、可擴(kuò)展性、可管理性等方面都有不俗表現(xiàn)。CSDN于4月舉辦的OCC（OpenClud2015）的2015OpenStack技術(shù)大會(huì)中，我們對包含核心、集成發(fā)布、孵化、外圍在內(nèi)多個(gè)項(xiàng)目的生態(tài)環(huán)境進(jìn)行了分析，并力邀數(shù)位技術(shù)專家分享了深度實(shí)踐案例。而在業(yè)內(nèi)耳熟能詳?shù)腜ayPal、沃爾瑪、攜程、去哪兒網(wǎng)、金山、小米等案例之外，國內(nèi)金融行業(yè)在OpenStack方面的實(shí)踐也已走在前列。下文為CSDN特別向中國銀聯(lián)股份有限公司/電子商務(wù)與電子支付國家工程實(shí)驗(yàn)室祖立軍的約稿。其私有云規(guī)模已達(dá)1000多臺(tái)，負(fù)責(zé)關(guān)鍵生產(chǎn)應(yīng)用。

以下為正文：

---

一、銀聯(lián)金融私有云建設(shè)情況

（一）前言

隨著中國移動(dòng)互聯(lián)網(wǎng)進(jìn)入實(shí)質(zhì)性的增長期，各種移動(dòng)互聯(lián)網(wǎng)設(shè)備大量涌現(xiàn)，強(qiáng)烈要求云計(jì)算應(yīng)用的支持，實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)同步、 異地存取的自由，這一切凸顯了云計(jì)算的重要性與急迫性。通過對云計(jì)算典型案例進(jìn)行剖析，我們認(rèn)為云計(jì)算是企業(yè)級IT技術(shù)發(fā)展到高級階段的必然產(chǎn)物。云計(jì)算天生是面向“服務(wù)”的，和“應(yīng)用”需緊密結(jié)合。因此其對于行業(yè)發(fā)展，尤其對于高度依賴IT信息技術(shù)的銀行卡產(chǎn)業(yè)具有顯著的推動(dòng)作用。

中國銀聯(lián)在2009年正式啟動(dòng)云計(jì)算前瞻性研究。建設(shè)過程中，我們依據(jù)國際通行的云計(jì)算服務(wù)架構(gòu)層次，在統(tǒng)一的計(jì)算、存儲(chǔ)，網(wǎng)絡(luò)的資源池之上分別構(gòu)建了以云資源管理平臺(tái)與云集成開發(fā)與運(yùn)行平臺(tái)為核心的IaaS、PaaS服務(wù)，并基于IaaS、PaaS構(gòu)建了智能支付終端平臺(tái)的SaaS應(yīng)用，期間產(chǎn)生了多項(xiàng)專利、論文，并已成功通過國家云計(jì)算標(biāo)準(zhǔn)認(rèn)證。其中IaaS建設(shè)基于開源OpenStack架構(gòu)。目前，銀聯(lián)私有云平臺(tái)已作為公司核心支撐平臺(tái)在生產(chǎn)環(huán)境落地應(yīng)用，相關(guān)關(guān)鍵支付應(yīng)用已由該平臺(tái)承載。

（二）私有云研究成果

銀聯(lián)是金融行業(yè)最早介入云計(jì)算領(lǐng)域，通過三年云計(jì)算落地建設(shè)，打造出金融行業(yè)第一朵云。截至目前，基于OpenStack建設(shè)的私有云已經(jīng)穩(wěn)定運(yùn)行1000多天，平臺(tái)累計(jì)具備了11960vCPU、33280G內(nèi)存和600TB企業(yè)級存儲(chǔ)計(jì)算力，初步建成了包括云資源管理平臺(tái)（IaaS）、云集成開發(fā)平臺(tái)（PaaS）、智能支付終端平臺(tái)（SaaS）等在內(nèi)的云計(jì)算基礎(chǔ)平臺(tái)和應(yīng)用平臺(tái)。

通過云計(jì)算平臺(tái)的應(yīng)用，服務(wù)能力達(dá)到了新的跨躍，具體表現(xiàn)為：在資源服務(wù)方面，能夠在分鐘級完成云平臺(tái)資源創(chuàng)建，能夠在分鐘級實(shí)現(xiàn)故障探測及恢復(fù)，如服務(wù)器、數(shù)據(jù)庫宕機(jī)，能夠在分鐘級實(shí)現(xiàn)按需自動(dòng)實(shí)現(xiàn)缺口資源的擴(kuò)容；在運(yùn)維支撐方面，支持對服務(wù)器、網(wǎng)絡(luò)、存儲(chǔ)、進(jìn)程的全面自動(dòng)化標(biāo)準(zhǔn)監(jiān)控，以及支持全自助界面的資源申請及管理。

（三）因地制宜的技術(shù)路線

銀聯(lián)金融私有云建設(shè)采用因地制宜的技術(shù)路線，使得云平臺(tái)與現(xiàn)有技術(shù)架構(gòu)融合，從技術(shù)到管理上平滑對接。技術(shù)指標(biāo)體現(xiàn)為核心技術(shù)理念，非技術(shù)指標(biāo)體現(xiàn)為科學(xué)管理方法。

圖1：銀聯(lián)私有云因地制宜的建設(shè)路線

1. 核心技術(shù)理念

銀聯(lián)電子支付研究院通過研究國際通用的云計(jì)算模型提煉出銀聯(lián)建設(shè)云平臺(tái)的三大核心技術(shù)理念。

• 彈性

通過創(chuàng)新性的云計(jì)算組織溝通機(jī)制，將大量計(jì)算資源組織起來，協(xié)同工作，資源個(gè)體可進(jìn)可出，收縮自如，減少組織內(nèi)的溝通損耗；當(dāng)組織內(nèi)個(gè)體情況發(fā)生變化時(shí)，可以及時(shí)查知信息，確保資源額變化實(shí)時(shí)反映在系統(tǒng)性能上，做到動(dòng)態(tài)感知；并同時(shí)平衡各節(jié)點(diǎn)的壓力，做到動(dòng)態(tài)負(fù)載均衡。

• 透明

做到用戶無需關(guān)心底層的實(shí)現(xiàn)方式，只需要專注于上層的業(yè)務(wù)邏輯，針對不同場景、終端、應(yīng)用、基礎(chǔ)設(shè)施平臺(tái)，云組織等可無差別地支持，并運(yùn)用冗余等方式，保證云組織底層架構(gòu)的節(jié)點(diǎn)發(fā)生任何變化都不會(huì)對系統(tǒng)的整體運(yùn)行造成影響。

• 積木化

通過定義良好的接口和契約將云組織的應(yīng)用和資源聯(lián)系起來，然后根據(jù)需要進(jìn)行分布式部署、組合和使用，使這些應(yīng)用和資源變?yōu)榭晒蚕淼臉?biāo)準(zhǔn)服務(wù)，并實(shí)現(xiàn)這些服務(wù)模塊的“即插即用”。

OpenStack無共享、分布式架構(gòu)和設(shè)計(jì)原則很好地契合了銀聯(lián)金融私有云建設(shè)的核心技術(shù)理念。在OpenStack項(xiàng)目發(fā)展早起，銀聯(lián)就關(guān)注了OpenStack并對各個(gè)項(xiàng)目組件做了深入研究和分析，2012年初正式?jīng)Q定使用開源OpenStack，同年年底便在生產(chǎn)投產(chǎn)。

2. 科學(xué)管理方法

面向互聯(lián)網(wǎng)+的云時(shí)代需要一套綜合考慮成本、組織架構(gòu)、流程規(guī)范的科學(xué)管理辦法。成本要使用又低廉又可靠的基礎(chǔ)架構(gòu)，如從小型機(jī)平臺(tái)向x86平臺(tái)轉(zhuǎn)變，同時(shí)還要支持大規(guī)模情況下的運(yùn)維管理，這個(gè)管理不僅要考慮直接運(yùn)維成本，也要考慮出錯(cuò)等間接運(yùn)維成本，因此我們需要一種機(jī)器管理機(jī)器的安全架構(gòu)。

銀聯(lián)經(jīng)歷了13年的成長，其IT組織架構(gòu)與流程規(guī)范已成為成熟的公司IT文化。我們認(rèn)為新技術(shù)的引入在提升企業(yè)業(yè)務(wù)能力的同時(shí)，也必須適應(yīng)企業(yè)IT文化，因此是一種融合式技術(shù)引進(jìn)管理方式。OpenStack本身提倡I(xiàn)T成本的降低，同時(shí)其以開放式的態(tài)度對待現(xiàn)有以及未來的所有IT技術(shù)，因此符合銀聯(lián)在IT科學(xué)管理方式方面的定位。

二、銀聯(lián)對OpenStack的理解

（一）OpenStack本質(zhì)理解

我們認(rèn)為OpenStack本質(zhì)上是對基礎(chǔ)設(shè)施的管理軟件，通過各個(gè)組件的相互協(xié)同運(yùn)作，來管理物理資源（服務(wù)器，網(wǎng)絡(luò)，存儲(chǔ)）及虛擬資源（虛擬機(jī)等）。通過統(tǒng)一的集中管理、編排，使物理資源利用率最大化，并降低運(yùn)維成本，簡化運(yùn)維復(fù)雜度。同時(shí)OpenStack是業(yè)界公認(rèn)的開源云計(jì)算事實(shí)標(biāo)準(zhǔn)，是一套相對完整的理論框架。OpenStack不是一個(gè)產(chǎn)品，其在嚴(yán)格生產(chǎn)應(yīng)用過程前必須經(jīng)過優(yōu)化，但OpenStack提供了一種優(yōu)秀的IT模型和框架框架，企業(yè)可以通過OpenStack量身定制私有云。

（二）OpenStack利弊理解

圖2：OpenStack優(yōu)勢劣勢對比

OpenStack有明顯的優(yōu)勢。AWS開源實(shí)現(xiàn)，事實(shí)標(biāo)準(zhǔn)、先進(jìn)技術(shù)、統(tǒng)一平臺(tái)。積極的軟硬件廠商支持。OpenStack開源社區(qū)活躍度高，開源貢獻(xiàn)率高。不存在一家獨(dú)大情況，系統(tǒng)性風(fēng)險(xiǎn)低。圍繞OpenStack的周邊開源生態(tài)系統(tǒng)建設(shè)良好，眾多開源軟件都積極支持OpenStack。

OpenStack也存在相應(yīng)劣勢，如兼容性，早期我們使用OpenStack最大挑戰(zhàn)就是對Xen的兼容性。即使到Kilo版本為止，OpenStack對Hypervisor、商業(yè)存儲(chǔ)、SDN軟件的兼容仍非常有限。雖然官方聲稱支持的兼容性，在實(shí)際使用上仍然有很多問題。銀聯(lián)在研究、解決OpenStack劣勢問題上花費(fèi)了大量的時(shí)間和精力。

（三）OpenStack組件理解

從最初版本的兩個(gè)核心組件——Nova、Swift，發(fā)展至今，OpenStack歷經(jīng)5年時(shí)間11個(gè)版本迭代，核心組件已經(jīng)有21個(gè)，業(yè)務(wù)功能上也是越加豐富。目前的21個(gè)核心組件中，并非所有組件如Nova、Swift一樣成熟穩(wěn)定。

圖3：OpenStack組件評估結(jié)果

銀聯(lián)對OpenStack核心組件進(jìn)行系統(tǒng)評估，根據(jù)測試評估結(jié)果，選取組件加入到云平臺(tái)中。優(yōu)先選取符合銀聯(lián)實(shí)際應(yīng)用場景的OpenStack成熟組件。較成熟組件需要定制開發(fā)，才能放到生產(chǎn)環(huán)境使用。對于不成熟組件，暫不考慮納入銀聯(lián)OpenStack建設(shè)應(yīng)用體系。

（四）技術(shù)路線理解

銀聯(lián)金融私有云建設(shè)技術(shù)上堅(jiān)持“基于業(yè)界領(lǐng)先的開源技術(shù)，自主研發(fā)基礎(chǔ)平臺(tái)”的策略。同時(shí)得到國家云計(jì)算示范工程項(xiàng)目，國家要求在項(xiàng)目中帶動(dòng)國內(nèi)產(chǎn)業(yè)鏈發(fā)展，與國內(nèi)技術(shù)廠商合作，加強(qiáng)關(guān)鍵技術(shù)研發(fā)和產(chǎn)業(yè)化。普元信息技術(shù)股份有限公司是國家項(xiàng)目中推薦單位，在雙方溝通后，確立了私有云以及OpenStack聯(lián)合研究方式。

圖4：銀聯(lián)私有云平臺(tái)采用的自主開源技術(shù)策略

當(dāng)前銀聯(lián)在金融生產(chǎn)環(huán)境率先應(yīng)用了OpenStack、Xen、KVM、Linux、MySQL等開源軟件，并取得了良好效果，同時(shí)以金融終端為突破口，努力探索開源硬件的研究，以既有繼承又有創(chuàng)新的開源應(yīng)用方式，站在開源技術(shù)最前沿。開源的應(yīng)用使得平臺(tái)的功能不斷強(qiáng)大，成本得到節(jié)約，同時(shí)由于社區(qū)市場的活躍以及自主掌握能力的不斷提升，平臺(tái)相應(yīng)及時(shí)能力得到了最大化的強(qiáng)化。

三、銀聯(lián)OpenStack架構(gòu)

（一）OpenStack架構(gòu)

OpenStack架構(gòu)在銀聯(lián)主要?dú)v經(jīng)三大階段——起步階段、優(yōu)化穩(wěn)定階段、再創(chuàng)新階段，這三大階段也與OpenStack的成長息息相關(guān)。這一過程中，我們完善了基于OpenStack金融私有云服務(wù)能力，使得銀聯(lián)數(shù)據(jù)中心的所有服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)設(shè)備以及其他如數(shù)據(jù)庫等的基本計(jì)算資源集中統(tǒng)一管理，通過靜態(tài)模版配置和動(dòng)態(tài)調(diào)度優(yōu)化等功能為用戶提供整合的、高可用性的、可快速部署使用的IT基礎(chǔ)設(shè)施。

1. 起步階段

圖5：銀聯(lián)早期OpenStack架構(gòu)

2012年建設(shè)初期，由于OpenStack開源項(xiàng)目尚處于起步期，銀聯(lián)OpenStack架構(gòu)尚未發(fā)展成熟，但已經(jīng)初具規(guī)模。

• 技術(shù)層面，主機(jī)使用Suse/Xen技術(shù)；網(wǎng)絡(luò)使用Flat網(wǎng)絡(luò)模式；存儲(chǔ)采用NAS與SAN的同時(shí)試點(diǎn)方案，以用作鏡像存儲(chǔ)空間；
• 能力層面，僅提供云主機(jī)服務(wù)及配套網(wǎng)絡(luò)服務(wù)。
• 業(yè)務(wù)層面，以創(chuàng)新業(yè)務(wù)為試點(diǎn)展開有關(guān)驗(yàn)證工作。

2. 優(yōu)化穩(wěn)定階段

圖6：銀聯(lián)第二階段OpenStack架構(gòu)

2013-2014年，由于業(yè)務(wù)方需求的大量涌現(xiàn)，單一架構(gòu)已經(jīng)不能滿足使用，同時(shí)在前期經(jīng)驗(yàn)的積累下，我對架構(gòu)進(jìn)行了優(yōu)化調(diào)整。

• 技術(shù)層面，主機(jī)加入RedHat/KVM技術(shù)，采用異構(gòu)模式；網(wǎng)絡(luò)進(jìn)一步支持vlan模式；存儲(chǔ)引入Server SAN與NAS存儲(chǔ)方式形成不同等級的存儲(chǔ)池，而原本的SAN+OCFS2的技術(shù)方案因?yàn)槌杀疽约翱蛇\(yùn)維性均不理想，因此放棄。
• 能力層面，云主機(jī)服務(wù)與網(wǎng)絡(luò)服務(wù)優(yōu)化，支持熱遷移等高級特性；存儲(chǔ)服務(wù)加入，向用戶提供不同等級的存儲(chǔ)池；管理節(jié)點(diǎn)高可用，提升云平臺(tái)可用性和可靠性；多區(qū)域聯(lián)合調(diào)度能力加入，使得我們支持服務(wù)器規(guī)模至少可以上萬臺(tái)；規(guī)模的快速擴(kuò)展，傳統(tǒng)監(jiān)控?zé)o法滿足日益增長的監(jiān)控需求，也配套了相關(guān)云監(jiān)控服務(wù)。
• 業(yè)務(wù)層面，關(guān)鍵系統(tǒng)，如互聯(lián)網(wǎng)支付、移動(dòng)支付等業(yè)務(wù)已經(jīng)全面使用云環(huán)境。

架構(gòu)調(diào)整后，技術(shù)層面和能力層面都全面提升，自此銀聯(lián)金融私有云生產(chǎn)環(huán)境步入穩(wěn)定階段。

3. 再創(chuàng)新階段

圖7：銀聯(lián)第三階段OpenStack架構(gòu)

當(dāng)前，云計(jì)算技術(shù)的發(fā)展亦進(jìn)入了新的階段，為更好的完善銀聯(lián)云計(jì)算平臺(tái)能力，我們也逐步開始應(yīng)用一些更具有前瞻性的技術(shù)方案。首先我們自主研發(fā)了彈性數(shù)據(jù)庫能力，較OpenStack社區(qū)版本領(lǐng)先完善，實(shí)現(xiàn)了統(tǒng)一的MySQL服務(wù)能力的快速交付和運(yùn)維的便利化管理，并可支持百臺(tái)級物理數(shù)據(jù)庫服務(wù)器管理，功能包括支持多租戶的MySQL單機(jī)/高可用/讀寫分離架構(gòu)的自動(dòng)化創(chuàng)建、支持?jǐn)?shù)據(jù)庫訪問安全、數(shù)據(jù)庫物理資源調(diào)度和擴(kuò)容、運(yùn)維自動(dòng)化（含備份、恢復(fù)、監(jiān)控）。同時(shí)，我們也嘗試性地引入了SDN、混合云環(huán)境等技術(shù)方案，以構(gòu)架能力更強(qiáng)，應(yīng)用場景更廣泛的云基礎(chǔ)平臺(tái)。在這個(gè)階段，銀聯(lián)云平臺(tái)已不僅為銀聯(lián)自身內(nèi)部服務(wù)，已逐步開始探索為合作機(jī)構(gòu)提供相應(yīng)服務(wù)模式的能力。

（二）五大能力

銀聯(lián)通過對OpenStack架構(gòu)調(diào)整優(yōu)化，不斷嘗試創(chuàng)新，逐步完善私有云能力，最終實(shí)現(xiàn)了彈性計(jì)算、彈性存儲(chǔ)、彈性網(wǎng)絡(luò)、彈性監(jiān)控、彈性數(shù)據(jù)庫，五大核心能力。

1. 彈性計(jì)算—云主機(jī)

云主機(jī)是一種簡單高效、處理能力可彈性伸縮的計(jì)算服務(wù)，應(yīng)用該服務(wù)可快速構(gòu)建更穩(wěn)定、安全的應(yīng)用系統(tǒng)，并有效提升運(yùn)維效率，降低IT成本，使建設(shè)者更聚焦于核心業(yè)務(wù)創(chuàng)新。

2. 彈性存儲(chǔ)—云存儲(chǔ)

云存儲(chǔ)服務(wù)對外提供安全和高可靠的存儲(chǔ)資源。其支持NFS與iscsi等標(biāo)準(zhǔn)存儲(chǔ)協(xié)議，容量和處理能力可以彈性擴(kuò)展，存儲(chǔ)可靠性達(dá)到99.999%。

3. 彈性網(wǎng)絡(luò)—云網(wǎng)絡(luò)

云網(wǎng)絡(luò)服務(wù)構(gòu)建了一個(gè)安全的云平臺(tái)網(wǎng)絡(luò)環(huán)境，通過云平臺(tái)管理系統(tǒng)可以完全掌握銀聯(lián)金融私有云平臺(tái)網(wǎng)絡(luò)資源，包括選擇自有IP 地址范圍、劃分網(wǎng)段等。此外也可以通過互聯(lián)網(wǎng)/專線/VPN等連接方式連接至銀聯(lián)私有云平臺(tái)。

4. 彈性監(jiān)控—云監(jiān)控

云監(jiān)控是一個(gè)開放性的監(jiān)控平臺(tái)，云監(jiān)控與傳統(tǒng)監(jiān)控不同，為監(jiān)控其他彈性能力，云監(jiān)控也必須是彈性的。云監(jiān)控可實(shí)時(shí)以全自動(dòng)化的方式監(jiān)控銀聯(lián)云平臺(tái)內(nèi)的各種資源，并提供多種告警方式（短信，郵件）以保證及時(shí)預(yù)警，為應(yīng)用的正常運(yùn)行保駕護(hù)航。

5. 彈性數(shù)據(jù)庫—云數(shù)據(jù)庫

云數(shù)據(jù)庫是構(gòu)建在企業(yè)級SAN存儲(chǔ)以及針對金融行業(yè)要求的數(shù)據(jù)庫容器之上的高性能數(shù)據(jù)庫服務(wù)，目前支持MySQL協(xié)議的關(guān)系型數(shù)據(jù)庫服務(wù)，支持主從/主主兩種雙機(jī)熱備架構(gòu)，具有多重安全防護(hù)措施和完善的性能監(jiān)控體系，并提供專業(yè)的數(shù)據(jù)庫備份、恢復(fù)及優(yōu)化方案，使數(shù)據(jù)庫不再成為應(yīng)用開發(fā)和業(yè)務(wù)發(fā)展的瓶頸點(diǎn)。

四、銀聯(lián)OpenStack關(guān)鍵技術(shù)攻關(guān)

（一）關(guān)鍵技術(shù)攻關(guān)

為使OpenStack有效支撐業(yè)務(wù)與應(yīng)用的發(fā)展，我們同樣就異構(gòu)資源支持、云高可用、熱遷移、自動(dòng)伸縮、數(shù)據(jù)庫與SAN自動(dòng)化等核心技術(shù)進(jìn)行了研究與攻關(guān)，這些技術(shù)的成功突破與生產(chǎn)應(yīng)用是平臺(tái)穩(wěn)定運(yùn)行的基石。

1. 異構(gòu)資源支持

銀聯(lián)云平臺(tái)支持多個(gè)層面異構(gòu)資源：一是虛擬化異構(gòu)支持，包括Xen/KVM異構(gòu)模式支持；二是存儲(chǔ)異構(gòu)支持，包括異構(gòu)種類存儲(chǔ)NAS、SAN、分布式存儲(chǔ)；三是網(wǎng)絡(luò)模式異構(gòu)支持，包括Flat、Vlan及SDN模式同時(shí)支持；最后是廠商設(shè)備異構(gòu)支持。

2. 云高可用與資源熱遷移技術(shù)

銀聯(lián)云平臺(tái)所承載的銀行卡業(yè)務(wù)要求強(qiáng)業(yè)務(wù)連續(xù)性，任何業(yè)務(wù)中斷將帶來不可估量的經(jīng)濟(jì)損失。為降低計(jì)劃外宕機(jī)風(fēng)險(xiǎn)，我們自主研發(fā)了高可用機(jī)制，以及資源熱遷移技術(shù)。云高可用機(jī)制保證業(yè)務(wù)7×24小時(shí)不間斷運(yùn)行，資源熱遷移技術(shù)促進(jìn)資源高效運(yùn)維，保證底層設(shè)備的停機(jī)維護(hù)不影響業(yè)務(wù)的生產(chǎn)運(yùn)行。

我們深入研究云主機(jī)高可用，最終形成自研OpenStack組件nova-ha，融入銀聯(lián)OpenStack體系，進(jìn)行云主機(jī)的高可用性管理，通過多重手段檢測物理機(jī)及虛擬機(jī)的狀態(tài)，防止誤判、腦裂、滯后處理等異常狀況。當(dāng)計(jì)算節(jié)點(diǎn)物理服務(wù)器或云主機(jī)出現(xiàn)問題時(shí)，nova-ha組件可以達(dá)到秒級響應(yīng)，診斷、遷移、恢復(fù)故障云主機(jī)。

3. 自動(dòng)伸縮技術(shù)

目前銀聯(lián)面向互聯(lián)網(wǎng)渠道的營銷活動(dòng)中，經(jīng)常遇到業(yè)務(wù)突發(fā)增長的情況，自動(dòng)伸縮技術(shù)通過精密地檢測資源的使用情況（具體可包括CPU、內(nèi)存等各項(xiàng)指標(biāo)），并通過復(fù)雜事件處理技術(shù)實(shí)現(xiàn)精確的伸縮預(yù)判決策，并通過標(biāo)準(zhǔn)的資源伸縮接口實(shí)現(xiàn)應(yīng)用的按需伸縮擴(kuò)展，從而有效地應(yīng)對業(yè)務(wù)快速增長。

4. 數(shù)據(jù)庫及SAN自動(dòng)化技術(shù)

數(shù)據(jù)庫及相應(yīng)存儲(chǔ)的自動(dòng)化部署一直是云技術(shù)的瓶頸，如何實(shí)現(xiàn)數(shù)據(jù)庫在同一臺(tái)物理機(jī)的多實(shí)例部署，并保證計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)安全隔離，如何使得SAN能夠靈活地自動(dòng)配置以適應(yīng)數(shù)據(jù)庫的彈性需要是本技術(shù)的核心課題。通過本技術(shù)，將徹底解決數(shù)據(jù)庫及SAN的自動(dòng)化應(yīng)用能力問題。

五、銀聯(lián)OpenStack實(shí)踐

（一）功能優(yōu)化

1. 新功能定制

銀聯(lián)2012年便在生產(chǎn)應(yīng)用Openstack，就當(dāng)時(shí)而言O(shè)penstack功能體系還處于待完善階段。因此我們針對當(dāng)時(shí)選擇的虛擬化技術(shù)XEN的支持進(jìn)行各功能的完善，包括熱遷移、熱備份、熱配置升級、高可用等數(shù)十項(xiàng)功能，其中諸如XEN熱配置縮減等功能可能在最新版的OpenStack仍未支持。

2. 管理組件高可用

銀聯(lián)OpenStack管理高可用使用PaceMaker架構(gòu)構(gòu)建。構(gòu)建高可用時(shí)需要關(guān)注兩個(gè)重要指標(biāo)宕機(jī)時(shí)間RTO、數(shù)據(jù)恢復(fù)點(diǎn)RPO。銀聯(lián)云平臺(tái)可以達(dá)到故障分鐘級切換。

3. 安全漏洞修復(fù)

開源軟件可能存在安全漏洞，經(jīng)過我們的檢測，亦發(fā)現(xiàn)OpenStack存在默認(rèn)安裝環(huán)境下諸如訪問權(quán)限修改等相應(yīng)安全風(fēng)險(xiǎn)，為此我們逐一進(jìn)行了相應(yīng)修正。

4. 云審計(jì)

除了在云平臺(tái)事先、事中過程進(jìn)行有關(guān)機(jī)制研發(fā)，我們在云平臺(tái)事后審計(jì)方面，也做了大量工作。我們自研了云審計(jì)系統(tǒng)，通過其完善的計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)審計(jì)功能可以發(fā)現(xiàn)云平臺(tái)的各類不合規(guī)的操作。

（二）問題規(guī)避

1.?OpenStack網(wǎng)絡(luò)問題規(guī)避

OpenStack網(wǎng)絡(luò)模式分nova-network及neutron，早期neutron項(xiàng)目不成熟。我們?yōu)橐?guī)避技術(shù)風(fēng)險(xiǎn)，使用更成熟、穩(wěn)定的nova-network，并且規(guī)避當(dāng)初不成熟的mulit_host功能，直接將網(wǎng)關(guān)收斂在物理設(shè)備上。這有性能、可靠性、穩(wěn)定性有保證，也能很好地?cái)U(kuò)展。

2.?OpenStack缺陷問題規(guī)避

開源項(xiàng)目的缺陷較多，OpenStack官網(wǎng)公布了許多還未解決的缺陷，為避免缺陷的影響性，我們嚴(yán)格根據(jù)自由設(shè)計(jì)應(yīng)用場景的需求，制定了2697個(gè)測試用例，覆蓋云平臺(tái)高可靠、高可用、高安全、高性能、高效率等各個(gè)層次，通過合理的測試設(shè)計(jì)，以保證在使用范圍內(nèi)的平臺(tái)強(qiáng)健壯性。

（三）配套設(shè)計(jì)

1. 虛擬化類型

圖8：常用的虛擬化類型有三種

如圖所示，虛擬化類型其實(shí)是多種多樣的，一般常用的虛擬化類型有三種：

• 類虛擬化（PV——Para Virtualization）
• 全虛擬化（FV——Full Virtualization或HVM——Hardware assisted Virtualization）
• 混合模式（PV on HVM）

綜合考慮性能與穩(wěn)定性等因素，銀聯(lián)選擇PV on HVM模式即，KVM結(jié)合virtio驅(qū)動(dòng)使用，Xen結(jié)合netfront/netbackend驅(qū)動(dòng)使用。

2. 超配設(shè)計(jì)（overcommit）

超配可以有效提高資源利用率，但其也可能存儲(chǔ)系統(tǒng)穩(wěn)定風(fēng)險(xiǎn)。因此，我們在私有云生產(chǎn)環(huán)境不采用資源超配技術(shù)，以保證金融云的可靠性，但在研發(fā)測試云環(huán)境，為有效利用資源，CPU超配比率為1:3，內(nèi)存超配比是1:1.5，存儲(chǔ)使用精簡配置。

3. 虛擬化比例與服務(wù)器選型

銀聯(lián)生產(chǎn)云虛擬化比例設(shè)置為1:5，即一臺(tái)物理機(jī)上線承載虛擬機(jī)數(shù)量為5，其主要考慮因素是X86服務(wù)器故障率相較小型機(jī)高，在其出現(xiàn)故障時(shí)，其運(yùn)維影響性可控制在一定范圍內(nèi)。同時(shí)基于銀聯(lián)內(nèi)部生產(chǎn)網(wǎng)絡(luò)的套餐模式，我們物理服務(wù)器主要選擇1U 16核32G和2U 32核64G物理服務(wù)器，硬盤均選擇300G SAS盤。

4. 時(shí)鐘同步

由于Hypervisor技術(shù)限制，模擬出來的虛擬機(jī)時(shí)鐘總是比物理機(jī)快，當(dāng)長時(shí)間的量變積累會(huì)產(chǎn)生質(zhì)變，這一缺陷，對時(shí)間敏感、精度要求高的交易類系統(tǒng)是非常致命的。一般在生產(chǎn)環(huán)境，會(huì)在數(shù)據(jù)中心搭建NTP Server同步時(shí)間，但這仍然不能解決本質(zhì)問題。銀聯(lián)使用銫原子鐘及北斗衛(wèi)星徹底保障虛擬機(jī)時(shí)鐘同步。

（四）OpenStack升級的考慮

隨著云平臺(tái)的發(fā)展，我們認(rèn)為OpenStack升級需求必不可少。但為了更好地便于在生產(chǎn)環(huán)境做好穩(wěn)定升級工作，Openstack的應(yīng)用必須具備以下兩種能力：

一是必須具備多版本異構(gòu)使用模式，即Openstack各版本可以異構(gòu)混合使用，當(dāng)單個(gè)OpenStack組件升級時(shí)可以使用整體平臺(tái)異構(gòu)版本模式，基于兼容API進(jìn)行支撐單個(gè)組件版本升級，無需更新平臺(tái)所有OpenStack組件。

二是基于OpenStack內(nèi)核代碼的定制化開發(fā)必須以弱耦合度方式開展，即通過插件化方式開發(fā)，盡量派生、繼承類進(jìn)行修改，不對社區(qū)代碼邏輯做侵入式修改，從而降低整體升級成本。

六、總結(jié)

截至2014年底，銀聯(lián)私有云平臺(tái)的能力已初步具備，可以面向銀聯(lián)體系的各級單位提供有效的彈性云能力服務(wù)。進(jìn)入2015年，銀聯(lián)私有云演進(jìn)方向進(jìn)一步聚焦于混合云模式的發(fā)展，其一可以進(jìn)一步完善對內(nèi)服務(wù)能力支撐，其二可以更有效地將銀聯(lián)金融私有云的研究成果輻射于金融行業(yè)，將銀聯(lián)的云成果以能力輸出、技術(shù)輸出的方式服務(wù)于產(chǎn)業(yè)合作伙伴。(編輯/郭雪梅）

作者介紹：

祖立軍，畢業(yè)于同濟(jì)大學(xué)信號與信息處理專業(yè)，工學(xué)碩士，就職于中國銀聯(lián)電子支付研究、電子支付與電子商務(wù)國家工程實(shí)驗(yàn)室，中國銀聯(lián)技術(shù)委員會(huì)專家，長期從事金融信息工程領(lǐng)域研究工作，專注于金融端云一體化信系統(tǒng)建設(shè)。負(fù)責(zé)建成中國銀聯(lián)云計(jì)算平臺(tái)（虛擬化），2012年便在生產(chǎn)環(huán)境應(yīng)用Openstack，承擔(dān)國家云計(jì)算示范工程項(xiàng)目，對金融企業(yè)云計(jì)算應(yīng)用具有深刻理解，關(guān)注軟件定義網(wǎng)絡(luò)、軟件定義存儲(chǔ)、云間互聯(lián)等前瞻性技術(shù)。曾獲國家科技進(jìn)步二等獎(jiǎng)1次，上海市科學(xué)技術(shù)一等獎(jiǎng)1次，銀行科技發(fā)展一等獎(jiǎng)1次，申請專利16項(xiàng)，發(fā)表學(xué)術(shù)論文12篇。?

總結(jié)

以上是生活随笔為你收集整理的银联基于OpenStack的金融私有云建设实践的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。