騰訊開放平臺承載著廣泛開發(fā)者的夢想，騰訊的網(wǎng)絡平臺正為其保駕護航。如何保障用戶對業(yè)務的訪問體驗、如何構(gòu)建穩(wěn)定可靠的數(shù)據(jù)中心及廣域網(wǎng)絡、如何適應云計算的多樣性需求打造云網(wǎng)絡？ 騰訊網(wǎng)絡架構(gòu)經(jīng)過萌發(fā)期到海量的蛻變，其間發(fā)生了怎樣的變化？積累了哪些可供業(yè)界分享的經(jīng)驗？

5月16日晚，騰訊大講堂·深圳站《架構(gòu)之美——開放環(huán)境下的網(wǎng)絡架構(gòu)》活動在騰訊總部騰訊大廈多功能廳舉辦，騰訊網(wǎng)絡架構(gòu)中心總監(jiān)馬志強在兩小時的演講中揭開了騰訊網(wǎng)絡架構(gòu)背后的秘密。

騰訊業(yè)務的飛速發(fā)展，對網(wǎng)絡等基礎設施提出了海量運營的要求。同時，數(shù)量眾多、且型態(tài)各異的業(yè)務，所要求的網(wǎng)絡服務也各不相同。這些都是對網(wǎng)絡架構(gòu)提出的巨大挑戰(zhàn)（圖1——網(wǎng)絡架構(gòu)面對的挑戰(zhàn)）。

圖1——網(wǎng)絡架構(gòu)面對的挑戰(zhàn)

2010年，騰訊推出了開放平臺，所有平臺開發(fā)者及合作伙伴的應用都可以在此平臺上成長和發(fā)展，與此同時，這對計算資源及網(wǎng)絡資源提出了更高的要求。經(jīng)過不斷的探索與總結(jié)，最終得出：支撐騰訊開放云平臺的網(wǎng)絡架構(gòu)，必須要做到以下三點:

網(wǎng)絡基礎設施要健壯強勁；

網(wǎng)絡要適應多租戶接入需求；

用戶網(wǎng)絡覆蓋質(zhì)量要好。

在深入探尋如何實現(xiàn)以上三點前，需要先基本了解騰訊網(wǎng)絡架構(gòu)。

騰訊的網(wǎng)絡架構(gòu)不是一天構(gòu)造而成、并具備支撐海量業(yè)務能力的，而是隨著業(yè)務的成長逐步發(fā)展起來的。在不斷發(fā)展的十多年期間，隨著業(yè)務在種類和容量上爆發(fā)式的增長，基礎網(wǎng)絡在技術(shù)、容量和架構(gòu)上也在不斷提升，其提升的步伐甚至大于業(yè)務需求的步伐。因為只有這樣，才能打造一個穩(wěn)健可靠的、服務于公司各項業(yè)務的網(wǎng)絡架構(gòu)平臺。

發(fā)展至今，我們已有數(shù)十人的運營支撐團隊、數(shù)十人的專業(yè)設計構(gòu)架團隊，共支撐超過20萬臺服務器。網(wǎng)絡設備達上萬臺，具備業(yè)界領(lǐng)先的5000臺規(guī)模計算集群數(shù)據(jù)中心網(wǎng)絡v3.5，搭建百G總?cè)萘康膹V域網(wǎng)絡，支撐全國和海外數(shù)十個大中型IDC（圖2——網(wǎng)絡平臺構(gòu)建，與業(yè)務共成長）。

圖2——網(wǎng)絡平臺構(gòu)建，與業(yè)務共成長

此網(wǎng)絡架構(gòu)示意圖（圖3——網(wǎng)絡架構(gòu)示意圖）中整體展示了我們的網(wǎng)絡架構(gòu)：從數(shù)據(jù)中心內(nèi)部的網(wǎng)絡到用于IDC互聯(lián)的城域網(wǎng)絡及廣域網(wǎng)絡，以及與運營商互聯(lián)的出口等。

圖3——網(wǎng)絡架構(gòu)示意圖

盡管現(xiàn)在的網(wǎng)絡架構(gòu)平臺有了很大的改進和提升，但團隊的努力沒有停留于此。我們繼續(xù)在架構(gòu)和運營上不斷優(yōu)化提升，從“作坊式定制化的企業(yè)型網(wǎng)絡”向“海量計算集群網(wǎng)絡及智能自定義網(wǎng)絡”努力！從“純手工式故障發(fā)現(xiàn)排除”向“全面監(jiān)控智能化網(wǎng)絡”及“運營商級穩(wěn)定網(wǎng)絡”努力！

網(wǎng)絡基礎設施要健壯強勁

解決早期IDC網(wǎng)絡架構(gòu)老大難題

早期的IDC網(wǎng)絡架構(gòu)主要存在四大問題：

雜：網(wǎng)絡專區(qū)過多，特色服務難以快速滿足；

亂：網(wǎng)絡穩(wěn)定性欠缺，存在單播flooding；

弱：網(wǎng)絡性能難以滿足需求，過高超載使得服務器獲得的帶寬較小；

慢：網(wǎng)絡層次和設備多樣，標準程度不高，難以滿足快速建設需求；

面對這四大問題，騰訊團隊重新思考了老版本架構(gòu)面臨新時代挑戰(zhàn)所存在的弊端、并對下一代網(wǎng)絡產(chǎn)品引入的可行性做了評估之后，參考Google等大牛級架構(gòu)設計、結(jié)合自身產(chǎn)品和企業(yè)特點，逐步構(gòu)建成了具有歷史意義的v3.5 IDC網(wǎng)絡架構(gòu)版本（圖4——騰訊V3.5數(shù)據(jù)中心網(wǎng)絡）。同時，CLOS架構(gòu)理念的引入，讓未來在此版本上持續(xù)的scale out也找到了數(shù)模依據(jù)。

圖4——騰訊V3.5數(shù)據(jù)中心網(wǎng)絡

網(wǎng)絡，穩(wěn)定壓倒一切！

如果幾萬臺服務器分布在一個城市的幾十個IDC，上千種業(yè)務在約100條萬兆互聯(lián)鏈路上產(chǎn)生約700G的跨IDC洪流，每一次故障都會直接影響到用戶，這種后果是非常嚴重的。為保障服務長期穩(wěn)健運行，騰訊構(gòu)建了運營商級別的城域和廣域網(wǎng)絡（圖5——運營商級別的城域和廣域網(wǎng)絡）。

圖5——運營商級別的城域和廣域網(wǎng)絡

城域網(wǎng)采用標準化結(jié)構(gòu)，構(gòu)建承載力強、冗余性高的健壯城域網(wǎng)絡。構(gòu)建成上T級匯聚能力、百G級站點交互能力，自建大容量、高可靠傳輸系統(tǒng)的城域網(wǎng)。

廣域網(wǎng)主要從架構(gòu)規(guī)整化及能力上大幅提升，就像建造能連接全國范圍IDC的高速鐵路和高速公路一樣，為業(yè)務全國分布做好準備。同時，將廣域網(wǎng)監(jiān)控精細化，使業(yè)務看得見、有意識、重協(xié)作，同時要想高鐵VIP一等座和普通座的劃分一樣對重點業(yè)務流量能夠予以保障，提供差異化服務且使得資源效率高。

讓網(wǎng)絡看得見摸得著

為了保障網(wǎng)絡的穩(wěn)定可靠，真正實現(xiàn)能夠看得見、管得住、用得好，團隊自主研發(fā)了TMP系統(tǒng)（圖6——騰訊自主研發(fā)TMP系統(tǒng)），實現(xiàn)了基礎架構(gòu)海量節(jié)點實時監(jiān)控支持。TMP系統(tǒng)覆蓋騰訊全量基礎設施，如20W+服務器、2W+網(wǎng)絡設備狀態(tài)、性能、容量的實時采集與智能分析、1分鐘存活狀態(tài)監(jiān)控、5分鐘性能、容量監(jiān)控，以及100+IDC、200+外網(wǎng)出口、500+內(nèi)網(wǎng)專線，從IDC內(nèi)部服務器到出口、專線FullMesh的5分鐘粒度的全方位網(wǎng)絡質(zhì)量監(jiān)控與度量體系。

同時，還具備騰訊基礎設施7*24的運營入口-NOC，每天400w條的海量信息處理和+80%故障處理解決率，覆蓋公司全業(yè)務的基礎架構(gòu)日常運營工作：業(yè)務安全防控、流量全局調(diào)度、業(yè)務質(zhì)量檢測及演戲預案等系列前瞻性運營工作，為海量業(yè)務提供高質(zhì)量、全緯度的運營服務。

圖6——騰訊自主研發(fā)TMP系統(tǒng)

新形態(tài)：多租戶接入需求

開放平臺的推出對全套的網(wǎng)絡架構(gòu)提出了更高的要求，IDC網(wǎng)絡架構(gòu)必須支持開發(fā)者、合作伙伴、自營業(yè)務等多種多樣業(yè)務的需求。

目前， IDC網(wǎng)絡架構(gòu)v3.5可提供（圖7——網(wǎng)絡架構(gòu)V3.5可提供服務）：

適應自營業(yè)務和開放平臺業(yè)務的多種多樣需求， 如高帶寬/無阻塞通信、組播、Qos保障……

云計算數(shù)據(jù)中心的安全服務。網(wǎng)絡安全防護手段（VRF、VLAN ACL、PVLAN、基于標記的安全防護等）與硬件抽象層軟防火墻/DFW與相結(jié)合為虛擬化環(huán)境提供所需的安全防護；

整合網(wǎng)絡資源，統(tǒng)一調(diào)度快速交付。云控制平臺/Matrix實現(xiàn)30分鐘交付虛擬機，通過自動化工具/例如云計算網(wǎng)絡控制中心與Matrix對接，實現(xiàn)業(yè)務感知的網(wǎng)絡資源調(diào)度，VM遷移時，相關(guān)的網(wǎng)絡信息、網(wǎng)絡安全策略、Qos策略統(tǒng)一調(diào)度。

圖7——網(wǎng)絡架構(gòu)V3.5可提供服務

與此同時，我們與業(yè)界一同進行前沿性研究-SDN/自定義網(wǎng)絡（圖8——騰訊與業(yè)界的前沿性研究—SDN），以滿足我們的IDC網(wǎng)絡能夠更加快速地實現(xiàn)業(yè)務所需的特性，更加靈活地平滑擴展。

圖8——騰訊與業(yè)界的前沿性研究—SDN

用戶網(wǎng)絡覆蓋質(zhì)量要好

作為業(yè)務側(cè)，對用戶體驗非常關(guān)心，也是網(wǎng)絡架構(gòu)最關(guān)注重點優(yōu)化的一個方面。

由于業(yè)務“內(nèi)容”在這里，而用戶“眼球”在運營商側(cè)，最終用戶的訪問體驗受到很多我們無法掌控的因素所影響。據(jù)統(tǒng)計，運營商網(wǎng)絡故障對騰訊的影響占比連年超過70%。

舉個典型的例子，河南境內(nèi)某處光纜中斷，對我方西安某運營商出口造成中斷，流量丟失40G左右。

所以要改善用戶體驗，為業(yè)務提供良好的網(wǎng)絡覆蓋質(zhì)量，我們在三個方面進行努力：看清、對齊、布局。

看清 – 點、線、面的網(wǎng)絡質(zhì)量監(jiān)控

用戶訪問體驗關(guān)系到諸多方面，用戶->IDC外網(wǎng)質(zhì)量，IDC內(nèi)部網(wǎng)絡質(zhì)量，IDC間網(wǎng)絡質(zhì)量，我們在TMP系統(tǒng)中實現(xiàn)全方位立體化的網(wǎng)絡質(zhì)量監(jiān)控。

對齊 – 提前與運營商接口規(guī)劃信息

運營商省網(wǎng)/城域網(wǎng)、骨干網(wǎng)等都是用戶體驗的關(guān)鍵環(huán)節(jié)，我們必須與運營商省/城公司、集團骨干公司提前對齊規(guī)劃信息，確保各個環(huán)節(jié)都能夠滿足我們的容量和質(zhì)量要求，其中包括運營商骨干網(wǎng)網(wǎng)絡容量和質(zhì)量、省網(wǎng)/城域網(wǎng)上聯(lián)骨干網(wǎng)帶寬容量和質(zhì)量、省網(wǎng)/城域網(wǎng)網(wǎng)絡容量和質(zhì)量等。

布局 – 網(wǎng)絡

在中國的運營商環(huán)境中，主力運營商間的互聯(lián)互通及長期保持質(zhì)量都較差，除內(nèi)容至少復制兩份之外，還有大批用戶在其他運營商網(wǎng)內(nèi)，在移動互聯(lián)網(wǎng)大發(fā)展的時候，移動網(wǎng)內(nèi)的用戶體驗非常關(guān)鍵。

所以在網(wǎng)絡布局上，IDC和網(wǎng)絡資源上盡可能多提供多運營商接入環(huán)境。采用諸多關(guān)鍵技術(shù)方案，為業(yè)務提供更多的運營商網(wǎng)絡接入環(huán)境，并保障安全，例如：

域名引導；

BGP、IPSLA等網(wǎng)絡對接技術(shù)；

Netflow、Span等網(wǎng)絡分析；

負載均衡、流量調(diào)度技術(shù)；

Anti-DDoS等安全防護。

布局 – IDC資源

轉(zhuǎn)變 “被動接受”的IDC資源布局模式。由于業(yè)界的IDC供給速度不足，在業(yè)務布局前需考慮是哪里有IDC，這樣會導致業(yè)務部署碎片多、交互效率低、對用戶覆蓋質(zhì)量達不到、需事后推動改善等問題。

要向“用戶體驗為首位”的資源布局思路轉(zhuǎn)換，為業(yè)務提供質(zhì)量覆蓋良好且穩(wěn)定的網(wǎng)絡訪問。

要建立好這個模型，我們必須深入了解并長期把脈中國的運營商網(wǎng)絡環(huán)境，且深入了解我們的業(yè)務需求，而非眉毛胡子一把抓。針對這種情況，我們首先對業(yè)務進行了深入研究，將業(yè)務對用戶訪問體驗進行分級，如下示例：

另外，對IDC全國用戶的覆蓋質(zhì)量進行長期追蹤、建立基線，以確保網(wǎng)絡質(zhì)量保持恒定，而且我們還要有能力推動運營商或自行解決不符合要求的網(wǎng)絡覆蓋質(zhì)量。

針對這種情況，我們推出類似這樣的模型，使得業(yè)務布局最精簡，而且是對用戶覆蓋質(zhì)量最好的。

通過“看清、對齊、布局”三個方面的改善，我們通過全方位立體的網(wǎng)絡監(jiān)控體系實時了解用戶的最終體驗情況，與運營商提前主動對齊規(guī)劃、主動推動改善優(yōu)化，并通過IDC和網(wǎng)絡的布局，最終實現(xiàn)用戶訪問質(zhì)量的長期良好狀態(tài)。

總結(jié)

關(guān)于開放平臺網(wǎng)絡架構(gòu)

騰訊網(wǎng)絡架構(gòu)提供高效穩(wěn)定、安全可靠的通信。IDC網(wǎng)絡架構(gòu)、城域及廣域網(wǎng)絡、出口網(wǎng)絡、對外互聯(lián)網(wǎng)絡等采用運營商級別的設備和技術(shù)；網(wǎng)絡架構(gòu)為開放云平臺提供虛擬化支持、合作伙伴安全隔離等定制化特性，在與業(yè)界共同探討更加前言的解決方案，如SDN等；

騰訊網(wǎng)絡和基礎設施具備海量運營的思路和能力。快速的IDC和網(wǎng)絡資源建設供給能力支撐海量運營的監(jiān)控系統(tǒng)及NOC窗口；

騰訊網(wǎng)絡架構(gòu)作為基礎設施整體解決方案的一部分將更加給力。深入理解業(yè)務需求，結(jié)合網(wǎng)絡、平臺系統(tǒng)提供綜合整體解決方案；騰訊網(wǎng)絡架構(gòu)的優(yōu)化，獲公司級[2011年重大技術(shù)突破獎]；

我們在與業(yè)界共同努力，積極探索適應互聯(lián)網(wǎng)行業(yè)新的解決方案。

關(guān)于網(wǎng)絡架構(gòu)發(fā)展的一些簡單經(jīng)驗

業(yè)務布局與網(wǎng)絡架構(gòu)要溝通配合。業(yè)務的部署要考慮網(wǎng)絡特點，否則需要練就乾坤大挪移。互聯(lián)網(wǎng)業(yè)務的特點顯著，需要網(wǎng)絡特別關(guān)注，例如map/reduce；

網(wǎng)絡架構(gòu)的步伐和規(guī)劃要適當大于業(yè)務短期需求。因為網(wǎng)絡本身龐大而包袱重，要為可能的海量爆發(fā)提前做好準備；

網(wǎng)絡要簡單而優(yōu)雅，掌握“架構(gòu)之美”的度。不要追求技術(shù)極致，要考慮運維能力。

關(guān)于業(yè)務對騰訊開放平臺網(wǎng)絡的知曉

了解網(wǎng)絡的真正用途。可靠而高質(zhì)量地實現(xiàn)、負責業(yè)務對話、負責連接”眼球”；

在騰訊云平臺上的網(wǎng)絡靈活自如。數(shù)據(jù)中心網(wǎng)絡和承載網(wǎng)絡，架構(gòu)靈活支持伙伴接入和拓展；

騰訊云網(wǎng)絡海量支撐能力為我保駕護航。運營商級別的網(wǎng)絡，優(yōu)質(zhì)的運營支撐。

5月16日21:00，兩個小時的騰訊網(wǎng)絡架構(gòu)分享圓滿結(jié)束！

總結(jié)

以上是生活随笔為你收集整理的架构之美–开放环境下的网络架构的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。