李超，林霄，孫衛強，胡衛生

上海交通大學，上海 200240

摘要：電路交換網絡交換粒度較粗，在應對突發式業務時阻塞率較高。針對這一問題，提出在光電路交換網絡節點引入存儲，從而在突發階段暫存“時延不敏感”的業務數據并錯峰傳輸。基于時移多層圖研究了存儲容量與業務突發度的關系，并通過仿真驗證了對網絡性能的改善程度。研究結論包括：突發業務對光電路交換網絡性能有較大影響；引入存儲可以有效平滑突發業務，降低阻塞率；在固定的網絡負載下，所需的存儲容量隨著業務突發度的增大而增大。

關鍵詞：大數據傳輸；輔助存儲；突發業務；光電路交換

中圖分類號：TN915.02?????????文獻標識碼：A

doi: 10.11959/j.issn.2096-0271.2016041

論文引用格式：李超，林霄，孫衛強等.?突發大數據在存儲輔助光電路交換網絡中的傳輸[J]. 大數據, 2016, 2(4): 49-56.

LI C，LIN X，SUN W Q，et al.?Transmissionof burst bulk data in optical circuit-switched networks with assistive storage[J]. Big Data Research,?2016, 2(4): 49-56.

Transmission of burst bulk data in optical circuit-switched networks with assistive storage

Li Chao,Lin Xiao ,Sun Weiqiang , Hu Weisheng

Shanghai Jiao Tong University, Shanghai 200240,China

Abstract:?With coarse switching granularity, circuitswitching suffers from high blocking probability, especially when the trafficis bursty. How massive intermediate storage may alleviate traffic blocking inOCS (copticalcircuit switching) networks was studied. The relationship betweenthe storage capacity and the traffic burst was introduced, and the improvement ofthe network performance was verified by the simulation results. The resultssuggest that burstiness in traffic is indeed harmful to the OCS blocking performance,and can be effectively handled with massive intermediate storage. It alsoindicates that with different levels of storage support, the network mayexhibit different levels of burst smoothing functions and achieve differentblocking performance.

Key words:?big data transmission, assistive storage, burst traffic,optical circuit switching

1 ?引言

近年來，隨著信息技術的不斷發展和“數據密集型”應用的不斷出現，互聯網上的數據量正在呈爆炸式增長。寬帶化的發展也使得人均網絡接入帶寬和流量迅速提升。全球新產生數據年增40%，即信息總量每兩年就可以翻一番，并且這一趨勢將不斷持續^[1]，這表明大數據時代已經到來。在大數據時代，傳輸和處理如此大量的數據對網絡設施提出了很高的要求。研究顯示，在大數據時代的網絡中，巨塊數據占據和消耗了大量的網絡帶寬^[2]。例如，為了保證服務質量（QoS），提高訪問容錯率，云服務提供商通常建立多個地理位置分散的數據中心，并且定期同步和復制它們之間的內容。這些數據中心之間經常需要傳輸和同步巨量的備份數據^[3]。這類巨塊數據的傳輸有以下兩個特點。

● 傳輸的數據流量巨大。單個業務傳輸的數據量可以達到GB甚至TB級別。根據某些機構的觀察和預測，數據中心之間的流量在2016年將達到1.3 ZB，之后每年以31%的速度增長，在2019年將達到2.8 ZB。

● 對業務的實時性要求較低。由于沒有實時業務的交互性要求，上述業務通常可以容忍數小時甚至數天的時延^[4]。在傳輸流量如此巨大的數據業務時，“ 端到端”的電路交換網絡比“逐個分組轉發、逐跳處理”的分組交換網絡有更大的優勢^[5]，而且以光路作為傳輸媒介的光電路交換（optical circuitswitching，OCS）技術具有低能耗、大帶寬等優點。但是，在電路交換網絡中，通信雙方在通信之前需要建立一條雙方獨占的電路。在建立電路之后、釋放線路之前，整個線路不允許其他業務使用。這將導致較低的網絡資源利用率。特別當業務表現出一定的突發性時，集中到來的業務請求可能因找不到足夠的帶寬資源而被拒絕，從而造成阻塞率過高的問題^[6]。大數據傳輸場景中的突發性業務的問題逐漸引起了人們的關注和研究^[7,8]。

由于大數據傳輸業務大都能夠在一定程度上容忍時延，因此可以在電路交換網絡中引入存儲隊列來暫存業務數據。當網絡忙碌時，找不到足夠帶寬資源的業務數據暫存在存儲中，等待未來時刻帶寬資源充足時再進行錯峰傳輸，這提高了網絡帶寬利用率，降低了網絡中業務請求的阻塞率^[9,10]。

當存儲引入網絡后，如何為新到業務找到一條既包含帶寬資源（空間鏈路）又包含存儲資源（時域鏈路）的可用通路，是需要在兩個維度上調度的復雜問題。為了應對這樣的復雜調度問題，時移多層圖作為一種通用的路由框架被提出^[11]。時移多層圖的基本思想是將網絡狀態隨時間的變化記錄下來，并用代表存儲資源使用狀況的時域鏈路將這些快照連接起來。使用時移多層圖進行路由調度，可以統一管理網絡中的帶寬資源和存儲資源，極大地簡化了路由過程。時移多層圖提供的路由框架可以有效地研究存儲電路交換網絡傳輸突發業務的問題。

2 大數據傳輸環境中的突發業務

在大數據傳輸網絡的經典場景——數據中心之間的通信過程中，業務特性表現出了強烈的不規律性和波動性^[2]。PadgavankarM H等人把易變性作為大數據業務的三大特性之一^[12]。通常情況下，這種波動性的突發業務對網絡性能的影響很大，會帶來較高的阻塞率^[5]，從而使網絡性能惡化。

為了改善網絡性能，一種可以利用網絡空閑時的帶寬傳輸大數據業務的策略被提出，這樣可以在不增加網絡成本的情況下完成大量數據的傳輸。由于網絡的空閑和忙碌狀態通常表現出以“日”為單位的周期性交替現象^[2,4]，把網絡忙碌時產生的“時延不敏感”業務存儲等待至網絡空閑時錯峰傳輸的過程可以看作一個應對周期性突發業務的存儲—轉發策略。在研究更為一般的隨機性非周期性突發業務時，需要一個通用的業務模型和研究方法。

針對于大數據傳輸場景中的突發業務，有研究者關注了數據中心的微突發業務（micro-burst traffic），基于廣泛應用在以太網交換機上的“動態門限值”策略提出了改進的“增強動態門限值”策略來降低微突發業務對網絡性能的負面影響^[7]。另一種應對突發性業務的方法是提前預測突發業務的產生，有研究工作提出了一種基于熵的預測方法^[8]。通過仿真驗證，這種預測方法的準確度可以達到85%以上。

上述關于突發業務在大數據傳輸環境中的研究，主要集中在如何應對或預測產生在以太網交換機上的突發性業務。相比于對以太網交換機存儲隊列造成的影響，突發業務對存儲輔助的光交換網絡造成的影響將更加明顯。這是因為電路交換網絡在應對突發業務時的靈活性比分組交換網絡差。除此以外，突發業務還可能造成存儲使用的溢出，這對光存儲技術還不成熟的光網絡帶來的困難則更為棘手^[6]。因此，深入研究突發大數據業務在存儲輔助光電路交換網絡中的傳輸問題，對理解和設計此類網絡有重要的實際意義。

?

3 存儲輔助網絡研究工具：時移多層圖

在存儲輔助的電路交換網絡中，當新的業務請求到達時，網絡調度者需要判斷是否存在足夠的帶寬資源可以馬上建立電路傳輸數據，是否需要暫存業務數據，暫存的數據將在何時經由哪條路徑傳送至目的節點，需要占用的帶寬大小和傳輸時間等問題^[5]。這些決策要求調度者充分了解未來時刻的網絡帶寬使用狀態，并為暫存的業務提前預約未來時刻將要占用的帶寬資源。除此以外，當調度者在未來時刻的網絡狀態中查找路徑時，需要同時兼顧各條鏈路上的帶寬資源和各個網絡節點存儲資源在多個未來時刻的使用情況。這極大地增加了存儲輔助的電路交換網絡的控制復雜度。時移多層圖^[5]可以有效地應對這些情況。以下介紹時移多層圖的構成和更新演變過程。

（1）時移多層圖的構成

時移多層圖由一系列離散時間點上的網絡狀態快照組成。在時移多層圖中，每一層都是一個時間點上的網絡狀態快照，隨著網絡狀態的更新不斷生長。當前時刻的網絡狀態快照記錄在時移多層圖的最上層，下面的層中記錄的是未來時刻的網絡狀態。層與層之間由代表存儲使用狀態的時域鏈路相連。圖1是一個3層的時移多層圖示例。

圖1 ?時移多層圖示例

時移多層圖統一了時間維度和空間維度的調度過程，在時移多層圖中使用傳統的路由策略（比如最短路徑算法），不僅可以像通常在網絡的多個節點之間尋找通路，而且可以兼顧多個時刻的網絡狀態。通過一次路由算法，可以在多個層之間找到所需的傳輸路徑。

如圖2所示，新到業務請求從節點1到節點6傳輸數據。但是，在時移多層圖的最上層找不到一條帶寬資源足夠的可用路徑。這意味著當前時刻無法建立電路并傳輸數據。在時移多層圖的所有層中使用最短路徑算法后，可以找到一條經過3個層的通路，如圖2中黑色虛線所示。業務的傳輸將在第三層圖對應的時刻完成。存儲資源和帶寬資源統一對待，傳統的最短路徑算法即可完成該過程。

圖2 ?使用時移多層圖為業務選路

在時移多層圖中為業務查找可用路徑時，計算復雜度會隨著層數的變多而增大。在實際應用時，可以按照網絡對阻塞率的要求和網絡控制系統的計算能力，合理限制查找路徑的最大層數，從而獲取網絡性能和計算復雜度的折中^[11]。

????（2）時移多層圖的更新演變

????在存儲網絡中，業務的到達或離開會導致網絡狀態變化，從而使時移多層圖更新^[10]。當新業務請求到達網絡時，網絡調度者首先根據當前時刻的時移多層圖為該業務查找當前或未來時刻可用的傳輸路徑，并在找到后更新時移多層圖，從對應時刻的網絡狀態中減去被占用的帶寬資源和存儲資源。當有業務完成傳輸時，該業務占用的帶寬資源和存儲資源被歸還到時移多層圖中對應時刻的網絡狀態中。存儲資源的使用情況和帶寬資源的使用情況在時移多層圖中得到了統一更新和管理^[5,11]。

4 突發業務模型

突發業務廣泛存在于當前時代的互聯網中，其顯著特性是業務傳輸請求到達網絡的速率隨時間的變化而隨機變化。研究網絡中的突發業務時，可以用多種模型對突發業務建模^[6,7,13-15]。利用馬爾可夫調制的泊松過程（Markov-modulatedPoissonprocess，MMPP）為突發業務建模可以準確地描述并記錄突發業務隨時間變化的到達速率^[13]。實際應用中，通常使用只有兩個狀態的一階馬爾可夫過程來調制突發業務的到達速率狀態，即on-off過程。on狀態下業務以較高的速率到達網絡，off狀態下業務的到達速率為零。本文采用上述馬爾可夫調制的on-off過程對突發業務建模。

不同研究環境中的突發度的定義并不相同，但都應從統計概念的角度表示出突發階段和突發間隔階段業務強度的差異。在馬爾可夫調制的on-off過程中,on階段為突發區間，持續時間服從均值為θ_on的指數分布；off區間為突發間隔區間，持續時間服從均值為θ_off的指數分布。

定義突發度為on區間占空比的倒數，即(θ_on+θ_off)/θ_on 圖2使用時移多層圖為業務選路。在off區間，業務的到達率為0。為了保證突發度不同時的平均業務負載不變，突發區間的業務負載應調整為突發度乘以平均業務負載。例如，突發度為2表示θ_on=θ_off，即突發區間和突發間隔區間的平均長度相同，且突發區間的業務負載為平均業務負載的2倍；突發度為1表示off區間的持續時間為0，即業務沒有突發性。

圖3是突發度為1和5時，在1 000個單位的仿真時間內隨機生成的平均負載相同的業務分布示意。通過對比可以看出，隨著突發度的增大，突發區間的持續時間減少，突發間隔的持續時間增大；在突發區間，業務強度變大。

圖3 ?突發度為1和5時的業務分布對比

5 結果與分析

針對14個節點的NSFNet進行研究。假設網絡的每個節點都裝備存儲資源。網絡每條鏈路為雙向鏈路，每個方向上各有一個波長。表征平均業務負載大小的單位為Erl，其值為業務的平均到達率（單位時間到達網絡的業務數量均值）和平均服務率（單位時間網絡可以傳輸完成的業務數量均值）的比值。存儲容量為業務平均負載為1 Erl時，單位時間內到達的業務數據的平均大小歸一化的無量綱單位。在上述前提下，從以下3個方面研究了突發業務在存儲輔助光交換網絡中的傳輸。

（1）業務突發性對網絡性能的影響

筆者研究了在傳統的無存儲電路交換網絡中，突發業務是如何影響網絡性能的。圖4為平均業務負載為1~ 5 Erl時，在不同突發度下網絡阻塞率的變化趨勢。從圖4可以看出，突發業務在不同的負載下對網絡性能都有較大的影響，即使在較輕的負載（如1 Erl）下，當突發度從1變為5時，業務的突發性使得阻塞率提高了接近10倍。

圖4 ?突發度對網絡性能的影響

（2）引入存儲對網絡阻塞率的影響

存儲的作用是可以暫存突發業務在網絡空閑時錯峰傳輸，從而降低網絡的阻塞率。筆者研究了幾種業務負載和突發度下，網絡節點上的存儲容量對網絡性能的影響，如圖5所示。可以看出，隨著存儲的從無到有，從小到大，阻塞率逐漸降低，網絡性能逐漸改善。這種改善的效果對于重的負載更為明顯。因此，引入存儲可以有效地平滑突發業務，降低網絡的阻塞率。

圖5 引入存儲對網絡阻塞率的影響

（3）存儲容量與業務突發度的關系

筆者研究了在業務的平均負載分別為2 Erl和3 Erl時，為了使阻塞率小于10%而需在節點上配備的存儲容量大小。突發度的增高使得突發業務的到達更加集中，需要更多的存儲來暫存業務以保證網絡性能。從圖6可以看出，在固定負載下，為使網絡阻塞率達到一定的標準（<10%），所需的存儲容量隨著業務平均負載和突發度的增大而增大。在一定的負載范圍內，二者之間的關系近似于線性關系。

?

圖6 ?使阻塞率小于10% 所需存儲容量與突發度的關系

6 結束語

在大數據傳輸場景中，電路交換網絡能提供保證服務質量的帶寬資源，并且控制開銷更低。引入存儲暫存“時延不敏感”的大數據業務至網絡空閑時錯峰傳輸，可以緩解電路交換在應對突發性業務時靈活性的問題。本文基于時移多層圖研究了突發業務的突發度對存儲輔助電路交換網絡的影響以及不同大小的存儲容量在不同突發度情況下，對網絡性能的改善程度。仿真結果顯示：突發業務對電路交換網絡性能的影響顯著，即使在業務負載較輕時，突發度對阻塞率的影響仍然很高，網絡性能惡化嚴重；引入存儲后，存儲網絡在傳輸業務負載和突發度不同時的性能均有所改善，對重負載業務的改善程度更大；在特定的網絡負載下，隨著突發度的增加，網絡為了維持一定的性能，所需的存儲資源也在加大，在一定的負載范圍內，兩者之間近似于線性關系。

參考文獻：

[1] 鄔賀銓. 大數據時代的機遇與挑戰[J]. 求是, 2013(4): 47-49.

WU H Q. Opportunities and challenges inthe era of big data[J]. Qiushi, 2013(4): 47-49.

[2] CHEN Y, JAIN S, ADHIKARI V K, et al. Afirst look at inter-data center traffic characteristics via Yahoo!datasets[C]//The 30th IEEE International Conference on Computer Communications,Jointly with the Conference of the IEEE Computer and Communications Societies,April 10-15, 2011, Shanghai, China. New Jersey: IEEE Press, 2011: 1620-1628.

[3] LAOUTARIS N, SIRIVIANOS M, YANG X, et al. Inter-datacenter bulk transfers with netstitcher [C]// The ACM SIGCOMM 2011Conference on Applications, Technologies, Architectures, and Protocols forComputer Communications, August 15-19, 2 011,Toronto, Canada. New York: ACMPress, 2011: 74-85.

[4] LAOUTARIS N, SMARAGDAKIS G,STANOJEVIC R, et al. Delay-tolerant bulk data transfers on the Internet[J].IEEE/ACMTransactions on Networking,2009, 21(6): 1852-1865.

[5] 孫衛強, 胡衛生. 大數據時代的數據傳輸網[J].大數據, 2015，1(2): 2015019.

SUN W Q , HU W S . Networking challengesin the big data era [J]. Big Data Research, 2015，1(2): 2015019.

[6] CAI Y, LIU Y, GONG W, et al. Impact ofarrival burstiness on queue length: an infinitesimal perturbation analysis[C]//The48th IEEE Conference on Decision and Control, Jointly with the 28th Chinese ControlConference, December 15-18,2009, Shanghai, China. New Jersey: IEEE Press, 2009:7068-7073.

[7] SHAN D, JIANG W, REN F. Absorbing micro-bursttraffic by enhancing dynamic threshold ?policeof data center switches[C]//2015 IEEE Conference on Computer Communications(INFOCOM),April 26-May 1, 2015, Hong Kong, China .New Jersey: IEEE Press, 2015:118-126.

[8] WU H, TAHERI J, ZOMAYA A. B-alarm :anentropy based burst traffic prediction approach for ethernet switches in data centers[C]//2013 IEEE 10th International Conference on High Performance Computing and Communications&2013 IEEE International Conference on Embedded and Ubiquitous Computing(HPCC_ EUC), November 13-15, 2 013,Zhang jiajie , China . New Jersey: I EEE Press,2013: 1221-1226.

[9] PATEL A, TACCA M, JUE J P. Time-shift circuitswitching[C]//Optical Fiber Communication /National Fiber Optic Engineers Conference, February 24-28,San Diego, CA, USA. New Jersey: IEEE Press, 2008:1-3.

[10] PATEL A, ZHU Y, SHE Q, et al. Routingand scheduling for time-shift advance reservation[C]//The 18th International Conferenceon Computer Communications and Networks, August 3-6, 2009, San Francisco, CA,USA. New Jersey: IEEE Press, 2009: 1-6.

[11] LIN X, SUN W, VEERARAGHAVAN M, et al.Time-shifted multilayer graph: arouting framework for bulk data transfer inoptical circuit-switched networks with assistive storage[J]. IEEE/OSA Journalof Optical Communications and Networking Year, 2016, 8(3): 162-174.

[12] PADGAVANKAR M H, GUPTA S R .Big datastorage and challenges [J].International Journal of Computer Science&Information Technologies, 2014, 5(2):2218-2223.

[13] TIAN W. An exact and efficientanalytical model for the on/off burst traffic[C]//The 40th Annual Conference onInformation Sciences and Systems, March 22-24,2006, Princeton, NJ, USA. NewJersey: IEEE Press, 2006: 889-893.

[14] ? V I R O N I E N ? A , N AV I C K A SZ ,R I N D Z E V I ? I U S R . Burst ytraffic simulation by on- off model [J].Elektronika Ir Elektrotechnika, 20 0 6,4(3):145-147.

[15] WANG X, BAO Y, HU C, et al. Impact oftraffic burstiness on optimal batching policy for energy-efficient video-on-demandservices[C]//The 6th International Symposium on Communications, Control andSignal Processing (ISCCSP), May 21-23,2014, Athens, Greece. New Jersey: IEEE Press,2014: 326-330.

李超（1988-），男，上海交通大學碩士生，主要研究方向為大數據網絡。

林霄（1988-），男，上海交通大學博士生，主要研究方向為大數據網絡和網絡優化。

孫衛強（1976-），男，博士，上海交通大學教授、博士生導師，主要研究方向為大數據網絡、信息通信網、網絡優化、網絡性能評估等。

胡衛生（1964-），男，博士，上海交通大學教授、博士生導師，國家杰出青年基金獲得者，主要研究方向為下一代光接入網、光交換、光網絡等。

總結

以上是生活随笔為你收集整理的【2016年第4期】突发大数据在存储辅助光电路交换网络中的传输的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。