//最近有很重要的事情，等忙完這陣，就把公式和圖片一個一個的補上去；只是個人閱讀本論文的筆記，僅供參考

1.論文基本信息

作者:	Chi-Jen Wu	Department of Electrical Engineering, National Taiwan University, Taipei, Taiwan
?	Chin-Fu Ku	Institute of Information Science, Academia Sinica, Taipei, Taiwan
?	Jan-Ming Ho	Institute of Information Science and the Research Center of Information Technology Innovation, Academia Sinica, Taipei, Taiwan
?	Ming-Syan Chen	Department of Electrical Engineering, National Taiwan University, Taipei, Taiwan
期刊:
?
IEEE Transactions on Knowledge and Data Engineering?
Volume 28 Issue 1, January 2016? Pages 17-28?
?	?	?	?

名詞解釋

同質(zhì)網(wǎng)絡(luò)環(huán)境：網(wǎng)絡(luò)中每個節(jié)點具有相同的上傳能力c

異質(zhì)網(wǎng)絡(luò)環(huán)境: 網(wǎng)絡(luò)中每個節(jié)點的上傳能力c不一定相同

?

FNF啟發(fā)式：最快節(jié)點優(yōu)先啟發(fā)式技術(shù)[32]是用于在異構(gòu)網(wǎng)絡(luò)中查找廣播樹的常用集中式算法。該算法簡單易用。我們簡要地描述如下：在FNF啟發(fā)式的每次迭代中，它從已經(jīng)接收到消息的節(jié)點集合選擇一個發(fā)送者和，從未接收到消息的集合中選擇接收者。顯然，在每次迭代中，FNF啟發(fā)式需要做出兩個決定。首先，它必須決定哪個發(fā)送者要將消息發(fā)送到新的接收者。第二個決定是在尚未添加到樹中的節(jié)點之間選擇新的接收者。 FNF啟發(fā)式是始終選擇最快的發(fā)送者，最快的接收者是快速傳遞消息的最佳方法。通過這種方式，FNF啟發(fā)式可以生成可以實現(xiàn)廣播操作的貪心樹。請注意，FNF啟發(fā)式算法僅限于一條消息。因此，我們使用它逐個廣播多個塊。

?

DIM-Rank：DIM-Rank技術(shù)是一種用于異構(gòu)網(wǎng)絡(luò)中多塊傳播的集中式啟發(fā)式算法。在DIM-Rank中，使用集中式調(diào)度器基于所有相關(guān)節(jié)點的成對帶寬和時延來管理節(jié)點之間的數(shù)據(jù)塊傳遞。 另一方面，調(diào)度器用于在每次迭代中選擇發(fā)送者，接收者和數(shù)據(jù)塊。 在DIM-Rank中，有兩個調(diào)度指標(biāo)，以幫助調(diào)度器做出決策。 首先，Chunk Spread是具有相同數(shù)據(jù)塊的節(jié)點的總數(shù)。 第二，Node Rank是一個節(jié)點包含的所有數(shù)據(jù)塊的總和的倒置，例如，如果節(jié)點包含很少數(shù)據(jù)塊或許多塊，則其秩更高。 在每次迭代中，DIM-Rank技術(shù)首先將節(jié)點的按node rank從最低到最高排序，然后按照上傳容量（從高到低）對節(jié)點進(jìn)行排序。 排序后，調(diào)度器從排序列表中為每個發(fā)送者選擇接收者，并選擇lowest-spread塊進(jìn)行傳播。

?

2.論文要解決的問題及其重要性

這篇文章主要研究從單源節(jié)點向一組節(jié)點傳播大量數(shù)據(jù)的大數(shù)據(jù)廣播問題，目標(biāo)是使得最大完成時間最小化。

近幾年來，隨著計算機和信息技術(shù)的迅猛發(fā)展和普及應(yīng)用，行業(yè)應(yīng)用系統(tǒng)的規(guī)模迅速擴大，行業(yè)應(yīng)用所產(chǎn)生的數(shù)據(jù)呈爆炸性增長。動輒達(dá)到數(shù)百TB甚至數(shù)十至數(shù)百PB規(guī)模的行業(yè)/企業(yè)大數(shù)據(jù)已遠(yuǎn)遠(yuǎn)超出了現(xiàn)有傳統(tǒng)的計算技術(shù)和信息系統(tǒng)的處理能力，因此，尋求有效的大數(shù)據(jù)處理技術(shù)、方法和手段已經(jīng)成為現(xiàn)實世界的迫切需求。

在過去的十年，出現(xiàn)了幾種有效的技術(shù)來操作在數(shù)萬臺機器上的大量的數(shù)據(jù)，從T到P級別。例如，谷歌展示了一個分布式計算框架，叫MapReduce來有效處理大規(guī)模的數(shù)據(jù)并起初Bigtable用于早上千臺機器上存儲結(jié)構(gòu)數(shù)據(jù)。這些技術(shù)允許用戶實現(xiàn)數(shù)據(jù)并行。在發(fā)展MapReduce應(yīng)用上，有許多重要問題，比如設(shè)計有效的策略用于數(shù)據(jù)分解，負(fù)載均衡，以及在大量節(jié)點之間的數(shù)據(jù)交換。尤其是，對于大數(shù)據(jù)計算，數(shù)據(jù)傳輸開銷是完成時間的重要因素。例如，facebook的hadoop跟蹤日志顯示數(shù)據(jù)傳輸?shù)臅r間占據(jù)將近三分之一的總時間。

這篇論文主要集中于分布式系統(tǒng)中最重要的通信機制之一—大數(shù)據(jù)廣播操作。有許多的領(lǐng)域廣泛應(yīng)用廣播操作，例如科學(xué)數(shù)據(jù)分發(fā)，數(shù)據(jù)庫事務(wù)日志備份，最新的安全補丁，多媒體流應(yīng)用和數(shù)據(jù)副本或分布式數(shù)據(jù)中心的虛擬設(shè)備部署。隨著數(shù)據(jù)大小變大，廣播操作的影響也因此而變得重要。異構(gòu)網(wǎng)絡(luò)環(huán)境中考慮大數(shù)據(jù)傳播問題，在這個條件下，節(jié)點會有不同的上傳能力。大數(shù)據(jù)傳播問題就是節(jié)點如何以相對較短的總傳輸時間來獲得給定的大數(shù)據(jù)。

假設(shè)在異構(gòu)網(wǎng)絡(luò)環(huán)境中有n個節(jié)點，，, ,…,. 是傳播源，將所要傳播的數(shù)據(jù)平均分成m塊，將這些數(shù)據(jù)傳輸給其他所有的節(jié)點。上傳能力記為,, ,…,（KBps）. 并且假設(shè)每個節(jié)點的下載能力不小于上傳能力。

主要集中于以下問題:

(1)具有固定上傳速率的單覆蓋樹與廣播操作的關(guān)系是什么?

(2)在異構(gòu)網(wǎng)絡(luò)中，如何構(gòu)造單覆蓋樹以實現(xiàn)最大完成時間的最小化？

?

3.論文提出的解決方法，效果

這篇文章介紹了LockStep Broadcast Tree (LSBT)來模擬大數(shù)據(jù)傳播問題。同時還提出了多項式時間算法來選擇構(gòu)建最優(yōu)LSBT的最優(yōu)上傳速率。LSBT是一個能以較好的吞吐量以流水線方式傳播數(shù)據(jù)塊的廣播樹。

LSBT模型的主要思想是定義一個上傳帶寬的基本單位r，使得具有上傳能力c的節(jié)點以速率r向個子節(jié)點傳輸。r就是作為LSBT問題的一部分需要優(yōu)化的參數(shù)。我們進(jìn)一步將傳播數(shù)據(jù)分成m 塊，然后這些塊就可以沿著LSBT以流水線的方式傳播。在同質(zhì)網(wǎng)絡(luò)環(huán)境中，每一個節(jié)點有相同的上傳能力c，可以證明LSBT的最優(yōu)上傳速率為c/2或者c/3，使得最大完成時間最小。在異構(gòu)網(wǎng)絡(luò)環(huán)境中，我們提出一種復(fù)雜度為算法來選擇最優(yōu)上傳速率，并構(gòu)造最優(yōu)LSBT。

（1）LSBT

單個LSBT的性能目標(biāo)：通過優(yōu)化LSBT節(jié)點的基本帶寬分配，r，來實現(xiàn)最小完成時間。給定n個節(jié)點N={，, ,…,},每個節(jié)點通過上傳能力和塊的大小B連接到網(wǎng)絡(luò)中, LSBT問題就是決定每一個上傳連接的上傳帶寬, 來構(gòu)建LSBT t，每一個節(jié)點為其子節(jié)點分配上傳帶寬，以此來最小化傳輸一個數(shù)據(jù)塊的最大完成時間D。

對于節(jié)點上傳連接數(shù)目取決于上傳能力，比如： ?=

最大完成時間D的定義如下：

?

?

代表上傳能力c與上傳帶寬r組成的LSBT，h()返回LSBT 的高度。這個式子只計算了數(shù)據(jù)塊從根節(jié)點至葉節(jié)點的傳播時延。另外，LSBT模型通過建立一個單一的傳播樹來解決數(shù)據(jù)傳播問題，樹的節(jié)點以流水線的模式傳播數(shù)據(jù)塊。因此，最大完成時間D是每一層LSBT 的數(shù)據(jù)塊（如：B/r）傳播時間的加和。如下圖所示：給定一個有11個節(jié)點的集合，上傳容量分別為{3, 3, 2, 2, 2, 1, 1, 1, 1,1, 1}，通過將他們按照邊的數(shù)目非遞增順序排序選擇可以創(chuàng)建一個最優(yōu)LSBT。

?

（2）最優(yōu)LSBT

給定一組上傳能力c，目的是找到一個最優(yōu)LSBT，使得數(shù)據(jù)塊可以以流水線的方式傳播。這篇文章對同構(gòu)以及異構(gòu)網(wǎng)絡(luò)環(huán)境進(jìn)行了徹底的分析。

1）同質(zhì)網(wǎng)絡(luò)環(huán)境

同質(zhì)網(wǎng)絡(luò)系統(tǒng)中，所有節(jié)點的上傳能力相同，假設(shè)為c，每個周期內(nèi)每個節(jié)點只能向其他節(jié)點傳送一個數(shù)據(jù)塊，每個節(jié)點可以同時向k個其他節(jié)點發(fā)送數(shù)據(jù)塊。根據(jù)Mundinger’s的定理1，最大完成時間的最優(yōu)解決方案是m + , m代表數(shù)據(jù)塊的個數(shù)，n代表節(jié)點的個數(shù)。

定理1（Mundinger’s Theorem）在同質(zhì)網(wǎng)絡(luò)環(huán)境中，向n個節(jié)點發(fā)送m個數(shù)據(jù)塊的最小時間周期為m + 。

?

在同質(zhì)網(wǎng)絡(luò)環(huán)境中，節(jié)點的上傳能力均相同，因此D可以表示為如下：

令G =

D = G

令?= 0,

?= ?- ?= 0.

?

lnk = 1, k=e.

因此，在離散模型中有如下定理：

定理2. 在同質(zhì)網(wǎng)絡(luò)環(huán)境中，LSBT的的最優(yōu)值為c/2或c/3使得LSBT最大完成時間最小.

由圖可知，當(dāng)k=e時取最小值。

??? 2）異質(zhì)網(wǎng)絡(luò)環(huán)境

在異質(zhì)網(wǎng)絡(luò)環(huán)境中，節(jié)點的上傳能力有可能是不同的。首先給出了對于給定速率r構(gòu)建最優(yōu)LSBT的算法，然后給出的上下邊界。最后給出復(fù)雜度為算法來選擇構(gòu)建最優(yōu)LSBT的最優(yōu)上傳帶寬。

算法1.GLSBT：給定節(jié)點N={，, ,…,}，以及上傳能力，r代表LSBT的上傳速率，根據(jù)求取每一個節(jié)點的度，時間復(fù)雜度為O(n)。

引理1.GLSBT的時間復(fù)雜度為O(n).

定理3.給定上傳速率，若LSBT t是最優(yōu)的，則任何子節(jié)點的出度都不超過其父節(jié)點的出度。

引理2.（下限）在異質(zhì)網(wǎng)絡(luò)環(huán)境中，的下限大于等于,?對1<in.

引理3.（上限）在異質(zhì)網(wǎng)絡(luò)環(huán)境中，的上限小于,對所有的1in

引理4.給定r的候選集，任何一個的取值都會影響LSBT t的高度。

引理5.所有節(jié)點的出度大于2的LSBT的高度一定小于n.

定理4.任何最優(yōu)LSBT的高度不大于2×n.

算法2.求取的候選集：通過u/k求取候選集CandidateSet，代表所有的的可能值。

算法3.搜索選擇構(gòu)建最優(yōu)LSBT的最優(yōu)：首先將CandidateSet進(jìn)行排序，然后根據(jù)定理4對LSBT的高度進(jìn)行遍歷，求取以及，通過對比返回最小的值，由此求得最優(yōu)LSBT以及最小時間D。

定理5.搜索算法的時間復(fù)雜度為。

定理6.搜索算法（算法3）可以準(zhǔn)確的求取任何給定的上傳能力c所對應(yīng)的最優(yōu)LSBT。

定理7.在最優(yōu)LSBT中，完成數(shù)據(jù)塊的傳播需要的最少步數(shù)為O(m+logn)。

如上圖演示了上傳能力集合：{3, 3, 2, 2, 2, 1, 1, 1, 1,1, 1}利用算法3進(jìn)行二分搜索的過程。

該算法總的時間復(fù)雜度為O(2××n)

實際實驗結(jié)果證明這種方法相較于其他的有效方法，有較少的最大完成時間和更低的計算復(fù)雜度。

這篇論文主要實現(xiàn)了FNF啟發(fā)式，DIM-Rank啟發(fā)式以及LSBT三種方式，對這三種集中式方式進(jìn)行數(shù)值評估對比。

?

（1）上圖對比了當(dāng)要廣播的節(jié)點數(shù)目增加時候選集的大小變化。通過對比初始方法與本文的離散算法，隨著節(jié)點的數(shù)目增加，本文的算法可以大規(guī)模減小網(wǎng)絡(luò)中候選集的大小。

?

（2）上圖對比了各種場景下三種算法的最大完成時間。對比n = 100，1,000，10,000和100,000個節(jié)點的網(wǎng)絡(luò),文件大小為100 MB，數(shù)據(jù)塊數(shù)為1,000。 圖8a顯示了每個算法將文件廣播到所有節(jié)點的總時間。圖8b顯示出了每個算法規(guī)劃廣播工作的計算時間。通過仿真結(jié)果，LSBT執(zhí)行最好，而FNF啟發(fā)式顯示了較差的性能，因為FNF沒有利用流水線的優(yōu)勢。DIM-Rank的計算時間是重要的，這是因為DIM-Rank的時間復(fù)雜度是。在n = 10,000網(wǎng)絡(luò)中，DIM-Rank的計算時間需要近15個小時（在使用Intel Xeon 2.33 GHz和8 GB RAM的服務(wù)器上）。

（3）上圖對比了數(shù)據(jù)塊數(shù)（m）增加時的效果。文件的大小為100 MB，節(jié)點數(shù)為100.可以看到FNF的結(jié)果不取決于m的值。LSBT的最大完成時間比另外兩種算法執(zhí)行的最大完成時間顯著降低（至少約60％）。

（4）上圖對比了數(shù)據(jù)塊數(shù)（m）增加對計算時間的影響。文件大小為100 MB，節(jié)點數(shù)為100.LSBT和FNF的結(jié)果不依賴于m的值，LSBT的計算時間顯著低于由DIM-Rank算法執(zhí)行的時間。

?

（5）上圖顯示了遞送數(shù)據(jù)大小增加時的效果。數(shù)據(jù)塊的數(shù)量為1,000，節(jié)點數(shù)為1,000。當(dāng)傳送數(shù)據(jù)的大小從1千兆字節(jié)增加到1兆字節(jié)時，LSBT的最大完成時間顯著低于另外兩個算法執(zhí)行的最大完成時間。通過仿真結(jié)果，LSBT顯示出在異構(gòu)數(shù)據(jù)中心網(wǎng)絡(luò)中提供高性能大數(shù)據(jù)傳輸?shù)哪芰?span lang="en-us">.

?

4.論文提出該解決方案的動機

LSBT是一個能以較好的吞吐量以流水線方式傳播數(shù)據(jù)塊的廣播樹,可以非常適合很多應(yīng)用。比如：

（1）? BitTorrentlike中的拓?fù)淇刂?/span>

（2）? 云計算軟件堆棧中的數(shù)據(jù)廣播

（3）? 同伴輔助內(nèi)容傳送服務(wù)節(jié)能

LSBT算法對BitTorrent-like的系統(tǒng)中拓?fù)淇刂茣浅Ｓ杏谩?span lang="en-us">BitTorrent是一個點對點的應(yīng)用，旨在在一大組的節(jié)點之間進(jìn)行大文件的快速有效的傳送。在BitTorrent中，每個對等體都保持不斷的并發(fā)上傳連接數(shù)（通常為5個）。然而，如何在BitTorrent中確定適當(dāng)數(shù)量的并發(fā)上傳仍然是一個挑戰(zhàn)。 所提出的LSBT算法深入探討了如何在BitTorrent-like系統(tǒng)中選擇并發(fā)上傳數(shù)量。

大數(shù)據(jù)廣播問題類似于上傳共享問題，所以可以通過LSBT建模解決。

?

5.該解決方案有何不足之處

（1）這篇論文只針對一個LSBT進(jìn)行討論，但是在大數(shù)據(jù)計算中，一個數(shù)據(jù)通常被分配至多個數(shù)據(jù)源，目前的LSBT算法沒有解決分區(qū)數(shù)據(jù)源問題。將當(dāng)前LSBT算法應(yīng)用于分區(qū)數(shù)據(jù)源環(huán)境的最直接的方法之一是為每個數(shù)據(jù)項構(gòu)建多個LSBT廣播樹。例如，如下圖所示，在多個數(shù)據(jù)源環(huán)境中有兩個數(shù)據(jù)項，即item #1和item＃2，為這些數(shù)據(jù)項構(gòu)建兩個LSBT廣播樹，來廣播多個數(shù)據(jù)源.

（2）此外，在inter-datacenter網(wǎng)絡(luò)中，如何基于物理網(wǎng)絡(luò)拓?fù)錁?gòu)建最佳LSBT也有待研究。

(3)根據(jù)這篇論文的介紹，的二分搜索時間復(fù)雜度為O(2××n)，通過對h的逐一遍歷求取，計算時間浪費比較多，可以想辦法求取r與h與D的關(guān)系式，通過線性規(guī)劃進(jìn)行求取最優(yōu)解。

?

6.以前解決該問題的方法以及不足之處

假設(shè)m個大小相等的數(shù)據(jù)塊最初屬于網(wǎng)絡(luò)中的同一個單源節(jié)點，數(shù)據(jù)廣播問題就是在符合上傳能力限制的條件下，以盡可能少的時間將這m個數(shù)據(jù)塊傳輸至n個節(jié)點。這篇文章主要討論異質(zhì)網(wǎng)絡(luò)環(huán)境中的大數(shù)據(jù)廣播問題。

對于集中式方法，非基于塊方法，Khuller 和 Kim提出了NP-hard來最小化異構(gòu)網(wǎng)絡(luò)環(huán)境中單塊廣播完成時間的問題。作者還表明，最快節(jié)點優(yōu)先（FNF）啟發(fā)式方法性能至少為1.5倍，FNF在許多情況下為單塊廣播提供了最佳解決方案。Liu表明，FNF啟發(fā)式方法只在兩類節(jié)點中是最優(yōu)的。然而，當(dāng)數(shù)據(jù)由多個塊組成時數(shù)據(jù)廣播問題更復(fù)雜，并且仍然存在一個待解決的問題：是否可以通過多項式時間算法求解多個塊的數(shù)據(jù)廣播問題？

在基于塊的方法中，文獻(xiàn)[12]提出了一種上行鏈路共享模型，并將數(shù)據(jù)廣播問題作為混合整數(shù)線性規(guī)劃（MILP）提出。然而，隨著線性規(guī)劃中的變量數(shù)量呈指數(shù)增長n和m，這種方法對于大的n和m是不實際的。 Goetzmann等人表明，如果對等能力是異構(gòu)的和對稱的，這個問題就變成強NP-hard。 最近的結(jié)果[19]提出了兩種啟發(fā)式算法來調(diào)度節(jié)點之間的數(shù)據(jù)塊傳輸。 兩個集中算法的時間復(fù)雜度是.

?? 對于分散式方法，已經(jīng)提出了許多通過覆蓋拓?fù)鋫鞑K的分散系統(tǒng)。使用基于覆蓋的方法，節(jié)點保持一組鏈接到其他節(jié)點的覆蓋鏈路并在相鄰節(jié)點之間交換塊。BitTorrent, SplitSteam, Bullet 和 Bee就是一些基于覆蓋的方法的例子。在文獻(xiàn)[23]中，作者表明，蜜蜂可以通過模擬來接近異構(gòu)網(wǎng)絡(luò)中最大完成時間的下限。

?? 上文提及對FNF啟發(fā)式，DIM-Rank啟發(fā)式以及LSBT三種方式的實現(xiàn)對比，LSBT綜合來看是目前最優(yōu)的。

?

7.總結(jié)

這篇文章從算法角度討論了經(jīng)典的數(shù)據(jù)廣播問題。將此問題形成LSBT模型，同時考慮了設(shè)計一個有固定上傳速率的單一覆蓋樹以及模型建立的最大完成時間。這項工作是首次對有固定上傳速率的單覆蓋樹和最大完成時間在異質(zhì)網(wǎng)路環(huán)境中關(guān)系的研究。同時還提出了多項式時間算法來選擇構(gòu)建最優(yōu)LSBT的最優(yōu)上傳速率。算法的時間復(fù)雜度為。未來的工作涉及為數(shù)據(jù)廣播問題取得良好的啟發(fā)式。這個問題更有挑戰(zhàn)性的是多個LSBT，我們將其作為未來研究的方向。此外，在inter-datacenter網(wǎng)絡(luò)中，如何基于物理網(wǎng)絡(luò)拓?fù)錁?gòu)建最佳LSBT也有待未來的研究。

初次接觸大數(shù)據(jù)相關(guān)內(nèi)容，不甚了解，相關(guān)術(shù)語解釋如有誤，還望指正，非常感謝！

轉(zhuǎn)載于:https://www.cnblogs.com/niufeifei/p/7183944.html

總結(jié)

以上是生活随笔為你收集整理的《A Novel Pipeline Approach for Efficient Big Data Broadcasting》阅读报告的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。