日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 运维知识 > linux >内容正文

linux

Linux服务器集群系统(三)--转

發布時間:2025/4/5 linux 35 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Linux服务器集群系统(三)--转 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

引用地址:http://www.linuxvirtualserver.org/zh/lvs3.html

LVS集群中的IP負載均衡技術

章文嵩?(wensong@linux-vs.org)?
2002 年 4 月

本文在分析服務器集群實現虛擬網絡服務的相關技術上,詳細描述了LVS集群中實現的三種IP負載均衡技術(VS/NAT、VS/TUN和VS/DR)的工作原理,以及它們的優缺點。

1.前言
在 前面文章中,講述了可伸縮網絡服務的幾種結構,它們都需要一個前端的負載調度器(或者多個進行主從備份)。我們先分析實現虛擬網絡服務的主要技術,指出 IP負載均衡技術是在負載調度器的實現技術中效率最高的。在已有的IP負載均衡技術中,主要有通過網絡地址轉換(Network Address Translation)將一組服務器構成一個高性能的、高可用的虛擬服務器,我們稱之為VS/NAT技術(Virtual Server via Network Address Translation)。在分析VS/NAT的缺點和網絡服務的非對稱性的基礎上,我們提出了通過IP隧道實現虛擬服務器的方法VS/TUN (Virtual Server via IP Tunneling),和通過直接路由實現虛擬服務器的方法VS/DR(Virtual Server via Direct Routing),它們可以極大地提高系統的伸縮性。VS/NAT、VS/TUN和VS/DR技術是LVS集群中實現的三種IP負載均衡技術,我們將在文 章中詳細描述它們的工作原理和各自的優缺點。

在以下描述中,我們稱客戶的socket和服務器的socket之間的數據通訊為連接,無論它們是使用TCP還是UDP協議。下面簡述當前用服務器集群實現高可伸縮、高可用網絡服務的幾種負載調度方法,并列舉幾個在這方面有代表性的研究項目。

2.實現虛擬服務的相關方法
在網絡服務中,一端是客戶程序,另一端是服務程序,在中間可能有代理程序。由此看來,可以在不同的層次上實現多臺服務器的負載均衡。用集群解決網絡服務性能問題的現有方法主要分為以下四類。

2.1. 基于RR-DNS的解決方法

NCSA的可伸縮的WEB服務器系統就是最早基于RR-DNS(Round-Robin Domain Name System)的原型系統[1,2]。它的結構和工作流程如下圖所示:


圖1:基于RR-DNS的可伸縮WEB服務器?(注:本圖來自文獻【9】)

有 一組WEB服務器,他們通過分布式文件系統AFS(Andrew File System)來共享所有的HTML文檔。這組服務器擁有相同的域名(如www.ncsa.uiuc.edu),當用戶按照這個域名訪問時, RR-DNS服務器會把域名輪流解析到這組服務器的不同IP地址,從而將訪問負載分到各臺服務器上。

這種方法帶來幾個問題。第一,域名服務 器是一個分布式系統,是按照一定的層次結構組織的。當用戶就域名解析請求提交給本地的域名服務器,它會因不能直接解析而向上一級域名服務器提交,上一級域 名服務器再依次向上提交,直到RR-DNS域名服器把這個域名解析到其中一臺服務器的IP地址。可見,從用戶到RR-DNS間存在多臺域名服器,而它們都 會緩沖已解析的名字到IP地址的映射,這會導致該域名服器組下所有用戶都會訪問同一WEB服務器,出現不同WEB服務器間嚴重的負載不平衡。為了保證在域 名服務器中域名到IP地址的映射不被長久緩沖,RR-DNS在域名到IP地址的映射上設置一個TTL(Time To Live)值,過了這一段時間,域名服務器將這個映射從緩沖中淘汰。當用戶請求,它會再向上一級域名服器提交請求并進行重新影射。這就涉及到如何設置這個 TTL值,若這個值太大,在這個TTL期間,很多請求會被映射到同一臺WEB服務器上,同樣會導致嚴重的負載不平衡。若這個值太小,例如是0,會導致本地 域名服務器頻繁地向RR-DNS提交請求,增加了域名解析的網絡流量,同樣會使RR-DNS服務器成為系統中一個新的瓶頸。

第二,用戶機器 會緩沖從名字到IP地址的映射,而不受TTL值的影響,用戶的訪問請求會被送到同一臺WEB服務器上。由于用戶訪問請求的突發性和訪問方式不同,例如有的 人訪問一下就離開了,而有的人訪問可長達幾個小時,所以各臺服務器間的負載仍存在傾斜(Skew)而不能控制。假設用戶在每個會話中平均請求數為20,負 載最大的服務器獲得的請求數額高于各服務器平均請求數的平均比率超過百分之三十。也就是說,當TTL值為0時,因為用戶訪問的突發性也會存在著較嚴重的負 載不平衡。

第三,系統的可靠性和可維護性差。若一臺服務器失效,會導致將域名解析到該服務器的用戶看到服務中斷,即使用戶按 “Reload”按鈕,也無濟于事。系統管理員也不能隨時地將一臺服務器切出服務進行系統維護,如進行操作系統和應用軟件升級,這需要修改RR-DNS服 務器中的IP地址列表,把該服務器的IP地址從中劃掉,然后等上幾天或者更長的時間,等所有域名服器將該域名到這臺服務器的映射淘汰,和所有映射到這臺服 務器的客戶機不再使用該站點為止。

2.2. 基于客戶端的解決方法

基 于客戶端的解決方法需要每個客戶程序都有一定的服務器集群的知識,進而把以負載均衡的方式將請求發到不同的服務器。例如,Netscape Navigator瀏覽器訪問Netscape的主頁時,它會隨機地從一百多臺服務器中挑選第N臺,最后將請求送往wwwN.netscape.com。 然而,這不是很好的解決方法,Netscape只是利用它的Navigator避免了RR-DNS解析的麻煩,當使用IE等其他瀏覽器不可避免的要進行 RR-DNS解析。

Smart Client[3]是Berkeley做的另一種基于客戶端的解決方法。服務提供一個Java Applet在客戶方瀏覽器中運行,Applet向各個服務器發請求來收集服務器的負載等信息,再根據這些信息將客戶的請求發到相應的服務器。高可用性也 在Applet中實現,當服務器沒有響應時,Applet向另一個服務器轉發請求。這種方法的透明性不好,Applet向各服務器查詢來收集信息會增加額 外的網絡流量,不具有普遍的適用性。

2.3. 基于應用層負載均衡調度的解決方法

多 臺服務器通過高速的互聯網絡連接成一個集群系統,在前端有一個基于應用層的負載調度器。當用戶訪問請求到達調度器時,請求會提交給作負載均衡調度的應用程 序,分析請求,根據各個服務器的負載情況,選出一臺服務器,重寫請求并向選出的服務器訪問,取得結果后,再返回給用戶。

應用層負載均衡調度 的典型代表有Zeus負載調度器[4]、pWeb[5]、Reverse-Proxy[6]和SWEB[7]等。Zeus負載調度器是Zeus公司的商業 產品,它是在Zeus Web服務器程序改寫而成的,采用單進程事件驅動的服務器結構。pWeb就是一個基于Apache 1.1服務器程序改寫而成的并行WEB調度程序,當一個HTTP請求到達時,pWeb會選出一個服務器,重寫請求并向這個服務器發出改寫后的請求,等結果 返回后,再將結果轉發給客戶。Reverse-Proxy利用Apache 1.3.1中的Proxy模塊和Rewrite模塊實現一個可伸縮WEB服務器,它與pWeb的不同之處在于它要先從Proxy的cache中查找后,若 沒有這個副本,再選一臺服務器,向服務器發送請求,再將服務器返回的結果轉發給客戶。SWEB是利用HTTP中的redirect錯誤代碼,將客戶請求到 達一臺WEB服務器后,這個WEB服務器根據自己的負載情況,自己處理請求,或者通過redirect錯誤代碼將客戶引到另一臺WEB服務器,以實現一個 可伸縮的WEB服務器。

基于應用層負載均衡調度的多服務器解決方法也存在一些問題。第一,系統處理開銷特別大,致使系統的伸縮性有限。當請 求到達負載均衡調度器至處理結束時,調度器需要進行四次從核心到用戶空間或從用戶空間到核心空間的上下文切換和內存復制;需要進行二次TCP連接,一次是 從用戶到調度器,另一次是從調度器到真實服務器;需要對請求進行分析和重寫。這些處理都需要不小的CPU、內存和網絡等資源開銷,且處理時間長。所構成系 統的性能不能接近線性增加的,一般服務器組增至3或4臺時,調度器本身可能會成為新的瓶頸。所以,這種基于應用層負載均衡調度的方法的伸縮性極其有限。第 二,基于應用層的負載均衡調度器對于不同的應用,需要寫不同的調度器。以上幾個系統都是基于HTTP協議,若對于FTP、Mail、POP3等應用,都需 要重寫調度器。

2.4. 基于IP層負載均衡調度的解決方法

用 戶通過虛擬IP地址(Virtual IP Address)訪問服務時,訪問請求的報文會到達負載調度器,由它進行負載均衡調度,從一組真實服務器選出一個,將報文的目標地址Virtual IP Address改寫成選定服務器的地址,報文的目標端口改寫成選定服務器的相應端口,最后將報文發送給選定的服務器。真實服務器的回應報文經過負載調度器 時,將報文的源地址和源端口改為Virtual IP Address和相應的端口,再把報文發給用戶。Berkeley的MagicRouter[8]、Cisco的LocalDirector、 Alteon的ACEDirector和F5的Big/IP等都是使用網絡地址轉換方法。MagicRouter是在Linux 1.3版本上應用快速報文插入技術,使得進行負載均衡調度的用戶進程訪問網絡設備接近核心空間的速度,降低了上下文切換的處理開銷,但并不徹底,它只是研 究的原型系統,沒有成為有用的系統存活下來。Cisco的LocalDirector、Alteon的ACEDirector和F5的Big/IP是非常 昂貴的商品化系統,它們支持部分TCP/UDP協議,有些在ICMP處理上存在問題。

IBM的TCP Router[9]使用修改過的網絡地址轉換方法在SP/2系統實現可伸縮的WEB服務器。TCP Router修改請求報文的目標地址并把它轉發給選出的服務器,服務器能把響應報文的源地址置為TCP Router地址而非自己的地址。這種方法的好處是響應報文可以直接返回給客戶,壞處是每臺服務器的操作系統內核都需要修改。IBM的 NetDispatcher[10]是TCP Router的后繼者,它將報文轉發給服務器,而服務器在non-ARP的設備配置路由器的地址。這種方法與LVS集群中的VS/DR類似,它具有很高的 可伸縮性,但一套在IBM SP/2和NetDispatcher需要上百萬美金。總的來說,IBM的技術還挺不錯的。

在貝爾實驗室的 ONE-IP[11]中,每臺服務器都獨立的IP地址,但都用IP Alias配置上同一VIP地址,采用路由和廣播兩種方法分發請求,服務器收到請求后按VIP地址處理請求,并以VIP為源地址返回結果。這種方法也是為 了避免回應報文的重寫,但是每臺服務器用IP Alias配置上同一VIP地址,會導致地址沖突,有些操作系統會出現網絡失效。通過廣播分發請求,同樣需要修改服務器操作系統的源碼來過濾報文,使得只 有一臺服務器處理廣播來的請求。

微軟的Windows NT負載均衡服務(Windows NT Load Balancing Service,WLBS)[12]是1998年底收購Valence Research公司獲得的,它與ONE-IP中的基于本地過濾方法一樣。WLBS作為過濾器運行在網卡驅動程序和TCP/IP協議棧之間,獲得目標地址 為VIP的報文,它的過濾算法檢查報文的源IP地址和端口號,保證只有一臺服務器將報文交給上一層處理。但是,當有新結點加入和有結點失效時,所有服務器 需要協商一個新的過濾算法,這會導致所有有Session的連接中斷。同時,WLBS需要所有的服務器有相同的配置,如網卡速度和處理能力。

3. 通過NAT實現虛擬服務器(VS/NAT)

由 于IPv4中IP地址空間的日益緊張和安全方面的原因,很多網絡使用保留IP地址(10.0.0.0/255.0.0.0、 172.16.0.0/255.128.0.0和192.168.0.0/255.255.0.0)[64, 65, 66]。這些地址不在Internet上使用,而是專門為內部網絡預留的。當內部網絡中的主機要訪問Internet或被Internet訪問時,就需要 采用網絡地址轉換(Network Address Translation, 以下簡稱NAT),將內部地址轉化為Internets上可用的外部地址。NAT的工作原理是報文頭(目標地址、源地址和端口等)被正確改寫后,客戶相信 它們連接一個IP地址,而不同IP地址的服務器組也認為它們是與客戶直接相連的。由此,可以用NAT方法將不同IP地址的并行網絡服務變成在一個IP地址 上的一個虛擬服務。

VS/NAT的體系結構如圖2所示。在一組服務器前有一個調度器,它們是通過Switch/HUB相連接的。這些服務器 提供相同的網絡服務、相同的內容,即不管請求被發送到哪一臺服務器,執行結果是一樣的。服務的內容可以復制到每臺服務器的本地硬盤上,可以通過網絡文件系 統(如NFS)共享,也可以通過一個分布式文件系統來提供。

?


圖2:VS/NAT的體系結構

?

客 戶通過Virtual IP Address(虛擬服務的IP地址)訪問網絡服務時,請求報文到達調度器,調度器根據連接調度算法從一組真實服務器中選出一臺服務器,將報文的目標地址 Virtual IP Address改寫成選定服務器的地址,報文的目標端口改寫成選定服務器的相應端口,最后將修改后的報文發送給選出的服務器。同時,調度器在連接Hash 表中記錄這個連接,當這個連接的下一個報文到達時,從連接Hash表中可以得到原選定服務器的地址和端口,進行同樣的改寫操作,并將報文傳給原選定的服務 器。當來自真實服務器的響應報文經過調度器時,調度器將報文的源地址和源端口改為Virtual IP Address和相應的端口,再把報文發給用戶。我們在連接上引入一個狀態機,不同的報文會使得連接處于不同的狀態,不同的狀態有不同的超時值。在TCP 連接中,根據標準的TCP有限狀態機進行狀態遷移,這里我們不一一敘述,請參見W. Richard Stevens的《TCP/IP Illustrated Volume I》;在UDP中,我們只設置一個UDP狀態。不同狀態的超時值是可以設置的,在缺省情況下,SYN狀態的超時為1分鐘,ESTABLISHED狀態的超 時為15分鐘,FIN狀態的超時為1分鐘;UDP狀態的超時為5分鐘。當連接終止或超時,調度器將這個連接從連接Hash表中刪除。

這樣,客戶所看到的只是在Virtual IP Address上提供的服務,而服務器集群的結構對用戶是透明的。對改寫后的報文,應用增量調整Checksum的算法調整TCP Checksum的值,避免了掃描整個報文來計算Checksum的開銷。

在 一些網絡服務中,它們將IP地址或者端口號在報文的數據中傳送,若我們只對報文頭的IP地址和端口號作轉換,這樣就會出現不一致性,服務會中斷。所以,針 對這些服務,需要編寫相應的應用模塊來轉換報文數據中的IP地址或者端口號。我們所知道有這個問題的網絡服務有FTP、IRC、H.323、 CUSeeMe、Real Audio、Real Video、Vxtreme / Vosiac、VDOLive、VIVOActive、True Speech、RSTP、PPTP、StreamWorks、NTT AudioLink、NTT SoftwareVision、Yamaha MIDPlug、iChat Pager、Quake和Diablo。

下面,舉個例子來進一步說明VS/NAT,如圖3所示:

?


圖3:VS/NAT的例子

?

VS/NAT 的配置如下表所示,所有到IP地址為202.103.106.5和端口為80的流量都被負載均衡地調度的真實服務器172.16.0.2:80和 172.16.0.3:8000上。目標地址為202.103.106.5:21的報文被轉移到172.16.0.3:21上。而到其他端口的報文將被拒 絕。

ProtocolVirtual IP AddressPortReal IP AddressPortWeight
TCP202.103.106.580172.16.0.2801
172.16.0.380002
TCP202.103.106.521172.16.0.3211

從以下的例子中,我們可以更詳細地了解報文改寫的流程。

訪問Web服務的報文可能有以下的源地址和目標地址:

SOURCE202.100.1.2:3456DEST202.103.106.5:80

調度器從調度列表中選出一臺服務器,例如是172.16.0.3:8000。該報文會被改寫為如下地址,并將它發送給選出的服務器。

SOURCE202.100.1.2:3456DEST172.16.0.3:8000

從服務器返回到調度器的響應報文如下:

SOURCE172.16.0.3:8000DEST202.100.1.2:3456

響應報文的源地址會被改寫為虛擬服務的地址,再將報文發送給客戶:

SOURCE202.103.106.5:80DEST202.100.1.2:3456

這樣,客戶認為是從202.103.106.5:80服務得到正確的響應,而不會知道該請求是服務器172.16.0.2還是服務器172.16.0.3處理的。

4. 通過IP隧道實現虛擬服務器(VS/TUN)

在VS/NAT 的集群系統中,請求和響應的數據報文都需要通過負載調度器,當真實服務器的數目在10臺和20臺之間時,負載調度器將成為整個集群系統的新瓶頸。大多數 Internet服務都有這樣的特點:請求報文較短而響應報文往往包含大量的數據。如果能將請求和響應分開處理,即在負載調度器中只負責調度請求而響應直 接返回給客戶,將極大地提高整個集群系統的吞吐量。

IP隧道(IP tunneling)是將一個IP報文封裝在另一個IP報文的技術,這可以使得目標為一個IP地址的數據報文能被封裝和轉發到另一個IP地址。IP隧道技 術亦稱為IP封裝技術(IP encapsulation)。IP隧道主要用于移動主機和虛擬私有網絡(Virtual Private Network),在其中隧道都是靜態建立的,隧道一端有一個IP地址,另一端也有唯一的IP地址。

我們利用IP隧道技術將請求報文封裝轉 發給后端服務器,響應報文能從后端服務器直接返回給客戶。但在這里,后端服務器有一組而非一個,所以我們不可能靜態地建立一一對應的隧道,而是動態地選擇 一臺服務器,將請求報文封裝和轉發給選出的服務器。這樣,我們可以利用IP隧道的原理將一組服務器上的網絡服務組成在一個IP地址上的虛擬網絡服務。 VS/TUN的體系結構如圖4所示,各個服務器將VIP地址配置在自己的IP隧道設備上。


圖4:VS/TUN的體系結構

VS/TUN 的工作流程如圖5所示:它的連接調度和管理與VS/NAT中的一樣,只是它的報文轉發方法不同。調度器根據各個服務器的負載情況,動態地選擇一臺服務器, 將請求報文封裝在另一個IP報文中,再將封裝后的IP報文轉發給選出的服務器;服務器收到報文后,先將報文解封獲得原來目標地址為VIP的報文,服務器發 現VIP地址被配置在本地的IP隧道設備上,所以就處理這個請求,然后根據路由表將響應報文直接返回給客戶。

?


圖5:VS/TUN的工作流程

?

在這里需要指出,根據缺省的TCP/IP協議棧處理,請求報文的目標地址為VIP,響應報文的源地址肯定也為VIP,所以響應報文不需要作任何修改,可以直接返回給客戶,客戶認為得到正常的服務,而不會知道究竟是哪一臺服務器處理的。

?


圖6:半連接的TCP有限狀態機

?

5. 通過直接路由實現虛擬服務器(VS/DR)

跟VS/TUN 方法相同,VS/DR利用大多數Internet服務的非對稱特點,負載調度器中只負責調度請求,而服務器直接將響應返回給客戶,可以極大地提高整個集群 系統的吞吐量。該方法與IBM的NetDispatcher產品中使用的方法類似(其中服務器上的IP地址配置方法是相似的),但IBM的 NetDispatcher是非常昂貴的商品化產品,我們也不知道它內部所使用的機制,其中有些是IBM的專利。

VS/DR的體系結構如圖 7所示:調度器和服務器組都必須在物理上有一個網卡通過不分斷的局域網相連,如通過高速的交換機或者HUB相連。VIP地址為調度器和服務器組共享,調度 器配置的VIP地址是對外可見的,用于接收虛擬服務的請求報文;所有的服務器把VIP地址配置在各自的Non-ARP網絡設備上,它對外面是不可見的,只 是用于處理目標地址為VIP的網絡請求。

?


圖7:VS/DR的體系結構

?

VS/DR 的工作流程如圖8所示:它的連接調度和管理與VS/NAT和VS/TUN中的一樣,它的報文轉發方法又有不同,將報文直接路由給目標服務器。在VS/DR 中,調度器根據各個服務器的負載情況,動態地選擇一臺服務器,不修改也不封裝IP報文,而是將數據幀的MAC地址改為選出服務器的MAC地址,再將修改后 的數據幀在與服務器組的局域網上發送。因為數據幀的MAC地址是選出的服務器,所以服務器肯定可以收到這個數據幀,從中可以獲得該IP報文。當服務器發現 報文的目標地址VIP是在本地的網絡設備上,服務器處理這個報文,然后根據路由表將響應報文直接返回給客戶。

?


圖8:VS/DR的工作流程

?

在VS/DR中,根據缺省的TCP/IP協議棧處理,請求報文的目標地址為VIP,響應報文的源地址肯定也為VIP,所以響應報文不需要作任何修改,可以直接返回給客戶,客戶認為得到正常的服務,而不會知道是哪一臺服務器處理的。

VS/DR負載調度器跟VS/TUN一樣只處于從客戶到服務器的半連接中,按照半連接的TCP有限狀態機進行狀態遷移。

6.三種方法的優缺點比較

三種IP負載均衡技術的優缺點歸納在下表中:

_VS/NATVS/TUNVS/DR
ServeranyTunnelingNon-arp device
server networkprivateLAN/WANLAN
server numberlow (10~20)High (100)High (100)
server gatewayload balancerown routerOwn router

注: 以上三種方法所能支持最大服務器數目的估計是假設調度器使用100M網卡,調度器的硬件配置與后端服務器的硬件配置相同,而且是對一般Web服務。使用更 高的硬件配置(如千兆網卡和更快的處理器)作為調度器,調度器所能調度的服務器數量會相應增加。當應用不同時,服務器的數目也會相應地改變。所以,以上數 據估計主要是為三種方法的伸縮性進行量化比較。

6.1. Virtual Server via NAT

VS/NAT 的優點是服務器可以運行任何支持TCP/IP的操作系統,它只需要一個IP地址配置在調度器上,服務器組可以用私有的IP地址。缺點是它的伸縮能力有限, 當服務器結點數目升到20時,調度器本身有可能成為系統的新瓶頸,因為在VS/NAT中請求和響應報文都需要通過負載調度器。 我們在Pentium 166 處理器的主機上測得重寫報文的平均延時為60us,性能更高的處理器上延時會短一些。假設TCP報文的平均長度為536 Bytes,則調度器的最大吞吐量為8.93 MBytes/s. 我們再假設每臺服務器的吞吐量為800KBytes/s,這樣一個調度器可以帶動10臺服務器。(注:這是很早以前測得的數據)

基于 VS/NAT的的集群系統可以適合許多服務器的性能要求。如果負載調度器成為系統新的瓶頸,可以有三種方法解決這個問題:混合方法、VS/TUN和 VS/DR。在DNS混合集群系統中,有若干個VS/NAT負載調度器,每個負載調度器帶自己的服務器集群,同時這些負載調度器又通過RR-DNS組成簡 單的域名。但VS/TUN和VS/DR是提高系統吞吐量的更好方法。

對于那些將IP地址或者端口號在報文數據中傳送的網絡服務,需要編寫相應的應用模塊來轉換報文數據中的IP地址或者端口號。這會帶來實現的工作量,同時應用模塊檢查報文的開銷會降低系統的吞吐率。

6.2. Virtual Server via IP Tunneling

在VS/TUN 的集群系統中,負載調度器只將請求調度到不同的后端服務器,后端服務器將應答的數據直接返回給用戶。這樣,負載調度器就可以處理大量的請求,它甚至可以調 度百臺以上的服務器(同等規模的服務器),而它不會成為系統的瓶頸。即使負載調度器只有100Mbps的全雙工網卡,整個系統的最大吞吐量可超過 1Gbps。所以,VS/TUN可以極大地增加負載調度器調度的服務器數量。VS/TUN調度器可以調度上百臺服務器,而它本身不會成為系統的瓶頸,可以 用來構建高性能的超級服務器。

VS/TUN技術對服務器有要求,即所有的服務器必須支持“IP Tunneling”或者“IP Encapsulation”協議。目前,VS/TUN的后端服務器主要運行Linux操作系統,我們沒對其他操作系統進行測試。因為“IP Tunneling”正成為各個操作系統的標準協議,所以VS/TUN應該會適用運行其他操作系統的后端服務器。

6.3. Virtual Server via Direct Routing

跟VS/TUN方法一樣,VS/DR調度器只處理客戶到服務器端的連接,響應數據可以直接從獨立的網絡路由返回給客戶。這可以極大地提高LVS集群系統的伸縮性。

跟VS/TUN相比,這種方法沒有IP隧道的開銷,但是要求負載調度器與實際服務器都有一塊網卡連在同一物理網段上,服務器網絡設備(或者設備別名)不作ARP響應,或者能將報文重定向(Redirect)到本地的Socket端口上。

7.小結

本文主要講述了LVS集群中的三種IP負載均衡技術。在分析網絡地址轉換方法(VS/NAT)的缺點和網絡服務的非對稱性的基礎上,我們給出了通過IP隧道實現虛擬服務器的方法VS/TUN,和通過直接路由實現虛擬服務器的方法VS/DR,極大地提高了系統的伸縮性。

參考文獻

  • Eric Dean Katz, Michelle Butler, and Robert McGrath, "A Scalable HTTP Server: The NCSA Prototype", Computer Networks and ISDN Systems, pp155-163, 1994.
  • Thomas T. Kwan, Robert E. McGrath, and Daniel A. Reed, "NCSA's World Wide Web Server: Design and Performance", IEEE Computer, pp68-74, November 1995.
  • C. Yoshikawa, B. Chun, P. Eastham, A. Vahdat, T. Anderson, and D. Culler. Using Smart Clients to Build Scalable Services. In Proceedings of the 1997 USENIX Technical Conference, January 1997.
  • Zeus Technology, Inc. Zeus Load Balancer v1.1 User Guide.?http://www.zeus.com/
  • Edward Walker, "pWEB - A Parallel Web Server Harness",http://www.ihpc.nus.edu.sg/STAFF/edward/pweb.html, April, 1997.
  • Ralf S.Engelschall. Load Balancing Your Web Site: Practical Approaches for Distributing HTTP Traffic. Web Techniques Magazine, Volume 3, Issue 5, http://www.webtechniques.com, May 1998.
  • Daniel Andresen, Tao Yang, Oscar H. Ibarra. Towards a Scalable Distributed WWW Server on Workstation Clusters. In Proceedings of 10th IEEE International Symposium Of Parallel Processing (IPPS'96), pp.850-856,?http://www.cs.ucsb.edu-/Research/rapid_sweb/SWEB.html, April 1996.
  • Eric Anderson, Dave Patterson, and Eric Brewer, "The Magicrouter: an Application of Fast Packet Interposing",?http://www.cs.berkeley.edu/~eanders-/magicrouter/, May, 1996.
  • D. Dias, W. Kish, R. Mukherjee, and R. Tewari. A Scalable and Highly Available Server. In Proceeding of COMPCON 1996, IEEE-CS Press, Santa Clara, CA, USA, Febuary 1996, pp. 85-92.
  • Guerney D.H. Hunt, German S. Goldszmidt, Richard P. King, and Rajat Mukherjee. Network Dispatcher: a connection router for scalable Internet services. In Proceedings of the 7th International WWW Conference, Brisbane, Australia, April 1998.
  • Om P. Damani, P. Emerald Chung, Yennun Huang, "ONE-IP: Techniques for Hosting a Service on a Cluster of Machines",?http://www.cs.utexas.edu-/users/damani/, August 1997.
  • Microsoft Corporation. Microsoft Windows NT Load Balancing Service.http://www.micorsoft.com/ntserver/NTServerEnterprise/exec/feature/WLBS/.
  • 關于作者

    章文嵩博士,開放源碼及Linux內核的開發者,著名的Linux集群項目--LVS(Linux Virtual Server)的創始人和主要開發人員。他目前工作于國家并行與分布式處理重點實驗室,主要從事集群技術、操作系統、對象存儲與數據庫的研究。他一直在自 由軟件的開發上花費大量時間,并以此為樂。

    轉載于:https://www.cnblogs.com/davidwang456/p/3578920.html

    總結

    以上是生活随笔為你收集整理的Linux服务器集群系统(三)--转的全部內容,希望文章能夠幫你解決所遇到的問題。

    如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

    黄色不卡av | 91精品日韩| 在线观看视频一区二区 | 黄网在线免费观看 | 亚洲无吗视频在线 | 中文字幕第一页在线播放 | 在线色视频小说 | 亚洲精品一区二区久 | 久久人人爽人人爽人人 | 国产精品video | 国产视频日韩视频欧美视频 | 午夜精品久久久久久中宇69 | 国产精品麻豆一区二区三区 | 天天干天天上 | 久久久久久久久国产 | 日韩最新在线视频 | 国产成人亚洲精品自产在线 | 国产视频亚洲视频 | 中文字幕在线免费看 | 99热手机在线观看 | 久久久观看 | 久久香蕉一区 | 色妞色视频一区二区三区四区 | 国产va饥渴难耐女保洁员在线观看 | 国产精品黑丝在线观看 | 不卡av在线免费观看 | 日韩特黄一级欧美毛片特黄 | 一本一道久久a久久精品蜜桃 | 国产精品免费大片视频 | 狠狠色2019综合网 | 97视频免费在线观看 | 日日日日日| 黄色软件视频大全免费下载 | 91九色porny蝌蚪视频 | 97超碰成人 | 亚洲另类视频在线观看 | 黄色毛片一级片 | 91亚洲精品久久久中文字幕 | 激情欧美一区二区三区 | 国产亚洲婷婷 | 丁香六月婷婷开心婷婷网 | 超薄丝袜一二三区 | 欧美激情奇米色 | 国产成人99av超碰超爽 | 丝袜+亚洲+另类+欧美+变态 | 免费观看一级视频 | 日日碰狠狠添天天爽超碰97久久 | 色综合 久久精品 | 亚洲精品国产日韩 | 日韩天堂在线观看 | 色视频在线免费观看 | 手机看国产毛片 | 亚洲无吗视频在线 | 久草久视频 | 麻豆视频91 | 91色综合| 狠狠操操操 | 国产精品久久久久久69 | 婷婷色在线视频 | 日韩欧美视频一区二区三区 | 国产精品乱码久久久 | 香蕉视频4aa | av黄色国产 | 黄色午夜 | 国产精品一区二区三区四区在线观看 | 欧美日韩一级在线 | 九九免费观看全部免费视频 | 91精品国自产在线观看 | 激情丁香婷婷 | 一区二区在线不卡 | 国产精品黄色在线观看 | 国产精品美女999 | 五月婷婷导航 | 亚洲精品久久久久999中文字幕 | 福利视频一区二区 | 久热免费在线观看 | 天天干天天操天天做 | 亚洲欧洲精品一区 | 欧洲亚洲激情 | 久久久亚洲麻豆日韩精品一区三区 | 亚洲一级特黄 | 97超碰超碰久久福利超碰 | 就操操久久 | 国产精品成人av在线 | 免费观看成年人视频 | 成年人毛片在线观看 | 国产精品成人一区二区三区 | 日本久久久久久科技有限公司 | 日韩三级不卡 | 天天操天天是 | 久久亚洲私人国产精品va | 精品视频免费在线 | 欧美成人一区二区 | 国产精品久久久久影院日本 | 国产精品久久久免费 | 亚洲激情视频在线观看 | 欧美日韩在线视频一区 | 国产成人av免费在线观看 | 久久九九国产精品 | 久久综合色一综合色88 | 国产伦精品一区二区三区… | 日韩在线观看视频中文字幕 | 在线成人看片 | 国产一区二区三区 在线 | 久久欧美在线电影 | 色资源网在线观看 | 亚洲国产精品小视频 | 色就是色综合 | 粉嫩av一区二区三区免费 | 777视频在线观看 | 色.www| 日韩精品免费在线 | 一级片在线 | 日韩中文字幕在线观看 | 国产精品中文字幕在线观看 | 亚洲综合色av | 国产精品2018| 99色资源| 中文字幕日韩高清 | 日韩在线一级 | 99免费看片| 亚洲日本在线视频观看 | 天天插日日射 | 免费看国产视频 | av先锋影音少妇 | 中文字幕在线中文 | 亚洲日本va在线观看 | 成人三级网站在线观看 | 一区二区三区在线免费观看 | 亚洲高清不卡av | 成人片在线播放 | 久久九九免费视频 | 久草男人天堂 | 99久久er热在这里只有精品66 | 国产一级精品视频 | 国产日韩欧美在线播放 | 黄色成人在线网站 | 亚洲高清免费在线 | 亚洲精品国产品国语在线 | 五月亚洲综合 | av东方在线 | 国产成人精品一区二区三区福利 | 九九热1| 亚洲一区日韩 | 亚洲精品视频网 | 天天干夜夜干 | 欧美吞精 | 久久久久久蜜桃一区二区 | 久草在线这里只有精品 | 在线观看成人毛片 | 久久电影国产免费久久电影 | 国产精品第一 | 狠狠插狠狠干 | 夜夜躁日日躁狠狠久久88av | 中文国产字幕在线观看 | 亚洲资源在线观看 | 国内精品久久久久 | 久久成人精品电影 | 午夜精品视频一区 | 日韩在线免费电影 | 九九九在线观看 | 国产一级做a | 91在线影视| 又紧又大又爽精品一区二区 | 国产欧美精品一区二区三区 | 国产婷婷精品av在线 | 亚洲一区二区观看 | 成人免费看片98欧美 | 一本一本久久a久久精品综合小说 | 成人一区二区三区在线 | 欧美九九九 | 中文字幕888 | 国产精品国产三级国产aⅴ入口 | 久久精品免费看 | 亚洲视频在线免费看 | 91麻豆传媒 | 丁香五婷 | 日韩在线高清视频 | 国产欧美精品一区二区三区四区 | 国产精品久久久久久久久久久免费 | 亚洲午夜精品福利 | 超碰97人人射妻 | 欧美一区二区三区在线看 | 久久国产精品小视频 | 人人澡av| 在线观看日韩一区 | 手机在线欧美 | 高潮毛片无遮挡高清免费 | 91网在线看 | 日韩在线第一 | 亚洲精品在线免费观看视频 | 蜜桃av久久久亚洲精品 | 99精品国产亚洲 | 狠狠色丁香婷婷综合最新地址 | 四虎在线视频免费观看 | 国产精品人人做人人爽人人添 | 久久夜色网 | 精品美女久久久久 | av中文字幕在线播放 | 在线观看免费色 | 中文字幕一二三区 | 亚洲国产激情 | 免费在线观看黄色网 | 欧美色综合| 久久久久久免费网 | 久草免费手机视频 | 亚洲一一在线 | 国产免费久久久久 | 人成免费网站 | 久久国产热视频 | 9999免费视频 | 精品国产欧美一区二区 | 欧美一级高清片 | 免费在线激情电影 | 在线观看小视频 | 国产免费视频一区二区裸体 | 少妇高潮流白浆在线观看 | 亚洲成人一二三 | 日韩电影一区二区在线观看 | 视频福利在线 | 日本久久视频 | 国产中文字幕一区 | 国产午夜精品一区二区三区嫩草 | 欧美精品一区二区免费 | 欧美va天堂在线电影 | 日韩理论电影在线 | 国产中文在线播放 | 五月婷香蕉久色在线看 | 天天做综合网 | 亚洲网站在线看 | 97超碰精品 | 一区二区av | 日日爽视频 | 欧美精品九九99久久 | 久久男女视频 | 97操碰| 四虎影视www | 久久久久久久久久国产精品 | 色欧美综合 | 最新av网址大全 | 天天草天天干天天 | 国产一区视频在线播放 | 国产一级高清 | 久久艹在线 | 成人欧美在线 | 久久免费成人 | 丁香婷婷深情五月亚洲 | 国产精品video爽爽爽爽 | 欧美日本中文字幕 | 成人在线一区二区三区 | 日韩狠狠操 | 亚洲成a人片77777潘金莲 | 色吊丝在线永久观看最新版本 | 欧洲不卡av | 99久久国产免费,99久久国产免费大片 | 国产精品99久久久久久小说 | 亚洲妇女av | 天天综合天天综合 | 久久精品国产免费 | av专区在线 | 国产精品免费在线视频 | 麻豆国产精品永久免费视频 | 色综合激情久久 | 国产又粗又猛又黄又爽的视频 | a午夜在线 | 97av在线视频免费播放 | 欧美日韩调教 | 超碰97在线看 | 又黄又爽的视频在线观看网站 | 久久精品国产一区二区三区 | 日日操夜| 午夜精品视频在线 | 免费在线成人av电影 | 日本久久中文 | 国产99视频在线观看 | 天天干天天摸天天操 | av丝袜在线| 日韩欧美一区二区在线播放 | 日韩av一区二区三区四区 | 免费观看一级成人毛片 | 91亚洲影院 | 五月婷婷综合在线 | 久久精品久久99精品久久 | 亚洲乱码中文字幕综合 | 国产h片在线观看 | 免费视频成人 | 亚洲三级精品 | 91九色在线视频观看 | 亚洲专区免费观看 | 丁香国产视频 | 国产性天天综合网 | 国产精品视频资源 | 日韩精品中文字幕一区二区 | 亚洲女欲精品久久久久久久18 | 99国产精品一区二区 | 免费观看福利视频 | 69av国产 | 国产高清99 | 日本特黄一级 | 91精品国产91久久久久久三级 | 在线观看一区视频 | 久久理论电影 | 96av在线视频 | 二区三区精品 | 欧美日韩在线免费视频 | 波多野结衣网址 | 国产精品免费久久 | 九九免费在线观看视频 | 国产精品日韩在线播放 | 99久久激情视频 | 五月天婷亚洲天综合网鲁鲁鲁 | 一级片免费在线 | 久久私人影院 | 久久最新视频 | 亚洲国产精品电影 | 国产精品不卡在线观看 | 黄网站色视频 | 久久久国产99久久国产一 | 狠狠色伊人亚洲综合网站色 | 国产特级毛片aaaaaa高清 | 国内精品视频在线 | 91精品1区2区| 国内一区二区视频 | 一级精品视频在线观看宜春院 | 久草视频资源 | 欧美在线观看视频 | 日韩欧美一区二区三区在线观看 | 色婷婷成人网 | 91视频传媒 | 激情视频免费在线观看 | av手机版 | av成人免费网站 | 高清精品在线 | 日韩二区三区在线观看 | 亚洲aⅴ乱码精品成人区 | 国产精品第7页 | 久久久网 | 亚洲精品国偷自产在线99热 | 久久在线看 | 在线色亚洲 | 91看片淫黄大片一级在线观看 | 亚洲国产精品久久久久婷婷884 | 97超碰资源网 | 国产视频久久久 | 中文字幕亚洲五码 | 日本护士撒尿xxxx18 | 射九九| 欧美日韩免费一区二区 | 91高清在线看| 99久久电影| 欧美另类69 | 色多多污污 | 久久伦理 | 久久精品9 | 99精品国产一区二区三区不卡 | 国内精品久久久久影院优 | 婷婷免费视频 | 日日干夜夜骑 | 激情狠狠干 | 婷婷深爱五月 | 狠狠色免费 | 日韩,中文字幕 | 中文字幕久久网 | 免费黄a | 色丁香综合 | 成人精品电影 | 超碰大片 | 黄免费在线观看 | 国产亚洲高清视频 | 久久精品美女视频网站 | 天天舔天天射天天操 | 欧美福利在线播放 | 国产一区福利在线 | 国产v欧美 | 天天干天天操人体 | 区一区二区三在线观看 | 久久视频在线看 | 久久久精品久久 | 视频三区在线 | 中文字幕在线观看播放 | 亚洲精品国产精品国自产 | 欧美日韩一区二区在线 | 久久超碰97 | 玖玖视频免费在线 | 久久无码av一区二区三区电影网 | 中文字幕中文字幕在线中文字幕三区 | 日韩高清一区二区 | 国产福利专区 | 99热这里是精品 | 91成人免费看片 | 91传媒激情理伦片 | 99久久精品午夜一区二区小说 | 久久精品国产亚洲aⅴ | 日本久久久久久科技有限公司 | 国产专区在线 | 国产成人精品一二三区 | 欧美日韩精品二区第二页 | 一级片视频在线 | 久久婷婷一区二区三区 | 成年人黄色免费网站 | 免费在线观看成人小视频 | 色a在线观看 | 亚洲综合色站 | 精品一区 精品二区 | 中文字幕欲求不满 | 欧美激情片在线观看 | 五月天网站在线 | 国产欧美日韩精品一区二区免费 | 色九九在线 | 天天干天天在线 | 天天鲁一鲁摸一摸爽一爽 | 国产电影一区二区三区四区 | 97色涩| 日本成人a | 人人添人人澡 | 夜色资源站wwwcom | 国产一级性生活视频 | 久久国产精品99久久人人澡 | 精品国产自在精品国产精野外直播 | 中文十次啦 | 精品一区三区 | 久艹视频免费观看 | 日韩午夜在线 | 色婷婷久久一区二区 | 在线一二三区 | 91手机在线看片 | 五月婷婷爱 | 免费日韩电影 | 高清精品视频 | 久久成人国产精品免费软件 | av激情五月 | 欧美午夜精品久久久久 | 久久久久精 | 99久久久久久久 | 久久高清毛片 | 久久综合九色综合网站 | 五月婷婷婷婷婷 | 97**国产露脸精品国产 | 在线观看91 | 国产成人一区二区精品非洲 | 久久综合成人网 | 一级性视频 | 欧美乱码精品一区二区 | 国产激情小视频在线观看 | 国产一区二区免费看 | 欧美一级片播放 | 极品美女被弄高潮视频网站 | 欧美性大战 | 免费中文字幕 | 97超碰福利久久精品 | 成人97人人超碰人人99 | www婷婷| 欧美一二区在线 | 亚洲精品乱码久久久久久高潮 | 91精品综合在线观看 | 最近中文字幕免费av | 天操夜夜操 | se视频网址 | 黄色三级免费片 | 色噜噜日韩精品一区二区三区视频 | av电影在线播放 | 日韩在线视频观看免费 | 91免费网站在线观看 | 高清视频一区二区三区 | 色网站国产精品 | 成av人电影 | 欧女人精69xxxxxx | 亚洲国产999 | 天天色天| 麻豆国产视频 | 欧美日韩视频在线 | 日日夜夜天天射 | 久久精品91久久久久久再现 | 久久久久久久久免费视频 | 日本高清xxxx | 91精品国产自产在线观看永久 | 福利网在线 | 日韩免费一区二区 | 激情久久五月 | 国产精品视频久久久 | 日本不卡一区二区 | 亚洲japanese制服美女 | 久久精品日产第一区二区三区乱码 | 免费看成人片 | 久久久999免费视频 日韩网站在线 | 香蕉视频91 | 亚洲黄在线观看 | 日韩精品一区二区三区免费视频观看 | 精品国产伦一区二区三区观看体验 | 天天天天色射综合 | 国产美女精品久久久 | 欧美少妇xx | 国产成人在线免费观看 | 国产成人精品一区二 | 色综合久久中文字幕综合网 | 国产男女无遮挡猛进猛出在线观看 | 久久国产精品小视频 | 亚洲视频h | 五月婷社区 | 狠狠躁夜夜躁人人爽视频 | 日韩欧美亚洲 | 国外av在线 | 久久av一区二区三区亚洲 | 婷婷久久五月天 | 久草五月 | 久久天天躁夜夜躁狠狠85麻豆 | www.av在线.com| 天天干天天操人体 | 欧美日韩国产精品一区二区亚洲 | 亚洲精品国产第一综合99久久 | 欧美黑人性猛交 | 亚洲专区在线视频 | www.天天成人国产电影 | 日韩二区三区在线 | 一区二区精品在线 | 狠狠干电影 | 97热久久免费频精品99 | 久久99网| 波多野结衣精品在线 | 中国黄色一级大片 | av网站手机在线观看 | 99产精品成人啪免费网站 | 97碰碰精品嫩模在线播放 | 亚洲黄色一级视频 | 国产午夜精品一区二区三区在线观看 | 日韩av在线不卡 | 中文字幕视频 | 国产原创在线视频 | 国产成人精品国内自产拍免费看 | 麻豆一级视频 | 日韩在线视频免费看 | 操操操日日日干干干 | 在线不卡a| 久久久久久草 | 欧美日韩69 | 成人中文字幕+乱码+中文字幕 | 国产国语在线 | 免费在线观看视频a | 久久黄视频| 国产精品午夜免费福利视频 | 91丨九色丨蝌蚪丰满 | 国产偷v国产偷∨精品视频 在线草 | 一级片免费视频 | 黄色毛片在线 | 亚洲精品黄色 | 国产日韩在线观看一区 | 一区二区三区在线免费观看视频 | 91av成人| 噜噜色官网 | 国产1级毛片 | 狠狠综合久久av | 成人性生交大片免费看中文网站 | 国产裸体永久免费视频网站 | 91精品啪在线观看国产 | 三级av网站 | 黄色不卡av| 中文理论片| 国产成人精品久 | 午夜资源站 | 色香网| 97精品国产91久久久久久久 | wwwwww国产 | 91av欧美 | 波多野结衣日韩 | 91片黄在线观 | 97在线超碰 | 在线国产视频一区 | 日本性生活一级片 | 中文字幕精品视频 | 在线看岛国av | 国产高清专区 | 欧美激情综合色综合啪啪五月 | av在线免费网 | 国产短视频在线播放 | 国产精品 999 | 在线观看黄网站 | 久精品视频| 亚洲成人av一区二区 | 欧美美女视频在线观看 | 97超碰人人澡人人 | 国产精品久久久久久久久大全 | 免费看网站在线 | 国产最新在线视频 | av一级片网站 | 亚洲一区免费在线 | 一区二区三区电影大全 | 在线观看黄网站 | 亚洲精品美女 | 国产精品久久久久一区二区三区共 | 在线观看av片 | 亚洲欧美色婷婷 | 午夜精品久久久久久 | 亚洲最新视频在线播放 | 亚洲精品国产精品乱码在线观看 | 免费的国产精品 | 国产精品一区二区在线观看 | 日本老少交 | 97久久久免费福利网址 | 欧美影片| 国产香蕉av | 亚洲免费一级电影 | 免费观看黄 | 色丁香色婷婷 | 最新国产在线视频 | 色 免费观看 | 亚洲综合成人专区片 | 黄色国产在线 | 毛片激情永久免费 | www.看片网站 | 99国产精品免费网站 | 欧美日韩中文国产一区发布 | 国产在线欧美 | 天天干天天摸天天操 | 久草精品资源 | 亚洲国产三级在线 | 日韩精品免费在线观看视频 | 国产精品久久久久久久久久 | 在线色亚洲 | 丁香激情综合国产 | 一二区电影 | 国产99在线播放 | 毛片区 | 又色又爽又激情的59视频 | 超碰在线人人 | 在线日韩一区 | 成人免费在线观看电影 | 成人动漫一区二区三区 | 伊人午夜 | 91视频3p | 在线观看中文字幕一区二区 | 亚洲女欲精品久久久久久久18 | 久久久久久在线观看 | 亚洲精品在线观看不卡 | 久久久久久久国产精品 | 99精品欧美一区二区三区 | 国产原创av片 | 四虎视频 | 日韩最新在线视频 | 国产女人18毛片水真多18精品 | 成人网看片| 久久久久北条麻妃免费看 | 中文字幕精品www乱入免费视频 | 69精品久久久 | 国语精品免费视频 | 精品三级av | av中文字幕第一页 | 91在线免费播放视频 | av网址aaa | 国产精品久久久久久久久岛 | 亚洲理论片在线观看 | 在线观看免费 | 涩涩在线 | 欧美日韩高清一区二区 国产亚洲免费看 | av在线电影播放 | 亚洲成a人片在线观看网站口工 | 国产精品video爽爽爽爽 | 一区在线观看 | 久久久国产一区二区三区 | 免费在线观看国产黄 | 免费91麻豆精品国产自产在线观看 | 天天干人人干 | 毛片一区二区 | 国产不卡av在线 | 91高清免费在线观看 | 久久久麻豆视频 | 欧美国产亚洲精品久久久8v | 91久久精品一区二区三区 | 国产精品va在线 | 91精品国产综合久久久久久久 | 国产精品1区2区 | 特级西西人体444是什么意思 | 久久伊人爱 | 7777精品伊人久久久大香线蕉 | 国产精品黄色av | 免费热情视频 | 久久夜视频 | 久久综合久久八八 | 亚洲经典在线 | 开心综合网| 97精品伊人 | 日韩精品欧美专区 | 日本在线中文在线 | 黄色一级在线免费观看 | 精品极品在线 | 午夜精品视频一区 | av免费成人 | 色婷婷综合久久久久 | 久久成人一区二区 | 免费精品国产va自在自线 | 国产精品va在线观看入 | 在线小视频国产 | 天天综合人人 | 欧美亚洲免费在线一区 | 不卡视频一区二区三区 | av中文在线影视 | 中文字幕不卡在线88 | 国产精品国产三级国产aⅴ9色 | 九九爱免费视频 | 四月婷婷在线观看 | 久久国产免费看 | 91专区在线观看 | 日韩一区在线播放 | 国产精品99久久久精品免费观看 | 国产亚洲精品久久久久久移动网络 | 精品99久久久久久 | 一级国产视频 | 999视频在线播放 | 在线影院 国内精品 | 少妇自拍av | 久草在线久草在线2 | 国产精品 999 | 99精品久久99久久久久 | 欧美性粗大hdvideo | 日韩在线视频国产 | 日韩首页 | 久草视频手机在线 | 日韩欧美v | 在线观看免费91 | 国产精品美女免费看 | 成人免费 在线播放 | 久久久久免费精品视频 | 97香蕉超级碰碰久久免费软件 | 大胆欧美gogo免费视频一二区 | 蜜臀一区二区三区精品免费视频 | 亚欧日韩av | av一区在线 | 久久成人资源 | 亚洲三级在线 | 不卡精品 | 日韩综合在线观看 | a天堂免费 | 一区二区 精品 | va视频在线观看 | 中文字幕av专区 | 99精品福利 | 欧美成人一二区 | 国产精品 欧美 日韩 | 国产精品中文字幕在线 | 香蕉久久久久久久 | 久久久精品国产免费观看一区二区 | 91精品视频一区二区三区 | 日韩国产精品久久 | 啪啪资源 | 午夜精品中文字幕 | 五月香婷 | 黄色影院在线观看 | 久久久久久久99精品免费观看 | 午夜精品一区二区三区在线视频 | 色香蕉视频 | 亚洲精品综合久久 | 91av亚洲 | 成人久久久电影 | 久久99最新地址 | 免费在线国产精品 | 欧美男男激情videos | 最近中文字幕免费av | 亚洲黄色网络 | 一本一本久久a久久精品牛牛影视 | 日韩免费一区二区三区 | 91麻豆视频网站 | www最近高清中文国语在线观看 | 十八岁免进欧美 | 国产99久 | 午夜私人影院久久久久 | 国产手机视频在线 | 麻豆91视频 | 国产原创在线视频 | 精久久久久 | 激情综合啪啪 | av线上免费看 | 国产黄色播放 | 开心综合网 | 国产精品18videosex性欧美 | 黄色大全在线观看 | 中文网丁香综合网 | 中文视频在线播放 | 国产麻豆精品久久 | 国产视频在线观看一区 | 粉嫩av一区二区三区四区 | 在线视频一二三 | 日韩字幕| 日韩天天干 | 国产亚洲观看 | 久久综合在线 | 亚洲黄色一级电影 | 中文字幕日韩精品有码视频 | 日韩1页 | 久草久视频 | 久久久午夜精品理论片中文字幕 | 视频一区二区精品 | 91精品啪在线观看国产线免费 | 九九热re| 国产片免费在线观看视频 | 欧美日韩精品二区第二页 | 91九色精品女同系列 | 97精品国产 | 91在线看视频 | 久草免费在线观看视频 | 啪啪肉肉污av国网站 | 国产拍揄自揄精品视频麻豆 | 亚洲理论电影网 | 国产一级大片在线观看 | 国产日本三级 | 一级免费黄色 | 免费看十八岁美女 | 青青草久草在线 | 日韩在线二区 | 最新国产精品拍自在线播放 | 中文字幕在线视频一区二区 | 中日韩免费视频 | 久久精品亚洲国产 | 超碰在线日本 | 日韩欧美精品一区二区 | 精品一区二区免费视频 | 日本精品二区 | 色婷婷影视| 国产精品亚洲人在线观看 | 蜜臀av性久久久久蜜臀aⅴ四虎 | 欧美日韩国产精品一区二区 | 久久久久久片 | av久久久久久 | 免费看的毛片 | 在线播放精品一区二区三区 | 九九欧美视频 | 国产在线色视频 | 亚洲精品日韩av | 九九爱免费视频在线观看 | 最近免费在线观看 | 日韩免费高清在线 | wwwwww色 | 中文字幕资源网 国产 | 91完整版| 麻豆视频国产 | 日日碰夜夜爽 | 又黄又爽又色无遮挡免费 | 99精品久久久久久久 | 成人va天堂 | 日韩中文字幕在线 | 欧美激情精品久久久久久免费印度 | 亚洲成人二区 | 草久久av| 91精品一区二区三区久久久久久 | 中文乱码视频在线观看 | 美女视频黄,久久 | 精品伊人久久久 | 日韩影片在线观看 | 中文字幕 成人 | 久久久精品网站 | 亚洲dvd| 天天草天天干天天射 | 日本在线视频一区二区三区 | 国产成人福利在线观看 | 日韩a欧美 | 国产一区二区三精品久久久无广告 | 久久免费视频这里只有精品 | 国产亚洲精品久久久久久无几年桃 | 久久99影院| 精品产品国产在线不卡 | 精品国产精品一区二区夜夜嗨 | 久久久综合色 | 一区二区三区免费在线观看视频 | 日韩中文字幕在线不卡 | 黄网站污 | 激情五月综合 | 夜夜躁狠狠躁日日躁视频黑人 | 国产91精品看黄网站在线观看动漫 | ,午夜性刺激免费看视频 | 久草a在线| 黄色字幕网 | 一级a性色生活片久久毛片波多野 | 欧美性脚交 | 91丝袜美腿 | 国产精品18久久久久久不卡孕妇 | 久久视频中文字幕 | 五月综合网 | 国产69精品久久久久久 | 国产精品女 | 精品在线视频一区二区三区 | 丝袜美女视频网站 | 婷婷在线播放 | 国产亚洲精品久久网站 | 中文在线a∨在线 | 亚洲成人午夜在线 | 正在播放 久久 | 国产精品久久久一区二区三区网站 | 成人a级网站 | 粉嫩av一区二区三区四区 | 欧美激情精品一区 | 91av看片 | www欧美xxxx | 91香蕉亚洲精品 | 成全在线视频免费观看 | 51精品国自产在线 | avv天堂| av综合站 | 国产精品久久久久久久久搜平片 | 欧美久久久久久久久中文字幕 | 五月在线 | 9992tv成人免费看片 | 超碰在线观看av.com | 男女啪啪视屏 | 亚洲色五月| 日韩手机在线观看 | 久久99热久久99精品 | 亚洲伊人成综合网 | 成人免费视频网 | 97在线看片| 久久1区 | 欧美日韩大片在线观看 | 免费成人av网站 | 91精品国产自产在线观看 | 中文字幕一区三区 | 日韩午夜网站 | 国产一区成人在线 | 97视频播放| 国产一线二线三线在线观看 | 91在线蜜桃臀 | a天堂一码二码专区 | 精品久久久久久综合日本 | 久久99久国产精品黄毛片入口 | 久久成人亚洲欧美电影 | 国产成人一区在线 | 国产经典 欧美精品 | 香蕉视频免费在线播放 | 久草视频手机在线 | 国产露脸91国语对白 | 97精品国自产拍在线观看 | 岛国精品一区二区 | 人人爱人人射 | 午夜免费视频网站 | 国产91在线播放 | 在线免费视频你懂的 | 国产成人精品av在线 | 久久免费99| 亚洲精品国精品久久99热 | 欧美在线视频一区二区三区 | 亚洲国产成人在线观看 | 久久99国产精品免费网站 | 三上悠亚在线免费 | 亚洲五月六月 | 精品国内 | 免费在线观看av网址 | 国产亚洲精品久久久久5区 成人h电影在线观看 | 中文在线8资源库 | 午夜在线看片 | 精品久久久久久久久久久久久 | 一区二区三区四区五区六区 | 欧美韩国日本在线观看 | 日本成人a | 韩日电影在线免费看 | 夜夜躁狠狠躁 | 久久精品国产一区二区电影 | 国产一线二线三线性视频 | 99久久精品免费看国产免费软件 | 狠狠狠狠狠狠狠干 | 久久免费看片 | 日韩视频二区 | 97热久久免费频精品99 | 天天伊人狠狠 | 国产视频精选在线 | 丁香六月婷婷开心 | 国内小视频| 天天射射天天 | 日韩网站在线播放 | 成年人在线免费看视频 | 91豆麻精品91久久久久久 | 公开超碰在线 | 国产首页 | 在线观看亚洲精品视频 | 国产精品s色 | 国产亚洲片 | 91免费版在线观看 | 亚洲视频 一区 | 91天天视频 | 808电影 | 精品免费视频 | 日韩在线视频精品 | 天天操天天操天天操天天操天天操 | 少妇搡bbbb搡bbb搡69 | 九九视频免费观看视频精品 | 成人小视频免费在线观看 | 久久久久久久久久国产精品 | 最近中文字幕高清字幕免费mv | 就要色综合 | 久久视频99 | 中文字幕综合在线 | 国产精品自产拍在线观看桃花 | 日韩中文久久 | 91精品国产成 | 亚洲黄色小说网 | 久草在线在线精品观看 | 欧美久久久久久久久久久 | 三级a视频 | 婷婷播播网 | 日韩精品视频网站 | 国产一级二级在线观看 | 国产麻豆精品一区二区 | 亚洲蜜桃av |