日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當(dāng)前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

OpenStack之Neutron理论部分

發(fā)布時間:2024/5/8 编程问答 66 豆豆
生活随笔 收集整理的這篇文章主要介紹了 OpenStack之Neutron理论部分 小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

目錄

  • 相關(guān)概念
    • 一、Neutron網(wǎng)絡(luò)項目
    • 二、Linux虛擬網(wǎng)絡(luò)
    • 三、openstack網(wǎng)絡(luò)基礎(chǔ)服務(wù)
      • 1、Neutron網(wǎng)絡(luò)結(jié)構(gòu)
      • 2、網(wǎng)絡(luò)子網(wǎng)和端口
      • 3、網(wǎng)絡(luò)拓?fù)漕愋?/li>
      • 4、網(wǎng)絡(luò)基本架構(gòu)
      • 5、Neutron-server
    • 四、Neutron主要插件、代理和服務(wù)
      • 1、典型的主機(jī)節(jié)點部署
      • 2、ML2插件
      • 3、Linux Bridge代理
      • 4、Open vSwitch代理
      • 5、DHCP代理
      • 6、Linux網(wǎng)絡(luò)名稱空間(租戶)
      • 7、Neutron路由器
      • 8、L3代理
        • (1)路由(routing)
        • (2)通過網(wǎng)絡(luò)名稱空間支持網(wǎng)絡(luò)重疊
        • (3)源地址轉(zhuǎn)換(SNAT)
        • (4)目的地址轉(zhuǎn)換(DNAT)
        • (5)安全組(Security Group)
      • 9、FWaas(虛擬防火墻)
    • 五、Neutron網(wǎng)絡(luò)配置和管理
      • 1、提供者網(wǎng)絡(luò)
      • 2、自服務(wù)網(wǎng)絡(luò)

相關(guān)概念

一、Neutron網(wǎng)絡(luò)項目

  • Neutron是openstack核心項目之一,提供云計算環(huán)境下的虛擬網(wǎng)絡(luò)功能。
  • Neutron為整個openstack環(huán)境提供軟件定義網(wǎng)絡(luò)支持
    • 主要功能包括二層交換、三層路由、防火墻、VPN, 以及負(fù)載均衡等。
  • Neutron在由其他openstack服務(wù) (如nova)管理的網(wǎng)絡(luò)接口設(shè)備 (如虛擬網(wǎng)卡)之間提供網(wǎng)絡(luò)連接即服務(wù)。

二、Linux虛擬網(wǎng)絡(luò)

linux網(wǎng)絡(luò)虛擬化
Neutron最核心的任務(wù):對二層物理網(wǎng)絡(luò)進(jìn)行抽象和管理

傳統(tǒng)物理網(wǎng)絡(luò)與虛擬化網(wǎng)絡(luò)的區(qū)別

  • 傳統(tǒng)物理網(wǎng)絡(luò)
    • 使用多個物理服務(wù)器
    • 使用物理網(wǎng)絡(luò)設(shè)置
  • 虛擬化網(wǎng)絡(luò)
    • 將多個虛擬機(jī)部署在一臺物理服務(wù)器,減少了物理服務(wù)器的數(shù)量
      • 虛擬機(jī)由虛擬機(jī)管理器(Hypervisor)統(tǒng)一管理
      • 在Linux系統(tǒng)中Hypervisor通常采用kvm。
    • 網(wǎng)絡(luò)虛擬化,減少了物理網(wǎng)絡(luò)設(shè)置的數(shù)量
      • Hypervisor為虛擬機(jī)創(chuàng)建一個或多個虛擬網(wǎng)卡(vNIC),虛擬網(wǎng)卡等同于虛擬機(jī)的物理網(wǎng)卡。
      • 物理交換機(jī)在虛擬網(wǎng)絡(luò)中被虛擬為虛擬交換機(jī)(vSwitch)
      • 虛擬機(jī)的虛擬網(wǎng)卡連接到虛擬交換機(jī)上,虛擬機(jī)交換機(jī)再通過物理主機(jī)的物理網(wǎng)卡連接到外部網(wǎng)絡(luò)。
  • 對于物理網(wǎng)絡(luò)來說,虛擬化的主要工作是對網(wǎng)卡和交換設(shè)備的虛擬化。

網(wǎng)絡(luò)虛擬化中幾個關(guān)鍵的組件

  • 虛擬網(wǎng)橋(即虛擬交換機(jī))
    • 網(wǎng)橋接口連著虛擬網(wǎng)卡,網(wǎng)橋接口名稱通常以vnet開頭;
      • 例:虛擬網(wǎng)卡1連接vnet0,虛擬網(wǎng)卡2連接vnet1,虛擬網(wǎng)卡3連接vnet2
    • 網(wǎng)橋接口連著虛擬網(wǎng)橋,虛擬網(wǎng)橋以br開頭;
      • 例如vnet0和vnet1連接br1,vnet2連接br2
    • 虛擬網(wǎng)橋分別連著物理主機(jī)的物理網(wǎng)卡;
      • 例如br1連接物理網(wǎng)卡1,br2連著物理網(wǎng)卡2
  • 虛擬局域網(wǎng)(即vlan)
    • 防止廣播風(fēng)暴的產(chǎn)生
    • 劃分VLAN區(qū)域,一個VLAN含有多臺虛擬機(jī),一個VLAN的虛擬機(jī)相當(dāng)于連接同一網(wǎng)橋
    • 虛擬化環(huán)境中,會將網(wǎng)橋劃分到不同的VLAN中
    • VLAN的協(xié)議是802.1Q
  • 開放虛擬交換機(jī)(open vSwitch)
    • 和硬件交換機(jī)擁有一樣的特性,可以在不同虛擬平臺上移植
    • 在虛擬交換機(jī)上使用open vSwitch技術(shù),可以使虛擬網(wǎng)絡(luò)的管理、網(wǎng)絡(luò)狀態(tài)和流量的監(jiān)控更加的輕松
    • 可以在云環(huán)境中的虛擬化平臺上實現(xiàn)分布式虛擬交換機(jī)
    • 也可以將不同主機(jī)上的open vSwitch交換機(jī)連接起來,形成一個大規(guī)模的虛擬網(wǎng)絡(luò)

三、openstack網(wǎng)絡(luò)基礎(chǔ)服務(wù)

OpenStack網(wǎng)絡(luò)服務(wù)提供一個API讓用戶在云中建立和定義網(wǎng)絡(luò)連接。該網(wǎng)絡(luò)服務(wù)的項目名稱是Neutron。OpenStack網(wǎng)絡(luò)負(fù)責(zé)創(chuàng)建和管理虛擬網(wǎng)絡(luò)基礎(chǔ)架構(gòu),包括網(wǎng)絡(luò)、交換機(jī)、子網(wǎng)和路由器,這些設(shè)備由OpenStack計算服務(wù)Nova管理。同時,網(wǎng)絡(luò)服務(wù)還提供防火墻和VPN這樣的高級服務(wù)。可以將網(wǎng)絡(luò)服務(wù)部署到特定主機(jī)上。OpenStack網(wǎng)絡(luò)組件與身份服務(wù)、計算服務(wù)和儀表板等多個OpenStack組件進(jìn)行整合

1、Neutron網(wǎng)絡(luò)結(jié)構(gòu)

一個簡化的典型的Neutron網(wǎng)絡(luò)結(jié)構(gòu),包括一個外部網(wǎng)絡(luò)、一個內(nèi)部網(wǎng)絡(luò)和一個路由器。

  • 外部網(wǎng)絡(luò):負(fù)責(zé)連接OpenStack項目之外的網(wǎng)絡(luò)環(huán)境,又稱公共網(wǎng)絡(luò)。
    • 與其他網(wǎng)絡(luò)不同,它不僅僅是一個虛擬網(wǎng)絡(luò),更重要的是,它表示OpenStack網(wǎng)絡(luò)能被外部物理網(wǎng)絡(luò)接入并訪問。
    • 外部網(wǎng)絡(luò)可能是企業(yè)的局域網(wǎng)(Intranet),也可能是互聯(lián)網(wǎng)(Internet) ,這類網(wǎng)絡(luò)并不是由Neutron直接管理。
  • 內(nèi)部網(wǎng)絡(luò):完全由軟件定義,又稱私有網(wǎng)絡(luò)。
    • 它是虛擬機(jī)實例所在的網(wǎng)絡(luò),能夠直接連接到虛擬機(jī)。
    • 項目用戶可以創(chuàng)建自己的內(nèi)部網(wǎng)絡(luò)。
    • 默認(rèn)情況下,項目之間的內(nèi)部網(wǎng)絡(luò)是相互隔離的,不能共享。
    • 該網(wǎng)絡(luò)由Neutron直接配置與管理。
  • 路由器:用于將內(nèi)部網(wǎng)絡(luò)與外部網(wǎng)絡(luò)連接起來,因此,要使虛擬機(jī)訪問外部網(wǎng)絡(luò),必須創(chuàng)建一個路由器。

Neutron需要實現(xiàn)的主要是內(nèi)部網(wǎng)絡(luò)和路由器。內(nèi)部網(wǎng)絡(luò)是對二層(L2)網(wǎng)絡(luò)的抽象,模擬物理網(wǎng)絡(luò)的二層局域網(wǎng),對于項目來說,它是私有的。路由器則是對三層(L3)網(wǎng)絡(luò)的抽象,模擬物理路由器,為用戶提供路由、NAT等服務(wù)。

2、網(wǎng)絡(luò)子網(wǎng)和端口

  • 網(wǎng)絡(luò):一個隔離的二層廣播域,類似交換機(jī)中的VLAN。
    • Neutron支持多種類型的網(wǎng)絡(luò), 如FLAT、VLAN、VXLAN等。
  • 子網(wǎng):一個IPV4或者IPV6的地址段及其相關(guān)配置狀態(tài)。
    • 虛擬機(jī)實例的IP地址從子網(wǎng)中分配。
    • 每個子網(wǎng)需要定義IP地址的范圍和掩碼(這個有點像DHCP中定義的作用域的概念)。
  • 端口:連接設(shè)備的連接點,類似虛擬交換機(jī)上的一個網(wǎng)絡(luò)端口。
    • 端口定義了MAC地址和IP地址,當(dāng)虛擬機(jī)的虛擬網(wǎng)卡綁定到端口時,端口會將MAC和IP分配給該虛擬網(wǎng)卡。

通常可以創(chuàng)建和配置網(wǎng)絡(luò)、子網(wǎng)和端口來為項目搭建虛擬網(wǎng)絡(luò)。網(wǎng)絡(luò)必須屬于某個項目,一個項目中可以創(chuàng)建多個網(wǎng)絡(luò)。一個子網(wǎng)只能屬于某個網(wǎng)絡(luò),一個網(wǎng)絡(luò)可以有多個子網(wǎng)。一個端口必須屬于某個子網(wǎng),一個子網(wǎng)可以有多個端口。

3、網(wǎng)絡(luò)拓?fù)漕愋?/h3>
  • Local
    • Local網(wǎng)絡(luò)與其他網(wǎng)絡(luò)和節(jié)點隔離。
    • 該網(wǎng)絡(luò)中的虛擬機(jī)實例只能與位于同一節(jié)點上同一網(wǎng)絡(luò)的虛擬機(jī)實例通信,實際意義不大,主要用于測試環(huán)境。
    • 位于同一Local網(wǎng)絡(luò)的實例之間可以通信,位于不同Local網(wǎng)絡(luò)的示例之間無法通信。
    • 一個Local網(wǎng)絡(luò)只能位于同一個物理節(jié)點上,無法跨節(jié)點部署。
  • Flat
    • Flat是一種簡單的扁平網(wǎng)絡(luò)拓?fù)?#xff0c;所有的虛擬機(jī)實例都連接在同一網(wǎng)絡(luò)中,能與位于同一網(wǎng)絡(luò)的實例進(jìn)行通信,并且可以跨多個節(jié)點。
    • 這種網(wǎng)絡(luò)不使用VLAN,沒有對數(shù)據(jù)包打VLAN標(biāo)簽,無法進(jìn)行網(wǎng)絡(luò)隔離。
    • Flat是基于不使用VLAN的物理網(wǎng)絡(luò)實施的虛擬網(wǎng)絡(luò)。
    • 每個物理網(wǎng)絡(luò)最多只能實現(xiàn)一個虛擬網(wǎng)絡(luò)。
  • VLAN
    • VLAN是支持802.1q協(xié)議的虛擬局域網(wǎng),使用VLAN標(biāo)簽標(biāo)記數(shù)據(jù)包,實現(xiàn)網(wǎng)絡(luò)隔離。
    • 同一VLAN網(wǎng)絡(luò)中的實例可以通信,不同VLAN網(wǎng)絡(luò)中的實例只能通過路由器來通信。
    • VLAN網(wǎng)絡(luò)可以跨節(jié)點。
  • VXLAN
    • VXLAN (虛擬擴(kuò)展局域網(wǎng))可以看作是VLAN的一種擴(kuò)展,相比于VLAN,它有更大的擴(kuò)展性和靈活性,是目前支持大規(guī)模多租房網(wǎng)絡(luò)環(huán)境的解決方案。
    • 由于VLAN包頭部限長是12位, 導(dǎo)致VLAN的數(shù)量限制是4096 (212) 個,不能滿足網(wǎng)絡(luò)空間日益增長的需求。
    • 目前VXLAN的封包頭部有24位用作VXLAN標(biāo)識符(VNID)來區(qū)分VXLAN網(wǎng)段,最多可以支持16777216 (224) 個網(wǎng)段。
    • VXLAN使用STP防止環(huán)路,導(dǎo)致一半的網(wǎng)絡(luò)路徑被阻斷。
    • VXLAN的數(shù)據(jù)包是封裝到UDP通過三層傳輸和轉(zhuǎn)發(fā)的,可以完整地利用三層路由,能克服VLAN和物理網(wǎng)絡(luò)基礎(chǔ)設(shè)施的限制,更好地利用已有的網(wǎng)絡(luò)路徑。
  • GRE
    • GRE (通用路由封裝)是用一種網(wǎng)絡(luò)層協(xié)議去封裝另一種網(wǎng)絡(luò)層協(xié)議的隧道技術(shù)。
    • GRE的隧道由兩端的源IP地址和目的IP地址定義,它允許用戶使用IP封裝IP等協(xié)議,并支持全部的路由協(xié)議。
    • 在OpenStack環(huán)境中使用GRE意味著"IP over IP”,GRE與VXLAN的主要區(qū)別在于,它是使用IP包而非UDP進(jìn)行封裝的。
  • GENEVE
    • GENEVE(通用網(wǎng)絡(luò)虛擬封裝)的目標(biāo)宣稱是僅定義封裝數(shù)據(jù)格式,盡可能實現(xiàn)數(shù)據(jù)格式的彈性和擴(kuò)展性。
    • GENEVE封裝的包通過標(biāo)準(zhǔn)的網(wǎng)絡(luò)設(shè)備傳送,即通過單播或多播尋址,包從一個隧道端點傳送到另一個或多個隧道端點。
    • GENEVE幀格式由一個封裝在IPV4或IPV6的UDP里的簡化的隧道頭部組成。
    • GENEVE推出的主要目的是為了解決封裝時添加的元數(shù)據(jù)信息問題(到底多少位,怎么用GENEVE自動識別與調(diào)整) ,以適應(yīng)各種虛擬化場景。

小結(jié):
隨著目前互聯(lián)網(wǎng)技術(shù)的發(fā)展,對于網(wǎng)絡(luò)部分,使用虛擬化的方案,實現(xiàn)對傳統(tǒng)網(wǎng)絡(luò)(承載網(wǎng)絡(luò),Underlay)的擴(kuò)展,利用疊加網(wǎng)絡(luò)(Overlay )的方式,常用的疊加網(wǎng)絡(luò)VXLAN、GRE和GENEVE。
Overlay網(wǎng)絡(luò)無須對基礎(chǔ)網(wǎng)絡(luò)進(jìn)行大規(guī)模修改,不用關(guān)心這些底層實現(xiàn),是實現(xiàn)云網(wǎng)融合的關(guān)鍵。

4、網(wǎng)絡(luò)基本架構(gòu)

  • Neutron僅有一個主要服務(wù)進(jìn)程neutron-server。
    • 它是運行在控制節(jié)點上的,對外提供Openstack網(wǎng)絡(luò)API作為訪問Neutron的入口,收到請求后調(diào)用插件進(jìn)行處理,最終由計算節(jié)點和網(wǎng)絡(luò)節(jié)點上的各種代理完成請求。
  • 網(wǎng)絡(luò)提供者是指提供OpenStack網(wǎng)絡(luò)服務(wù)的虛擬或物理網(wǎng)絡(luò)設(shè)備
    • 如Linux Bridge、Open vSwitch
    • 或者其他支持Neutron的物理交換機(jī)。
  • 與其他服務(wù)一樣,Neutron的各組件服務(wù)之間需要相互協(xié)調(diào)和通信
    • neutron-server、插件和代理之間通過消息隊列進(jìn)行通信和相互調(diào)用。
  • 數(shù)據(jù)庫用于存放OpenStack的網(wǎng)絡(luò)狀態(tài)信息
    • 例如:網(wǎng)絡(luò)、子網(wǎng)、端口、路由器等。
  • 客戶端是指使用Neutron服務(wù)的應(yīng)用程序,可以是命令行工具、Horizon和Nova計算服務(wù)等。

實例:以一個創(chuàng)建VLAN 100虛擬網(wǎng)絡(luò)的流程為例說明這些組件如何協(xié)同工作。

  • neutron-server收到創(chuàng)建網(wǎng)絡(luò)的請求,通過消息隊列通知已注冊的Linux Bridge插件。(插件可以有很多,這里舉例創(chuàng)建虛擬網(wǎng)絡(luò)的插件是Linux Bridge插件)
  • 該插件將要創(chuàng)建的網(wǎng)絡(luò)信息(如名稱、VLAN ID等)保存到數(shù)據(jù)庫中,并通過消息隊列通知運行在各節(jié)點上的代理
  • 代理收到消息后會在節(jié)點上的物理網(wǎng)卡上創(chuàng)建VLAN設(shè)備(比如eth1.100),并創(chuàng)建一個網(wǎng)橋(比如brqxxx)來橋接VLAN設(shè)備。

5、Neutron-server

  • RESTful API:直接對客戶端提供API服務(wù),屬于最前端的API,包括Core API和Extension API兩種類型。
    • Core API提供管理網(wǎng)絡(luò)、子網(wǎng)和端口核心資源的RESTful API;
    • Extension API則提供管理路由器、防火墻、負(fù)載均衡、安全組等擴(kuò)展資源的RESTful API。
  • Common Service:通用服務(wù),負(fù)責(zé)對API請求進(jìn)行檢驗、認(rèn)證,并授權(quán)。
  • Neutron Core:核心處理程序,調(diào)用相應(yīng)的插件API來處理API請求。
  • Plugin API:定義插件的抽象功能集合,提供調(diào)用插件的API接口,包括Core Plugin API 和 Extension Plugin API兩種類型。
    • Neutron Core通過Core Plugin API調(diào)用相應(yīng)的Core Plugin
    • Neutron Core通過Extension Plugin API調(diào)用相應(yīng)的Service Plugin

四、Neutron主要插件、代理和服務(wù)

Neutron遵循OpenStack的設(shè)計原則,采用開放性架構(gòu),通過插件、代理和網(wǎng)絡(luò)提供者的配合來實現(xiàn)各種網(wǎng)絡(luò)功能。

  • 插件是Neutron的一種API的后端實現(xiàn),目的是增強擴(kuò)展性。
  • 插件按照功能可分為CorePlugin和Service Plugin兩種類型。
    • Core Plugin提供基礎(chǔ)二層虛擬機(jī)網(wǎng)絡(luò)支持,實現(xiàn)網(wǎng)絡(luò)、子網(wǎng)和端口核心資源的支持。
    • Service plugin是指Core Plugin之外的其他插件,提供路由器、防火墻、安全組、負(fù)載均衡等服務(wù)支持。
      • 直到OpenStack的Havana版本,Neutron才開始提供一個名為L3 RouterService Plugin的插件支持路由服務(wù)。
  • 插件由Neutron-server 的Core Plugin API和Extension Plugin API調(diào)用
    • 用于確定具體的網(wǎng)絡(luò)功能,要配什么樣的網(wǎng)絡(luò)
  • 工作流程:插件處理Neutron-Server發(fā)來的請求
    • 主要職責(zé)是在數(shù)據(jù)庫中維護(hù)Neutron網(wǎng)絡(luò)的狀態(tài)信息(更新Neutron數(shù)據(jù)庫),通知相應(yīng)的代理實現(xiàn)具體的網(wǎng)絡(luò)功能。
    • 每一個插件支持一組API資源并完成特定操作,這些操作最終由插件通過RPC調(diào)用相應(yīng)的代理(Agent)來完成。
    • 代理處理插件轉(zhuǎn)來的請求,負(fù)責(zé)在網(wǎng)絡(luò)提供者上真正實現(xiàn)各種網(wǎng)絡(luò)功能。
    • 代理使用物理網(wǎng)絡(luò)設(shè)備或者虛擬化技術(shù)完成實際的操作任務(wù),如用于路由具體操作L3 Agent。

插件和代理與網(wǎng)絡(luò)提供者配套使用,比如網(wǎng)絡(luò)提供者是Linux Bridge,就需要使用LinuxBridge的插件和代理,如換成OpenySwitch,則需要改成相應(yīng)的插件和代理。

1、典型的主機(jī)節(jié)點部署

Neutron與其他OpenStack服務(wù)組件系統(tǒng)工作,可以部署在多個物理主機(jī)節(jié)點上,主要涉及控制節(jié)點、網(wǎng)絡(luò)節(jié)點計算節(jié)點,每個節(jié)點可以部署多個,典型的主機(jī)節(jié)點部署介紹如下
控制節(jié)點和計算節(jié)點的結(jié)合

控制節(jié)點上部署Neutron-service (API)、Core Plugin和Service Plugin的代理,這些代理包括neutron-plugin-agent、neutron-medadata-agent、neutron-dhcp-agnet、neutron-l3-agent、neutron-lbass-agent等。Core plugin和service plugin已經(jīng)集成到neutron-server中,不需要運行獨立的plugin服務(wù)。
計算節(jié)點上可以部署Core Plugin、Linux Bridge或Open vSwitch的代理,負(fù)責(zé)體提供二層網(wǎng)絡(luò)功能。
控制節(jié)點和計算節(jié)點都需要部署Core Plugin的代理,因為控制節(jié)點與計算節(jié)點通過該代理,才能建立二層連接

控制節(jié)點和網(wǎng)絡(luò)節(jié)點的結(jié)合

可以通過增加網(wǎng)絡(luò)節(jié)點承擔(dān)更大的負(fù)載,該方案特別適合規(guī)模較大的OpenStack環(huán)境
控制節(jié)點部署Neutron-server服務(wù),只負(fù)責(zé)通過Neutron-server響應(yīng)的API請求。(水平擴(kuò)展)
網(wǎng)絡(luò)節(jié)點部署的服務(wù)包括Core Plugin的代理和service Plugin的代理。將所有的代理主鍵從上述控制節(jié)點分離出來,部署到獨立的網(wǎng)絡(luò)節(jié)點上,由獨立的網(wǎng)絡(luò)節(jié)點實現(xiàn)數(shù)據(jù)的交換,路由以及負(fù)責(zé)均衡等高級網(wǎng)絡(luò)服務(wù)。

2、ML2插件

之前使用Neutron項目時,開發(fā)人員發(fā)現(xiàn)了兩個突出的問題:

  • 第一個問題:多種網(wǎng)絡(luò)提供者無法共存
    • 一個Neutron網(wǎng)絡(luò)只能由一個插件管理
    • Core Plugin負(fù)責(zé)管理和維護(hù)Neutron二層的虛擬網(wǎng)絡(luò)的狀態(tài)信息,Core Plugin插件與相應(yīng)的代理是一一對應(yīng)的
    • Linux Bridge插件,只能選擇Linux Bridge代理,必須在OpenStack的所有節(jié)點上使用Linux Bridge作為虛擬交換機(jī)。
  • 第二個問題:開發(fā)插件的工作量太大
    • 所有傳統(tǒng)的CorePlugin之間存在大量重復(fù)的代碼(如數(shù)據(jù)庫訪問代碼)

而從OpenStack的Havana 版本開始,Neutron 中出現(xiàn)一個插件ML2(Moduler Layer2),ML2的出現(xiàn)取代了所有Core Plugin,允許在OpenStacks網(wǎng)絡(luò)中同時使用多種二層的網(wǎng)絡(luò)技術(shù),不同的節(jié)點可以使用不同的網(wǎng)絡(luò)實現(xiàn)機(jī)制,ML2能夠與現(xiàn)在所有的代理無縫集成,以前使用費的代理無需變更,只要將傳統(tǒng)的Core Plugin替換ML2。ML2使openstack對先的網(wǎng)絡(luò)技術(shù)的支持更加簡單,無需從頭開發(fā)Core Plugin,只需開發(fā)相應(yīng)的機(jī)制驅(qū)動,大大減少編寫的代碼。

ML2插件架構(gòu)詳解

ML2對二層的網(wǎng)絡(luò)進(jìn)行抽象,解鎖了Neutron所支持的網(wǎng)絡(luò)類型(Type)與訪問這些網(wǎng)絡(luò)類型的虛擬網(wǎng)絡(luò)實現(xiàn)機(jī)制(Mechansim),并通過驅(qū)動的形式進(jìn)行擴(kuò)展,不同的網(wǎng)絡(luò)類型對應(yīng)不同的類型的驅(qū)動(Type Driver),由類型管理器(Type Manager)進(jìn)行管理,不同的網(wǎng)絡(luò)實現(xiàn)機(jī)制對應(yīng)不同的機(jī)制驅(qū)動(Mechasiom Driver),由機(jī)制管理器(Mechasim Manager)進(jìn)行管理。這種ML2實現(xiàn)框架具有彈性,易于擴(kuò)展,能夠能活支持多種網(wǎng)絡(luò)類型和實現(xiàn)機(jī)制

類型驅(qū)動(Type Driver)

Neutron支持的每一種網(wǎng)絡(luò)類型都有一個對應(yīng)的ML2類型驅(qū)動,類型驅(qū)動負(fù)責(zé)維護(hù)網(wǎng)絡(luò)類型的狀態(tài),執(zhí)行驗證、創(chuàng)建網(wǎng)絡(luò)等工作。目前Neutron已經(jīng)實現(xiàn)的網(wǎng)絡(luò)類型包括Flat、Local、Vlan、Vxlan、Gre

機(jī)制驅(qū)動(Mechansim Driver)

Neutron支持的每一種網(wǎng)絡(luò)機(jī)制都有一個對應(yīng)的ML2機(jī)制驅(qū)動
機(jī)制驅(qū)動負(fù)責(zé)獲取類型驅(qū)動維護(hù)的網(wǎng)絡(luò)狀態(tài),確保在相應(yīng)的網(wǎng)絡(luò)設(shè)備(物理或者虛擬的)上正確實現(xiàn)這些狀態(tài)

類型驅(qū)動vlan,機(jī)制驅(qū)動為Linux Bridge,如果創(chuàng)建vlan10,那么vlan的類型驅(qū)動會確保將vlan10的信息保存到Neutron數(shù)據(jù)庫中,包括網(wǎng)絡(luò)的名稱、vlan ID等,而Linux bridge機(jī)制驅(qū)動會確保各個節(jié)點上Linux Bridge代理在物理網(wǎng)卡上創(chuàng)建ID為10的vlan設(shè)備和bridge設(shè)備,并且將二者進(jìn)行橋接
Neutron的網(wǎng)絡(luò)機(jī)制有3種類型
基于代理(Agent-based):包括Linux bridge、Openvswitch
基于控制器(controller-based):包括OpenStacDaylight、VMware NSX等
基于物理交換:Cisco Nexus、Arista、Mellanox等

擴(kuò)展資源

ML2作為一個Core Plugin,在實現(xiàn)網(wǎng)絡(luò)、子網(wǎng)和端口核心資源的同事,也實現(xiàn)了包括端口綁定(port Bindings)、安全組(Security Group)等部分?jǐn)U展資源

3、Linux Bridge代理

  • Linux Bridge是成熟可靠的Neutron二層網(wǎng)絡(luò)虛擬化技術(shù),支持Local、Flat、vlan、Vxlan這四種網(wǎng)絡(luò)類型
  • Linux Bridge可以將一臺主機(jī)上的多個網(wǎng)卡橋接起來,充當(dāng)一臺交換機(jī),它可以橋接物理網(wǎng)卡,又可以是虛擬網(wǎng)卡
    • 用于橋接虛擬網(wǎng)卡(虛擬機(jī)網(wǎng)卡)的是Tap接口,這是一個虛擬機(jī)出來的網(wǎng)絡(luò)設(shè)備,稱為Tap設(shè)備,作為網(wǎng)橋的一個端口。
    • tap接口在邏輯上與物理接口具有相同的功能,可以接收和發(fā)送數(shù)據(jù)包
  • 若選擇Linux Bridge代理,在計算節(jié)點上數(shù)據(jù)包從虛擬機(jī)發(fā)送到物理網(wǎng)卡需要經(jīng)過以下設(shè)備
    • Tap接口(Tap interface):用于網(wǎng)橋虛擬機(jī)的網(wǎng)卡,命令為tap XXX
    • Linux網(wǎng)橋(Linux bridge):作為二層交換機(jī),命令為brq XXXX
    • VLAN 接口(Vlan interface):在vlan網(wǎng)絡(luò)中用于連接網(wǎng)橋,命名為ethx.y(ethx為物理網(wǎng)卡名稱,y為vlan ID)
    • VXLAN接口(VXLAN interface):在vxlan網(wǎng)絡(luò)中用于連接網(wǎng)橋,命名為vxlan-z(z是vlan ID)
    • 物理網(wǎng)絡(luò)接口:用于連接到物理網(wǎng)絡(luò)

4、Open vSwitch代理

與Linux Bridge相比,Open vSwitch(簡稱OVS)具有幾種管控功能,而且性能更加優(yōu)化,支持更多的功能,目前在Openstack領(lǐng)域為主流。

  • OVS代理支持Local、flat、vlan、vxlan、GRE和GENEVE等網(wǎng)絡(luò)類型
  • OVS的設(shè)備類型
    • Tap設(shè)備:用于網(wǎng)橋連接虛擬機(jī)網(wǎng)卡
    • Linux網(wǎng)橋:橋接網(wǎng)絡(luò)接口(包括虛擬接口)
    • VETH對(VETH Pair):直接相連的一對虛擬機(jī)網(wǎng)絡(luò)接口
      • 兩個虛擬機(jī)網(wǎng)絡(luò)接口一個接受一個發(fā)送
      • 用來連接兩個虛擬網(wǎng)橋
    • OVS網(wǎng)橋:OVS的核心設(shè)備,包括一個OVS集成網(wǎng)橋和一個OVS物理連接網(wǎng)橋。
      • 兩個OVS網(wǎng)橋一般通過VETH來對接

數(shù)據(jù)包流程(在計算節(jié)點上的數(shù)據(jù)包從虛擬機(jī)發(fā)送到物理網(wǎng)卡)

  • Tap接口:用于網(wǎng)橋虛擬機(jī)的網(wǎng)卡,命名為tapxxx
  • Linu網(wǎng)橋:與LInux bridge不同,命名為qbrxxx(其中編號xxx與tapxxx中相同)
  • VETH對:兩端分別命名為qvbxxx和qvoxxx(其中編號xxx與tapxxx中相同)
  • OVS集成網(wǎng)橋:命名為br-int
    • OVS PATCH端口:兩端分別命名為int-br-ethx和phy-br-ethx(x為物理網(wǎng)卡名稱的編號)
      • 特殊端口類型,只能在Open vSwitch中使用
    • OVS物理連接網(wǎng)橋:分為兩種類型
      • 在flat和vlan網(wǎng)絡(luò)中使用OVS提供者網(wǎng)橋(provider bridge),命名為br-ethx(x為物理網(wǎng)卡名稱的編號)
      • 在vxlan、GRE和GENEVE疊加網(wǎng)絡(luò)中使用OVS隧道網(wǎng)橋(Tunnel Bridge),命名為Br-tun
      • 另外在local網(wǎng)絡(luò)中不需要在OVS物理連接網(wǎng)橋
  • 物理網(wǎng)路接口:用于連接到物理網(wǎng)絡(luò),命名為ethx(x 為物理網(wǎng)卡的名稱中的編號)

OVS網(wǎng)絡(luò)的邏輯結(jié)構(gòu)

所有的虛擬機(jī)都連接到同一個網(wǎng)橋br-int,Open VSwitch通過配置br-int和br-ethx上流規(guī)則(flow rule)來進(jìn)行vlan轉(zhuǎn)換,進(jìn)而實現(xiàn)vlan之間的隔離
例如:內(nèi)部標(biāo)簽分別為1和2,而物理網(wǎng)絡(luò)的vlan標(biāo)簽是101和102,當(dāng)br-eth1網(wǎng)橋上的phy-br-eth1端口收到一個vlan1標(biāo)記的數(shù)據(jù)包時,會將其中的vlan1轉(zhuǎn)讓為vlan101;當(dāng)br-init網(wǎng)橋上的init-br-eth1端口收到一個vlan101標(biāo)記的數(shù)據(jù)包時,會將其中的vlan101轉(zhuǎn)讓為vlan1

5、DHCP代理

openstack實例在啟動過程中能夠從Neutron提供的DHCP服務(wù)自動獲取IP地址

  • DHCP主要組件
    • DHCP代理(neutron-dhcp-agent):為項目網(wǎng)絡(luò)提供DHCP功能,提供元數(shù)據(jù)請求(Metadata request)服務(wù)
    • DHCP驅(qū)動:用于管理DHCP服務(wù)器,默認(rèn)為DNSmasq,這是有一個提供DHCP和DNS服務(wù)的開源軟件,提供DNS緩存和DHCP服務(wù)功能
    • DHCP代理調(diào)度器(Agent-Scheduler):負(fù)責(zé)DHCP代理與網(wǎng)絡(luò)(network)的調(diào)度

DHCP代理的主要任務(wù)

  • ①定期報告DHCP代理的網(wǎng)絡(luò)狀態(tài)
    • 通過RPC報告給Neutron-server,然后通過Core Plugin報告給數(shù)據(jù)庫并進(jìn)行更新網(wǎng)絡(luò)狀態(tài)。
  • ②啟動dnsmasg進(jìn)程
    • 檢測qdhcp-xxx名稱空間( Namespace)中的ns-xxx端口接收到DHCP DISCOVER請求

DHCP代理的配置文件
DHCP代理配置文件是/etc/neutron/dhcp_agent.ini

  • interface_ driver:用來創(chuàng)建TAP設(shè)備的接口驅(qū)動
    • 如果使用Linux Bridge連接,該值設(shè)為neutron.agent.Linux.interface.BridgelnterfaceDriver
    • 如果選擇Open Vswitch,該值為neutron.agnt.linux.interface.OVSInterfaceDriver
  • dhcp_ driver:指定DHCP啟動
    • 默認(rèn)值為neutron.agent.linux.dhcp.Dnsmasq表示dnsmasq進(jìn)程來實現(xiàn)DHCP服務(wù)

DHCP代理的工作機(jī)制

①創(chuàng)建實例時,Neutron 隨機(jī)生成MAC并從配置數(shù)據(jù)中分配一個固定的 IP地址,一起保存到dnsmasg的hosts文件中,讓dnsmasq進(jìn)程做好準(zhǔn)備。
②與此同時,Nova-compute 會設(shè)置Mac地址。
③實例啟動,發(fā)出DHCP DISCOVER廣播,該廣播消息在整個網(wǎng)絡(luò)中都可以被收到。
④廣播消息到達(dá)dnsmasq監(jiān)聽Tap接口。dnsmasg收到后檢查hosts文件,發(fā)現(xiàn)有對應(yīng)項,它以DHCP OFFER消息將IP和網(wǎng)關(guān)IP發(fā)回到虛擬機(jī)實例。
⑤虛擬機(jī)實例發(fā)回DHCP REQUEST消息確認(rèn)接收DHCP OFFER
⑥dnsmasq.發(fā)回確認(rèn)消息DHCPACK,整個過程結(jié)束。

6、Linux網(wǎng)絡(luò)名稱空間(租戶)

在介紹DHCP服務(wù)時提到的linux網(wǎng)絡(luò)名稱空間( Network Namespace簡稱netns )是linux提供的一種內(nèi)核級別的網(wǎng)絡(luò)環(huán)境隔離方法,Namespace也可以翻譯稱為命名空間或者叫名字空間。當(dāng)前l(fā)inux支持6種不同類型的名稱空間,網(wǎng)絡(luò)名稱空間是其中一種,在二層網(wǎng)絡(luò)上,VLAN可以將一個物理交換機(jī)分割幾個獨立的虛擬交換機(jī)。類似地,在三層網(wǎng)絡(luò)上,Linux 網(wǎng)絡(luò)名稱空間可以將一個物理三層網(wǎng)絡(luò)跟個成幾個獨立的虛擬三層網(wǎng)絡(luò)。

Linux網(wǎng)絡(luò)名稱空間概述

在Linux中,網(wǎng)絡(luò)空間可以被認(rèn)為是隔離的擁有單獨網(wǎng)絡(luò)棧(網(wǎng)絡(luò)接口、路由、iptables等)的環(huán)境,它經(jīng)常來隔離網(wǎng)絡(luò)資源(設(shè)備和服務(wù)),只有擁有同樣網(wǎng)絡(luò)名稱空間的設(shè)備才能批次訪問。它還能提供了在玩過名稱空間內(nèi)運行進(jìn)程的功能,后臺進(jìn)程可以運行不同名稱空間內(nèi)的相同端口上,用戶還可以虛擬出一塊網(wǎng)卡。
可以創(chuàng)建一個完全獨立的全新網(wǎng)絡(luò)環(huán)境,包括獨立的網(wǎng)絡(luò)接口、路由表、ARP 表,IP地址表、iptables 或ebtables等,與網(wǎng)絡(luò)有關(guān)的組件都是獨立的。

通常情況下可以使用ip netns add命令添加新的網(wǎng)絡(luò)名稱空間,使用ip netns list命令查看所有的網(wǎng)絡(luò)名稱空間。
執(zhí)行以下命令進(jìn)入指定的網(wǎng)絡(luò)名稱空間

ip netns exec netns 名稱 命令

可以在指定的虛擬環(huán)境中運行任何命令,如下

ip netns exec net001 bash

為虛擬網(wǎng)路環(huán)境netns0的Eth0接口增加P地址,如下

ip netns exec netns0 ip address add 10.0.1.1/24 eth0

網(wǎng)絡(luò)名稱空間內(nèi)部通信沒有問題,但是被隔離的網(wǎng)絡(luò)名稱空間之間要進(jìn)行通信,就必須采用特定方法,即VETH對,VETH對是一種成對出現(xiàn)的網(wǎng)絡(luò)設(shè)備,他們像一根虛擬的網(wǎng)絡(luò)線,可用于連接兩個名稱空間,向VETH對一端輸入的數(shù)據(jù)將自動轉(zhuǎn)發(fā)到另外一端。

例如創(chuàng)建兩個網(wǎng)絡(luò)名稱空間的netns1和netns2并使他們之間通信,可以執(zhí)行以下步驟
①創(chuàng)建兩個網(wǎng)絡(luò)名稱空間

ip netns add netns1 ip netns add netns2

②創(chuàng)建一個VETH對(創(chuàng)建的一-對VETH虛擬接口類似管道(pipe) ,發(fā)給veth1的數(shù)據(jù)包可以在veth2收到,發(fā)給veth2的數(shù)據(jù)包可以在veth1收到,相當(dāng)于安裝兩個接[ 1并用網(wǎng)線連接起來)

ip link add veth1 type veth peer name veth2

③將上述兩個VETH對虛擬接口分別放置到兩個網(wǎng)絡(luò)名稱空間中

ip link set veth1 netns netns1 ip link set veth2 netns netns2

Linux網(wǎng)絡(luò)名稱空間實現(xiàn)DHCP服務(wù)隔離

Neutron通過網(wǎng)絡(luò)名稱空間為每個網(wǎng)絡(luò)提供獨立的DHCP和路由服務(wù),從而允許項目創(chuàng)建重疊的網(wǎng)絡(luò),如果沒有這種隔離機(jī)制,網(wǎng)絡(luò)就不能重疊,這樣就失去了很多靈活性
每個dnsmasq.進(jìn)程都位于獨立的網(wǎng)絡(luò)名稱空間,命名為qdhcpxx

以創(chuàng)建flat網(wǎng)絡(luò)為例

  • Neutron自動新建該網(wǎng)絡(luò)對應(yīng)的網(wǎng)橋brqfxxx,以及DHCP的Tap設(shè)備tapxxx。
  • 物理主機(jī)本身也有一個網(wǎng)絡(luò)名稱空間,稱為root,新創(chuàng)建的名稱空間默認(rèn)只擁有一個回環(huán)設(shè)備(LoopbackDevice)。
  • 如果DHCP的Tap虛擬接口放置到gdhcp-xxx名稱空間,該Tap虛擬接口將無法直接與root名稱空間中網(wǎng)橋設(shè)備brqxxx連接。
  • 為此,Neutron使用VETH對來解決這個問題,添加VETH對taxxx與ns-xxx i讓gdhce xxx連接到brxxx.

Linux網(wǎng)絡(luò)名稱空間實現(xiàn)路由器

Neutron允許在不同的網(wǎng)絡(luò)中的子網(wǎng)的CIDR和IP地址重疊,具有相同的IP地址的2個虛擬機(jī)也不會產(chǎn)生沖突,這是由于Neutron的路由器通過Linux網(wǎng)絡(luò)名稱空間實現(xiàn)的,每個路由器有自己的獨立的路由表

7、Neutron路由器

Neutron路由器是-一個三層的(L3)的抽象,其模擬物理路由器,為用戶提供路由、NAT等服務(wù),在OpenStack網(wǎng)絡(luò)中,不用子網(wǎng)之間的通信需要路由器,項目網(wǎng)絡(luò)與外部網(wǎng)絡(luò)之間的通信更需要路由器。

Neutron提供虛擬路由器,也支持物理路由器。例如,兩個隔離的VLAN網(wǎng)絡(luò)之間需要實現(xiàn)通信,可以通過物理路由器實現(xiàn),由物理路由器提供相應(yīng)的IP路由表,確保兩個IP子網(wǎng)之間的通信,將兩個VLAN網(wǎng)絡(luò)中的虛擬機(jī)默認(rèn)網(wǎng)關(guān)分別設(shè)置為路由路由器的接口A和B的IP地址。VLANA中的虛擬機(jī)要與VLAN B中的虛擬機(jī)通信時,數(shù)據(jù)包將通過VLAN A中的物理網(wǎng)卡到達(dá)路由器,由物理路由器轉(zhuǎn)發(fā)到VLAN B中的物理網(wǎng)卡,再到達(dá)目的虛擬機(jī)。
Neutron的虛擬路由器使用軟件模擬物理路由器,路由實現(xiàn)機(jī)制組網(wǎng)。Neutron的路由服務(wù)由L3代理提供

8、L3代理

在Neutron中L3代理(neutron-l3agent)具有相當(dāng)重要的地位。它不僅提供虛擬機(jī)路由器,而且通過iptables提供地址轉(zhuǎn)換(SNAT、DNAT)、浮動地址( Floating IP)和安全組(security group)功能,L3代理利用LInux IP棧、路由和iptables.來實現(xiàn)內(nèi)部網(wǎng)絡(luò)中不同網(wǎng)絡(luò)的虛擬機(jī)實例之間的通信,以及虛擬機(jī)實例和外部網(wǎng)絡(luò)之間的網(wǎng)絡(luò)流量路由和轉(zhuǎn)發(fā),L3代理可以部署在控制節(jié)點或者網(wǎng)絡(luò)節(jié)點

(1)路由(routing)

L3代理提供的虛擬路由器通過虛擬接口連接到子網(wǎng),一個子網(wǎng)對應(yīng)一個接口,該接口的地址是該子網(wǎng)的網(wǎng)關(guān)地址
L3代理會將每個路由器創(chuàng)建一個網(wǎng)絡(luò)名稱空間,通過VETH對于TAP相連,然后將網(wǎng)關(guān)IP配置在位于名稱空間的VETH接口上,這樣就能夠提供路由。
網(wǎng)絡(luò)節(jié)點如果不支持linux名稱空間,則只能運行一個虛擬路由器

(2)通過網(wǎng)絡(luò)名稱空間支持網(wǎng)絡(luò)重疊

在云環(huán)境下用戶可以按照自己的規(guī)劃創(chuàng)建網(wǎng)絡(luò),不同的項目( 租戶)的網(wǎng)絡(luò)IP地址可能會重疊,為實現(xiàn)此功能,L3 代理使用linux網(wǎng)絡(luò)名稱空間來提供隔離的轉(zhuǎn)發(fā)上下文,隔離不同的項目(租戶)的網(wǎng)絡(luò),每個L3代理運行在一個名稱空間中,每個名稱空間由quouter-命名

(3)源地址轉(zhuǎn)換(SNAT)

L3代理通過在iptables表中增加POSTROUTING鏈來實現(xiàn)源地址轉(zhuǎn)換,既內(nèi)網(wǎng)計算機(jī)訪問外網(wǎng)時,發(fā)起訪問的內(nèi)網(wǎng)IP地址(源IP地址)轉(zhuǎn)換為外網(wǎng)網(wǎng)關(guān)的IP地址。這種功能讓虛擬機(jī)實例能夠直接訪問外網(wǎng)。不過外網(wǎng)計算機(jī)還不能直接訪問虛擬機(jī)實例,因為實例沒有外網(wǎng)IP地址,而H的地址轉(zhuǎn)化就能解決這一問題。

(4)目的地址轉(zhuǎn)換(DNAT)

Neutron需要設(shè)置浮動IP地址支持從外網(wǎng)訪問項目(租戶)網(wǎng)絡(luò)中的實例。
每個浮動IP唯一對應(yīng)一個路由器,浮動IP–>關(guān)聯(lián)的端口–>所在的子網(wǎng)–>包含該子網(wǎng)及外部子網(wǎng)路由器。創(chuàng)建浮動IP時,在Neutron分配IP地址后,通過RPC通知該浮動IP地址對應(yīng)的路由器去設(shè)置該浮動IP對應(yīng)的iptabels規(guī)則,從外網(wǎng)訪問虛擬機(jī)實例時,目的IP地址為實例的浮動IP地址,因此必須由lptables將其轉(zhuǎn)化成固定的IP地址,然后在將其路由到實例。
浮動IP地址是提供靜態(tài)NAT功能,建立外網(wǎng)IP地址與實例所在的項目(租戶網(wǎng)絡(luò)) IP地址的一對一映射,浮動IP地址配置在路由器提供網(wǎng)關(guān)的外網(wǎng)接口上。

(5)安全組(Security Group)

安全組定義了那些進(jìn)入的網(wǎng)絡(luò)流量能被轉(zhuǎn)發(fā)給虛擬機(jī)實例。安全組包含一些防火墻策略,稱為安全組規(guī)則( Security Group nule) ,可以定義若干個安全組。每個安全組可以有若千調(diào)規(guī)則。可以給每個實例綁定若千個安全組
安全組的原理是通過iptables對是咧所在的計算機(jī)節(jié)點的網(wǎng)絡(luò)流量進(jìn)行過濾。安全組規(guī)則作用在實例的端口上,具體是在連接實例的計算節(jié)點上的linux網(wǎng)橋上實施。

9、FWaas(虛擬防火墻)

Fwaas(firewall-as-a-service)是一種基于Neutron L3 Agent的虛擬防火墻,是Neutron的一個高級服務(wù)。通過它,OpenStack 可以將防火墻應(yīng)用到項目(租戶)路由器路由器端口和虛擬機(jī)端口,在子網(wǎng)邊界上對三層和四層的流量進(jìn)行過濾
傳統(tǒng)的網(wǎng)絡(luò)中的防火墻一般在網(wǎng)關(guān)上,用來控制子網(wǎng)之間的訪問。FWaas的原理也是一樣,在Neutron路由上應(yīng)用防火墻規(guī)則,控制進(jìn)出項目(租戶)網(wǎng)絡(luò)的數(shù)據(jù)。防火墻必須關(guān)聯(lián)某個策略(Policy) 。
FWaas 的應(yīng)用對象是慮報路由器,可以在安全組之前控制從外部傳入的流量,但是對于同一個子網(wǎng)內(nèi)的流量不做限制安全組保護(hù)的是實例,而FWaas保護(hù)的是子網(wǎng),兩者互為補允,通常部客FWaas和安全組來實現(xiàn)雙重防護(hù)。
補充:
策略是規(guī)則(rule) 的集合,防火墻會按順序因公策略中的每一條規(guī)則。規(guī)則是訪問控制的規(guī)則,由源于日的子網(wǎng)IP、源于日的端口、協(xié)議、允許Allow)和拒絕(Deny)動作組成
安全組是最早的網(wǎng)絡(luò)安全模塊,其應(yīng)用對象是虛擬網(wǎng)卡,在計算機(jī)節(jié)點上通過iptables.規(guī)則控制進(jìn)出實例慮積網(wǎng)卡的流量。

FW版本(FWaasV1與FWaasV2)

  • FWaaSv1是傳統(tǒng)方后墻方案,對路由器提供保護(hù),將防火墻應(yīng)用到路由器時,該路由器的所有內(nèi)部端口受到保護(hù),其中虛擬機(jī)2進(jìn)出的數(shù)據(jù)流都會得到防火墻保護(hù)。
  • FWaaSv2提供了更具細(xì)粒度的安全服務(wù),FWaaSv2防火墻的概念防火墻組(firewallgroup)代替,一個防火城包括兩項策略:入口策略(ingress polie)和出口(egress poliy)。
    • 防火墻組不在用于路由器級(路由器全部端口),而是路由器端口。
    • 注意,FWaas v2的配置僅提供命令行工具,不支持dashboard圖形頁面。

五、Neutron網(wǎng)絡(luò)配置和管理

虛擬網(wǎng)絡(luò)類型:提供者網(wǎng)絡(luò)和自服務(wù)網(wǎng)絡(luò)

1、提供者網(wǎng)絡(luò)

  • 提供者網(wǎng)絡(luò)選項以最簡單的方式部署OpenStack網(wǎng)絡(luò)服務(wù),包括二層服務(wù)(橋/交換機(jī))服務(wù)、VLAN網(wǎng)絡(luò)分段。
  • 本質(zhì)上,它建立虛擬網(wǎng)絡(luò)到物理網(wǎng)絡(luò)的橋,依靠物理網(wǎng)絡(luò)基礎(chǔ)設(shè)施提供三層服務(wù)(路由)。
  • 提供者網(wǎng)絡(luò)默認(rèn)有管理員創(chuàng)建,實際上,就是與物理網(wǎng)絡(luò)有直接映射關(guān)系的虛擬網(wǎng)絡(luò),要使用物理網(wǎng)絡(luò)直接連接虛擬機(jī)實例,必須在openstack中將物理網(wǎng)絡(luò)定義為提供者網(wǎng)絡(luò)。
  • 這種網(wǎng)絡(luò)可以在多個項目之間共享。
  • 雖然可以創(chuàng)建VXLAN或GRE類型的提供者網(wǎng)絡(luò),但是只有Flat或VLAN類型的網(wǎng)絡(luò)拓?fù)洳艑μ峁┱呔W(wǎng)絡(luò)具有實際意義。
  • 提供者網(wǎng)絡(luò)和物理網(wǎng)絡(luò)的某個網(wǎng)段直接映射,因此需要預(yù)先在物理網(wǎng)絡(luò)中做好相應(yīng)的配置。物理網(wǎng)絡(luò)的每個網(wǎng)段最多只能實現(xiàn)一個提供者網(wǎng)絡(luò).

2、自服務(wù)網(wǎng)絡(luò)

  • 自服務(wù)網(wǎng)絡(luò)主要目的:讓非特權(quán)的普通項目自行管理網(wǎng)絡(luò),無需管理員介入。
  • 這種網(wǎng)絡(luò)完全是虛擬的。需要通過虛擬焰由器與提供者網(wǎng)絡(luò)和像Internet這樣的外部網(wǎng)絡(luò)通信。自服務(wù)網(wǎng)絡(luò)也對實例提供DHCP服務(wù)和元數(shù)據(jù)服務(wù)。
  • 絕大多數(shù)情況下,自服務(wù)網(wǎng)絡(luò)使用像VXLAN或GRE這樣的Overlay協(xié)議,因此這些協(xié)議要比使用VLAN標(biāo)記的二層網(wǎng)終分段支持更多的網(wǎng)絡(luò),而且VLAN通常還要求物理網(wǎng)絡(luò)設(shè)施的額外配置
  • IPV4自服務(wù)網(wǎng)絡(luò)通過虛擬路由器上的源NAT與提供者網(wǎng)絡(luò)進(jìn)行交互進(jìn)行通信(內(nèi)部),浮動IP地址則通過虛擬路由器上的目的NAT讓來自提供者網(wǎng)絡(luò)的用戶訪問虛擬機(jī)實例(外部)。
  • 網(wǎng)絡(luò)服務(wù)使用L3代理實現(xiàn)路由器,L3代理至少要部署在一個網(wǎng)絡(luò)節(jié)點上。自服務(wù)網(wǎng)絡(luò)必須有一個L3代理。不過,一個L3代理或網(wǎng)絡(luò)節(jié)點的過載或故障就能影響一大批自服務(wù)網(wǎng)絡(luò)和使用它們的實例。實際部署痍要提供高可用功能來增加冗余,提高自服務(wù)網(wǎng)絡(luò)的性能。
  • 用戶可以為項目中的連創(chuàng)建項目網(wǎng)絡(luò),也就是自服務(wù)網(wǎng)絡(luò)。默認(rèn)情況下自服務(wù)網(wǎng)絡(luò)被完全隔離,OpenStack網(wǎng)絡(luò)支持的網(wǎng)絡(luò)隔離和覆蓋技術(shù)包括Flat、VLAN、GRE和VLAN等。
  • 一個典型自服務(wù)網(wǎng)絡(luò)包括三層路由服務(wù)、DHCP服務(wù)、不能提供LBaas和FWaas這樣高級服務(wù)。
    • 雖然自服務(wù)網(wǎng)絡(luò)可以選擇Local、Flat、VLAN、VXLAN或GRE等類型,但是Flat和VLAN類型的自服務(wù)網(wǎng)絡(luò)本質(zhì)上對應(yīng)于一個實際的物理網(wǎng)段,因此真正有意義的是VXLAN或GRE類型,因為這類Overlay網(wǎng)絡(luò)本身不依賴于具體的物理網(wǎng)絡(luò),只要物理網(wǎng)絡(luò)能夠提供IP多播支持即可。
  • 這種虛擬網(wǎng)絡(luò)中包括自服務(wù)網(wǎng)絡(luò)(作為內(nèi)部網(wǎng)絡(luò))和提供者網(wǎng)絡(luò)(作為外部網(wǎng)絡(luò)),也可以使用
    這兩種網(wǎng)絡(luò)為虛擬機(jī)實例提供網(wǎng)絡(luò)連接。

總結(jié)

以上是生活随笔為你收集整理的OpenStack之Neutron理论部分的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯,歡迎將生活随笔推薦給好友。

18性欧美xxxⅹ性满足 | 这里只有精品视频在线 | 91在线区| 综合视频在线 | 国产精品免费在线 | 在线视频一二三 | 国产精品亚洲片在线播放 | 国产日韩欧美在线一区 | 中文字幕在线视频国产 | 国产一级视屏 | av在线精品| 色黄www小说 | 久久99精品国产麻豆宅宅 | 国产女教师精品久久av | 91手机视频在线 | 日韩影视大全 | 视频在线99re | 欧美性免费 | 亚洲免费在线看 | 亚洲成人黄色在线观看 | 日韩欧美电影在线 | www.人人草| 日韩久久精品 | 九九热1 | 久久乐九色婷婷综合色狠狠182 | 国产小视频精品 | 二区三区在线视频 | 丁香亚洲 | 中文字幕在线一二 | 国产精品 国内视频 | 国产精品国产亚洲精品看不卡15 | 日本大片免费观看在线 | 99精品系列| 国产黄色一级大片 | av在线精品 | 97av免费视频 | 成人一级片免费看 | 天天爽网站 | 国产成人精品999 | 国产精品综合在线观看 | 精品国产精品国产偷麻豆 | 色视频国产直接看 | 久久精品视频99 | 久草在线视频中文 | 黄色大全在线观看 | aaa亚洲精品一二三区 | 99福利片 | 国产成人一区二区精品非洲 | 免费中文字幕视频 | 亚洲区另类春色综合小说 | 国产原厂视频在线观看 | 国产精品麻豆一区二区三区 | 成人av免费电影 | a天堂免费 | 毛片网站在线看 | 亚洲综合成人av | 午夜美女视频 | 日韩欧美一区二区三区免费观看 | www黄色av| 久久久免费毛片 | 麻豆精品视频 | 西西www444| 性色xxxxhd | 国产精品一区二区美女视频免费看 | 911久久香蕉国产线看观看 | 久久国产欧美日韩精品 | 亚洲国产欧美在线人成大黄瓜 | 天天操天天玩 | 欧美日韩国产综合一区二区 | 国产色视频一区二区三区qq号 | 久久伦理| 婷婷资源站| 97超碰免费在线 | 天天操夜夜操国产精品 | 日韩高清在线一区二区 | 波多野结衣精品 | 国产精品一区二区三区电影 | 日韩精品在线观看av | 蜜臀一区二区三区精品免费视频 | 91精品久久久久久久99蜜桃 | 麻豆成人在线观看 | 久青草视频在线观看 | 国产成人精品久久久久 | 三级av免费看 | 国产成人三级在线播放 | 国产91国语对白在线 | 香蕉视频网站在线观看 | 国产免费作爱视频 | 丁香五婷 | 国产精品久久久久久久久久白浆 | 国产网红在线观看 | 婷婷色六月天 | 中国精品少妇 | 麻豆视频大全 | 婷婷综合视频 | 91精品成人久久 | 久久久久女教师免费一区 | 日韩精品aaa| 在线观看国产一区 | 美女av电影 | 亚洲第一成网站 | 精品久久国产一区 | 成年人免费在线观看网站 | www免费在线观看 | 一区二区三区免费网站 | 日韩在线视频免费看 | 久久午夜电影院 | 成人免费视频网 | 中文免费观看 | 国产美女精彩久久 | 97狠狠操| 美女视频永久黄网站免费观看国产 | 99热精品国产一区二区在线观看 | 天天操综合网 | 亚洲一区二区视频 | 日韩欧美电影在线观看 | 色噜噜狠狠狠狠色综合 | 97超碰精品| 人人干人人做 | 久久免费福利 | 亚洲精品在线免费看 | 精品视频资源站 | 91pony九色丨交换 | 美女久久精品 | 91看片在线免费观看 | 午夜美女wwww | 成人av电影免费观看 | 国产中文在线播放 | 国产精品99久久久久的智能播放 | 丰满少妇麻豆av | 国产黄色免费在线观看 | 免费日韩一级片 | 91av电影在线观看 | 久久精品成人热国产成 | 激情九九| 欧美午夜精品久久久久 | 国内综合精品午夜久久资源 | 热久在线 | 国产一区二区不卡视频 | av网站大全免费 | 久久精品xxx | 亚洲电影在线看 | av在线播放免费 | 成人一区二区在线 | 国产原创91 | 奇米影视8888在线观看大全免费 | av电影av在线 | 草久久久| 99精品国产成人一区二区 | 少妇高潮流白浆在线观看 | 中文字幕在线有码 | 在线观看中文字幕一区二区 | 亚洲 综合 激情 | 91精品国自产在线偷拍蜜桃 | 国产久草在线 | 国产精品高清免费在线观看 | 最近中文字幕国语免费高清6 | 国产视频导航 | 狠狠狠色丁香婷婷综合久久五月 | 久久久麻豆视频 | 精品一区二区日韩 | 国产精品短视频 | 99热这里只有精品8 久久综合毛片 | 免费高清男女打扑克视频 | 五月婷婷综合网 | 特级毛片爽www免费版 | 欧美性生活免费 | 99精品在线直播 | 日韩高清不卡在线 | 一区二区亚洲精品 | 美女免费视频一区二区 | 一区免费观看 | 99九九热只有国产精品 | 久久夜色精品国产欧美乱极品 | 97在线影视 | 国产1区2区3区精品美女 | 丰满少妇一级 | 精品国产一区二区三区久久久蜜臀 | 中文字幕在线观看免费观看 | 国产精品11 | 久久国产精品成人免费浪潮 | 欧美色就是色 | 亚洲一区二区三区91 | 国产精品不卡在线观看 | 日韩午夜电影 | 久久99国产综合精品 | 毛片.com| 亚洲综合欧美精品电影 | 亚洲三级黄色 | 久久久九色精品国产一区二区三区 | 99久久精品免费看国产四区 | 在线观看视频三级 | 美女视频久久 | 午夜成人影视 | 国产精品一区二区三区在线看 | 91最新在线观看 | 午夜12点| 高潮毛片无遮挡高清免费 | 欧美日韩高清一区二区 | 亚洲国产片 | 亚洲免费av片 | 国产99久久久精品 | 美女网站黄在线观看 | 在线免费观看一区二区三区 | 人操人 | 国产一级免费片 | 中文字幕视频免费观看 | 一区二区三区在线视频111 | 九九久久国产 | 欧美成人理伦片 | 九九九视频精品 | 精品久久久亚洲 | 中文字幕不卡在线88 | 久久久在线视频 | 五月激情片 | 国产亚洲精品久久久久久大师 | 激情丁香综合 | 精品久久91 | 国产在线一区二区 | 久久精品老司机 | 国产精品中文久久久久久久 | 精品一区二区视频 | 一区二区丝袜 | 成人免费视频免费观看 | 日韩av成人在线观看 | 色综合久久88 | 2023av在线| 日韩久久精品一区二区 | 91成人在线视频 | 97精品国产aⅴ | 亚洲国产精品成人精品 | 国产 日韩 欧美 自拍 | 狠狠操狠狠干天天操 | 亚洲精品欧美专区 | 一二区av | 夜夜婷婷 | 成人h视频在线 | 亚洲精品三级 | 色综合久久久久综合99 | 国产免费又爽又刺激在线观看 | 国产综合视频在线观看 | 国产免费亚洲 | 亚洲精品视频在线观看视频 | 伊人影院在线观看 | 成人午夜精品久久久久久久3d | 懂色av一区二区在线播放 | 国产不卡精品 | 一区二区 精品 | 久久天天躁狠狠躁亚洲综合公司 | 欧美,日韩 | 亚洲最新视频在线播放 | 欧美精品亚洲精品 | 中文字幕在线免费观看视频 | 国产精选在线 | 免费色视频网址 | 91经典在线 | 国产精品久久久久久久久搜平片 | 亚洲高清在线 | 国产午夜精品福利视频 | 亚洲人成综合 | 9在线观看免费高清完整 | 波多野结衣在线观看一区 | 日韩av一卡二卡三卡 | 你操综合 | 在线看免费 | 91成人短视频在线观看 | 五月天婷婷免费视频 | 成人免费看黄 | 亚洲永久精品一区 | 97综合在线| 999视频网 | 久久免费激情视频 | 九九热只有这里有精品 | 在线有码中文字幕 | 狠狠干天天操 | 亚洲日本一区二区在线 | 亚洲男男gaygayxxxgv | 天天五月天色 | 日韩动漫免费观看高清完整版在线观看 | 久久艹精品 | 黄色资源在线观看 | 探花视频在线观看免费版 | 成人影片免费 | 精品久久久久免费极品大片 | 国产打女人屁股调教97 | 国产在线一线 | 国产.精品.日韩.另类.中文.在线.播放 | 91精品国自产在线观看欧美 | 久久久久久久av麻豆果冻 | 色视频成人在线观看免 | 国语自产偷拍精品视频偷 | 91资源在线视频 | 午夜神马福利 | 91成人区 | 亚洲一区二区三区在线看 | 国产精品国产自产拍高清av | 一区二区三区在线免费播放 | 久草在线一免费新视频 | 在线观看亚洲电影 | 国产在线观看你懂的 | 成人午夜在线电影 | 97超碰免费在线 | 中文字幕日韩精品有码视频 | 黄网在线免费观看 | 午夜久久福利影院 | av黄色免费看 | 亚洲另类久久 | 狠狠色免费 | 天天操夜夜逼 | 日本久久久影视 | 日韩电影中文,亚洲精品乱码 | 人人干网 | 国产黄色大片 | 久久久久女人精品毛片九一 | 欧美日韩高清一区二区 国产亚洲免费看 | www.久久久| 午夜精品一区二区三区在线 | 色婷婷综合久久久中文字幕 | 西西4444www大胆无视频 | 最新日韩视频 | 四虎影视成人永久免费观看视频 | 亚洲经典精品 | 91av影视| 九七在线视频 | www.综合网.com | 青青草国产精品视频 | 国产伦理一区二区三区 | 成人免费视频网址 | 成年人电影毛片 | 午夜视频在线瓜伦 | 丁香九月激情综合 | 日韩免费在线网站 | 欧美伦理一区 | 在线播放亚洲 | 国产精品一区在线 | 黄色片毛片 | 91av在线播放视频 | 国产精品18久久久久久vr | 亚洲精品免费在线观看视频 | 国产黄在线 | 亚洲国产欧美一区二区三区丁香婷 | 麻豆影视在线免费观看 | 亚洲欧洲在线视频 | 三级黄色大片在线观看 | 精品人妖videos欧美人妖 | 久久久久久国产精品久久 | 国产午夜三级一区二区三 | 久久电影网站中文字幕 | 日本三级不卡 | 国产一及片 | 国产精彩视频一区二区 | 五月婷婷综合久久 | 久久久这里有精品 | 在线观看黄色的网站 | 91精品国产九九九久久久亚洲 | 国产美女视频黄a视频免费 久久综合九色欧美综合狠狠 | 天天干天天操天天做 | 亚洲精品永久免费视频 | 在线免费观看视频一区二区三区 | 成年人视频在线免费 | 一级黄网 | 中文字幕日韩在线播放 | 日本成人中文字幕在线观看 | 看片黄网站 | 97超碰精品| 日日日操| 国产精品videoxxxx | 国产精品99精品 | 亚洲精品成人网 | 九色视频网 | 久久国产手机看片 | 97成人精品区在线播放 | 色99中文字幕 | 伊香蕉大综综综合久久啪 | www..com毛片 | 久久毛片网站 | 中文字幕2021| 成人中文字幕av | 亚洲一区二区三区毛片 | av一本久道久久波多野结衣 | 91高清视频免费 | 在线免费观看不卡av | 88av视频 | 日本久久精品视频 | 欧美成人黄色 | 黄色的网站免费看 | www国产亚洲精品久久网站 | 久久伊人八月婷婷综合激情 | 久久久一本精品99久久精品 | 四虎成人免费观看 | 综合久久网 | 久久久久久高清 | 色婷婷综合久色 | 91在线资源 | 四虎影视精品永久在线观看 | 天天躁日日躁狠狠躁av麻豆 | 久久一区精品 | 久久久久久久久久免费视频 | 91麻豆精品久久久久久 | 亚洲国产97在线精品一区 | 人人澡av | 久久精品国产成人精品 | www.黄色片网站 | 香蕉网站在线观看 | 伊人中文在线 | 国产一区二区高清不卡 | 久爱综合 | 久久免费的视频 | 欧美激情视频一二三区 | 天天综合色网 | 成人资源网 | 免费看久久 | 精品国产免费人成在线观看 | 91尤物国产尤物福利在线播放 | 亚洲人成在线观看 | 99久热在线精品视频观看 | 国产在线观看91 | 91高清完整版在线观看 | 久久国产精品偷 | 99这里只有久久精品视频 | 2023亚洲精品国偷拍自产在线 | 高清一区二区三区 | 亚洲美女免费视频 | 黄色成人在线观看 | 一级α片免费看 | 亚洲乱码久久久 | 黄色成人av | 亚洲精品一区二区三区在线观看 | 五月激情五月激情 | 在线观看视频在线 | 欧美精品中文 | 久久亚洲福利视频 | 国产又粗又硬又长又爽的视频 | 激情综合亚洲精品 | 欧美一级片免费在线观看 | 久热国产视频 | 激情电影影院 | 久久九九国产精品 | av手机在线播放 | 亚洲天堂网在线视频观看 | 久久精品精品电影网 | 天天激情站 | 天天操 夜夜操 | 久草免费资源 | 成人免费在线看片 | 五月婷婷操 | 91香蕉视频在线下载 | 最近中文字幕在线中文高清版 | 久久刺激视频 | 国产精品精品视频 | 久久狠狠一本精品综合网 | 亚洲视频在线看 | 成人黄色中文字幕 | 在线 视频 一区二区 | 亚洲精品国偷拍自产在线观看 | 91在线观看视频 | www在线观看国产 | 久久久性| 亚洲va欧美va | 性色大片在线观看 | 精品久久网 | 免费日韩电影 | 成av在线| 免费看一及片 | 久久国产精品免费一区 | 欧美91av| 久久免费的视频 | 国产精品入口麻豆 | 久久精品国产一区二区三 | 麻豆精品在线视频 | 狠狠躁夜夜躁人人爽视频 | 国产在线v | 婷婷激情五月 | 日韩av在线小说 | 国产网站色 | 91精品国产一区 | 日韩免费视频线观看 | 六月婷操 | 五月天综合婷婷 | 国产精品亚洲综合久久 | 在线观看中文字幕dvd播放 | 毛片一区二区 | 久草网在线观看 | 国内丰满少妇猛烈精品播 | 69视频在线 | 精品一区二区6 | 成+人+色综合 | 久草在线视频中文 | 91精品国产亚洲 | 又黄又刺激的网站 | 免费视频a| 午夜在线免费观看 | www.色五月.com| 色的网站在线观看 | 日韩午夜电影院 | 国产亚洲va综合人人澡精品 | a午夜在线| 国模视频一区二区三区 | 肉色欧美久久久久久久免费看 | 国产糖心vlog在线观看 | 日日摸日日添夜夜爽97 | 国产最顶级的黄色片在线免费观看 | 99r在线| 久久福利国产 | 福利视频网址 | 蜜臀av性久久久久av蜜臀妖精 | 国产福利a | 国产午夜一区二区 | 亚州精品在线视频 | 欧美日韩中文字幕综合视频 | 一区二区三区 亚洲 | 在线视频手机国产 | 欧美午夜剧场 | 天堂在线一区 | 综合亚洲视频 | 天天综合网天天综合色 | 日韩伦理片一区二区三区 | 欧美日韩精品在线免费观看 | 天天操天天操天天操天天操天天操 | 国产欧美精品在线观看 | 在线a人片免费观看视频 | 久久久精品二区 | 精品麻豆入口免费 | 久久高清毛片 | 91亚洲免费| 91麻豆精品国产午夜天堂 | 九色视频自拍 | 成年人黄色免费视频 | 人人精品 | 婷婷激情网站 | 国产一区播放 | 蜜臀久久99精品久久久无需会员 | 成人av一级片 | 欧美一区免费在线观看 | 美女免费视频一区二区 | 亚洲精品国产精品久久99 | 国产96在线观看 | 911香蕉| 亚洲国产中文字幕 | 日韩v在线 | 国产高清视频在线免费观看 | 黄色一级免费 | 韩国av免费在线观看 | 9999毛片| 久草在线在线 | 六月丁香在线视频 | 国产大片免费久久 | 激情五月五月婷婷 | 免费观看的av | 在线观看av不卡 | av一级一片 | 成人资源在线观看 | 欧美日韩国产一区二区三区在线观看 | 五月婷婷六月丁香在线观看 | www.国产在线| 欧美极品少妇xxxxⅹ欧美极品少妇xxxx亚洲精品 | 天天操天天色天天 | 亚洲 欧洲 国产 日本 综合 | 在线成人中文字幕 | 国产精品久久久久久久午夜 | 在线观看国产日韩欧美 | 亚洲激情在线播放 | 人人精久 | 欧美综合国产 | 99精品视频在线 | 天天色视频| 91精品亚洲影视在线观看 | 欧美激情操 | 亚洲高清视频在线观看免费 | 亚洲一二视频 | 亚洲电影影音先锋 | 91一区啪爱嗯打偷拍欧美 | 手机在线日韩视频 | 国产亚洲精品久久久久久网站 | 国产精品永久久久久久久www | 天天干天天操天天搞 | 久久精品亚洲综合专区 | 免费观看视频的网站 | 久久久久免费精品国产 | 久久69精品久久久久久久电影好 | 久久视频在线免费观看 | 人人爽人人爽人人爽人人爽 | 国产99自拍| 99色人 | 亚洲三级在线播放 | 亚洲免费av观看 | 午夜成人免费影院 | 四川妇女搡bbbb搡bbbb搡 | 97精品免费视频 | 在线观看亚洲国产精品 | 四虎影视精品永久在线观看 | 免费在线观看国产精品 | 国产一区二区三区高清播放 | 国产精品第二十页 | 夜夜天天干 | 国产日韩欧美中文 | 成人一区二区在线观看 | 天天干天天射天天操 | 精品久久久久国产免费第一页 | 最近日韩中文字幕中文 | 久久午夜鲁丝片 | 九九精品毛片 | 精品久久精品 | 精品视频中文字幕 | 99精品国产福利在线观看免费 | 久久久网站 | 免费av网址在线观看 | www.久久久久 | 91污在线观看 | 开心综合网 | 91免费版在线观看 | 在线精品在线 | 97超碰国产在线 | 国产精品v a免费视频 | 国产亚洲精品久久网站 | 99国产精品视频免费观看一公开 | 久久99亚洲网美利坚合众国 | 91久久丝袜国产露脸动漫 | 99视频在线精品免费观看2 | 久草.com | 久久久久国产一区二区三区四区 | 欧美激情va永久在线播放 | 国产精品免费大片视频 | 日韩精品视频免费 | 国产一区二区免费在线观看 | 中文av一区二区 | 在线看毛片网站 | 欧美天天干 | 成人四虎 | 国产一区免费观看 | 97国产超碰在线 | 国产永久免费高清在线观看视频 | 国产精品一区二区三区久久久 | 久久99国产综合精品免费 | 亚洲性少妇性猛交wwww乱大交 | 看片网站黄色 | 久久成人国产精品一区二区 | 午夜视频免费播放 | 九九视频在线播放 | 亚洲国产精品久久久久婷婷884 | 精品国产三级a∨在线欧美 免费一级片在线观看 | 不卡视频国产 | 日韩精品视频在线观看网址 | 一区二区激情视频 | av免费网页 | 在线91av| 99热在线观看免费 | 激情综合五月网 | 中文字幕在线观看网站 | 首页av在线 | 精品国内自产拍在线观看视频 | 欧美色图另类 | 91精品国自产在线偷拍蜜桃 | 国产精品久久久久av免费 | 成片免费观看视频大全 | 国产精品一区二区免费在线观看 | 99热国产在线中文 | 成人国产精品久久久春色 | 91精品专区| 亚洲免费av网站 | 中文字幕乱偷在线 | 人人添人人澡人人澡人人人爽 | 六月丁香在线观看 | 亚洲黄色a| 国产一区免费看 | 91看片淫黄大片在线播放 | 丁香影院在线 | 国产人成在线视频 | 久久这里只有精品23 | 高清国产一区 | 国产午夜三级 | 国产精品9999| 激情五月婷婷激情 | 国产一区二区三区免费观看视频 | 麻豆av电影 | 亚洲精品中文在线 | 亚洲一级片av| 国产精品 美女 | 日韩欧美电影在线 | 999在线精品| 亚洲天堂在线观看完整版 | 久操视频在线播放 | 亚洲在线视频观看 | 日韩美av在线 | 免费男女羞羞的视频网站中文字幕 | 极品久久久 | 国产三级香港三韩国三级 | 国产黄色在线 | 亚洲精品久久久蜜臀下载官网 | 91插插视频| 在线影院av | 国产破处在线播放 | 亚洲国产69 | 国产日韩欧美在线播放 | 国产精品99久久久久久大便 | 波多野结衣视频一区 | 国产在线不卡一区 | 天天舔夜夜操 | 亚洲精品成人av在线 | 四虎在线视频 | 一区二区三区电影 | 久草在线免费新视频 | 天天干夜夜操视频 | 亚洲极色 | 免费看黄在线观看 | 91视频啪 | 久久久精品国产一区二区三区 | 精品久久九九 | 天天干天天看 | 亚洲六月丁香色婷婷综合久久 | 亚洲婷婷在线 | 九九有精品 | 婷婷在线观看视频 | 伊人超碰在线 | 欧美在线视频一区二区三区 | 国产高清在线看 | 日本精品久久久久中文字幕 | 国产精品一区专区欧美日韩 | 在线免费观看黄色小说 | 香蕉久草 | 国产日韩欧美在线免费观看 | 国产精品va在线观看入 | 国产精品久久久久永久免费 | 亚洲精品午夜久久久久久久 | 久久久精品久久日韩一区综合 | 亚洲人成网站精品片在线观看 | 日本中文字幕高清 | 最新动作电影 | 久久日本视频 | 国产无套精品久久久久久 | 天天干天天碰 | 国产精品久久久久久久久蜜臀 | 香蕉久久久久久av成人 | 成年人视频免费在线 | 蜜臀av夜夜澡人人爽人人桃色 | 国产不卡视频在线播放 | 亚洲国产大片 | 综合在线观看 | 波多野结衣视频网址 | 亚洲国产资源 | 成人国产一区二区 | 色国产精品 | 精品国产大片 | 欧美激情第十页 | 超碰电影在线观看 | 欧美性色综合网 | 久久精品牌麻豆国产大山 | 日本电影黄色 | 日日成人网 | 91视频久久久 | 日韩大片在线观看 | 97在线公开视频 | 人人爽人人干 | 国产欧美精品一区二区三区四区 | 日韩在线无 | 国产精品毛片一区视频播不卡 | 亚洲精品乱码久久久久 | 男女拍拍免费视频 | 中文字幕乱码亚洲精品一区 | 午夜婷婷在线播放 | 国产中文字幕一区 | 国产在线黄色 | 美女网站在线观看 | 欧美成人h版在线观看 | 亚洲成人黄色在线观看 | 久久久九色精品国产一区二区三区 | 激情五月婷婷 | 欧美日韩视频在线 | 欧美一级片 | 久久福利小视频 | 开心激情五月婷婷 | 91完整视频| 免费福利视频网站 | 久久久影院一区二区三区 | 成人a级网站 | 欧美日韩久久不卡 | 亚洲国产伊人 | 国产女人40精品一区毛片视频 | 能在线观看的日韩av | 欧美激情视频一二区 | 91精品国产自产老师啪 | 亚洲亚洲精品在线观看 | 天堂视频中文在线 | 久久社区视频 | 天天操天天玩 | 99久久精品免费看国产免费软件 | 香蕉久草在线 | 国产精品美 | 久久久久久久久久影视 | 亚洲午夜精品一区 | 丁香花在线视频观看免费 | 中文字幕成人在线 | 亚洲精品在线一区二区 | 国产成人精品午夜在线播放 | 免费看的黄色小视频 | 黄色片网站免费 | 国产黄色精品网站 | 国产最新网站 | 免费人成在线观看网站 | 在线免费看黄网站 | 91亚洲精品乱码久久久久久蜜桃 | 久久久999免费视频 日韩网站在线 | 91精品欧美一区二区三区 | 久久久久久久久久久久久久免费看 | 日日夜精品 | 午夜精品视频一区二区三区在线看 | 亚洲国产中文字幕在线观看 | 婷婷丁香六月天 | 久久爱综合 | 免费看的毛片 | 色国产在线 | 日本久久久精品视频 | 高清av中文在线字幕观看1 | 国产精品视频最多的网站 | 婷婷久久综合九色综合 | 国产亚洲精品免费 | 91在线porny国产在线看 | 91视频在线网址 | 欧美精品久久久久 | 国产69精品久久99的直播节目 | 午夜色大片在线观看 | 一区二区在线电影 | 激情视频一区 | 日韩在线视频不卡 | 免费在线观看的av网站 | 亚洲激情在线观看 | 西西444www高清大胆 | 中文字幕高清在线 | 中文字幕 国产视频 | 久久免费视频1 | 日韩精品一区二区三区中文字幕 | 国产一二区视频 | 国产精品夜夜夜一区二区三区尤 | 欧美色精品天天在线观看视频 | 日韩精品免费在线播放 | 欧美日韩高清一区二区 | 日韩高清成人 | 在线观看欧美成人 | 在线观看91 | 狠狠操夜夜操 | 色综合久久久久综合 | 天天操夜夜想 | av免费看在线 | 黄色av在| 在线观看av网 | 欧美一区二区三区激情视频 | 日韩欧美视频在线观看免费 | 国产999精品久久久久久绿帽 | 激情综合五月网 | 国产精品一区二区三区在线 | 久久免费公开视频 | 久草久草在线 | 欧美最爽乱淫视频播放 | 国产一区视频在线观看免费 | 91网站观看 | 中文字幕资源网 国产 | 一区二区三区日韩视频在线观看 | 天天草天天插 | 亚洲精品videossex少妇 | 91精品国产欧美一区二区 | 成人av免费在线观看 | 亚洲精品福利在线观看 | 天天爽人人爽 | 中文字幕黄色网 | 免费三级影片 | 美女网站色免费 | 婷婷中文字幕 | 国产一性一爱一乱一交 | 婷婷丁香激情五月 | 精品视频在线看 | www黄com | 日韩毛片久久久 | 亚洲精品视频网站在线观看 | 久久久久久毛片 | 超碰久热| 97av色| 国产亚洲欧美在线视频 | 福利片视频区 | 成人国产精品电影 | 色综合久久五月 | 欧洲亚洲国产视频 | 日日夜夜免费精品视频 | 99热亚洲精品 | 中文字幕永久免费 | 国产一区二区在线看 | 成人免费一级 | 91久久久久久久一区二区 | 久久久综合精品 | 日韩精品免费在线播放 | 玖玖视频网| 亚洲国产av精品毛片鲁大师 | 久久99热精品这里久久精品 | 韩国在线一区二区 | 天天综合人人 | 中文字幕日本在线观看 | 日韩在线中文字幕 | 欧美大片www| 欧美日韩国产精品一区二区三区 | 久久国产精品免费一区二区三区 | 国产精品毛片 | 中文字幕亚洲综合久久五月天色无吗'' | 在线 高清 中文字幕 | 欧美日韩精品久久久 | 久久国产精品久久精品国产演员表 | 久久久久国产精品免费免费搜索 | 日韩av成人免费看 | 天天干天天操人体 | 99久久精品午夜一区二区小说 | 中文字幕在线观看免费高清完整版 | 国产精品国产三级国产aⅴ入口 | 国产中文字幕一区二区三区 | 中文字幕在线观看第二页 | 精品中文字幕视频 | 欧美性猛片 | 五月天激情在线 | 视频在线99| 午夜电影久久 | 中文字幕资源在线观看 | 久草在线免费看视频 | 国产在线日本 | 日日添夜夜添 | 一区二区亚洲精品 | 亚洲 综合 国产 精品 | 日韩高清无线码2023 | 免费看一级特黄a大片 | 在线观看免费福利 | 久青草国产在线 | 精品欧美一区二区在线观看 | 天天曰天天干 | 久草免费新视频 | 久久久久免费精品 | 一区二区国产精品 | 黄色91在线观看 | 免费进去里的视频 | 日本中文字幕在线 | 欧美色图狠狠干 | www.久久爱.cn| 日韩欧美在线视频一区二区三区 | 国产综合精品一区二区三区 | 热久久这里只有精品 | 91网在线观看| 久久久久久久久久久久影院 | 美女很黄免费网站 | 亚洲爱视频 | 三级av片 | 亚洲福利精品 | 欧美超碰在线 | 日韩亚洲国产中文字幕 | av日韩不卡 | 欧美另类成人 | 久久久久久久久电影 | 亚洲一级久久 | av一区二区三区在线播放 | 国产亚洲成人精品 | 91视频高清免费 | 日韩欧美专区 | 特级毛片在线观看 | 亚洲黄a | 中文日韩在线视频 | 免费在线黄网 | 日韩区欧美久久久无人区 | 国产成人精品在线 | 欧美精品久久久久久久久久丰满 | 激情五月婷婷网 | 在线观看视频福利 | 国产精品久久久久永久免费 | 一级免费黄视频 | 最新中文字幕在线观看视频 | 久久久国产一区二区三区四区小说 | 日韩午夜电影院 | 久久专区| 国产黄色观看 | 亚洲精品字幕在线 | 久久激情视频 久久 | 91超碰在线播放 | 久久伊人爱 | 国产99久久久国产精品成人免费 | 午夜 免费 | 91黄在线看 | 国产91在线观 | 久久男人中文字幕资源站 | 国产 字幕 制服 中文 在线 | 日日躁夜夜躁aaaaxxxx | av网在线观看 | 久久久黄色av | 四虎永久国产精品 | 久久综合九色欧美综合狠狠 | 国产精品欧美 | 国产在线播放不卡 | www.在线看片.com | 色综合久久久网 | 精品国产视频在线 | 国产黄色一级大片 | 欧洲亚洲女同hd | 国产露脸91国语对白 | 在线免费试看 | 97碰碰精品嫩模在线播放 | 麻豆传媒视频在线免费观看 |