日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問(wèn) 生活随笔!

生活随笔

當(dāng)前位置: 首頁(yè) > 运维知识 > linux >内容正文

linux

理解 neutron(15):Neutron Linux Bridge + VLAN/VXLAN 虚拟网络

發(fā)布時(shí)間:2024/4/17 linux 67 豆豆
生活随笔 收集整理的這篇文章主要介紹了 理解 neutron(15):Neutron Linux Bridge + VLAN/VXLAN 虚拟网络 小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

?

學(xué)習(xí) Neutron 系列文章:

(1)Neutron 所實(shí)現(xiàn)的虛擬化網(wǎng)絡(luò)

(2)Neutron OpenvSwitch + VLAN 虛擬網(wǎng)絡(luò)

(3)Neutron?OpenvSwitch + GRE/VxLAN 虛擬網(wǎng)絡(luò)

(4)Neutron OVS OpenFlow 流表 和 L2 Population

(5)Neutron DHCP Agent

(6)Neutron L3 Agent??

(7)Neutron LBaas

(8)Neutron Security Group

(9)Neutron?FWaas?和?Nova Security Group

(10)Neutron?VPNaas

(11)Neutron DVR

(12)Neutron VRRP

(13)High Availability (HA)

(14)Linux bridge + VXLAN

(15)Neutron Linux Bridge + VLAN/VXLAN 虛擬網(wǎng)絡(luò)

?

雖然大部分的OpenStack 部署環(huán)境中,都會(huì)使用 Open vSwitch 來(lái)作為虛擬交換機(jī)來(lái)實(shí)現(xiàn)二層網(wǎng)絡(luò)功能,但是Neutron 仍然支持使用 Linux bridge 作為虛擬交換機(jī)來(lái)實(shí)現(xiàn)二層網(wǎng)絡(luò)。本文就此做些分析和說(shuō)明。?

同時(shí)要指出的是,OpenStack 官方已經(jīng)把 linux bridge 實(shí)現(xiàn)標(biāo)記為 legacy 的了,文檔從 2016 年后也沒(méi)怎么更新了。這是因?yàn)?#xff0c;linux bridge 和 OVS 相比,只支持基本的網(wǎng)絡(luò)功能即二層交換,但不支持VLAN 標(biāo)簽和隧道。因此,linux bridge agent 利用linux 內(nèi)核功能(VLAN 子接口和 VXLAN 接口)來(lái)實(shí)現(xiàn)VLAN 標(biāo)簽和隧道。

?

?1. 測(cè)試環(huán)境

以下面的環(huán)境為例(網(wǎng)絡(luò)節(jié)點(diǎn)上):

(1)linux bridge

root@controller:/home/sammy# brctl show bridge name bridge id STP enabled interfaces brq85925305-b4 8000.563534c8d02d no tap0bb8efeb-10tap798c87d1-a2vxlan-25 brq96609bfa-0e 8000.0050569c4d94 no ens224tap60dbdc2f-a0 brq971ffda2-e5 8000.a6acb08e4fd6 no tapb1eaae00-e5tapf70543dd-0fvxlan-10

(2)OpenStack 網(wǎng)絡(luò)和 network namespace:

root@controller:/home/sammy# neutron net-list +--------------------------------------+---------+-----------------------------------------------------+ | id | name | subnets | +--------------------------------------+---------+-----------------------------------------------------+ | 96609bfa-0e22-4bb7-8dba-6ef532ea6076 | extnet | afa7d205-3026-439f-aca7-295a9f9b2a71 10.62.227.0/24 | | 971ffda2-e567-40a0-a2c8-b31a577fd4d3 | appnet | 4c68eacb-bf3e-408a-a941-94e93eddb22b 11.0.0.0/24 | | | | 3d596991-de8f-4ae4-8913-89426a8abbd7 10.0.0.0/24 | | 85925305-b477-4cc6-9654-67d9bf1e7cd8 | appnet2 | 4575c7f1-7f08-4917-9904-ec65af38619b 20.0.0.0/24 | +--------------------------------------+---------+-----------------------------------------------------+ root@controller:/home/sammy# ip netns qdhcp-85925305-b477-4cc6-9654-67d9bf1e7cd8 (id: 2) qdhcp-971ffda2-e567-40a0-a2c8-b31a577fd4d3 (id: 1) qrouter-39a77439-8a28-49c1-bf97-ac931510631b (id: 0)

(3)示意圖:

(4)說(shuō)明:

  • qdhcp 和 qrouter 都是 linux network namespace 實(shí)例
  • qdhcp network namespace 的數(shù)量等于啟用了 DHCP 的 Neutron network 的數(shù)量。
    • 當(dāng)一個(gè) network 中存在至少一個(gè) subnet 啟用了 DHCP 之后,會(huì)有一個(gè) qdhcp network namespace 被創(chuàng)建出來(lái);
    • 當(dāng)一個(gè) network 中多個(gè) subnet 啟用了 DHCP 時(shí),它們共用一個(gè) qdhcp,以及 dnsmasq。
    • 其 name 使用 network id,比如?qdhcp-85925305-b477-4cc6-9654-67d9bf1e7cd8
  • qrouter network namespace 的數(shù)目等于 router 的數(shù)目,也就是說(shuō),系統(tǒng)中一共有幾個(gè) router,那么就存在幾個(gè) qrouter network namespace
  • brq linux bridge 的數(shù)目等于 neutron network 的數(shù)目,其 name 是 network id 的前幾位,比如?brq96609bfa-0e
  • 一個(gè) network 的 qdhcp network namespace 和其 brq linux bridge 一定有連接
  • qrouter 之內(nèi)的 network interface 分兩種,一種是 qr 開(kāi)頭的,每個(gè)連接到 router 之上的 subnet 都有一個(gè);還有一個(gè)是 qg,每個(gè)連接到 router 的 external subnetwork 有一個(gè)
  • qrouter 的每個(gè) network interface 都通過(guò) veth 連接到所在網(wǎng)絡(luò)的 qbr linux bridge 上
  • qbr linux bridge 連連接兩種物理設(shè)備,一種是 vxlan interface,每個(gè) tenant network 有一個(gè),另一種是在 physical network 對(duì)應(yīng)的物理網(wǎng)卡上創(chuàng)建的子接口(sub-interface)
  • 對(duì)于 physical network 的 qbr 來(lái)說(shuō),用戶可以指定它,并且在linuxbridge_agent.ini 中通過(guò)?bridge_mappings = List of <physical_network>:<physical_bridge> 進(jìn)行配置;也可以不指定,此時(shí) agent 會(huì)創(chuàng)建它。當(dāng)同時(shí)配置了 physical bridge 和 physical interface 時(shí),前者優(yōu)先。

如果 external network 中有多個(gè) subnet 的話:

(1)每個(gè) qrouter 只允許有一個(gè)?External Gateway,也就是說(shuō)它只有一個(gè) qg network interface。當(dāng) external network 添加多個(gè) subnet 之后,只有第一個(gè)被當(dāng)作 external subnet,其余的都會(huì)被當(dāng)作 internal subnet。

(2)在 qrouter 的路由表之中,

root@controller:/home/sammy# ip netns exec qrouter-39a77439-8a28-49c1-bf97-ac931510631b route Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface default 10.62.227.1 0.0.0.0 UG 0 0 0 qg-e09fce07-cd 10.0.0.0 * 255.255.255.0 U 0 0 0 qr-b1eaae00-e5 10.62.227.0 * 255.255.255.0 U 0 0 0 qg-e09fce07-cd 10.62.228.0 * 255.255.255.0 U 0 0 0 qg-e09fce07-cd 10.62.228.0 * 255.255.255.0 U 0 0 0 qr-124ff148-b7 11.0.0.0 * 255.255.255.0 U 0 0 0 qr-16d9b0cc-38 20.0.0.0 * 255.255.255.0 U 0 0 0 qr-0bb8efeb-10

?

2. linux-bridge-agent 工作過(guò)程分析

(1)linuxbridge-agent 會(huì)啟動(dòng)一個(gè)循環(huán),不斷掃描上面紅框中的 tap 設(shè)備

def daemon_loop(self): ...while True:start = time.time() . ..device_info = self.scan_devices(previous=device_info, sync=sync)sync = Falseif (self._device_info_has_changes(device_info)or self.sg_agent.firewall_refresh_needed()):LOG.debug("Agent loop found changes! %s", device_info)try:sync = self.process_network_devices(device_info)except Exception:LOG.exception(_LE("Error in agent loop. Devices info: %s"),device_info)sync = True

這是它首先找到的 devices:

(Pdb) p bridge_lib.get_bridge_names()
['brq85925305-b4', 'virbr0', 'brq971ffda2-e5', 'virbr0-nic', 'tapb1eaae00-e5', 'tapf70543dd-0f', 'vxlan-25', 'vxlan-10', 'tap0bb8efeb-10', 'lo', 'tap60dbdc2f-a0', 'tap795e6e86-94', 'ens224', 'ens192', 'ens160', 'tap798c87d1-a2']

然后過(guò)濾出 tap 設(shè)備:

get_all_devices()->set(['tap0bb8efeb-10', 'tap60dbdc2f-a0', 'tap795e6e86-94', 'tap798c87d1-a2', 'tapb1eaae00-e5', 'tapf70543dd-0f'])

(2)根據(jù) previous 中保存的歷史數(shù)據(jù),再接合服務(wù)器端和本地更新時(shí)間,計(jì)算出需要更新的tap設(shè)備列表:

{'current': set(['tapf70543dd-0f', 'tap60dbdc2f-a0', 'tapb1eaae00-e5', 'tap795e6e86-94', 'tap0bb8efeb-10', 'tap798c87d1-a2']), 'timestamps': {'tapf70543dd-0f': 1476956816.672447, 'tap60dbdc2f-a0': None, 'tapb1eaae00-e5': 1476956816.672447, 'tap795e6e86-94': None, 'tap0bb8efeb-10': 1476689797.1378036, 'tap798c87d1-a2': 1476689701.1349163}, 'removed': set([]), 'added': set(['tapf70543dd-0f', 'tap60dbdc2f-a0', 'tapb1eaae00-e5', 'tap795e6e86-94', 'tap0bb8efeb-10', 'tap798c87d1-a2']), 'updated': set([])}

??(3) 通過(guò) RPC 獲取 tap 設(shè)備的詳細(xì)信息

(Pdb) p devices set(['tapf70543dd-0f', 'tap60dbdc2f-a0', 'tapb1eaae00-e5', 'tap795e6e86-94', 'tap798c87d1-a2', 'tap0bb8efeb-10'])devices_details_list = self.plugin_rpc.get_devices_details_list(Pdb) p devices_details_list [{u'profile': {}, u'network_qos_policy_id': None, u'qos_policy_id': None, u'allowed_address_pairs': [], u'admin_state_up': True, u'network_id': u'971ffda2-e567-40a0-a2c8-b31a577fd4d3', u'segmentation_id': 10, u'device_owner': u'network:dhcp', u'physical_network': None, u'mac_address': u'fa:16:3e:5c:bf:11', u'device': u'tapf70543dd-0f', u'port_security_enabled': False, u'port_id': u'f70543dd-0f1b-4e1d-93c7-33f4f3d7a709', u'fixed_ips': [{u'subnet_id': u'3d596991-de8f-4ae4-8913-89426a8abbd7', u'ip_address': u'10.0.0.10'}], u'network_type': u'vxlan', u'security_groups': []}, {u'profile': {}, u'network_qos_policy_id': None, u'qos_policy_id': None, u'allowed_address_pairs': [], u'admin_state_up': True, u'network_id': u'96609bfa-0e22-4bb7-8dba-6ef532ea6076', u'segmentation_id': None, u'device_owner': u'network:router_gateway', u'physical_network': u'provider', u'mac_address': u'fa:16:3e:77:78:86', u'device': u'tap60dbdc2f-a0', u'port_security_enabled': False, u'port_id': u'60dbdc2f-a01b-446d-bb5b-26ffac19a045', u'fixed_ips': [{u'subnet_id': u'afa7d205-3026-439f-aca7-295a9f9b2a71', u'ip_address': u'10.62.227.151'}], u'network_type': u'flat', u'security_groups': []}, {u'profile': {}, u'network_qos_policy_id': None, u'qos_policy_id': None, u'allowed_address_pairs': [], u'admin_state_up': True, u'network_id': u'971ffda2-e567-40a0-a2c8-b31a577fd4d3', u'segmentation_id': 10, u'device_owner': u'network:router_interface', u'physical_network': None, u'mac_address': u'fa:16:3e:81:1b:37', u'device': u'tapb1eaae00-e5', u'port_security_enabled': False, u'port_id': u'b1eaae00-e504-41f8-93a4-643687155bea', u'fixed_ips': [{u'subnet_id': u'3d596991-de8f-4ae4-8913-89426a8abbd7', u'ip_address': u'10.0.0.1'}], u'network_type': u'vxlan', u'security_groups': []}, {u'profile': {}, u'network_qos_policy_id': None, u'qos_policy_id': None, u'allowed_address_pairs': [], u'admin_state_up': True, u'network_id': u'96609bfa-0e22-4bb7-8dba-6ef532ea6076', u'segmentation_id': None, u'device_owner': u'network:dhcp', u'physical_network': u'provider', u'mac_address': u'fa:16:3e:5f:94:7d', u'device': u'tap795e6e86-94', u'port_security_enabled': False, u'port_id': u'795e6e86-94af-4b72-ae1a-5a324a017774', u'fixed_ips': [{u'subnet_id': u'afa7d205-3026-439f-aca7-295a9f9b2a71', u'ip_address': u'10.62.227.150'}], u'network_type': u'flat', u'security_groups': []}, {u'profile': {}, u'network_qos_policy_id': None, u'qos_policy_id': None, u'allowed_address_pairs': [], u'admin_state_up': True, u'network_id': u'85925305-b477-4cc6-9654-67d9bf1e7cd8', u'segmentation_id': 25, u'device_owner': u'network:dhcp', u'physical_network': None, u'mac_address': u'fa:16:3e:25:27:99', u'device': u'tap798c87d1-a2', u'port_security_enabled': False, u'port_id': u'798c87d1-a2d8-4df7-b7fc-5ab30918a0de', u'fixed_ips': [{u'subnet_id': u'4575c7f1-7f08-4917-9904-ec65af38619b', u'ip_address': u'20.0.0.100'}], u'network_type': u'vxlan', u'security_groups': []}, {u'profile': {}, u'network_qos_policy_id': None, u'qos_policy_id': None, u'allowed_address_pairs': [], u'admin_state_up': True, u'network_id': u'85925305-b477-4cc6-9654-67d9bf1e7cd8', u'segmentation_id': 25, u'device_owner': u'network:router_interface', u'physical_network': None, u'mac_address': u'fa:16:3e:9f:18:a9', u'device': u'tap0bb8efeb-10', u'port_security_enabled': False, u'port_id': u'0bb8efeb-108f-409a-82e7-c4c20f0d4f69', u'fixed_ips': [{u'subnet_id': u'4575c7f1-7f08-4917-9904-ec65af38619b', u'ip_address': u'20.0.0.1'}], u'network_type': u'vxlan', u'security_groups': []}]

(4) 對(duì)需要處理的設(shè)備,調(diào)用?self.process_network_devices(device_info) 函數(shù)進(jìn)行處理

(5). 調(diào)用 plug_interface

interface_plugged = self.mgr.plug_interface(network_id, segment,device, device_details['device_owner'])

(6). 需要的話,使用已經(jīng)配置的或者新建 linux brige,并將 physical interface 設(shè)備加入其中

bridge_name = self.get_existing_bridge_name(physical_network) #獲取為 physical network 配置的 linux bridge bridge_name = self.get_bridge_name(network_id) #或者根據(jù) network id 生成 bridge name

(7).根據(jù)不同的網(wǎng)絡(luò)類型,分別處理 vxlan bridge,flat bridge 和 vlan bridge

def ensure_physical_in_bridge(self, network_id,network_type,physical_network,segmentation_id):if network_type == p_const.TYPE_VXLAN:if self.vxlan_mode == lconst.VXLAN_NONE:LOG.error(_LE("Unable to add vxlan interface for network %s"),network_id)returnreturn self.ensure_vxlan_bridge(network_id, segmentation_id)# NOTE(nick-ma-z): Obtain mappings of physical bridge and interfacesphysical_bridge = self.get_existing_bridge_name(physical_network)physical_interface = self.interface_mappings.get(physical_network)if not physical_bridge and not physical_interface:LOG.error(_LE("No bridge or interface mappings"" for physical network %s"),physical_network)returnif network_type == p_const.TYPE_FLAT:return self.ensure_flat_bridge(network_id, physical_bridge,physical_interface)elif network_type == p_const.TYPE_VLAN:return self.ensure_vlan_bridge(network_id, physical_bridge,physical_interface,segmentation_id)

對(duì)于 flat 類型的網(wǎng)絡(luò),調(diào)用 ensure_physical_in_bridge

def ensure_physical_in_bridge(self, network_id,network_type,physical_network,segmentation_id) if network_type == p_const.TYPE_FLAT: return self.ensure_flat_bridge(network_id, physical_bridge,physical_interface)

如果有配置 physical bridge 的話,使用它;否則創(chuàng)建 bridge,并將物理網(wǎng)卡配置的 ip 地址和 gateway 從網(wǎng)卡挪到 linux bridge

def ensure_flat_bridge(self, network_id, phy_bridge_name,physical_interface): """Create a non-vlan bridge unless it already exists.""" if phy_bridge_name: return self.ensure_bridge(phy_bridge_name) #獲取預(yù)先配置好的 linux bridge else:bridge_name = self.get_bridge_name(network_id)ips, gateway = self.get_interface_details(physical_interface) if self.ensure_bridge(bridge_name, physical_interface, ips,gateway): #創(chuàng)建 bridge return physical_interface

對(duì)于 vxlan 類型的 network,需要?jiǎng)?chuàng)建 vxlan interface

def ensure_vxlan_bridge(self, network_id, segmentation_id):"""Create a vxlan and bridge unless they already exist."""interface = self.ensure_vxlan(segmentation_id)if not interface:LOG.error(_LE("Failed creating vxlan interface for ""%(segmentation_id)s"),{segmentation_id: segmentation_id})returnbridge_name = self.get_bridge_name(network_id)self.ensure_bridge(bridge_name, interface)return interface

創(chuàng)建 vxlan interface:

def ensure_vxlan(self, segmentation_id):"""Create a vxlan unless it already exists."""interface = self.get_vxlan_device_name(segmentation_id)if not ip_lib.device_exists(interface):LOG.debug("Creating vxlan interface %(interface)s for ""VNI %(segmentation_id)s",{'interface': interface,'segmentation_id': segmentation_id})args = {'dev': self.local_int}if self.vxlan_mode == lconst.VXLAN_MCAST:args['group'] = self.get_vxlan_group(segmentation_id)if cfg.CONF.VXLAN.ttl:args['ttl'] = cfg.CONF.VXLAN.ttlif cfg.CONF.VXLAN.tos:args['tos'] = cfg.CONF.VXLAN.tosif cfg.CONF.VXLAN.l2_population:args['proxy'] = cfg.CONF.VXLAN.arp_respondertry:int_vxlan = self.ip.add_vxlan(interface, segmentation_id,**args)

(8). 將 tap 設(shè)備加入到 linux bridge 中

bridge_lib.BridgeDevice(bridge_name).addif(tap_device_name)

(9).?如果將一個(gè) tap 設(shè)備被刪除,那么 linux-bridge-agent 會(huì)發(fā)現(xiàn):

2016-10-26 10:29:58.347 30219 INFO neutron.agent.securitygroups_rpc [req-e3264065-6414-4b5a-8d2b-dfafad6fdde8 - - - - -] Remove device filter for set(['tap60dbdc2f-a0'])
2016-10-26 10:29:58.433 30219 INFO neutron.plugins.ml2.drivers.agent._common_agent [req-e3264065-6414-4b5a-8d2b-dfafad6fdde8 - - - - -] Attachment tap60dbdc2f-a0 removed
2016-10-26 10:29:58.536 30219 INFO neutron.plugins.ml2.drivers.agent._common_agent [req-e3264065-6414-4b5a-8d2b-dfafad6fdde8 - - - - -] Port tap60dbdc2f-a0 updated.

3. 關(guān)于上述工作過(guò)程的簡(jiǎn)單結(jié)論

3.1 簡(jiǎn)單結(jié)論

  • l3agent 和 dhcpagent 創(chuàng)建 network namespace 時(shí)創(chuàng)建 tap 設(shè)備,和 network namespace 中的 interface 是一對(duì) veth pair。當(dāng)手工刪除 tap 設(shè)備時(shí),相應(yīng)的 veth endpoint 也會(huì)被刪除。
  • linuxbridgeagent 不斷掃描服務(wù)器端和本地的 tap 設(shè)備
  • linuxbridgeagent 獲取需要增加和修改的tap設(shè)備列表
  • 對(duì)于需要增加的 tap 設(shè)備,獲取其詳細(xì)信息,主要是 network_id,network_type,physical_network,segmentation_id,device_owner 等,然后根據(jù)這些信息,創(chuàng)建 linux bridge,并加入所需要的 interface
  • 創(chuàng)建所需要的 linux bridge,并將 physical interface (provider network 的 physical interface 或者 tenant network 的 vxlan interface)加入 bridge,并且將 tap 設(shè)備也加入該 bridge
  • 如果發(fā)現(xiàn)某個(gè) linux bridge 沒(méi)有創(chuàng)建出來(lái),首先需要查看有沒(méi)有相應(yīng)的 tap 設(shè)備存在;如果 tap 設(shè)備不存在,則查看相應(yīng)的 qdhcp 或者 qrouter 中時(shí)候有interface
  • ?

    具有多個(gè) VLAN 租戶網(wǎng)絡(luò)時(shí)候的網(wǎng)絡(luò)元素示意圖:

    ?

    ?

    ?3.2 關(guān)于 unnumber interface

    OpenStack 官方的 host networking 配置中,連接外網(wǎng)的 interface 可以是 unnumbered 的,從字面意思理解,就是該 interface 上不需要配置 IP 地址。

    配置的時(shí)候,修改?/etc/network/interfaces:

    # The provider network interface auto ens224 iface ens224 inet manual up ip link set dev $IFACE up down ip link set dev $IFACE down

    配置好以后:

    root@controller:/home/sammy# ifconfig ens224 ens224 Link encap:Ethernet HWaddr 00:50:56:9c:4d:94UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1RX packets:27300737 errors:0 dropped:0 overruns:0 frame:0TX packets:61547 errors:0 dropped:0 overruns:0 carrier:0collisions:0 txqueuelen:1000RX bytes:31951077598 (31.9 GB) TX bytes:5966060 (5.9 MB)root@controller:/home/sammy# ifconfig brq96609bfa-0e brq96609bfa-0e Link encap:Ethernet HWaddr 00:50:56:9c:4d:94UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1RX packets:32855 errors:0 dropped:0 overruns:0 frame:0TX packets:2 errors:0 dropped:0 overruns:0 carrier:0collisions:0 txqueuelen:1000RX bytes:2731030 (2.7 MB) TX bytes:84 (84.0 B)

    具體原理不詳,但是應(yīng)該是因?yàn)?qrouter 的 qg network interface 和物理網(wǎng)絡(luò)中的路由器的網(wǎng)卡之間是網(wǎng)絡(luò)二層,因此中間的設(shè)備都是屬于二層的,因此不需要處于網(wǎng)絡(luò)三層的 IP 地址。

    4. 使用 linux bridge 時(shí)的拓?fù)浣Y(jié)構(gòu)

    4.1 網(wǎng)絡(luò)節(jié)點(diǎn)上

    為了更清楚,我們來(lái)對(duì)比著看 linux bridge 和 ovs 的兩種方案:

    linux 方案:

    ?

    網(wǎng)絡(luò)服務(wù):

    • Linux bridge agent
    • L3 agent
    • DHCP agent
    • Metadata agent

    Linux bridge agent 會(huì)為每個(gè) VLAN 虛擬網(wǎng)絡(luò)創(chuàng)建一個(gè) VLAN Bridge,它連接多個(gè)網(wǎng)元:

    • VLAN 子接口,從物理網(wǎng)卡(圖中的 interface3)上創(chuàng)建,每個(gè)子接口對(duì)應(yīng)一個(gè)VLAN ID,其名稱格式為?device.sid,其中 device 是物理網(wǎng)卡名字比如 eth0,sid 是 vlan id。
    • 連接虛擬機(jī)的 tap 接口
    • 和 qrouter 連接的 tap 接口
    • 和該網(wǎng)絡(luò)的 qdhcp 連接的 tap 接口

    如果同時(shí)有 VXLAN 虛擬網(wǎng)絡(luò)的話(linux-bridge 不支持GRE 隧道模式),會(huì)為每個(gè) VLAN 虛擬網(wǎng)絡(luò)創(chuàng)建一個(gè) Tunnel bridge。它連接多個(gè)網(wǎng)元:

    • vxlan interface,這種接口每個(gè)虛擬網(wǎng)絡(luò)一個(gè),名字格式為?vxlan-sid,其中 sid 是分段ID。
    • 連接虛擬機(jī)的 tap 接口
    • 和 qrouter 連接的 tap 接口
    • 和該網(wǎng)絡(luò)的 qdhcp 連接的 tap 接口

    安全組規(guī)則在 tunnel bridge 和 vlan bridge 上。

    OVS 方案:

    這里面,br-int 會(huì)負(fù)責(zé)加本地 VLAN 標(biāo)簽,br-tun 會(huì)負(fù)責(zé)將 VLAN ID 轉(zhuǎn)換為 VXLAN ID。

    ?

    4.2 計(jì)算節(jié)點(diǎn)上

    同樣來(lái)對(duì)比著看。

    linux bridge:

    網(wǎng)絡(luò)服務(wù):

    • Linux bridge agent

    和網(wǎng)絡(luò)節(jié)點(diǎn)類似,只不過(guò)沒(méi)有 qrouter 和 qdhcp,不在贅述。

    OVS:

    ?

    OVS 放在在 br-int 上實(shí)現(xiàn) VLAN 標(biāo)簽,在 br-tun 上實(shí)現(xiàn)隧道,在 qbr linux bridge 上實(shí)現(xiàn)安全組。

    ?

    4.3 網(wǎng)絡(luò)路徑 - 南北向網(wǎng)絡(luò)流向

    VLAN 網(wǎng)絡(luò)和VXLAN 網(wǎng)絡(luò)井水不犯河水。這圖上的配置中,計(jì)算節(jié)點(diǎn)和網(wǎng)絡(luò)節(jié)點(diǎn)上的物理網(wǎng)卡都分開(kāi)了。

    4.4 網(wǎng)絡(luò)路徑 - 東西向(不同網(wǎng)絡(luò))

    4.5 網(wǎng)絡(luò)路徑 - 東西向(同一個(gè)網(wǎng)絡(luò))

    ?

    請(qǐng)?jiān)敿?xì)說(shuō)明和配置,請(qǐng)參閱參考文檔。

    5. 一點(diǎn)結(jié)論

    和基于 OVS 的二層網(wǎng)絡(luò)相比,

    • 功能和架構(gòu)上:基于 linux bridge 的實(shí)現(xiàn)還是有一些短處,比如每個(gè)虛擬網(wǎng)絡(luò)就需要一個(gè)網(wǎng)橋,這在大規(guī)模環(huán)境中會(huì)帶領(lǐng)資源使用和管理上的問(wèn)題。其好處是本身架構(gòu)比較清晰。
    • 性能上:基本上差不多,如下圖所示,不管是 vxlan 還是 vlan。

    ?參考資料:

    • https://docs.openstack.org/kilo/networking-guide/scenario_legacy_lb.html
    • https://www.slideshare.net/JamesDenton1/2014-openstack-summit-neutron-ovs-to-linuxbridge-migration
    • https://robhirschfeld.com/2013/10/16/openstack-neutron-using-linux-bridges-technical-explanation/

    歡迎大家關(guān)注我的個(gè)人公眾號(hào):

    ?

    轉(zhuǎn)載于:https://www.cnblogs.com/sammyliu/p/5999612.html

    總結(jié)

    以上是生活随笔為你收集整理的理解 neutron(15):Neutron Linux Bridge + VLAN/VXLAN 虚拟网络的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。

    如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。

    中文字幕av免费在线观看 | 亚洲aⅴ久久精品 | 国产不卡视频在线 | 免费麻豆网站 | 一级一片免费看 | av在线免费观看不卡 | 天天天射 | 亚洲天堂网在线视频观看 | 99久久久| 精品视频999 | 成人黄色小说视频 | 天天视频亚洲 | 色综合久久综合网 | 在线国产黄色 | 激情综合电影网 | 成人久久久电影 | 国产日韩欧美视频 | 人人干人人上 | 中文字幕av免费在线观看 | 亚洲国产偷 | 日韩av中文在线 | 婷婷中文字幕在线观看 | 亚洲高清色综合 | 黄色一级大片在线观看 | 国产精品久久久久国产精品日日 | 亚洲精选99| 久久婷婷久久 | 国产亚洲精品美女 | 四月婷婷在线观看 | 亚洲麻豆精品 | 在线v片免费观看视频 | 午夜天天操 | 最近日韩免费视频 | 国产精品a久久久久 | 久久九九国产视频 | 欧美日韩电影在线播放 | 91秒拍国产福利一区 | 亚洲成人网在线 | 国产成人免费网站 | 免费在线观看一级片 | 日韩一区二区三区免费视频 | 亚洲禁18久人片 | 天天操夜操 | 国产美女免费看 | 蜜臀久久99精品久久久久久网站 | 国产高清99| 黄色三级免费看 | 九九欧美视频 | av天天干 | 久久毛片网站 | 国产一线在线 | 久久免费视频这里只有精品 | 日韩av中文字幕在线免费观看 | 欧美大片www | 久久精品中文视频 | 黄色福利| 精品v亚洲v欧美v高清v | 精品视频在线播放 | 999成人 | 91精品国产九九九久久久亚洲 | 天天操福利视频 | 国产综合久久 | 免费视频一区二区 | 国产精品一区久久久久 | 一区二区三区免费网站 | 色多多污污 | 久久国内精品视频 | 麻豆久久久久 | 美女天天操 | 456成人精品影院 | 91资源在线 | 免费观看一级成人毛片 | 婷婷丁香色综合狠狠色 | 色综合久久久久综合 | 97成人精品区在线播放 | 国产视频手机在线 | 久久99久久99精品免费看小说 | 精品中文字幕视频 | 久久久久国产成人精品亚洲午夜 | 美女视频免费一区二区 | 亚洲日韩欧美一区二区在线 | 丁香婷婷色综合亚洲电影 | 三级av网| 99精品热视频只有精品10 | 久久夜色精品国产欧美一区麻豆 | 麻豆91视频 | 天天色天天操综合 | 欧美 日韩 国产 中文字幕 | 国产福利一区二区三区在线观看 | 亚洲精品乱码久久久久久写真 | 色婷婷狠狠五月综合天色拍 | 国产精品丝袜久久久久久久不卡 | 成人av观看| 亚洲v欧美v国产v在线观看 | 亚洲最新合集 | 国产视频精品免费播放 | 国产色女人 | 日本丰满少妇免费一区 | 最新av在线网址 | 五月婷丁香 | 国产一区二区电影在线观看 | 在线观看韩日电影免费 | 在线观看亚洲电影 | 成人在线观看网址 | 天天操夜夜干 | 国产精品网在线观看 | 91久久电影| 成年人免费看 | av在线8| 日本九九视频 | 亚洲理论片 | 综合色综合 | 久久超碰在线 | 啪啪av在线| 91麻豆精品国产自产 | 国产高清第一页 | 久久国产亚洲视频 | 亚洲涩涩色 | a级国产毛片| 天堂网在线视频 | 国产中文 | 五月婷丁香 | 九九爱免费视频 | 丁香婷婷综合激情 | 国偷自产视频一区二区久 | 91丨九色丨91啦蝌蚪老版 | 五月婷婷中文 | 91成人精品一区在线播放 | 久草在线资源网 | 六月丁香综合 | 91av在线免费看 | 超碰在线公开 | 国产日韩欧美在线播放 | 国产精品久久婷婷六月丁香 | 亚洲午夜精品一区二区三区电影院 | 国产传媒中文字幕 | 99视频偷窥在线精品国自产拍 | 青春草视频 | 午夜美女福利直播 | 国产精品视频app | 亚洲国产欧美一区二区三区丁香婷 | 欧美日韩视频免费 | 狠狠综合久久av | 久久国产香蕉视频 | 精品你懂的 | 99九九视频 | 国产精品久久久av | av在线免费网 | 久久久久久久久爱 | av免费电影在线观看 | 免费在线激情视频 | 国产日韩精品一区二区在线观看播放 | 中文在线天堂资源 | 99视频这里只有 | 亚洲精品xx | 国产午夜一级毛片 | 色 免费观看 | 欧美地下肉体性派对 | 成人黄色影片在线 | 亚洲国产久 | 在线观看午夜av | 免费在线观看黄 | 久久久久亚洲国产 | 国产vs久久| 色午夜影院 | 国产精品成人在线 | 新版资源中文在线观看 | 主播av在线 | 久久精品中文字幕 | 91精品综合| 午夜av在线免费 | 丁香视频在线观看 | av网址在线播放 | 亚洲一区二区三区四区在线视频 | 91丨精品丨蝌蚪丨白丝jk | 中文字幕成人在线观看 | 亚洲欧美乱综合图片区小说区 | 一级免费黄色 | 天堂网一区二区三区 | 少妇bbw撒尿 | 日韩一区精品 | 国产1区在线 | 日本大片免费观看在线 | 97看片 | 91精品免费 | 欧美日韩中文视频 | 激情综合婷婷 | 欧美三级在线播放 | 久久久久在线视频 | 高清av不卡 | www.色五月.com | 国产成人在线综合 | 狠狠干天天干 | 97在线影院 | 亚洲日日日| 国产成人黄色 | 在线亚洲精品 | 亚洲最新av在线网站 | 国产手机在线观看视频 | 中文字幕刺激在线 | 免费在线观看av | 黄色小说免费观看 | 8090yy亚洲精品久久 | 精品久久久影院 | 亚洲女人天堂成人av在线 | 最近的中文字幕大全免费版 | 最新国产福利 | 97国产精品久久 | 日韩美女久久 | av软件在线观看 | 久久福利影视 | 中文字幕精品一区 | 日韩深夜在线观看 | 精品久久久久久电影 | 色婷婷www| 国产日韩欧美精品在线观看 | 精品国产一区二区三区在线观看 | 天堂在线一区二区三区 | 99成人精品 | 久久精品香蕉视频 | a天堂一码二码专区 | 色999精品 | 国产 欧美 在线 | 国产精品国产三级国产aⅴ无密码 | 国产伦理久久精品久久久久_ | 在线91观看 | 美女精品在线 | 狠狠干天天射 | 欧美资源 | 免费在线观看一区 | 精品一区二区在线免费观看 | 午夜精品视频免费在线观看 | 欧美另类xxx | 久久99久久久久 | 久草免费电影 | av免费福利 | 狠狠操.com| 免费精品久久久 | 操操碰| 国产视频 亚洲视频 | 国产精品美女久久久久久久久久久 | 国产xxxx | 久久精品中文视频 | 中文字幕av全部资源www中文字幕在线观看 | 精品国产不卡 | 国产福利一区二区三区视频 | 香蕉网站在线观看 | 免费特级黄色片 | 色天天天 | 人人澡av | 免费在线观看av | 手机看片国产日韩 | 天堂麻豆| 日韩av在线小说 | 久久草草影视免费网 | 久久久免费av | 久久综合色天天久久综合图片 | 97在线视频免费 | 国产精品一区专区欧美日韩 | 日韩精品久久久免费观看夜色 | 国产高清一级 | 808电影| 久久久久久久久久久久影院 | 国产精品久久久久久久久久久免费 | 国产老妇av | 中文字幕av在线播放 | 免费看高清毛片 | 91九色国产在线 | 成人久久精品 | 91精品第一页 | 欧美日韩中文国产 | 涩涩网站在线看 | 成人av中文字幕 | 91精品天码美女少妇 | 久久视奸 | 国产精品入口a级 | 国产精品欧美久久久久天天影视 | 亚洲观看黄色网 | 婷婷视频在线播放 | 91精品伦理 | 国产精品一区二区白浆 | av成人黄色 | 成人久久18免费网站麻豆 | 激情图片区 | 亚洲精品成人网 | 成人午夜毛片 | 激情开心网站 | 日韩黄色免费 | 国产色黄网站 | 色香com.| 免费观看的av网站 | 久久这里只有精品9 | 超碰成人免费电影 | 亚洲另类交 | 中文av影院 | 久久图 | 国产在线观看免费 | 1024久久 | av免费试看 | 在线电影a| 黄网站污| 一区二区视频在线看 | 天天曰天天曰 | 精品国产乱码久久久久久三级人 | 国产裸体bbb视频 | 在线不卡中文字幕播放 | 在线视频第一页 | 亚洲二区精品 | 久草视频在线播放 | 久久激情五月激情 | 国产在线高清精品 | 青青草在久久免费久久免费 | 在线91色 | 国产美女免费观看 | 一本一本久久a久久精品综合妖精 | 免费日韩 精品中文字幕视频在线 | 一区二区中文字幕在线观看 | 在线亚洲成人 | 九九热在线精品 | 久久最新 | 国产999精品久久久 免费a网站 | www成人精品 | 91精品福利在线 | 丁香激情五月 | 日韩av综合网站 | 欧洲精品一区二区 | 911久久香蕉国产线看观看 | 亚洲成人免费在线 | 精品国产一区二区三区久久影院 | 极品嫩模被强到高潮呻吟91 | 精品国产综合区久久久久久 | 成人黄色片免费看 | 亚洲人片在线观看 | 久久人人添人人爽添人人88v | 欧美另类网站 | av中文资源在线 | 精品亚洲国产视频 | 色福利网| 国精产品满18岁在线 | 91网页版免费观看 | 婷婷久久五月天 | 黄色av一级 | 91大神电影 | 国产精品成人国产乱一区 | 久久免费电影网 | www.夜夜骑.com | 超碰97人人爱 | 国产视频1区2区3区 久久夜视频 | 欧美精品久久久久性色 | 国产精品久久久久久久久搜平片 | 91av视频在线免费观看 | 欧美a级成人淫片免费看 | 综合铜03 | 亚洲国产午夜 | 精品视频资源站 | 国产日韩欧美在线一区 | 超碰个人在线 | 激情小说久久 | 日韩一区在线免费观看 | 婷婷亚洲综合五月天小说 | 久久96国产精品久久99软件 | 五月天久久综合 | 丁香婷婷色月天 | 超碰97网站| 99久久99久久 | 91九色网站| 久久精品网站免费观看 | 色婷婷久久久综合中文字幕 | 天天色宗合 | 偷拍视频一区 | 免费十分钟 | 波多野结衣在线播放一区 | 在线影院中文字幕 | 91天堂在线观看 | 欧美a级一区二区 | 久草热久草视频 | 4438全国亚洲精品观看视频 | 国产原创91| 欧洲精品码一区二区三区免费看 | 日产乱码一二三区别在线 | 一级黄色a视频 | 热久在线| 久久视频国产精品免费视频在线 | 不卡视频国产 | 操操操综合 | 91视频com | 久久99精品久久只有精品 | 最近高清中文字幕在线国语5 | 国产日韩一区在线 | 干干操操 | 亚洲成av人电影 | 免费三级黄色片 | 婷婷激情五月综合 | 夜夜躁日日躁狠狠久久88av | 亚洲在线成人精品 | 免费观看日韩av | 亚洲v精品 | 国产成人99久久亚洲综合精品 | 欧洲精品一区二区 | 国产不卡视频 | 182午夜在线观看 | 国产在线精品一区二区 | 在线观看久久久久久 | 国产精品免费久久久久久久久久中文 | 在线观看av小说 | 久久精品一区二 | 国产精品女| 91av片| 成人在线免费看 | 欧美日韩大片在线观看 | 亚洲精品国内 | 午夜婷婷在线观看 | 国产成人精品一区二区三区免费 | 丁五月婷婷| 456成人精品影院 | 在线观看国产福利片 | 国产99久久久欧美黑人 | 午夜久久久久 | 欧美另类亚洲 | 操天天操 | 国产精彩视频一区二区 | 久久五月婷婷丁香 | 国产精品久久久久久久久久久免费 | 国产亚洲精品久久久网站好莱 | 欧洲精品码一区二区三区免费看 | 久久人人爽人人爽人人片av免费 | 一区二区不卡视频在线观看 | 精品国产乱码久久久久久1区二区 | 日韩欧美一区二区三区视频 | 91亚洲精品久久久久图片蜜桃 | 看国产黄色片 | 国产精品久久久久久久久久久免费 | 亚洲v欧美v国产v在线观看 | 久久精品香蕉 | 久久精品视频5 | 国产在线不卡精品 | 久久99这里只有精品 | 亚洲高清av| 国产福利专区 | 午夜电影中文字幕 | www.国产在线观看 | 国产综合精品一区二区三区 | 天堂视频中文在线 | 精品国产一区二 | 九九热视频在线免费观看 | 久久激情视频 久久 | 日韩欧美在线观看 | 日韩精品一区二区在线 | 日韩精品中文字幕在线播放 | 91高清免费 | 久久人人爽人人爽人人片av软件 | 狠狠色丁香婷婷综合久小说久 | 国产麻豆精品一区 | 最近中文字幕完整视频高清1 | 成人免费影院 | 91亚洲永久精品 | 六月丁香在线观看 | 欧美最猛性xxxxx亚洲精品 | 精品成人免费 | 丁香久久| 日韩高清在线观看 | 久久99久久99免费视频 | 国产九色视频在线观看 | 亚洲精品在线免费播放 | av在线成人 | 日韩精品免费在线播放 | 亚洲成人在线免费 | 天天色天天射天天操 | 亚洲精品在线电影 | 视频一区在线免费观看 | 在线成人性视频 | 久草视频99| 久综合网 | 97视频一区| 精品久久久成人 | 中文字幕在 | 国产成本人视频在线观看 | 激情av在线资源 | 久久国产精品免费观看 | 久久久国产精品亚洲一区 | 久久免费精品一区二区三区 | 日韩a免费 | 久热电影| 久久久精品久久日韩一区综合 | japanese黑人亚洲人4k | 久草视频免费 | 国产一级在线播放 | a午夜电影 | 欧美日韩超碰 | 国产精品久久久久影院日本 | 国产精品国产自产拍高清av | 精品夜夜嗨av一区二区三区 | 国产精品国产三级国产aⅴ入口 | 色www精品视频在线观看 | 久操免费视频 | 天天玩天天操天天射 | 中文字幕资源站 | 日韩精品一区二区三区免费观看视频 | 国产在线91精品 | 午夜精品99久久免费 | 四虎成人在线 | 欧美激情视频久久 | 欧美一区二区日韩一区二区 | 久久免费精品视频 | 在线观看的av网站 | 亚洲精品视频在线 | 成人啊 v| av一区二区在线观看中文字幕 | 国产精品网址在线观看 | 国产 欧美 日产久久 | 涩涩伊人| 午夜视频色 | 中文字幕观看视频 | 精品美女在线观看 | 99热日本| 天天干,夜夜爽 | 精品亚洲va在线va天堂资源站 | 一本色道久久综合亚洲二区三区 | 国产一区二区播放 | 在线影院av | 国产精品久久久久一区二区三区共 | 欧美不卡视频在线 | 91精品视频在线观看免费 | 国产免费观看视频 | 欧美嫩草影院 | 久久精品中文 | 在线观看色网 | 美女又爽又黄 | 亚洲视频www | 三级在线国产 | 美女视频黄,久久 | 夜色资源站国产www在线视频 | 精品99在线| 欧美一级电影在线观看 | www色av| 综合色天天 | 日韩视频免费观看高清 | 日韩剧情 | 精品在线视频观看 | 国产亚洲精品女人久久久久久 | 99视频精品 | 久久久久久片 | 国产一区二区中文字幕 | 国产日产高清dvd碟片 | 蜜臀久久99精品久久久无需会员 | 久久久久久久久久毛片 | 91亚洲精品久久久久图片蜜桃 | 久草视频在线免费看 | 国产精品久久久久免费观看 | 18国产精品白浆在线观看免费 | 国产精品精品久久久久久 | av在线免费在线观看 | 久久久亚洲电影 | 一区二区三区四区在线 | 黄色成人av | 久草在线免 | 开心激情久久 | 亚洲国产中文字幕在线观看 | 成人四虎 | 久久小视频 | 日韩av在线资源 | 国产一区视频免费在线观看 | 99久e精品热线免费 99国产精品久久久久久久久久 | 成年人视频在线观看免费 | 五月婷在线播放 | 欧美日韩在线免费视频 | 国产中出在线观看 | 91资源在线观看 | 国产超碰在线观看 | 欧美黄色特级片 | 午夜视频一区二区 | 欧美一级久久久久 | 日韩精品第一区 | 在线观看免费一区 | 天天色天天草天天射 | 久久久九九 | 国产欧美日韩精品一区二区免费 | 色香网 | 色天天久久 | 精品亚洲成a人在线观看 | 黄色在线观看网站 | 久久人人爽视频 | 免费观看一区 | 8x成人免费视频 | 国产白浆在线观看 | 欧美性极品xxxx娇小 | 午夜视频欧美 | 国产原创在线观看 | 91亚洲精品久久久中文字幕 | www.五月婷| 国产免费午夜 | 这里只有精品视频在线 | 国产精品永久免费 | 91视频 - 88av | 国产精品美女网站 | 一本一本久久a久久精品牛牛影视 | 亚洲精品男人天堂 | 亚洲国产伊人 | 91精品国产一区二区在线观看 | 亚洲成 人精品 | 欧美91精品| 亚洲少妇天堂 | 欧美精品免费在线观看 | 婷婷国产视频 | 草久在线观看 | 视频一区二区国产 | 日韩视频免费看 | 三级黄色网络 | 精品一区二区在线免费观看 | 婷婷激情综合 | 日韩电影在线观看一区 | www黄色com| 久久亚洲欧美日韩精品专区 | 精品美女久久久久 | 欧洲视频一区 | 国产一区二区在线免费观看 | 亚洲手机天堂 | 久久久久久久久久影院 | 国产 日韩 在线 亚洲 字幕 中文 | 国内小视频 | 国产在线播放一区二区 | 久久草草影视免费网 | 激情综合网在线观看 | aaa毛片视频 | 亚洲高清激情 | 日狠狠| 久久综合亚洲鲁鲁五月久久 | 日韩中文字幕在线 | 丁香视频全集免费观看 | 四虎在线视频免费观看 | 免费在线观看毛片网站 | 中文字幕免费高清在线观看 | 免费a v在线 | 91视频免费 | 国产精品国产三级国产不产一地 | 国产精品普通话 | 2023天天干| 一区二区三区在线看 | 欧美亚洲另类在线视频 | 在线精品视频免费播放 | 色婷婷亚洲综合 | 97国产大学生情侣酒店的特点 | 日韩精品久久久久久久电影竹菊 | 久99久中文字幕在线 | 在线观看av中文字幕 | 久青草国产在线 | 日韩免费视频一区二区 | 国产96精品 | 手机色在线 | 色com网| 国产香蕉久久精品综合网 | 国产原创av在线 | 亚洲国产网站 | 国产一线二线三线性视频 | 国产福利资源 | 麻豆国产在线播放 | 国产精品免费久久久久久久久久中文 | 国内精品亚洲 | 午夜精品婷婷 | 色姑娘综合网 | 国产视频欧美视频 | 亚洲精品欧美专区 | 成人av高清| 91免费版在线观看 | 亚洲天堂自拍视频 | 伊人婷婷色 | 在线视频免费观看 | 精品国产电影一区 | 亚洲电影久久久 | 欧美粗又大 | 久久精品专区 | 免费看久久| 在线电影日韩 | 精品一区二区视频 | 亚洲丝袜中文 | 黄色成人毛片 | 97影视| 精品久久久久国产免费第一页 | 精品成人久久 | 欧美日韩免费在线视频 | 探花视频免费观看高清视频 | 精品无人国产偷自产在线 | 色综合小说 | 国产精品一区免费看8c0m | 少妇性bbb搡bbb爽爽爽欧美 | 亚洲激情 欧美激情 | 美女免费视频网站 | 日韩在线字幕 | 深爱激情久久 | 日本爱爱片 | 伊人黄 | 国产小视频在线播放 | 美女视频一区二区 | 亚洲精品动漫成人3d无尽在线 | 久久国产精品久久精品国产演员表 | 97电影手机 | 狠狠色狠狠色综合日日小说 | 午夜国产福利在线观看 | av在线一级| 天天插天天干天天操 | 亚洲va欧美va | 欧美性脚交 | 久久久久女人精品毛片九一 | 91黄色小视频 | 久久久久亚洲最大xxxx | 97免费| 亚洲色图av| 波多野结衣在线观看一区二区三区 | 久久久久草 | 婷婷久久一区二区三区 | 欧美大香线蕉线伊人久久 | 久久午夜精品影院一区 | 日韩精品免费一区二区三区 | 久久婷亚洲五月一区天天躁 | 五月天久久婷婷 | av电影不卡在线 | 欧美激情xxxx性bbbb | 97超视频免费观看 | 国产91精品在线播放 | 日韩 精品 一区 国产 麻豆 | 夜夜狠狠 | 99视频偷窥在线精品国自产拍 | 97成人精品| 日韩在线免费小视频 | 国产精品免费在线 | 亚洲乱码国产乱码精品天美传媒 | 91av色| 免费久久99精品国产婷婷六月 | 久久人人爽av | 亚洲精品网站在线 | 中文字幕在线观看一区二区 | 久插视频| 一区二区三区精品在线视频 | 98精品国产自产在线观看 | 久久久国产一区二区三区四区小说 | 午夜影院一级片 | 99精品国产兔费观看久久99 | 欧美成人精品三级在线观看播放 | 久草电影免费在线观看 | 麻豆视频国产精品 | 婷婷激情av | 国产在线一线 | 成人精品视频久久久久 | 丁香婷婷在线 | 久久男女视频 | 超碰人人91 | 在线观看亚洲精品 | 丁香在线| 99久久er热在这里只有精品66 | 日韩免费中文 | 9在线观看免费高清完整 | 午夜123 | 日韩在线观看视频在线 | 国产成人精品久久二区二区 | 久久久久综合精品福利啪啪 | 成人性生爱a∨ | www国产亚洲精品久久网站 | 波多野结衣最新 | 亚洲电影免费 | 久久久九九 | 毛片3| 色综合亚洲精品激情狠狠 | 日韩在线视 | 亚洲91精品 | 国产黄视频在线观看 | 久久99国产精品二区护士 | 午夜12点 | 香蕉视频免费在线播放 | 亚洲资源在线观看 | 五月天久久综合 | 亚洲国产成人久久综合 | 中文字幕中文字幕在线中文字幕三区 | 午夜久久久久久久久久久 | 日韩欧美一二三 | 亚洲国产中文字幕在线 | 久久精品观看 | 成x99人av在线www | 色综合久久88色综合天天人守婷 | 亚州精品国产 | 色综合久久久久综合99 | 日韩精品中文字幕有码 | 中文字幕在线视频精品 | 久久蜜臀av | 99热999 | 麻花传媒mv免费观看 | 精选久久| 国产一区二区精品91 | av久久久 | 久草综合在线观看 | 欧美国产不卡 | 黄色亚洲大片免费在线观看 | 国产精品久久久久久五月尺 | 国产精品免费在线 | 五月天综合 | 中文字幕高清有码 | 7777xxxx| 色综合久久88色综合天天免费 | 97超碰在线资源 | 欧美日韩免费在线观看视频 | 日韩av一区二区三区 | 欧美日韩国产精品一区 | 欧美a级在线免费观看 | 免费观看完整版无人区 | www亚洲一区| 五月激情站| 国产高清不卡一区二区三区 | 成年人在线免费看视频 | 久久久久久久久爱 | 久久99精品国产麻豆宅宅 | 成人免费观看电影 | 激情综合网五月婷婷 | 在线免费观看麻豆视频 | 国产中文字幕在线观看 | 91插插插免费视频 | 欧美狠狠操 | 日韩网站免费观看 | 精品久久国产精品 | 日韩最新av | 久久国产精品99久久久久久老狼 | 国产精品视频永久免费播放 | 首页国产精品 | 久久久官网 | 在线黄色免费 | 啪啪激情网 | 中文字幕免 | 国产香蕉视频在线播放 | 中文字幕亚洲欧美日韩2019 | 中文字幕第一页在线 | 毛片网站在线看 | 二区三区av | 9999国产| 久久久久久综合网天天 | 日韩av男人的天堂 | 国产福利一区二区三区在线观看 | 91黄色免费网站 | 午夜性生活片 | 成人黄色片免费 | 91在线九色 | 色噜噜狠狠狠狠色综合 | av一级网站 | 高清不卡一区二区三区 | 九九免费在线观看视频 | 中文字幕 成人 | 99精品免费久久久久久久久日本 | 色婷婷精品大在线视频 | 在线精品视频在线观看高清 | 最近中文字幕完整高清 | 97人人模人人爽人人喊中文字 | 日韩理论电影在线 | 午夜私人影院久久久久 | 国产字幕在线看 | 日韩最新中文字幕 | 亚洲午夜精 | 国产精品欧美日韩 | 在线观看免费高清视频大全追剧 | 91亚洲在线 | 中文字幕一区二区三区久久蜜桃 | 日韩精品一区二区三区在线播放 | 97电影院网 | 色婷婷综合五月 | 一区二区视频欧美 | 国产主播99 | 天天色天天爱天天射综合 | 九九综合九九 | 欧美精品第一 | 亚洲影院一区 | 国产伦理久久精品久久久久_ | 国产精品久久久久久爽爽爽 | 精品久久一区二区三区 | 日韩一区二区三区观看 | 国产亚洲激情视频在线 | 久久福利国产 | 亚洲精品视频中文字幕 | 久久免费福利 | 日韩精品久久一区二区 | 日韩欧美视频一区 | 四虎www com| 免费观看福利视频 | 中文字幕精品一区二区三区电影 | 天堂在线一区二区 | 丁香免费视频 | 婷婷激情综合五月天 | 久久这里 | 欧美经典久久 | 亚洲综合狠狠干 | 精品欧美在线视频 | 国产精品成人在线 | 91看片在线播放 | 亚洲五月婷婷 | 狠狠干狠狠久久 | 黄色亚洲免费 | 久草影视在线 | 激情综合久久 | 国内精品小视频 | 最近日本韩国中文字幕 | 69精品人人人人 | 在线天堂8√ | 亚洲精品66 | 91精品资源 | 中文字幕一区二区三区四区视频 | 成人cosplay福利网站 | 综合影视| 91传媒在线看 | 8090yy亚洲精品久久 | 在线精品观看国产 | 在线性视频日韩欧美 | 欧美日韩中文在线 | 偷拍精偷拍精品欧洲亚洲网站 | 免费看v片网站 | 一区二区三区免费在线 | 亚洲黄网址| 99精品热视频 | 国产精品观看视频 | 欧美一级片在线播放 | 欧美成人高清 | 国产精品久久久久一区二区三区共 | 96精品视频| 97在线观视频免费观看 | 国产精品久久久久久久久久99 | 精品国产一区二 | 干狠狠 | 一区 二区电影免费在线观看 | 黄色免费国产 | 91自拍视频在线 | 一区二区三区动漫 | 国产精品福利在线观看 | 成人h视频在线 | 日韩av高清 | 17videosex性欧美 | 国产精品夜夜夜一区二区三区尤 | 国产精品久久久久久超碰 | 精品播放 | 夜夜躁狠狠躁日日躁 | 久久午夜电影 | 国产精品一区二区在线 | 色停停五月天 | 91在线一区二区 | 精品国产一区在线观看 | 97精品国产97久久久久久粉红 | 91精品视频在线播放 | 一区二区三区精品久久久 | 国产福利91精品 | 精品一区 精品二区 | 五月天亚洲婷婷 | 久久国产精品99久久久久 | 9热精品| 黄色国产精品 | 91成人网在线播放 | 热久久免费国产视频 | 亚洲精品在线视频播放 | 偷拍久久久| 精品久久久久久久久中文字幕 | 欧美日韩国产一区二区在线观看 | a在线观看免费视频 | 国产视频在线免费观看 | 日韩影片在线观看 | 日本中文字幕网 | 成人黄色片免费看 | 精品中文字幕在线 | 精品在线亚洲视频 | 午夜美女福利 | 黄色免费网 | 久久久久久久久久久成人 | 日韩中文字幕免费 | 人人玩人人添人人澡超碰 | 中文字幕在线国产精品 | 日本精品一区二区三区在线播放视频 | 国产操在线 | 人人澡人人草 | 一级片视频免费观看 | 中文字幕刺激在线 | 99在线免费视频观看 | 99久久久成人国产精品 | 狠狠躁日日躁 | 精品福利网 | 98涩涩国产露脸精品国产网 | 超碰免费在线公开 | 97在线精品国自产拍中文 | 中文字幕首页 | 亚洲精品白浆高清久久久久久 | 成人黄色小说视频 | av大片免费看 | 成人高清在线观看 | 久久国产精品久久精品 | av资源免费在线观看 | 亚洲精品av中文字幕在线在线 | 91人人视频在线观看 | 久久精品一区二区国产 | 成人a在线观看 | 久久这里只有精品视频99 | 国产精品一区二区你懂的 | 国产精品理论片在线播放 | 一级片在线 | 美女黄网久久 | 国产成人免费观看久久久 | 在线精品一区二区 | 色婷婷狠狠五月综合天色拍 | 国产精品久久久久久久久费观看 |