當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

技术解析：openstack vlan模式下的隔离和数据流向（转）

發布時間：2024/1/18 编程问答 74 豆豆

生活随笔收集整理的這篇文章主要介紹了技术解析：openstack vlan模式下的隔离和数据流向（转）小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

一、隔離

計算機網絡，是分層實現的，不同協議工作在不同層，按著OSI的分層模型，共有七個層，我們一般所說的隔離，通常指的是第2層，也叫“數據鏈路層”;數據鏈路層的網絡包，也叫“幀”，我們常說的網卡的MAC地址，就是幀的地址，MAC，其實是“媒體訪問控制”(media access control)的簡稱，這是數據鏈路層的一個子層。

為什么要在這個二層上做隔離呢?因為二層的幀，其中一些幀的地址是廣播地址，在同一個二層的設備都可以、也必須接收這些幀，交換機一般認為工作在二層，對這些廣播包，也都要轉發，所以二層通常被稱為一個“廣播域”。

二、VLAN

Openstack Neutorn的實現核心是二層物理網絡的抽象與管理，支持多種不同的網絡隔離技術，以保障租戶tenant之間的網絡隔離，而VLAN就是主要使用的隔離方案，它本身就是交換機廣泛使用的二層隔離技術;但這種方案也有一定的局限性，首先管理相對麻煩，需要配合設置物理交換機，另外VLAN的可用數量也有限制，VLAN的ID號僅有四千多個，我們假設每個租戶分配1個VLAN，那最多也就能支持四千多個租戶。

三、虛擬網絡設備

圖1：vlan模式下計算節點的虛擬網絡拓撲結構圖

3.1 在vlan網絡模式下，計算節點上虛擬網絡設備如下：

(1)tapxxx設備

簡單的理解為為虛擬機提供的虛擬網卡，就是VM對應的網口的vNIC。虛擬機的網絡功能由vNIC提供，Hypervisor可以為每個虛擬機創建一個或多個vNIC。

(2) qbrxxx設備

Linux網橋，簡單理解就是為安全組服務，負責安全;因為不能在tap設備上配置network ACL rules，增加該linux bridge來實現iptable的安全組策略。

(3) qvmxxx設備

qvm主要是給從VM出來的包打上vlan tag。

(4) plyxxx設備

Ovs bridge，主要功能是實現過濾非本機MAC的單播報文。

(5) pvixxx和pvoxxx設備

ply是策略網橋，ply與br-int之間由一對path port連接，連接ply的一端為pvi端口，連接br-int的一端為pvo端口。

(6) br-int設備

br-int集成網橋，主要是幀的轉發功能。

(7) int-brcps和phy-brcps設備

主要負責將br-int轉發的幀中的vlanid轉換。

(8) brcps和trunk0設備

br-cps是Ovs bridge ，Trunk0由eth0和eth1組成的bond(active-backup模式)，packets要想進入physical network，還得通過真正的物理網卡trunk0(eth2和eth4)，所以將trunk0橋接到br-1上來打通整個鏈路。

(9) tapuuu設備

DHCP服務監聽端口。

3.2 計算節點上的網絡設備信息

3.2.1 Linux bridage信息

Compute153:~ # virsh list Id Name State ----------------------------------------------------1 instance-00000583 running2 instance-000005df running3 instance-00000603 running4 instance-00000654 running5 instance-0000068f running6 instance-000006d7 running7 instance-0000070d running9 instance-00000769 running10 instance-0000090d running11 instance-00000a37 running 計算節點Compute153上啟動了10個虛擬機。Compute153 :~ # brctl show bridge name bridge id STP enabled interfaces qbr7fc1e7d0-0c 8000.bee6e69f9457 no qvm7fc1e7d0-0ctap7fc1e7d0-0c qbr931641ad-4b 8000.eaa1a27fffcb no qvm931641ad-4btap931641ad-4b qbr963c4b38-70 8000.7635674ec1fc no qvm963c4b38-70tap963c4b38-70 qbr9df6f9f9-42 8000.2e1eba67aca5 no qvm9df6f9f9-42tap9df6f9f9-42 qbrb9dd9478-0f 8000.2e954943421c no qvmb9dd9478-0ftapb9dd9478-0f qbrc24f2999-b9 8000.427df7c7a333 no qvmc24f2999-b9tapc24f2999-b9 qbrc3833757-af 8000.7e6eb025950b no qvmc3833757-aftapc3833757-af qbrc78917be-9c 8000.1a67a8814d03 no qvmc78917be-9ctapc78917b0-9c qbrd5cbf3b0-ef 8000.f6de8391f526 no qvmd5cbf3b0-eftapd5cbf3b0-ef qbrfe79631b-85 8000.c2d425903a69 no qvmfe79631b-85tapfe79631b-85

可以看到有10個qbr，每一個虛擬機的每一張網卡都有對應的qbr。每一個qbr都有對應的 tap和qvm，對應圖上的qbr北向與南向接口。

3.2.2 ovs bridage信息

通過ovs-vsctl可以查詢主機上已有的 OVS bridge及其中的 port。

Bridge "plyc24f2999-b9"Port "qvmc24f2999-b9"Interface"qvmc24f2999-b9"type: internalPort "plyc24f2999-b9"Interface"plyc24f2999-b9"type: internalPort "pvic24f2999-b9"Interface"pvic24f2999-b9"type: patchoptions: {peer="pvoc24f2999-b9"}

可以看到ply網橋信息，上面對接qvm，下面對接br-int，ply與br-int之間是一對port接口， pvi與pvo接口。

注意pov端口是有tag的，這是一個內部的tag，主要是為了區分同一虛擬機的不同虛擬網卡設備，會將多張網卡依次編號。

Bridge br-intfail_mode: securePort "pvoc78917be-9c"tag: 5Interface"pvoc78917be-9c"type: patchoptions:{peer="pvic78917be-9c"}Port "pvob9dd9478-0f"tag: 9Interface"pvob9dd9478-0f"type: patchoptions:{peer="pvib9dd9478-0f"}Port br-inttag: 4095Interface br-inttype: internalPort int-brcpsInterface int-brcpstype: patchoptions: {peer=phy-brcps}Port "pvo9df6f9f9-42"tag: 5Interface"pvo9df6f9f9-42"type: patchoptions:{peer="pvi9df6f9f9-42"}

可以看到br-int網橋上的所有端口信息，向上是pvo口，向下是int-brcps口，是用來連接 brcps網橋。

Bridge br-intfail_mode: securePort "pvoc78917be-9c"tag: 5Interface"pvoc78917be-9c"type: patchoptions:{peer="pvic78917be-9c"}Port int-brcpsInterface int-brcpstype: patchoptions: {peer=phy-brcps}

int-brcps和phy-brcps接口是br-int與brcps網橋相連的接口，查詢br-int是可以找到與之相連的int-brcps，查詢brcps網橋可以找到與之相連的phy-brcps接口。

Bridge brcpsPort external_omtag:1405Interface external_omtype: internalPort "trunk0"Interface "trunk0"Port phy-brcpsInterface phy-brcpstype: patchoptions: {peer=int-brcps}Port external_apitag:1400Interface external_apitype: internalPort brcpstag:0Interface brcpstype: internalPort "om-physnet1"tag:1089Interface "om-physnet1"type: internal

管理面網橋brcps上有多個端口，用于與外部通信打通的external_om與external_api端口，帶tag;向上的phy-brcps接口;本地接口brcps，以及端口om-physnet1，還有最重要的trunk0，實際的數據物理通信接口。

以上就是vlan模式虛擬機通信需要經過的所有端口，數據流向如下：

1)數據幀從VM出來，經過TAP提供的虛擬網口vNIC，再經過Linux網橋qrb安全驗證，走到qvm，會打上一個內部的VLANtag，成為主機節點內部的local id。這個id的作用是區分同一個主機內部的不同VM;
2)繼續南下到ply，資料顯示作用是過濾掉非本機的MAC，主要作用是為了方便訪問同一個主機的其他VM，如果目的源是同一臺主機則直接訪問，不用br-int轉發;
3)繼續走到br-int會實現轉發到目的幀主機，南下到patch port，port會把幀中間的之前打的內部VLAN ID即local id刪除，換成外部的VLAN ID;
4)之后幀走到實際的外部物理交換機網口，發送到目的地。

3.2.2 br-int dump-flows信息

br-int完成從brcps上過來流量(從口int-brcps到達)的vlan tag轉換，下面例子可以看到從外部VLAN ID:1013轉換為內部VLAN ID:2。

Compute153 :~ # ovs-ofctl dump-flows br-int NXST_FLOW reply (xid=0x4):cookie=0xaf3ffaad56834ff8,duration=8767986.702s, table=0, n_packets=138635866, n_bytes=49130127982,idle_age=0, hard_age=65534, priority=3,in_port=1,dl_vlan=1013actions=mod_vlan_vid:2,NORMALcookie=0xaf3ffaad56834ff8,duration=8759690.249s, table=0, n_packets=902894466, n_bytes=111008267998,idle_age=0, hard_age=65534, priority=3,in_port=1,dl_vlan=1014actions=mod_vlan_vid:3,NORMALcookie=0xaf3ffaad56834ff8,duration=8606291.966s, table=0, n_packets=75523546, n_bytes=7721353259,idle_age=0, hard_age=65534, priority=3,in_port=1,dl_vlan=503actions=mod_vlan_vid:4,NORMALcookie=0xaf3ffaad56834ff8,duration=7943259.828s, table=0, n_packets=27312770, n_bytes=4039091682,idle_age=0, hard_age=65534, priority=3,in_port=1,dl_vlan=1011actions=mod_vlan_vid:5,NORMALcookie=0xaf3ffaad56834ff8,duration=7248098.099s, table=0, n_packets=17132221, n_bytes=1590164809,idle_age=0, hard_age=65534, priority=3,in_port=1,dl_vlan=504actions=mod_vlan_vid:6,NORMALcookie=0xaf3ffaad56834ff8,duration=5730798.970s, table=0, n_packets=35859018, n_bytes=4389953008,idle_age=0, hard_age=65534, priority=3,in_port=1,dl_vlan=1012actions=mod_vlan_vid:7,NORMALcookie=0xaf3ffaad56834ff8,duration=583874.187s, table=0, n_packets=2041814, n_bytes=433205117,idle_age=0, hard_age=65534, priority=3,in_port=1,dl_vlan=1015actions=mod_vlan_vid:8,NORMALcookie=0xaf3ffaad56834ff8,duration=146306.053s, table=0, n_packets=435169, n_bytes=31391505, idle_age=0,hard_age=65534, priority=3,in_port=1,dl_vlan=1016 actions=mod_vlan_vid:9,NORMALcookie=0xaf3ffaad56834ff8,duration=9233017.369s, table=0, n_packets=8966890076, n_bytes=2799828872226,idle_age=0, hard_age=65534, priority=2,in_port=1 actions=dropcookie=0xaf3ffaad56834ff8, duration=9233016.732s,table=0, n_packets=1106708092, n_bytes=190560627712, idle_age=0,hard_age=65534, priority=0 actions=NORMALcookie=0xaf3ffaad56834ff8,duration=9233019.667s, table=23, n_packets=0, n_bytes=0, idle_age=65534,hard_age=65534, priority=0 actions=dropcookie=0xaf3ffaad56834ff8,duration=9233019.551s, table=24, n_packets=0, n_bytes=0, idle_age=65534,hard_age=65534, priority=0 actions=drop

3.2.3 brcps dump-flows信息

brcps上負責從br-int上過來的流量(從口phy-brcps到達)，實現local vlan到外部vlan的轉換，下面例子可以看到從內部VLAN ID:2轉換為外部VLAN ID:1013。

Compute153 :~ # ovs-ofctl dump-flows brcps NXST_FLOW reply (xid=0x4):cookie=0xaaf94399aad7707e,duration=8768079.505s, table=0, n_packets=4610859, n_bytes=723908441,idle_age=6, hard_age=65534, priority=4,in_port=5,dl_vlan=2actions=mod_vlan_vid:1013,NORMALcookie=0xaaf94399aad7707e,duration=8759783.046s, table=0, n_packets=1061625441, n_bytes=180117774176,idle_age=0, hard_age=65534, priority=4,in_port=5,dl_vlan=3actions=mod_vlan_vid:1014,NORMALcookie=0xaaf94399aad7707e,duration=8606384.765s, table=0, n_packets=12135266, n_bytes=3806123480,idle_age=32, hard_age=65534, priority=4,in_port=5,dl_vlan=4actions=mod_vlan_vid:503,NORMALcookie=0xaaf94399aad7707e,duration=7943352.621s, table=0, n_packets=8783552, n_bytes=1513703385,idle_age=0, hard_age=65534, priority=4,in_port=5,dl_vlan=5actions=mod_vlan_vid:1011,NORMALcookie=0xaaf94399aad7707e,duration=7248190.902s, table=0, n_packets=2559355, n_bytes=510785011,idle_age=16, hard_age=65534, priority=4,in_port=5,dl_vlan=6actions=mod_vlan_vid:504,NORMALcookie=0xaaf94399aad7707e,duration=5730891.771s, table=0, n_packets=16831749, n_bytes=3864947698,idle_age=0, hard_age=65534, priority=4,in_port=5,dl_vlan=7actions=mod_vlan_vid:1012,NORMALcookie=0xaaf94399aad7707e,duration=583966.979s, table=0, n_packets=169878, n_bytes=24055409, idle_age=29,hard_age=65534, priority=4,in_port=5,dl_vlan=8 actions=mod_vlan_vid:1015,NORMALcookie=0xaaf94399aad7707e,duration=146398.874s, table=0, n_packets=1541, n_bytes=157171, idle_age=132,hard_age=65534, priority=4,in_port=5,dl_vlan=9 actions=mod_vlan_vid:1016,NORMALcookie=0xaaf94399aad7707e,duration=9233110.012s, table=0, n_packets=78, n_bytes=6780, idle_age=65534,hard_age=65534, priority=2,in_port=5 actions=dropcookie=0xaaf94399aad7707e,duration=9233111.393s, table=0, n_packets=10761364888, n_bytes=3180091314185,idle_age=0, hard_age=65534, priority=0 actions=

3.2.4 iptables安全組

每一個虛擬機的tap都對應2個chain表(out和in)，dhcp agent到虛擬機的訪問策略定義在out表;

Compute153 :~ # iptables -Lneutron-openvswi-sg-chain Chainneutron-openvswi-sg-chain ( 20references) target prot opt source destination neutron-openvswi-i7fc1e7d0-0 all -- anywhere anywhere PHYSDEV match --physdev-outtap7fc1e7d0-0c --physdev-is-bridged /* Jump to the VM specific chain. */ neutron-openvswi-o7fc1e7d0-0 all -- anywhere anywhere PHYSDEV match --physdev-intap7fc1e7d0-0c --physdev-is-bridged /* Jump to the VM specific chain. */ neutron-openvswi-i931641ad-4 all -- anywhere anywhere PHYSDEV match --physdev-outtap931641ad-4b --physdev-is-bridged /* Jump to the VM specific chain. */ neutron-openvswi-o931641ad-4 all -- anywhere anywhere PHYSDEV match --physdev-intap931641ad-4b --physdev-is-bridged /* Jump to the VM specific chain. */ neutron-openvswi-i963c4b38-7 all -- anywhere anywhere PHYSDEV match --physdev-outtap963c4b38-70 --physdev-is-bridged /* Jump to the VM specific chain. */ neutron-openvswi-o963c4b38-7 all -- anywhere anywhere PHYSDEV match --physdev-intap963c4b38-70 --physdev-is-bridged /* Jump to the VM specific chain. */ neutron-openvswi-i9df6f9f9-4 all -- anywhere anywhere PHYSDEV match --physdev-outtap9df6f9f9-42 --physdev-is-bridged /* Jump to the VM specific chain. */ neutron-openvswi-o9df6f9f9-4 all -- anywhere anywhere PHYSDEV match --physdev-intap9df6f9f9-42 --physdev-is-bridged /* Jump to the VM specific chain. */ neutron-openvswi-ib9dd9478-0 all -- anywhere anywhere PHYSDEV match --physdev-outtapb9dd9478-0f --physdev-is-bridged /* Jump to the VM specific chain. */ neutron-openvswi-ob9dd9478-0 all -- anywhere anywhere PHYSDEV match --physdev-intapb9dd9478-0f --physdev-is-bridged /* Jump to the VM specific chain. */ neutron-openvswi-ic24f2999-b all -- anywhere anywhere PHYSDEV match --physdev-outtapc24f2999-b9 --physdev-is-bridged /* Jump to the VM specific chain. */ neutron-openvswi-oc24f2999-b all -- anywhere anywhere PHYSDEV match --physdev-intapc24f2999-b9 --physdev-is-bridged /* Jump to the VM specific chain. */ neutron-openvswi-ic3833757-a all -- anywhere anywhere PHYSDEV match --physdev-outtapc3833757-af --physdev-is-bridged /* Jump to the VM specific chain. */ neutron-openvswi-oc3833757-a all -- anywhere anywhere PHYSDEV match --physdev-intapc3833757-af --physdev-is-bridged /* Jump to the VM specific chain. */ neutron-openvswi-ic78917be-9 all -- anywhere anywhere PHYSDEV match --physdev-outtapc78917be-9c --physdev-is-bridged /* Jump to the VM specific chain. */ neutron-openvswi-oc78917be-9 all -- anywhere anywhere PHYSDEV match --physdev-intapc78917be-9c --physdev-is-bridged /* Jump to the VM specific chain. */ neutron-openvswi-id5cbf3b0-e all -- anywhere anywhere PHYSDEV match --physdev-outtapd5cbf3b0-ef --physdev-is-bridged /* Jump to the VM specific chain. */ neutron-openvswi-od5cbf3b0-e all -- anywhere anywhere PHYSDEV match --physdev-intapd5cbf3b0-ef --physdev-is-bridged /* Jump to the VM specific chain. */ neutron-openvswi-ife79631b-8 all -- anywhere anywhere PHYSDEV match --physdev-outtapfe79631b-85 --physdev-is-bridged /* Jump to the VM specific chain. */ neutron-openvswi-ofe79631b-8 all -- anywhere anywhere PHYSDEV match --physdev-intapfe79631b-85 --physdev-is-bridged /* Jump to the VM specific chain. */ ACCEPT all -- anywhere anywhere Compute153 :~ # iptables -L neutron-openvswi-oc78917be-9 Chainneutron-openvswi-oc78917be- 9( 2references) target prot opt source destination RETURN udp -- default 255.255.255.255 udpspt:bootpc dpt:bootps /* Allow DHCP client traffic. */ neutron-openvswi-sc78917be-9 all -- anywhere anywhere RETURN udp -- anywhere anywhere udp spt:bootpc dpt:bootps /* AllowDHCP client traffic. */ DROP udp -- anywhere anywhere udp spt:bootps udp dpt:bootpc /*Prevent DHCP Spoofing by VM. */ RETURN all -- anywhere anywhere state RELATED,ESTABLISHED /*Direct packets associated with a known session to the RETURN chain. */ RETURN all -- anywhere anywhere DROP all -- anywhere anywhere state INVALID /* Drop packets thatappear related to an existing connection (e.g. TCP ACK/FIN) but do not have anentry in conntrack. */ neutron-openvswi-sg-fallback all -- anywhere anywhere /* Sendunmatched traffic to thefallback chain. */ Compute153 :~ # iptables -Lneutron-openvswi-ic78917be-9 Chainneutron-openvswi-ic78917be- 9( 1references) target prot opt source destination RETURN all -- anywhere anywhere state RELATED,ESTABLISHED /*Direct packets associated with a known session to the RETURN chain. */ RETURN udp -- xxx.xxx.xxx.xxx anywhere udp spt:bootps udp dpt:bootpc ---DHCP RETURN udp -- xxx.xxx.xxx.xxx anywhere udp spt:bootps udp dpt:bootpc ---DHCP RETURN all -- anywhere anywhere DROP all -- anywhere anywhere state INVALID /* Drop packets thatappear related to an existing connection (e.g. TCP ACK/FIN) but do not have anentry in conntrack. */ neutron-openvswi-sg-fallback all -- anywhere anywhere /* Send unmatched traffic to thefallback chain. */

3.3 計算節點的vlan隔離

在vlan模式下，每個 vlan network 都有自己的 bridge，從而也就實現了基于 vlan 的隔離，vlan tag的轉換需要在br-int和brcps兩個網橋上進行相互配合。br-int負責從int-brcps過來的包(帶外部vlan)轉換為內部vlan，而brcps負責從phy-brcps過來的包(帶內部vlan)轉化為外部的vlan。租戶的流量隔離也是通過vlan來進行的，因此包括兩種vlan，虛擬機在Compute Node內流量帶有的local vlan和在Compute Node之外物理網絡上隔離不同租戶的vlan。物理交換機與eth網卡相連的 port 設置成 trunk 模式，實現同一塊物理網卡上面通過多個不同vlan 的數據。

原文鏈接：技術解析：openstack vlan模式下的隔離和數據流向

總結

以上是生活随笔為你收集整理的技术解析：openstack vlan模式下的隔离和数据流向（转）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇：网购巨头京东赚钱揭秘,是自寻死路还是生财
下一篇： lammps教程：如何从dump文件导出