Swarm基于多主机容器网络 (overlay networks )
生活随笔
收集整理的這篇文章主要介紹了
Swarm基于多主机容器网络 (overlay networks )
小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
前面介紹了Docker管理工具-Swarm部署記錄，下面重點(diǎn)說(shuō)下Swarm基于多主機(jī)容器通信的覆蓋網(wǎng)絡(luò)
在Docker版本1.12之后swarm模式原生支持覆蓋網(wǎng)絡(luò)(overlay networks)，可以先創(chuàng)建一個(gè)覆蓋網(wǎng)絡(luò)，然后啟動(dòng)容器的時(shí)候啟用這個(gè)覆蓋網(wǎng)絡(luò)，
這樣只要是這個(gè)覆蓋網(wǎng)絡(luò)內(nèi)的容器，不管在不在同一個(gè)宿主機(jī)上都能相互通信，即跨主機(jī)通信！不同覆蓋網(wǎng)絡(luò)內(nèi)的容器組之間是相互隔離的（相互ping不通）。
swarm模式的覆蓋網(wǎng)絡(luò)包括以下功能：
1）可以附加多個(gè)服務(wù)到同一個(gè)網(wǎng)絡(luò)。
2）默認(rèn)情況下，service discovery為每個(gè)swarm服務(wù)分配一個(gè)虛擬IP地址(vip)和DNS名稱，使得在同一個(gè)網(wǎng)絡(luò)中容器之間可以使用服務(wù)名稱為互相連接。
3）可以配置使用DNS輪循而不使用VIP
4）為了可以使用swarm的覆蓋網(wǎng)絡(luò)，在啟用swarm模式之間你需要在swarm節(jié)點(diǎn)之間開放以下端口：
5）TCP/UDP端口7946 – 用于容器網(wǎng)絡(luò)發(fā)現(xiàn)
6）UDP端口4789 – 用于容器覆蓋網(wǎng)絡(luò)
實(shí)例如下：
-----------在Swarm集群中創(chuàng)建overlay網(wǎng)絡(luò)------------
[root@manager-node ~]# docker network create --driver overlay --opt encrypted --subnet 10.10.19.0/24 ngx_net
參數(shù)解釋：
–opt encrypted 默認(rèn)情況下swarm中的節(jié)點(diǎn)通信是加密的。在不同節(jié)點(diǎn)的容器之間，可選的–opt encrypted參數(shù)能在它們的vxlan流量啟用附加的加密層。
--subnet 命令行參數(shù)指定overlay網(wǎng)絡(luò)使用的子網(wǎng)網(wǎng)段。當(dāng)不指定一個(gè)子網(wǎng)時(shí)，swarm管理器自動(dòng)選擇一個(gè)子網(wǎng)并分配給網(wǎng)絡(luò)。
[root@manager-node ~]# docker network ls
NETWORK ID NAME DRIVER SCOPE
d7aa48d3e485 bridge bridge local
9e637a97a3b9 docker_gwbridge bridge local
b5a41c8c71e7 host host local
7f4fx3jf4dbr ingress overlay swarm
3x2wgugr6zmn ngx_net overlay swarm
0808a5c72a0a none null local
由上可知，Swarm當(dāng)中擁有2套覆蓋網(wǎng)絡(luò)。其中"ngx_net"網(wǎng)絡(luò)正是我們?cè)诓渴鹑萜鲿r(shí)所創(chuàng)建的成果。而"ingress"覆蓋網(wǎng)絡(luò)則為默認(rèn)提供。
Swarm 管理節(jié)點(diǎn)會(huì)利用 ingress 負(fù)載均衡以將服務(wù)公布至集群之外。
在將服務(wù)連接到這個(gè)創(chuàng)建的網(wǎng)絡(luò)之前，網(wǎng)絡(luò)覆蓋到manager節(jié)點(diǎn)。上面輸出的SCOPE為 swarm 表示將服務(wù)部署到Swarm時(shí)可以使用此網(wǎng)絡(luò)。
在將服務(wù)連接到這個(gè)網(wǎng)絡(luò)后，Swarm只將該網(wǎng)絡(luò)擴(kuò)展到特定的worker節(jié)點(diǎn)，這個(gè)worker節(jié)點(diǎn)被swarm調(diào)度器分配了運(yùn)行服務(wù)的任務(wù)。
在那些沒(méi)有運(yùn)行該服務(wù)任務(wù)的worker節(jié)點(diǎn)上，網(wǎng)絡(luò)并不擴(kuò)展到該節(jié)點(diǎn)。
------------------將服務(wù)連接到overlay網(wǎng)絡(luò)-------------------
[root@manager-node ~]# docker service create --replicas 5 --network ngx_net --name my-test -p 80:80 nginx
上面名為"my-test"的服務(wù)啟動(dòng)了3個(gè)task，用于運(yùn)行每個(gè)任務(wù)的容器都可以彼此通過(guò)overlay網(wǎng)絡(luò)進(jìn)行通信。Swarm集群將網(wǎng)絡(luò)擴(kuò)展到所有任務(wù)處于Running狀態(tài)的節(jié)點(diǎn)上。
[root@manager-node ~]# docker service ls
ID NAME REPLICAS IMAGE COMMAND
dsaxs6v463g9 my-test 5/5 nginx
在manager-node節(jié)點(diǎn)上，通過(guò)下面的命令查看哪些節(jié)點(diǎn)有處于running狀態(tài)的任務(wù)：
[root@manager-node ~]# docker service ps my-test
ID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR
8433fuiy7vpu0p80arl7vggfe my-test.1 nginx node2 Running Running 2 minutes ago
f1h7a0vtojv18zrsiw8j0rzaw my-test.2 nginx node1 Running Running 2 minutes ago
ex73ifk3jvzw8ukurl8yu7fyq my-test.3 nginx node1 Running Running 2 minutes ago
cyu73jd8psupfhken23vvmpud my-test.4 nginx manager-node Running Running 2 minutes ago
btorxekfix4hcqh4v83dr0tzw my-test.5 nginx manager-node Running Running 2 minutes ago
可見三個(gè)節(jié)點(diǎn)都有處于running狀態(tài)的任務(wù)，所以my-network網(wǎng)絡(luò)擴(kuò)展到三個(gè)節(jié)點(diǎn)上。
可以查詢某個(gè)節(jié)點(diǎn)上關(guān)于my-network的詳細(xì)信息：
[root@manager-node ~]# docker network inspect ngx_net
[
{
"Name": "ngx_net",
"Id": "3x2wgugr6zmn1mcyf9k1du27p",
"Scope": "swarm",
"Driver": "overlay",
"EnableIPv6": false,
"IPAM": {
"Driver": "default",
"Options": null,
"Config": [
{
"Subnet": "10.10.19.0/24",
"Gateway": "10.10.19.1"
}
]
},
"Internal": false,
"Containers": {
"00f47e38deea76269eb03ba13695ec0b0c740601c85019546d6a9a17fd434663": {
"Name": "my-test.5.btorxekfix4hcqh4v83dr0tzw",
"EndpointID": "ea962d07eee150b263ae631b8a7f8c1950337c11ef2c3d488a7c3717defd8601",
"MacAddress": "02:42:0a:0a:13:03",
"IPv4Address": "10.10.19.3/24",
"IPv6Address": ""
},
"957620c6f7abb44ad8dd2d842d333f5e5c1655034dc43e49abbbd680de3a5341": {
"Name": "my-test.4.cyu73jd8psupfhken23vvmpud",
"EndpointID": "f33a6e9ddf1dd01bcfc43ffefd19e19514658f001cdf9b2fbe23bc3fdf56a42a",
"MacAddress": "02:42:0a:0a:13:07",
"IPv4Address": "10.10.19.7/24",
"IPv6Address": ""
}
},
"Options": {
"com.docker.network.driver.overlay.vxlanid_list": "257"
},
"Labels": {}
}
]
從上面的信息可以看出在manager-node節(jié)點(diǎn)上，名為my-test的服務(wù)有一個(gè)名為my-test.5.btorxekfix4hcqh4v83dr0tzw和
my-test.4.cyu73jd8psupfhken23vvmpud的task連接到名為ngx_net的網(wǎng)絡(luò)上（另外兩個(gè)節(jié)點(diǎn)node1和node2同樣可以用上面命令查看）
[root@node1 ~]# docker network inspect ngx_net
.......
"Containers": {
"7d9986fad5a7d834676ba76ae75aff2258f840953f1dc633c3ef3c0efd2b2501": {
"Name": "my-test.3.ex73ifk3jvzw8ukurl8yu7fyq",
"EndpointID": "957ca19f3d5480762dbd14fd9a6a1cd01a8deac3e8e35b23d1350f480a7b2f37",
"MacAddress": "02:42:0a:0a:13:06",
"IPv4Address": "10.10.19.6/24",
"IPv6Address": ""
},
"9e50fceada1d7c653a886ca29d2bf2606debafe8c8a97f2d79104faf3ecf8a46": {
"Name": "my-test.2.f1h7a0vtojv18zrsiw8j0rzaw",
"EndpointID": "b1c209c7b68634e88e0bf5e100fe03435b3096054da6555c61e6c207ac651ac2",
"MacAddress": "02:42:0a:0a:13:05",
"IPv4Address": "10.10.19.5/24",
"IPv6Address": ""
}
},
.........
[root@node2 web]# docker network inspect ngx_net
........
"Containers": {
"4bdcce0ee63edc08d943cf4a049eac027719ff2dc14b7c3aa85fdddc5d1da968": {
"Name": "my-test.1.8433fuiy7vpu0p80arl7vggfe",
"EndpointID": "df58de85b0a0e4d128bf332fc783f6528d1f179b0f9f3b7aa70ebc832640d3bc",
"MacAddress": "02:42:0a:0a:13:04",
"IPv4Address": "10.10.19.4/24",
"IPv6Address": ""
}
},
可以通過(guò)查詢服務(wù)來(lái)獲得服務(wù)的虛擬IP地址，如下：
[root@manager-node ~]# docker service inspect --format='{{json .Endpoint.VirtualIPs}}' my-test
[{"NetworkID":"7f4fx3jf4dbrp97aioc05pul4","Addr":"10.255.0.6/16"},{"NetworkID":"3x2wgugr6zmn1mcyf9k1du27p","Addr":"10.10.19.2/24"}]
由上結(jié)果可知，10.10.19.2其實(shí)就是swarm集群內(nèi)部的vip，整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示：
加入ngx_net網(wǎng)絡(luò)的容器彼此之間可以通過(guò)IP地址通信，也可以通過(guò)名稱通信。
[root@node2 ~]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
4bdcce0ee63e nginx:latest "nginx -g 'daemon off" 22 minutes ago Up 22 minutes 80/tcp my-test.1.8433fuiy7vpu0p80arl7vggfe
[root@node2 ~]# docker exec -ti 4bdcce0ee63e /bin/bash
root@4bdcce0ee63e:/# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
1786: eth0@if1787: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UP group default
link/ether 02:42:0a:ff:00:08 brd ff:ff:ff:ff:ff:ff link-netnsid 0
inet 10.255.0.8/16 scope global eth0
valid_lft forever preferred_lft forever
inet 10.255.0.6/32 scope global eth0
valid_lft forever preferred_lft forever
inet6 fe80::42:aff:feff:8/64 scope link
valid_lft forever preferred_lft forever
1788: eth1@if1789: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default
link/ether 02:42:ac:12:00:03 brd ff:ff:ff:ff:ff:ff link-netnsid 1
inet 172.18.0.3/16 scope global eth1
valid_lft forever preferred_lft forever
inet6 fe80::42:acff:fe12:3/64 scope link
valid_lft forever preferred_lft forever
1791: eth2@if1792: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UP group default
link/ether 02:42:0a:0a:13:04 brd ff:ff:ff:ff:ff:ff link-netnsid 2
inet 10.10.19.4/24 scope global eth2
valid_lft forever preferred_lft forever
inet 10.10.19.2/32 scope global eth2
valid_lft forever preferred_lft forever
inet6 fe80::42:aff:fe0a:1304/64 scope link
valid_lft forever preferred_lft forever
root@4bdcce0ee63e:/# ping 10.10.19.3
PING 10.10.19.3 (10.10.19.3): 56 data bytes
64 bytes from 10.10.19.3: icmp_seq=0 ttl=64 time=0.890 ms
64 bytes from 10.10.19.3: icmp_seq=1 ttl=64 time=0.622 ms
.....-
2 packets transmitted, 2 packets received, 0% packet loss
round-trip min/avg/max/stddev = 0.622/0.756/0.890/0.134 ms
root@4bdcce0ee63e:/# ping 10.10.19.6
PING 10.10.19.6 (10.10.19.6): 56 data bytes
64 bytes from 10.10.19.6: icmp_seq=0 ttl=64 time=0.939 ms
64 bytes from 10.10.19.6: icmp_seq=1 ttl=64 time=0.590 ms
----------------------------使用swarm模式的服務(wù)發(fā)現(xiàn)--------------------------
默認(rèn)情況下，當(dāng)創(chuàng)建了一個(gè)服務(wù)并連接到某個(gè)網(wǎng)絡(luò)后，swarm會(huì)為該服務(wù)分配一個(gè)VIP。此VIP根據(jù)服務(wù)名映射到DNS。在網(wǎng)絡(luò)上的容器共享該服務(wù)的DNS映射，
所以網(wǎng)絡(luò)上的任意容器可以通過(guò)服務(wù)名訪問(wèn)服務(wù)。
在同一overlay網(wǎng)絡(luò)中，不用通過(guò)端口映射來(lái)使某個(gè)服務(wù)可以被其它服務(wù)訪問(wèn)。Swarm內(nèi)部的負(fù)載均衡器自動(dòng)將請(qǐng)求發(fā)送到服務(wù)的VIP上，然后分發(fā)到所有的
active的task上。
如下示例：
在同一個(gè)網(wǎng)絡(luò)中添加了一個(gè)centos服務(wù)，此服務(wù)可以通過(guò)名稱my-test訪問(wèn)前面創(chuàng)建的nginx服務(wù)：
[root@manager-node ~]# docker service create --name my-centos --network ngx_net centos
查詢centos運(yùn)行在哪個(gè)節(jié)點(diǎn)上（上面創(chuàng)建命令執(zhí)行后，需要一段時(shí)間才能完成這個(gè)centos服務(wù)的創(chuàng)建）
[root@manager-node ~]# docker service ps my-centos
ID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR
e03pqgkjs3l1qizc6v4aqaune my-centos.1 centos node2 Running Preparing 4 seconds ago
登錄centos運(yùn)行的節(jié)點(diǎn)（由上可知是node2節(jié)點(diǎn)），打開centos的交互shell：
[root@node2 ~]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS NAMES
e4554490d891 centos:latest "/bin/bash" About an hour ago Up About an hour my-centos.1.9yk5ie28gwk9mw1h1jovb68ki
[root@node2 ~]# docker exec -ti my-centos.1.9yk5ie28gwk9mw1h1jovb68ki /bin/bash
root@4bdcce0ee63e:/# nslookup my-test
Server: 127.0.0.11
Address 1: 127.0.0.11
Name: my-test
Address 1: 10.10.19.2 10.10.19.2
從centos容器內(nèi)部，使用特殊查詢 查詢DNS，來(lái)找到my-test服務(wù)的所有容器的IP地址：
root@4bdcce0ee63e:/# nslookup tasks.my-test
Server: 127.0.0.11
Address 1: 127.0.0.11
Name: tasks.my-test
Address 1: 10.10.19.4 my-test.1.8433fuiy7vpu0p80arl7vggfe
Address 2: 10.10.19.5 my-test.2.f1h7a0vtojv18zrsiw8j0rzaw
Address 3: 10.10.19.6 my-test.3.ex73ifk3jvzw8ukurl8yu7fyq
Address 2: 10.10.19.7 my-test.4.cyu73jd8psupfhken23vvmpud
Address 3: 10.10.19.3 my-test.5.btorxekfix4hcqh4v83dr0tzw
從centos容器內(nèi)部，通過(guò)wget來(lái)訪問(wèn)my-test服務(wù)中運(yùn)行的nginx網(wǎng)頁(yè)服務(wù)器
root@4bdcce0ee63e:/# wget -O- my-test
Connecting to my-test (10.10.19.2:80)
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
...
Swarm的負(fù)載均衡器自動(dòng)將HTTP請(qǐng)求路由到VIP上，然后到一個(gè)active的task容器上。它根據(jù)round-robin選擇算法將后續(xù)的請(qǐng)求分發(fā)到另一個(gè)active的task上。
-----------------------------------為服務(wù)使用DNS round-robin-----------------------------
在創(chuàng)建服務(wù)時(shí)，可以配置服務(wù)直接使用DNS round-robin而無(wú)需使用VIP。這是通過(guò)在創(chuàng)建服務(wù)時(shí)指定 --endpoint-mode dnsrr 命令行參數(shù)實(shí)現(xiàn)的。
當(dāng)你想要使用自己的負(fù)載均衡器時(shí)可以使用這種方式。
如下示例（注意：使用DNS round-robin方式創(chuàng)建服務(wù)，不能直接在命令里使用-p指定端口）
[root@manager-node ~]# docker service create --replicas 3 --name my-dnsrr-nginx --network ngx_net --endpoint-mode dnsrr nginx
[root@manager-node ~]# docker service ps my-dnsrr-nginx
ID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR
65li2zbhxvvoaesndmwjokouj my-dnsrr-nginx.1 nginx node1 Running Running 2 minutes ago
5hjw7wm4xr877879m0ewjciuj my-dnsrr-nginx.2 nginx manager-node Running Running 2 minutes ago
afo7acduge2qfy60e87liz557 my-dnsrr-nginx.3 nginx manager-node Running Running 2 minutes ago
當(dāng)通過(guò)服務(wù)名稱查詢DNS時(shí)，DNS服務(wù)返回所有任務(wù)容器的IP地址：
root@4bdcce0ee63e:/# nslookup my-dnsrr-nginx
Server: 127.0.0.11
Address 1: 127.0.0.11
Name: my-dnsrr-nginx
Address 1: 10.10.19.10 my-dnsrr-nginx.3.0sm1n9o8hygzarv5t5eq46okn.my-network
Address 2: 10.10.19.9 my-dnsrr-nginx.2.b3o1uoa8m003b2kk0ytl9lawh.my-network
Address 3: 10.10.19.8 my-dnsrr-nginx.1.55za4c83jq9846rle6eigiq15.my-network
需要注意的是：一定要確認(rèn)VIP的連通性
通常Docker官方推薦使用dig，nslookup或其它DNS查詢工具來(lái)查詢通過(guò)DNS對(duì)服務(wù)名的訪問(wèn)。因?yàn)閂IP是邏輯IP，ping并不是確認(rèn)VIP連通性的正確的工具。
總結(jié)
以上是生活随笔為你收集整理的Swarm基于多主机容器网络 (overlay networks )的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： Java开发桌面程序学习（一）——Jav
- 下一篇： 刨根究底字符编码之六——简体汉字编码中区