當前位置：首頁 > 运维知识 > linux >内容正文

linux

Linux系统（四）LVS集群负载均衡NAT模式

發布時間：2025/3/15 linux 19 豆豆

生活随笔收集整理的這篇文章主要介紹了 Linux系统（四）LVS集群负载均衡NAT模式小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

序言

提到LVS，就從章文嵩博士開始吧，反正也不知道如何下筆來寫這一篇。章大博士，讀博時候創建這個lvs軟件項目，但是他提倡開源精神，在用戶的建議和反饋中，這個花了他兩周時間開發的開源軟件不斷得到改建和豐富。到1999年，該款軟件已在負載均衡領域中比較出名，章文嵩仍舊堅持開源，將源代碼分享給所有人。好人自有好歸宿，章博士在2016年5月27日，去滴滴出任高級副總裁、負責CTO線基礎平臺部兼工程技術委員會主席。在來滴滴之前，章博士曾在阿里任職近七年，歷任淘寶網資深技術總監、淘寶技術委員會主席、阿里副總裁、阿里開源委員會主席、阿里云CTO等。

那扯那么多LVS是個什么呢？

他是Linux Virtual Server的縮寫，是一個虛擬的服務器集群系統，總之為使用集群技術來和Linux系統來實現一個高可用，高性能的服務器。如果進一步的扯淡，建議百度百科一下，里面清清楚楚，如果你看百科看不懂，那你加左上角的技術群，去跟里面的大神聊聊吧。這里我附帶一個直通章博士的LVS中文站點：http://zh.linuxvirtualserver.org/。

LVS 集群分為三層結構:

負載調度器(load balancer)：它是整個LVS 集群對外的前端機器，負責將client請求發送到一組服務器[多臺LB IP]上執行，而client端認為是返回來一個同一個IP【通常把這個IP 稱為虛擬IP/VIP】
服務器池(server pool)：一組真正執行client 請求的服務器，一般是我們的web服務器；除了web，還有FTP，MAIL，DNS
共享存儲(shared stored)：它為 server pool 提供了一個共享的存儲區，很容易讓服務器池擁有相同的內容，提供相同的服務

LVS NAT模式簡述

章文嵩博士的博文在這里，瞅瞅吧。http://www.linuxvirtualserver.org/zh/lvs3.html

接下來我們的示例，就采用如下ip配置部署。

具體數據包路由走向，參考我的文章?VMware虛擬網絡連接模式詳解(NAT,Bridged,Host-only)?中的nat網絡連接方式。

NAT模式的幾個要點

dip這臺服務器為分發服務器，他擁有2個ip一個客戶訪問的外網ip，一個ip作為vip真實服務器的網關地址，且真實服務器必須在一個網段中。

分發服務器上安裝支持負載均衡各種算法的軟件，來實現負載轉發功能。

分發服務器還需要打開路由轉發功能。

中RIP真實服務器可以使用任何的操作系統，但都需使用私有網絡。

NAT網絡連接方式的弊端也是lvs nat模式的性能瓶頸所在，就是分發服務器轉發所有的請求到真實服務器與轉發請求響應數據到客戶端，這樣就是一個性能瓶頸。

LVS NAT模式配置操作

1、準備工作，3臺服務器。一臺用作Director server。2臺用作real server。如上圖。

2、配置Director server為雙ip

[root@localhost ~]# ifconfig eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500inet 192.168.222.131 netmask 255.255.255.0 broadcast 192.168.222.255inet6 fe80::20c:29ff:feaf:ff3a prefixlen 64 scopeid 0x20<link>ether 00:0c:29:af:ff:3a txqueuelen 1000 (Ethernet)RX packets 53298 bytes 4735958 (4.5 MiB)RX errors 0 dropped 0 overruns 0 frame 0TX packets 2690 bytes 453988 (443.3 KiB)TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0eth1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500inet 192.168.2.136 netmask 255.255.255.0 broadcast 192.168.2.255inet6 fe80::20c:29ff:feaf:ff44 prefixlen 64 scopeid 0x20<link>ether 00:0c:29:af:ff:44 txqueuelen 1000 (Ethernet)RX packets 11269 bytes 882315 (861.6 KiB)RX errors 0 dropped 0 overruns 0 frame 0TX packets 1502 bytes 294418 (287.5 KiB)TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

查看eth1具體配置，eth0為nat連網方式，不需要修改，eth1為host-only模式，需要修改為靜態ip，且配置ip地址。

[root@localhost ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth1 TYPE="Ethernet" BOOTPROTO="static" DEFROUTE="yes" PEERDNS="yes" PEERROUTES="yes" IPV4_FAILURE_FATAL="no" IPV6INIT="yes" IPV6_AUTOCONF="yes" IPV6_DEFROUTE="yes" IPV6_PEERDNS="yes" IPV6_PEERROUTES="yes" IPV6_FAILURE_FATAL="no" NAME="eth1" DEVICE="eth1" ONBOOT="yes" IPADDR="192.168.2.136" NETMASK="255.255.255.0"

設置Director server，開啟路由轉發功能

[root@localhost network-scripts]# echo "1">"/proc/sys/net/ipv4/ip_forward"

在Director server上安裝lvs管理工具：ipvsadmin，ipvsadmin這個工具稍后會深入一下。

[root@localhost ~]# yum install ipva

配置負載均衡規則為輪詢?

[root@localhost ~]# ipvsadm -C --清空轉發規則 [root@localhost ~]# ipvsadm -A -t 192.168.222.131:80 -s rr --131上一單有80端口的tcp請求，即使用rr表示轉發策略為輪詢的方式轉發給一下的真實服務器，這里有好多負載均衡轉發算法，在下面會介紹下。 [root@localhost ~]# ipvsadm -a -t 192.168.222.131:80 -r 192.168.2.130 -m [root@localhost ~]# ipvsadm -a -t 192.168.222.131:80 -r 192.168.2.129 -m

到此Director server已經全部配置完畢。

3、配置Real server。real server為host-only模式，這里要做的就很簡單啦。

配置ip為靜態ip，且網關為Director server的內網ip?

[root@localhost network-scripts]# cat /etc/sysconfig/network-scripts/ifcfg-eth0 TYPE="Ethernet" BOOTPROTO="static" DEFROUTE="yes" PEERDNS="yes" PEERROUTES="yes" IPV4_FAILURE_FATAL="no" IPV6INIT="yes" IPV6_AUTOCONF="yes" IPV6_DEFROUTE="yes" IPV6_PEERDNS="yes" IPV6_PEERROUTES="yes" IPV6_FAILURE_FATAL="no" NAME="eth0" DEVICE="eth0" ONBOOT="yes" IPADDR="192.168.2.130" NETMASK="255.255.255.0" GATEWAY="192.168.2.136"

2臺real server的網絡設置一樣，只是ip不一樣而已。這里不一一列出，如上配置即可。
安裝nginx ，安裝之后修改頁面，打開80端口即可。

4、看下結果，在主機上用瀏覽器打開。http://192.168.222.131/ ?，不斷刷新頁面即可看到來到2個real server的不同web站點的網頁。

[root@localhost ~]# curl 192.168.222.131 192.168.222.130:A [root@localhost ~]# curl 192.168.222.131 192.168.2.129 c [root@localhost ~]# curl 192.168.222.131 192.168.222.130:A [root@localhost ~]# curl 192.168.222.131 192.168.2.129 c

5、到此，lvs的nat模式的配置實現也已完成，這個配置其實很簡單的，對吧。哈哈。

ipvsadmin工具命令講解?

ipvsadm 參數詳解

-A (--add-service) 在內核的虛擬服務器列表中添加一條新的虛擬IP記錄。也就是增加一臺新的虛擬服務器。虛擬IP也就是虛擬服務器的IP地址。
-E (--edit-service) 編輯內核虛擬服務器列表中的一條虛擬服務器記錄
-D (--delete-service) 刪除內核虛擬服務器列表中的一條虛擬服務器記錄
-C (--clear) 清除內核虛擬服務器列表中的所有規則
-R (--restore) 恢復虛擬服務器規則
-S (--save) 保存虛擬服務器規則，輸出為-R 選項可讀的格式
-a (--add-server) 在內核虛擬服務器列表的一條記錄里添加一條新的Real Server記錄。也就是在一個虛擬服務器中增加一臺新的Real Server
-e (--edit-server) 編輯一條虛擬服務器記錄中的某條Real Server記錄
-d (--delete-server) 刪除一條虛擬服務器記錄中的某條Real Server記錄
-L|-l –list 顯示內核中虛擬服務器列表
-Z (--zero) 虛擬服務器列表計數器清零（清空當前的連接數量等）
--set tcp tcpfin udp 設置連接超時值
-t 說明虛擬服務器提供的是tcp服務，此選項后面跟如下格式：[virtual-service-address:port] or [real-server-ip:port]
-u 說明虛擬服務器提供的是udp服務，此選項后面跟如下格式：[virtual-service-address:port] or [real-server-ip:port]
-f? fwmark 說明是經過iptables標記過的服務類型
-s? 此選項后面跟LVS使用的調度算法，有這樣幾個選項： rr|wrr|lc|wlc|lblc|lblcr|dh|sh，默認的調度算法是： wlc
-p? [timeout] 在某個Real Server上持續的服務時間。也就是說來自同一個用戶的多次請求，將被同一個Real Server處理。此參數一般用于有動態請求的操作中，timeout 的默認值為360 分鐘。例如：-p 600，表示持續服務時間為600分鐘。
-r 指定Real Server的IP地址，此選項后面跟格式：?[real-server-ip:port]
-g (--gatewaying) 指定LVS 的工作模式為直接路由模式（此模式是LVS 默認工作模式）
-i (-ipip) 指定LVS 的工作模式為隧道模式
-m (--masquerading) 指定LVS 的工作模式為NAT模式
-w (--weight) weight 指定Real Server的權值
-c (--connection) 顯示LVS目前的連接信息如：ipvsadm -L -c
-L --timeout 顯示“tcp tcpfin udp”的timeout值，如：ipvsadm -L --timeout
-L --daemon 顯示同步守護進程狀態，例如：ipvsadm -L –daemon
-L? --stats 顯示統計信息，例如：ipvsadm -L –stats
-L? --rate 顯示速率信息，例如：ipvsadm -L? --rate
-L? --sort 對虛擬服務器和真實服務器排序輸出，例如：ipvsadm -L --sort

保存添加的虛擬ip記錄和ipvsadm的規則可以使用service ipvsadm save，還可以用-S或--save。清除所有記錄和規則除了使用-C，還以使用--clear。

下面列出幾個常用的查詢。

1、查看記錄和規則

[root@localhost network-scripts]# ipvsadm -L -n IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 192.168.222.131:80 rr-> 192.168.2.129:80 Masq 1 1 0 -> 192.168.2.130:80 Masq 1 0 0

InActConn：?指非活躍連接數，我們將處于?TCP ESTABLISH?狀態以外的連接都稱為不活躍連接。例如處于?SYN_RECV?狀態的連接，處于?TIME_WAIT?狀態的連接等。

ActiveConn：是活動連接數,也就是tcp連接狀態的ESTABLISHED;

Weight：輪詢權重?

2、選項是統計自該條轉發規則生效以來的包?

[root@localhost network-scripts]# ipvsadm -L --stats IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Conns InPkts OutPkts InBytes OutBytes-> RemoteAddress:Port TCP 192.168.222.131:http 50 263 134 46273 20519-> 192.168.2.129:http 32 178 83 31215 13069-> 192.168.2.130:http 18 85 51 15058 7450

?Conns????(connections?scheduled) ：已經轉發過的連接數??

?InPkts???(incoming?packets) ：入包個數??

?OutPkts??(outgoing?packets) ：出包個數??

?InBytes??(incoming?bytes) ：入流量（字節）????

?OutBytes?(outgoing?bytes) ?：出流量（字節） ?

3、顯示速率信息

[root@localhost network-scripts]# ipvsadm -L --rate IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port CPS InPPS OutPPS InBPS OutBPS-> RemoteAddress:Port TCP 192.168.222.131:http 0 1 0 216 87-> 192.168.2.129:http 0 1 0 212 85-> 192.168.2.130:http 0 0 0 4 2

CPS (current?connection?rate) ：每秒連接數??

InPPS (current?in?packet?rate) ：每秒的入包個數??

OutPPS (current?out?packet?rate)：每秒的出包個數??

InBPS (current?in?byte?rate) ：每秒入流量（字節）??

OutBPS???(current?out?byte?rate)??????每秒入流量（字節） ?

lvs中的集中調度模式

1、rr（round robin：輪詢。 ?--在服務器池中無窮的循環遍歷。

2、wrr（weighted round robin）：權重輪詢法。 ?--根據權重值，來分配請求連接，處理的請求連接數與權重值的比率一致。

3、lc（least-connection）：最少連接法。 ?--當請求到達director時，director查看活動和非活動的連接數量，以確定把請求分發給哪個服務器，director將集群節點目前的活動連接數量x256再加上不活動的連接數量，得到借點的開銷值。最低開銷值的節點勝出，被分發給新的入站請求。（如果開銷一樣，則第一個節點被選中）。

4、wlc（weighted least-connection）：帶權重的最少連接法。 ?--先如lc算出集群節點的開銷值，然后除以分配給其的權重值，最小值節點勝出，將入站請求分發給它。

5、lblc（locality-based least-connection）：基于本地的最少連接法。 ?--基于局部的最小連接，當realserver是緩存服務器的時候用的比較多。

6、lblcr（locality-based least-connection with replication）：帶復制的基于局部的最小連接。 ?--當realserver是緩存服務器的時候用的比較多。

7、dh（destination hashing）：目標散列法

8、sh（source hashing）：源散列法。 ?--同一個ip的客戶端總是分發給同一個realserver。相當于有客戶粘性，與nginx中的iphash一致。

9、sed（shortest expected delay）:最短預期延遲法。 ?--最短延時預測（ci+1）/ui，ci是連接數，ui是權重值。在wlc方法上做啦輕微改進，這些服務使用tcp，而且當群節點在處理每個請求時保持在活動狀態。計算方法：每個集群節點的的開銷值是通過將活動的連接數+1計算的。然后開銷值除以分配權重值，得到的就是sed值，值少的集群節點勝出。

10、nq（never queue）：永不排隊法。 ?--沒有隊列，分配請求給空閑的服務器，沒有空閑的服務器就找響應最快的。

總結

接下來是大家最喜歡的總結內容啦，內容有三，如下：

1、希望能關注我其他的文章。

2、博客里面有沒有很清楚的說明白，或者你有更好的方式，那么歡迎加入左上方的2個交流群，我們一起學習探討。

3、你可以忘記點贊加關注，但千萬不要忘記掃碼打賞哦。

轉載于:https://www.cnblogs.com/knowledgesea/p/6406994.html

總結

以上是生活随笔為你收集整理的Linux系统（四）LVS集群负载均衡NAT模式的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。