當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

高性能集群软件keepalived

發(fā)布時間：2024/1/1 编程问答 48 豆豆

生活随笔收集整理的這篇文章主要介紹了高性能集群软件keepalived 小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

背景

網(wǎng)絡(luò)的飛速發(fā)展，給網(wǎng)絡(luò)帶寬和服務(wù)器性能帶來了巨大的挑戰(zhàn)，基于互聯(lián)網(wǎng)的應(yīng)用系統(tǒng)越來越多地瓶頸出現(xiàn)在服務(wù)器端，這就對服務(wù)器提出了更高的要求，來保證服務(wù)的持續(xù)性。

集群簡介

定義：集群是一組協(xié)同工作的服務(wù)集合。在外界看來，集群就是一個獨立的服務(wù)實體，但實際上，在集群的內(nèi)部，有兩個或兩個以上的服務(wù)器實體在協(xié)調(diào)、配合完成一系列復(fù)雜的工作。

組成：集群一般由兩個或兩個以上的服務(wù)器組建而成。每個服務(wù)器稱為一個集群節(jié)點。同時，還需要有串口線、集群軟件、共享存儲設(shè)備（例如磁盤陣列）等。

集群節(jié)點通信方式：一種是基于RS232線的心跳監(jiān)控，另一種是用一塊單獨的網(wǎng)卡跑心跳。

作用：集群主要用來提供比單一服務(wù)更穩(wěn)定、更高效、更具擴展性的服務(wù)平臺。當一個節(jié)點出現(xiàn)故障時，集群的另一個節(jié)點可以自動接管故障節(jié)點的資源，從而保證服務(wù)持久、不間斷地運行。

特點：集群具有節(jié)點間服務(wù)狀態(tài)監(jiān)控功能，同時必須具有服務(wù)實體的擴展功能，可以靈活地增加和剔除某個服務(wù)實體。

集群的特點和功能

高可用性：必須保證服務(wù)24小時不間斷運行。集群最大的優(yōu)點之一就是具有高可用性，在服務(wù)器出現(xiàn)故障時，集群可以自動將服務(wù)從故障節(jié)點切換到另一個備用節(jié)點
可擴展性：當集群服務(wù)實體不能滿足需求時，可以向集群中動態(tài)地加入一個或多個服務(wù)節(jié)點，增強集群的整體性能
負載均衡：集群系統(tǒng)可以靈活、有效地分擔系統(tǒng)負載，通過集群自身定義的負載分擔策略，將客戶端的訪問分配到各個服務(wù)節(jié)點。常見策略：輪詢、權(quán)重分配等
錯誤恢復(fù)：當一個任務(wù)在一個節(jié)點上還沒有完成時，由于某種原因，執(zhí)行失敗，此時另一個服務(wù)節(jié)點應(yīng)該能接著完成此任務(wù)。通過錯誤重定向的方式，保證每個執(zhí)行任務(wù)都能有效地完成。
心跳監(jiān)測：心跳監(jiān)測技術(shù)可以實現(xiàn)負載均衡、提供高可用服務(wù)和執(zhí)行錯誤恢復(fù)，心跳線的數(shù)量應(yīng)該為集群節(jié)點數(shù)減1。如果通過網(wǎng)卡來做心跳，每個節(jié)點需要兩塊網(wǎng)卡，其中一塊通過私網(wǎng)直接連接到對方機器相應(yīng)的網(wǎng)卡，用來監(jiān)測對方心跳。心跳監(jiān)控的效率直接影響故障切換時間的長短。
漂移IP地址（一般稱為VIP）：在集群系統(tǒng)中，為了保證服務(wù)的不間斷性，對外提供服務(wù)的IP地址一定是這個漂移的IP地址，這樣才能在雙機熱備架構(gòu)中，實現(xiàn)主節(jié)點宕機，備節(jié)點繼續(xù)提供服務(wù)的效果。

集群的分類

高可用集群

High Availability Cluster，HA集群，高可用指的是最大限度地可以使用。用于保障用戶的應(yīng)用程序持久、不間斷提供服務(wù)。

常見的HA集群：雙機熱備、雙機互備、多機互備等，一般由兩個或兩個以上的節(jié)點組成。

高可用集群軟件：HeartBeat HA、Red Hat提供的RHCS、商業(yè)軟件ROSE、Keepalived等

負載均衡集群

Load Balance Cluster ，LB集群，分為前端負載調(diào)度和后端節(jié)點服務(wù)，負載調(diào)度負責把客戶端的請求按照不同的策略分配給后端服務(wù)節(jié)點，后端服務(wù)節(jié)點是真正提供應(yīng)用程序服務(wù)的

與HA不同的是，在LB集群中，所有后端節(jié)點都處于活動狀態(tài)（Active），它們都對外提供服務(wù)，分攤系統(tǒng)工作負載。適用于業(yè)務(wù)繁忙、大負荷訪問的應(yīng)用系統(tǒng)。

缺點：當一個節(jié)點出現(xiàn)故障時，前端調(diào)度系統(tǒng)并不知道此節(jié)點已經(jīng)不能提供服務(wù)，仍然會把客戶端的請求調(diào)度到故障節(jié)點上來，這樣就會訪問失敗。解決辦法：負載調(diào)度系統(tǒng)一般都引入了節(jié)點監(jiān)控系統(tǒng)，用于監(jiān)控后端服務(wù)節(jié)點，當某個節(jié)點出現(xiàn)故障后，節(jié)點監(jiān)控系統(tǒng)會自動將故障節(jié)點從集群中剔除；當此節(jié)點恢復(fù)正常后，節(jié)點監(jiān)控系統(tǒng)又會自動將其加入集群中。

負載均衡軟件：軟件包括開源LVS集群、Oracle的RAC集群等，硬件為F5 Networks等

分布式計算集群

Distributed Computing Cluster，DC集群。提供單個計算機所不能提供的強大的計算分析能力，包括數(shù)值計算和數(shù)據(jù)處理，并且傾向于追蹤綜合性能。

開源分布式計算平臺：Hadoop、Spark，用于開發(fā)和處理海量數(shù)據(jù)。在這個平臺上，分布式任務(wù)是并行運行的，因此處理速度非常快。

Hadoop工作原理：Hadoop可將大數(shù)據(jù)直接存儲到HDFS這個分布式文件系統(tǒng)上，Hadoop的MapReduce功能實現(xiàn)了將單個任務(wù)打碎，并將碎片任務(wù)發(fā)送到多個節(jié)點上，之后再以單個數(shù)據(jù)集的形式加載到數(shù)據(jù)倉庫里。

Keepalived簡介

Keepalived是Linux下一個輕量級的高可用解決方案。主要通過虛擬路由冗余來實現(xiàn)高可用功能。根據(jù)第3~5層的交換機制檢測每個服務(wù)節(jié)點的狀態(tài)，如果某個服務(wù)節(jié)點出現(xiàn)異常，或者工作出現(xiàn)故障，Keepalived將檢測到，并將出現(xiàn)故障的服務(wù)節(jié)點從集群系統(tǒng)中剔除；而在故障節(jié)點恢復(fù)正常后，Keepalived又可以自動將此服務(wù)節(jié)點重新加入到服務(wù)器集群中，這些工作全部自動完成。后來，Keepalived又加入了VRRP（Virtual Router Redundancy Protocol，虛擬路由器冗余協(xié)議），目的是為了解決靜態(tài)路由出現(xiàn)的單點故障問題，通過VRPP可以實現(xiàn)網(wǎng)絡(luò)不間斷地、穩(wěn)定地運行。

VRRP與工作原理

VRRP是一種主備協(xié)議，通過VRRP可以在網(wǎng)絡(luò)發(fā)生故障時透明地進行設(shè)備切換而不影響主機間的數(shù)據(jù)通信，這涉及到兩個概念：物理路由器和虛擬路由器。

VRRP可以將兩臺或多臺物理路由器設(shè)備虛擬成一個虛擬路由器，這個虛擬路由器通過虛擬IP（一個或多個）對外提供服務(wù)。在虛擬路由器內(nèi)部，多個物理路由器協(xié)同工作，同一時間只有一臺物理路由器對外提供服務(wù)。每個虛擬路由器都有一個唯一標識，稱為VRID，一個VRID與一組IP地址構(gòu)成了一個虛擬路由器。

對外提供服務(wù)的物理服務(wù)器稱為MASTER，一般情況下通過選舉算法產(chǎn)生，它擁有對外服務(wù)的虛擬IP，提供各種網(wǎng)絡(luò)功能，如ARP請求、ICMP、數(shù)據(jù)轉(zhuǎn)發(fā)等。其他物理服務(wù)器僅僅接收MASTER的VRRP狀態(tài)通告信息，這些路由器統(tǒng)稱為BACKUP。當主路由器失效時，處于BACKUP角色的備份路由器將重新進行選舉，產(chǎn)生一個新的主路由器進入MASTER角色，繼續(xù)對外提供服務(wù)。

Keepalived工作原理

Keepalived工作在TCP/IP參考模型的第三層、第四層和第五層，也就是網(wǎng)絡(luò)層、傳輸層和應(yīng)用層。根據(jù)各層所能實現(xiàn)的功能，Keepalived運行機制如下：

網(wǎng)絡(luò)層的4個重要協(xié)議：互聯(lián)網(wǎng)協(xié)議（IP）、互聯(lián)網(wǎng)控制報文協(xié)議（ICMP）、地址轉(zhuǎn)換協(xié)議（ARP）以及反向地址轉(zhuǎn)換協(xié)議（RARP）。Keepalived主要通過ICMP向服務(wù)器集群中的每個節(jié)點發(fā)送一個ICMP數(shù)據(jù)包，如果某個節(jié)點沒有返回響應(yīng)數(shù)據(jù)包，則認為此節(jié)點發(fā)生了故障，Keepalived將報告此節(jié)點失效，并從服務(wù)器集群中剔除故障節(jié)點。
傳輸層的2個重要協(xié)議：傳輸控制協(xié)議（TCP）、用戶數(shù)據(jù)協(xié)議（UDP）。TCP可以提供可靠的數(shù)據(jù)傳輸服務(wù)，要獲得TCP服務(wù)，需要在發(fā)送機的一個端口上和接收機的一個端口上建立連接，Keepalived在傳輸層就是利用TCP的端口連接和掃描技術(shù)來判斷集群節(jié)點是否正常，如果發(fā)現(xiàn)TCP端口沒有響應(yīng)數(shù)據(jù)返回，就認為這些端口發(fā)生異常，然后強制將此端口對應(yīng)的節(jié)點從服務(wù)器集群組中移除。
應(yīng)用層協(xié)議：FTP、TELNET、SMTP、DNS等各種不同類型的高層協(xié)議，用戶可以自定義Keepalived工作方式，例如通過編寫程序來運行Keepalived，而Keepalived將根據(jù)用戶的設(shè)定監(jiān)測各種程序或服務(wù)是否運行正常，如果Keepalived的監(jiān)測結(jié)果與用戶設(shè)定不一致時，Keepalived將把對應(yīng)的服務(wù)從服務(wù)器中移除。

Keepalived體系結(jié)構(gòu)

Keepalived是一個高度模塊化的軟件，結(jié)構(gòu)簡單，但是擴展性很強。Keepalived的體系結(jié)構(gòu)從整體上分為兩層，分別是用戶空間（User Space）層和內(nèi)核空間（Kernel Space）層。

內(nèi)核空間層，包括IPVS和NETLINK兩個模塊，IPVS是Keepalived引入的第三方模塊，通過IPVS可以實現(xiàn)基于IP的負載均衡集群。IPVS默認包含在LVS集群軟件中。在keepalived中，IPVS模塊是可配置的，如果需要負載均衡功能，可以在編譯Keepalived時打開負載均衡功能，反之，也可以通過配置編譯參數(shù)關(guān)閉。NETLINK模塊主要用于實現(xiàn)高級路由框架和一些相關(guān)的網(wǎng)絡(luò)功能，完成用戶空間層Netlink Reflector模塊發(fā)來的各種網(wǎng)絡(luò)請求。

用戶空間層，包括Core components（核心組件）、Control Plane（控制面板：對配置文件進行編譯和解析）、Memory Management（Mngt）（內(nèi)存管理機制：訪問內(nèi)存的方法）、Scheduler I/O Multiplexer（IO復(fù)用調(diào)度：處理內(nèi)部的任務(wù)請求）

核心組件中各個模塊的功能如下：

WatchDog：用來監(jiān)控Checkers和VRRP進程。
Checkers：對服務(wù)器運行狀態(tài)監(jiān)測和故障隔離
VRRP Stack：實現(xiàn)HA集群中的故障切換功能
IPVS wrapper：將設(shè)置好的IPVS規(guī)則發(fā)送到內(nèi)核空間并提交給IPVS模塊
Netlink Reflector：實現(xiàn)HA集群中故障轉(zhuǎn)移時虛擬IP（VIP）的設(shè)置和切換

Keepalived的安裝

官方下載地址：Keepalived for Linux

# 安裝依賴 # yum install -y libnl libnl-devel 用于支持IPv6 # yum install -y openssl-devel ? wget https://www.keepalived.org/software/keepalived-2.2.4.tar.gz tar zxf keepalived-2.2.4.tar.gz ./configure --sysconf=/etc make make install

默認配置文件位置：/usr/local/etc/keepalived/keepalived.conf

默認可執(zhí)行文件位置：/usr/local/sbin/keepalived

Keepalived的配置

Keepalived配置分為三類，分別是：全局配置（Global Configuration）、VRRPD配置和LVS配置。Keepalived的配置文件都是以塊（block）的形式組織的，每個塊的內(nèi)容都包含在{}中，以“#”和“!”開頭的行都是注釋。

一、全局配置

global_defs {notification_email {acassen@firewall.locfailover@firewall.locsysadmin@firewall.loc}notification_email_from Alexandre.Cassen@firewall.locsmtp_server 192.168.200.1smtp_connect_timeout 30router_id LVS_DEVELvrrp_skip_check_adv_addrvrrp_strictvrrp_garp_interval 0vrrp_gna_interval 0 }

以global_defs為標識
notification_email：設(shè)置報警郵件地址，每行一個。如果開啟郵件報警，需要開啟本機的Sendmail服務(wù)
notification_email_from：郵件發(fā)送地址
smtp_server：郵件的SMTP服務(wù)器
smtp_connect_timeout：連接SMTP服務(wù)器的超時時間
router_id：運行Keepalived服務(wù)器的一個標識，是發(fā)送郵件時顯示在郵件主題中的信息

二、VRRPD配置

VRRP同步組配置：實現(xiàn)把多個實例放在一個組中管理。

vrrp_sync_group G1 {group {VI_1VI_2VI_5}notify_backup "/usr/local/bin/vrrp.back arg1 arg2"notify_master "/usr/local/bin/vrrp.mast arg1 arg2"notify_fault "/usr/local/bin/vrrp.fault arg1 arg2" } vrrp_sync_group G2 {group {VI_3VI_4} }

vrrp_sync_group是組標識，后面跟組名
notify_master：進入Master狀態(tài)時要執(zhí)行的腳本，可以是一個狀態(tài)報警腳本，也可以是一個服務(wù)管理腳本，允許腳本傳入?yún)?shù)
notify_backup：進入Backup狀態(tài)時要執(zhí)行的腳本，可以是一個狀態(tài)報警腳本，也可以是一個服務(wù)管理腳本，允許腳本傳入?yún)?shù)
notify_fault：進入Fault狀態(tài)時要執(zhí)行的腳本，可以是一個狀態(tài)報警腳本，也可以是一個服務(wù)管理腳本，允許腳本傳入?yún)?shù)
notify_stop：當Keepalived程序終止時，需要執(zhí)行的腳本

VRRP實例配置：配置節(jié)點角色（主或從）、實例綁定的網(wǎng)絡(luò)接口、節(jié)點間驗證機制、集群服務(wù)IP等

vrrp_instance VI_1 {state MASTERinterface eth0virtual_router_id 51priority 100advert_int 1mcast_src_ip <IPADDR>garp_master_delay 10track_interface {eth0eth1}authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {# <IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPE> label <LABEL>192.168.200.16192.168.200.17 dev eth1192.168.200.18 dev eth2}virtual_routers {# src <IPADDR> [to] <IPADDR>/<MASK> via | gw <IPADDR> dev <STRING> scope <SCOPE>src 192.168.100.1 to 192.168.109.0/24 via 192.168.200.254 dev eth1192.168.110.0/24 via 192.168.200.254 dev eth1192.168.111.0/24 dev eth2192.168.112.0/24 via 192.168.100.254192.168.113.0/24 via 192.168.100.252 or 192.168.100.253}nopreemptpreemtp_delay 300 }

vrrp_instance是VRRP實例開始的標識，后面是實例名
state：MASTER 表示主服務(wù)器，BACKUP表示備用服務(wù)器
interface：指定HA監(jiān)測網(wǎng)絡(luò)的接口
virtual_router_id：虛擬路由標識，同一個vrpp實例使用唯一的標識，在同一個vrrp_instance下，MASTER和BACKUP必須是一致的
priority：定義節(jié)點優(yōu)先級，數(shù)字越大優(yōu)先級越高，在同一個vrrp_instance下，MASTER優(yōu)先級必須大于BACKUP的優(yōu)先級
advert_int：設(shè)定MASTER和BACKUP主機之間同步檢查的時間間隔，單位是秒
mcast_src_ip：設(shè)置發(fā)送多播包的地址，不設(shè)置的話，默認使用綁定的網(wǎng)卡所對應(yīng)的IP地址
garp_master_delay：在切換到MASTER狀態(tài)后，延時進行Gratuitous arp請求的時間
track_interface：用于設(shè)置一些額外的網(wǎng)絡(luò)監(jiān)控接口，其中任何一個網(wǎng)絡(luò)接口出現(xiàn)故障，Keepalived都會進入FAULT狀態(tài)
authentication：用于設(shè)定節(jié)點間通信驗證類型和密碼，驗證類型主要有：PASS 和 AH 兩種，在一個vrrp_instance 下，MASTER和BACKUP必須使用相同的密碼才能正常通信
virtual_ipaddress：設(shè)定虛擬IP地址（VIP），可以設(shè)置多個，每行一個。Keepalived通過“ip address add”命令的形式將VIP添加到系統(tǒng)中，通過“ip add”可查看系統(tǒng)中的VIP地址
virtual_routers：同virtual_ipaddress，使用“ip route”可以查看路由信息是否添加成功。
nopreempt：設(shè)置高可用集群中不搶占功能，為了避免頻繁切換，一般需要做此設(shè)置。在使用此功能時，只能在state狀態(tài)為“BACKUP”的節(jié)點上設(shè)置，而且這個節(jié)點的優(yōu)先級必須高于其他節(jié)點
preemtp_delay：設(shè)置搶占的延時時間，單位是秒。有時系統(tǒng)啟動或重啟之后，網(wǎng)絡(luò)需要經(jīng)過一段時間才能正常工作，在這種情況下沒必要進行主備切換

三、LVS配置

virtual_server 10.10.10.3 1358 {delay_loop 3lb_algo rrlb_kind NATpersistence_timeout 50protocol TCPha_suspendvirtualhost <STRING>sorry_server 192.168.200.200 1358 ?real_server 192.168.200.4 1358 {weight 1HTTP_GET {url {path /testurl/test.jspdigest 640205b7b0fc66c1ea91c463fac6334d}url {path /testurl2/test.jspdigest 640205b7b0fc66c1ea91c463fac6334d}url {path /testurl3/test.jspdigest 640205b7b0fc66c1ea91c463fac6334d}connect_timeout 3retry 3delay_before_retry 3}} ?real_server 192.168.200.5 1358 {weight 1HTTP_GET {url {path /testurl/test.jspdigest 640205b7b0fc66c1ea91c463fac6334d}url {path /testurl2/test.jspdigest 640205b7b0fc66c1ea91c463fac6334d}url {path /testurl3/test.jspdigest 640205b7b0fc66c1ea91c463fac6334d}connect_timeout 3retry 3delay_before_retry 3}} }

virtual_server是LVS的配置標識，后面跟虛擬IP地址和服務(wù)端口，IP與端口之間用空格隔開
delay_loop：設(shè)置健康檢查的時間間隔，單位是秒
lb_algo：設(shè)置調(diào)度算法，可選配置項：rr、wrr、lc、wlc、lblc、sh、dh等，常用為：rr和wlc
lb_kind：設(shè)置LVS實現(xiàn)負載均衡的機制，可選配置項：NAT、TUN、DR
persistence_timeout：會話保持時間，單位是秒，此參數(shù)標識最大無響應(yīng)超時時間，如果用戶在操作動態(tài)頁面時，在50秒內(nèi)沒有執(zhí)行任何操作，后面的操作會被分發(fā)到另外的節(jié)點，但是用戶一直在操作動態(tài)頁面不受50秒的時間限制
protocol：轉(zhuǎn)發(fā)協(xié)議類型，有TCP和UDP兩種可選
ha_suspend：節(jié)點從MASTER到BACKUP切換時，暫不啟用real server節(jié)點的健康檢查
virtualhost：通過HTTP_GET/SSL_GET做健康檢查時，指定的Web服務(wù)器的虛擬主機地址
sorry_server：相當于備節(jié)點，在所有real_server失效后，這個備節(jié)點才啟用

real_server 192.168.200.5 80 {weight 3inhibit_on_failurenotify_up <STRING> | <QUOTED-STRING>notify_down <STRING> | <QUOTED-STRING> }

real_server：是真實服務(wù)器段的開始標識，用來指定real server節(jié)點，用IP地址端口配置，中間用空格隔開
weight：設(shè)置real server權(quán)重值大小，數(shù)字越大，權(quán)重值越高
inhibit_on_failure：在檢測到real server節(jié)點失效后，把weight值設(shè)置為0，而不是從IPVS中刪除
notify_up：后面跟一個腳本，在檢測到real server節(jié)點服務(wù)處于UP狀態(tài)后執(zhí)行的腳本
notify_down：后面跟一個腳本，在檢測到real server節(jié)點服務(wù)處于DOWN狀態(tài)后執(zhí)行的腳本

Keepalived的健康檢查

健康檢測段允許多種檢查方式，常見的有HTTP_GET、SSL_GET、TCP_CHECK、SMTP_CHECK、MISC_CHECK。

TCP_CHECK檢測配置

TCP_CHECK {connect_port 80connect_timeout 3nb_get_retry 3delay_before_retry 3 }

connect_port：健康檢查端口，如不指定，默認是real_server指定的端口
connect_timeout：表示無響應(yīng)超時時間，單位是秒
nb_get_retry：表示重試次數(shù)
delay_before_retry：表示重試間隔時間，單位是秒

HTTP_GET | SSL_GET檢測配置

HTTP_GET | SSL_GET {url {path /index.htmldigest <STRING>status_code 200}connect_port 80bindto 192.168.12.80connect_timeout 3nb_get_retry 3delay_before_retry 2 }

url：用來指定HTTP/SSL檢查的URL信息，可以指定多個URL
path：跟詳細的URL路徑
digest：SSL檢查的摘要信息，可通過genhash命令工具獲取，用法：genhash -s server-address -p port -u url
status_code：指定HTTP檢查返回正常狀態(tài)碼的類型，一般是200
bindto：表示通過此地址來發(fā)送請求對服務(wù)器進行健康檢查

MISC_CHECK檢測配置

MISC_CHECK {misc_path /usr/local/bin/script.shmisc_timeout 5!misc_dynamic }

MISC健康檢查可以通過執(zhí)行一個外部程序來判斷real server節(jié)點的服務(wù)狀態(tài)，使用非常靈活。

misc_path：指定外部程序或者腳本
misc_timeout：設(shè)定執(zhí)行腳本的超時時間
misc_dynamic：是否啟用動態(tài)調(diào)整real server節(jié)點權(quán)重

注意事項：Keepalived在啟動時并不檢測配置文件的正確性，即使沒有配置文件，Keepalived也照樣能夠啟動，所以一定要保障配置文件正確。

總結(jié)

以上是生活随笔為你收集整理的高性能集群软件keepalived的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。

上一篇：将 Kali v.2020_2 x64
下一篇：迅龙数据恢复软件真的很万能