日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當(dāng)前位置: 首頁 > 运维知识 > 数据库 >内容正文

数据库

mysql+keepalived 双主热备高可用

發(fā)布時間:2023/11/29 数据库 50 豆豆
生活随笔 收集整理的這篇文章主要介紹了 mysql+keepalived 双主热备高可用 小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

理論介紹:
我們通常說的雙機(jī)熱備是指兩臺機(jī)器都在運(yùn)行,但并不是兩臺機(jī)器都同時在提供服務(wù)。當(dāng)提供服務(wù)的一臺出現(xiàn)故障的時候,另外一臺會馬上自動接管并且提供服務(wù),而且切換的時間非常短。MySQL雙主復(fù)制,即互為Master-Slave(只有一個Master提供寫操作),可以實(shí)現(xiàn)數(shù)據(jù)庫服務(wù)器的熱備,但是一個Master宕機(jī)后不能實(shí)現(xiàn)動態(tài)切換。使用Keepalived,可以通過虛擬IP,實(shí)現(xiàn)雙主對外的統(tǒng)一接口以及自動檢查、失敗切換機(jī)制,從而實(shí)現(xiàn)MySQL數(shù)據(jù)庫的高可用方案。

環(huán)境說明:
版本 version 5.6.25-log
主1庫ip: 10.219.24.25
主2庫ip:10.219.24.22
vip: 10.219.24.30
os 版本: centos 6.7
已安裝熱備軟件:xtrabackup
防火墻已關(guān)

補(bǔ)充:
主從復(fù)制原理: http://blog.csdn.NET/zhang123456456/article/details/72972701
MySQL 5.6安裝 :http://blog.csdn.net/zhang123456456/article/details/53608554
xtrabackup 安裝: http://blog.csdn.Net/zhang123456456/article/details/72836184

全程:先搭建一主一從,然后反過來搭建,就是雙主復(fù)制,最后配置 Mysql+Keepalived 故障轉(zhuǎn)移的高可用環(huán)境

一、 先一主一從搭建 ,再反向搭建,配置雙主復(fù)制

1、 主庫參數(shù)調(diào)整
-- 停止主庫mysql
[root@mysql02 ~]# service mysql stop
[root@mysql02 ~]# netstat -nltp|grep mysql|grep 3606
-- 主庫創(chuàng)建relay log目錄
[root@mysql02 full]# mkdir -p /data/mysql/relaylog/
[root@mysql02 full]# chown -R mysql:mysql /data/mysql/relaylog
-- 調(diào)整 my.cnf 參數(shù)
[root@mysql02 ~]# cat /etc/my.cnf
[client]
password = Oracle
port = 3306
socket = /data/mysql/mysql.sock
[mysqld]
server-id=25
port = 3306
socket = /data/mysql/mysql.sock
character_set_server = utf8
character_set_client = utf8
collation-server=utf8_general_ci
lower_case_table_names = 1
max_connections = 1000
datadir = /data/mysql
log_bin = /data/mysql/binarylog/binlog
log_bin_index = /data/mysql/binarylog/binlog
relay-log = /data/mysql/relaylog/relay
relay-log-index = /data/mysql/relaylog/relay
relay_log_purge = on
binlog_format = mixed
innodb_data_file_path = ibdata1:12M:autoextend
auto_increment_increment = 10
auto_increment_offset = 1
[mysql]
default-character-set = utf8

說明:
a、主庫必須配置的參數(shù)
server-id (主從的server-id必須不同)、log_bin、binlog_format、relay-log、relay-log-index、relay_log_purge
auto-increment-offset、auto-increment-increment

b、log-slave-updates 意思是,中繼日志執(zhí)行之后,這些變化是否需要計入自己的binarylog。 當(dāng)你的B服務(wù)器需要作為另外一個服務(wù)器的主服務(wù)器的時候需要打開。 就是雙主互相備份,或者多主循環(huán)備份。 我們這里需要, 所以打開。

c、auto-increment-offset、auto-increment-increment 兩個參數(shù)用于在 雙主(多主循環(huán))互相備份。 因?yàn)槊颗_數(shù)據(jù)庫服務(wù)器都可能在同一個表中插入數(shù)據(jù),如果表有一個自動增長的主鍵,那么就會在多服務(wù)器上出現(xiàn)主鍵沖突。 解決這個問題的辦法就是讓每個數(shù)據(jù)庫的自增主鍵不連續(xù)。 上圖說是, 我假設(shè)需要將來可能需要10臺服務(wù)器做備份, 所以auto-increment-increment 設(shè)為10. 而 auto-increment-offset=1 表示這臺服務(wù)器的序號。 從1開始, 不超過auto-increment-increment。這樣做之后, 我在這臺服務(wù)器上插入的第一個id就是 1, 第二行的id就是 11了, 而不是2.(同理,在第二臺服務(wù)器上插入的第一個id就是2, 第二行就是12, 這個后面再介紹) 這樣就不會出現(xiàn)主鍵沖突了。 后面我們會演示這個id的效果。

-- 啟動主庫
[root@mysql02 ~]# mysqld_safe --defaults-file=/etc/my.cnf &
2、 從庫參數(shù)調(diào)整
-- 停止從庫mysql
[root@mysql01 ~]# service mysql stop
[root@mysql01 ~]# netstat -nltp|grep mysql|grep 3606
-- 調(diào)整 my.cnf 參數(shù)
[root@mysql01 ~]# cat /etc/my.cnf
[client]
password = oracle
port = 3306
socket = /data/mysql/mysql.sock
[mysqld]
server-id=22
port = 3306
socket = /data/mysql/mysql.sock
character_set_server = utf8
character_set_client = utf8
collation-server=utf8_general_ci
lower_case_table_names = 1
max_connections = 1000
datadir = /data/mysql
log_bin = /data/mysql/binarylog/binlog
log_bin_index = /data/mysql/binarylog/binlog
relay-log = /data/mysql/relaylog/relay
relay-log-index = /data/mysql/relaylog/relay
relay_log_purge = on
auto_increment_increment = 10
auto_increment_offset = 2
[mysql]
default-character-set = utf8
說明:從庫必須配置的參數(shù)
server-id、log_bin、relay-log、relay_log_purge、auto-increment-offset、auto-increment-increment、

3、 主庫備份
-- 主庫備份目錄
[root@mysql02 full]# pwd
/xtrabackup/full
-- 主庫 innobackupex 備份
[root@mysql02 ~]# innobackupex --user=root --password=oracle --port=3606 /xtrabackup/full/
170610 17:50:23 Backup created in directory '/xtrabackup/full/2017-06-10_17-50-19/'
MySQL binlog position: filename 'binlog.000010', position '120'
....
170610 17:50:23 completed OK!
-- 查看備份 binlog編號 與 截止 position
[root@mysql02 2017-06-10_17-50-19]# cat xtrabackup_binlog_info
binlog.000010 120

4、 從庫創(chuàng)建與主庫相同的備份目錄
[root@mysql01 ~]# mkdir -p /xtrabackup/full
[root@mysql01 ~]# chown -R mysql:mysql /xtrabackup/full/

5、 主庫將備份 scp 到從庫
[root@mysql02 full]# pwd
/xtrabackup/full
[root@mysql02 full]# scp -r 2017-06-10_17-50-19 10.219.24.22:/xtrabackup/full
6、 從庫查看scp過來的備份
[root@mysql01 ~]# cd /xtrabackup/full/2017-06-10_17-50-19/
[root@mysql01 2017-06-10_17-50-19]# ll
total 12320
-rw-r-----. 1 root root 419 Jun 10 18:01 backup-my.cnf
-rw-r-----. 1 root root 12582912 Jun 10 18:01 ibdata1
drwxr-x---. 2 root root 4096 Jun 10 18:01 mysql
drwxr-x---. 2 root root 4096 Jun 10 18:01 performance_schema
drwxr-x---. 2 root root 4096 Jun 10 18:01 test
-rw-r-----. 1 root root 18 Jun 10 18:01 xtrabackup_binlog_info
-rw-r-----. 1 root root 113 Jun 10 18:01 xtrabackup_checkpoints
-rw-r-----. 1 root root 482 Jun 10 18:01 xtrabackup_info
-rw-r-----. 1 root root 2560 Jun 10 18:01 xtrabackup_logfile

7、 主庫創(chuàng)建同步用戶
mysql> GRANT replication slave ON *.* TO 'slave25'@'%' IDENTIFIED BY 'oracle';
Query OK, 0 rows affected (0.05 sec)

8、 從庫恢復(fù)主庫數(shù)據(jù)
-- 從庫將原有datadir文件夾重命名到新位置,并創(chuàng)建原文件夾
[root@mysql01 ~]# mv /data/mysql /data/mysqlbak
[root@mysql01 ~]# mkdir -p /data/mysql
-- innobackupex apply-log
[root@mysql01 ~]# innobackupex --apply-log --user=oracle \
--password=oracle --port=3606 /xtrabackup/full/2017-06-10_17-50-19/
-- innobackupex copy 恢復(fù)的文件到原來的數(shù)據(jù)位置
[root@mysql01 mysql]# innobackupex --defaults-file=/etc/my.cnf --user=root \
--copy-back /xtrabackup/full/2017-06-10_17-50-19/

170610 18:25:11 completed OK!
-- 創(chuàng)建binlog目錄與 relaylog 目錄并賦權(quán)
[root@mysql01 ~]# mkdir -p /data/mysql/binarylog
[root@mysql01 ~]# mkdir -p /data/mysql/relaylog/
[root@mysql01 mysql]# chown -R mysql:mysql /data/mysql

9、 從庫配置與檢測
-- 從庫啟動
[root@mysql01 mysql]# mysqld_safe --defaults-file=/etc/my.cnf &
-- 從庫指定與主庫同步的基本信息
mysql>
change master to
master_host='10.219.24.25',
master_port=3306,
master_user='slave25',
master_password='oracle',
master_log_file='binlog.000010',
master_log_pos=120;
Query OK, 0 rows affected, 2 warnings (0.04 sec)

參數(shù)解釋:
MASTER_HOST : 設(shè)置要連接的主服務(wù)器的ip地址
MASTER_USER : 設(shè)置要連接的主服務(wù)器的用戶名
MASTER_PASSWORD : 設(shè)置要連接的主服務(wù)器的密碼
MASTER_LOG_FILE : 設(shè)置要連接的主服務(wù)器的bin日志的日志名稱
MASTER_LOG_POS : 設(shè)置要連接的主服務(wù)器的bin日志的記錄位置
-- 啟動slave 狀態(tài)(開始監(jiān)聽msater的變化)
mysql> start slave;
Query OK, 0 rows affected, 1 warning (0.00 sec)
-- 查看slave的狀態(tài).
mysql> show slave status \G;
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 10.219.24.25 #主庫 IP
Master_User: slave25 # 主庫復(fù)制的用戶
Master_Port: 3306 # 主庫 mysqld
Connect_Retry: 60
Master_Log_File: binlog.000010 #io_thread 讀取主庫 master_log_file
Read_Master_Log_Pos: 717 # io_thread 讀取主庫 master_log_pos
Relay_Log_File: relay.000002
Relay_Log_Pos: 877
Relay_Master_Log_File: binlog.000010 #sql_thread 執(zhí)行主庫的 master_log_file
Slave_IO_Running: Yes # 關(guān)鍵的,io_thread 是否 running
Slave_SQL_Running: Yes # 關(guān)鍵的,sql_thread 是否 running
Replicate_Do_DB:
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 717 #sql_thread 執(zhí)行主庫的 master_log_pos
Relay_Log_Space: 1040
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: 0 # 從庫 的延遲
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id: 25
Master_UUID: 29d68531-4cf9-11e7-8e1f-000c297c4100
Master_Info_File: /data/mysql/master.info
SQL_Delay: 0
SQL_Remaining_Delay: NULL
Slave_SQL_Running_State: Slave has read all relay log; waiting for the slave I/O thread to update it
Master_Retry_Count: 86400
Master_Bind:
Last_IO_Error_Timestamp:
Last_SQL_Error_Timestamp:
Master_SSL_Crl:
Master_SSL_Crlpath:
Retrieved_Gtid_Set:
Executed_Gtid_Set:
Auto_Position: 0
1 row in set (0.00 sec)

ERROR:
No query specified

10、 主從同步檢查
-- 主庫
mysql> create database repl;
Query OK, 1 row affected (0.00 sec)
mysql> use repl
Database changed
mysql> create table repl (id int);
Query OK, 0 rows affected (0.02 sec)
mysql> insert into repl values(1);
Query OK, 1 row affected (0.00 sec)

-- 從庫
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| binarylog |
| mysql |
| performance_schema |
| relaylog |
| repl |
| test |
+--------------------+
7 rows in set (0.00 sec)
mysql> use repl
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed
mysql> select * from repl;
+------+
| id |
+------+
| 1 |
+------+
1 row in set (0.00 sec) >一主一從同步成功!

##################################################
#至此A到B的復(fù)制已經(jīng)配置完成,下面配置從B到A的復(fù)制。#
##################################################

聲明> 下面操作中 新主庫即為原從庫(10.219.24.22) 新從庫為原主庫(10.219.24.25)

11、 新主庫創(chuàng)建同步用戶
mysql> GRANT replication slave ON *.* TO 'slave22'@'%' IDENTIFIED BY 'oracle';
Query OK, 0 rows affected (0.00 sec)

12、 新主庫查看 binlog 文件號與 position 點(diǎn)
mysql> show master status;
+---------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+---------------+----------+--------------+------------------+-------------------+
| binlog.000004 | 313 | | | |
+---------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

13、 新從庫指定與主庫同步的基本信息
mysql>
change master to
master_host='10.219.24.22',
master_port=3306,
master_user='slave22',
master_password='oracle',
master_log_file='binlog.000004',
master_log_pos=313;
Query OK, 0 rows affected, 2 warnings (0.04 sec)

14、新從庫打開 slave 復(fù)制功能
mysql> start slave;
Query OK, 0 rows affected (0.00 sec)
15、 新從庫檢測同步復(fù)制狀態(tài)
mysql> show slave status \G;
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 10.219.24.22
Master_User: slave22
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: binlog.000004
Read_Master_Log_Pos: 313
Relay_Log_File: relay.000002
Relay_Log_Pos: 280
Relay_Master_Log_File: binlog.000004
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Replicate_Do_DB:
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 313
Relay_Log_Space: 443
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id: 22
Master_UUID: 70023652-4dc7-11e7-9360-000c2944297a
Master_Info_File: /data/mysql/master.info
SQL_Delay: 0
SQL_Remaining_Delay: NULL
Slave_SQL_Running_State: Slave has read all relay log; waiting for the slave I/O thread to update it
Master_Retry_Count: 86400
Master_Bind:
Last_IO_Error_Timestamp:
Last_SQL_Error_Timestamp:
Master_SSL_Crl:
Master_SSL_Crlpath:
Retrieved_Gtid_Set:
Executed_Gtid_Set:
Auto_Position: 0
1 row in set (0.00 sec)

ERROR:
No query specified

-- 新從庫測試數(shù)據(jù)同步狀態(tài)
mysql> create database mm_repl;
Query OK, 1 row affected (0.00 sec)
mysql> use mm_repl;
Database changed
mysql> create table mm_repl(id int auto_increment,name varchar(10), primary key(id));
Query OK, 0 rows affected (0.01 sec)
mysql> insert into mm_repl(name) values("andy"),("taoYe");
Query OK, 1 row affected (0.00 sec)
mysql> select * from mm_repl;
+----+-------+
| id | name |
+----+-------+
| 1 | andy |
| 11 | taoYe |
+----+-------+
2 rows in set (0.00 sec)
-- 新主庫測試數(shù)據(jù)同步狀態(tài)
mysql> select * from mm_repl;
+----+-------+
| id | name |
+----+-------+
| 1 | andy |
| 11 | taoYe |
+----+-------+
2 rows in set (0.00 sec)
mysql> insert into mm_repl(name) values("andy"),("taoYe");
Query OK, 2 rows affected (0.00 sec)
Records: 2 Duplicates: 0 Warnings: 0
mysql> select * from mm_repl;
+----+-------+
| id | name |
+----+-------+
| 1 | andy |
| 11 | taoYe |
| 12 | andy |
| 22 | taoYe |
+----+-------+
4 rows in set (0.00 sec)
-- 新從庫檢查同步復(fù)制
mysql> select * from mm_repl;
+----+-------+
| id | name |
+----+-------+
| 1 | andy |
| 11 | taoYe |
| 12 | andy |
| 22 | taoYe |
+----+-------+
4 rows in set (0.00 sec) >主主同步測試成功

二、 配置Mysql+Keepalived故障轉(zhuǎn)移的高可用環(huán)境

安裝keepalived ( master1 和 master2 兩臺機(jī)器上都安裝)

二、1.1 安裝 LVS

前提:已經(jīng)提前配置好本地 Yum 源 配置過程可參考> http://blog.csdn.NET/zhang123456456/article/details/56690945
1、 檢查一下系統(tǒng)內(nèi)核
安裝之前,首先檢查一下系統(tǒng)內(nèi)核是否支持LVS的IPVS模塊;自Linux 2.6開始,系統(tǒng)內(nèi)核完全內(nèi)置了LVS的各個模塊。
[root@mysql02 ~]# modprobe -l|grep ipvs
kernel/net/netfilter/ipvs/ip_vs.ko
kernel/net/netfilter/ipvs/ip_vs_rr.ko
kernel/net/netfilter/ipvs/ip_vs_wrr.ko
kernel/net/netfilter/ipvs/ip_vs_lc.ko
....
kernel/net/netfilter/ipvs/ip_vs_pe_sip.ko
看到如上輸出信息,則表明系統(tǒng)內(nèi)核默認(rèn)支持IPVS模塊。

2、安裝依賴包
由于是源碼包安裝,所以編譯時需要打上如下依賴包。
# yum -y install kernel-headers glibc-headers glibc-devel libgomp gcc libstdc++-devel gcc-c++

3、 yum安裝 ipvsadm-1.26-4
[root@mysql02 ~]# yum -y install kernel-devel ipvsadm
===================================================================================
Package Arch Version Repository Size
===================================================================================
Installing:
ipvsadm x86_64 1.26-4.el6 c6-media 42 k

Transaction Summary
===================================================================================
Install 1 Package(s)

Total download size: 42 k
Installed size: 78 k
Downloading Packages:
Running rpm_check_debug
Running Transaction Test
Transaction Test Succeeded
Running Transaction
Installing : ipvsadm-1.26-4.el6.x86_64 1/1
Verifying : ipvsadm-1.26-4.el6.x86_64 1/1

Installed:
ipvsadm.x86_64 0:1.26-4.el6

Complete!
4、 做個 ln
[root@mysql02 ~]# ln -sv /usr/src/kernels/2.6.32-573.el6.x86_64/ /usr/src/linux <--請自行修改 kernels 版本號

5、 查看 ipvsadm 版本信息
[root@mysql02 ~]# ipvsadm -version
ipvsadm v1.26 2008/5/15 (compiled with popt and IPVS v1.2.1) #> 能看到幫助信息,則說明IPVS安裝成功。

二、1.2 安裝 keepalived-1.2.24

1、官網(wǎng)下載地址:
[root@mysql02 ~]# wget http://www.keepalived.org/software/keepalived-1.2.24.tar.gz
2、解壓安裝包:
[root@mysql02 ~]# ll keepalived-1.2.24.tar.gz
-rw-r--r--. 1 root root 601873 Jun 16 23:49 keepalived-1.2.24.tar.gz
[root@mysql02 ~]# tar -zxvf keepalived-1.2.24.tar.gz
3、進(jìn)入安裝目錄:
[root@mysql02 ~]# cd keepalived-1.2.24

4、安裝keepalived:
[root@mysql03 keepalived-1.2.24]# ./configure --prefix=/usr/local/keepalived --with-kernel-dir=/usr/src/kernels/2.6.32-573.el6.x86_64/

說明:--with-kernel-dri :指定使用內(nèi)核源碼中的頭文件,即include目錄,該參數(shù)很重要,只有使用LVS時才用此參數(shù)。

[root@mysql03 keepalived-1.2.24]# make && make install

5、復(fù)制腳本和文件:

5.1 拷貝執(zhí)行文件
[root@mysql02 keepalived-1.2.24]# cp /usr/local/keepalived/sbin/keepalived /usr/sbin/
5.2 將init.d文件拷貝到etc下,加入開機(jī)啟動項(xiàng)
[root@mysql02 keepalived-1.2.24]# cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
5.3 將keepalived文件拷貝到etc下,加入網(wǎng)卡配置
[root@mysql02 keepalived-1.2.24]# cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
5.4 創(chuàng)建keepalived文件夾
[root@mysql02 keepalived-1.2.24]#mkdir /etc/keepalived
5.5 將keepalived配置文件拷貝到etc下
[root@mysql02 keepalived-1.2.24]# cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/
5.6 復(fù)制啟動腳本
[root@mysql02 keepalived-1.2.24]# cp /usr/local/keepalived/sbin/keepalived /etc/keepalived/

6、加入開機(jī)啟動項(xiàng)
[root@mysql02 keepalived-1.2.24]# chkconfig --add keepalived #添加時必須保證/etc/init.d/keepalived存在
7、 啟動
[root@mysql02 keepalived-1.2.24]# chmod 755 /etc/init.d/keepalived
[root@mysql03 keepalived-1.2.24]# service keepalived start
Starting keepalived: [ OK ]
8、 關(guān)閉
[root@mysql02 keepalived-1.2.24]# service keepalived stop
Stopping keepalived: [ OK ] > OK,成功!

_________________________________________________________________________________________________________
9、 綁定虛擬IP(VIP),只在master1機(jī)器上綁定。## 說明,這一步隨便做不做,不影響正常使用,作為了解。
說明:
綁定虛擬IP(VIP),這個只在master1機(jī)器上綁定即可。如下配置好keepalived后,當(dāng)master1機(jī)器出現(xiàn)故障時,VIP資源就會被master2機(jī)器自動接管!(這一步其實(shí)可以不用這么直接在外部使用ifconfig綁定,VIP就直接在 Keepalived 的配置文件里配置就好,使用命令 ip addr 就能看出 vip;只有LVS+Keepalived 四層負(fù)載均衡的高可用環(huán)境中, vip是要在外面單獨(dú)設(shè)置的(即ifconfig eth0:0 ....的方式創(chuàng)建vip),通過 ifconfig 可以查看出來 vip。)
[root@mysql02 keepalived-1.2.24]# ifconfig
eth0 Link encap:Ethernet HWaddr 00:0C:29:7C:41:00
inet addr:10.219.24.25 Bcast:10.255.255.255 Mask:255.0.0.0
inet6 addr: fe80::20c:29ff:fe7c:4100/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:12156 errors:0 dropped:0 overruns:0 frame:0
TX packets:2700 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:1389340 (1.3 MiB) TX bytes:901117 (879.9 KiB)
[root@mysql02 keepalived-1.2.24]# ifconfig eth0:0 10.219.24.30 broadcast 10.255.255.255 netmask 255.0.0.0 up
[root@mysql02 keepalived-1.2.24]# route add -host 10.219.24.30 dev eth0:0
[root@mysql02 keepalived-1.2.24]# ifconfig
eth0 Link encap:Ethernet HWaddr 00:0C:29:7C:41:00
inet addr:10.219.24.25 Bcast:10.255.255.255 Mask:255.0.0.0
inet6 addr: fe80::20c:29ff:fe7c:4100/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:12397 errors:0 dropped:0 overruns:0 frame:0
TX packets:2748 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:1405326 (1.3 MiB) TX bytes:906805 (885.5 KiB)

eth0:0 Link encap:Ethernet HWaddr 00:0C:29:7C:41:00
inet addr:10.219.24.30 Bcast:10.255.255.255 Mask:255.0.0.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
補(bǔ)充:
刪除虛擬ip命令:ip addr del 10.219.24.30 dev eth0 以及 route del -host 10.219.24.30 dev eth0:0
_____________________________________________________________________________________________________________________
9、 master1 機(jī)器上的keepalived.conf配置。(下面配置中沒有使用lvs的負(fù)載均衡功能,所以不需要配置虛擬服務(wù)器virtual server)
[root@mysql02 keepalived-1.2.24]# cp /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.bak
-- 清空默認(rèn)內(nèi)容
[root@mysql02 keepalived-1.2.24]# > /etc/keepalived/keepalived.conf
-- 采用如下配置
[root@mysql02 keepalived-1.2.24]# cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
router_id MYSQL-MASTER-HA
}

vrrp_script chk_mysql_port {
script "/data/chk_mysql.sh" # mysql 健康檢查腳本
interval 2 #腳本執(zhí)行間隔,每2s檢測一次
}

vrrp_instance VI_2 {
state BACKUP
interface eth0 #指定虛擬ip的網(wǎng)卡接口
virtual_router_id 54 #路由器標(biāo)識,MASTER和BACKUP必須是一致的
priority 100
advert_int 1
nopreempt
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
10.219.24.30 # vip
}
track_script {
chk_mysql_port
}
}
10、 master2機(jī)器上的keepalived配置。
master2機(jī)器上的keepalived.conf文件只修改priority為90、nopreempt不設(shè)置、real_server設(shè)置本地IP。
[root@mysql01 keepalived-1.2.24]# cp /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.bak
[root@mysql01 keepalived-1.2.24]# >/etc/keepalived/keepalived.conf
[root@mysql01 keepalived-1.2.24]# vim /etc/keepalived/keepalived.conf
[root@mysql01 keepalived-1.2.24]# cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
router_id MYSQL-MASTER-HA
}

vrrp_script chk_mysql_port {
script "/data/chk_mysql.sh"
interval 2
}

vrrp_instance VI_2 {
state BACKUP
interface eth0
virtual_router_id 54
priority 90
advert_int 1
nopreempt
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
10.219.24.30
}
track_script {
chk_mysql_port
}
}

11、 編寫切換腳本。 (master1 與 master2 都操作)
KeepAlived做心跳檢測,如果Master的MySQL服務(wù)掛了(3306端口掛了),那么它就會選擇自殺。Slave的KeepAlived通過心跳檢測發(fā)現(xiàn)這個情況,就會將VIP的請求接管。

-- 檢查nc能否正常使用
[root@mysql02 keepalived-1.2.24]# nc
-bash: nc: command not found
-- 未安裝nc包 ,yum安裝
[root@mysql02 keepalived-1.2.24]# yum -y install nc

[root@mysql02 keepalived-1.2.24]# vim /data/chk_mysql.sh
[root@mysql02 ~]# cat /data/chk_mysql.sh
#!/bin/bash
# check mysql server status
# mysql端口
PORTS="3306"

function check_ports {
for port in $PORTS;do
nc -z 127.0.0.1 $port | grep -q succeeded
[ "${PIPESTATUS[1]}" -eq 0 ] && mark=${mark}1
done
# 如果mark值為空說明端口都不通。
# 如果mark等于1,說明有端口是通的。
echo $mark
}

ret1=$(check_ports)
# 如果mysql端口不通,會嘗試重啟一次mysql
if [ "$ret1" != 1 ];then
service mysql stop
mysqld_safe --defaults-file=/etc/my.cnf &
q! #無用命令,只是為了跳出上面的命令
sleep 1
ret2=$(check_ports)
# 如果還是有端口不通,表示mysql服務(wù)不正常,則停掉keepalived,使VIP發(fā)生切換
[ "$ret2" != 1 ] && /etc/init.d/keepalived stop
fi

12、 腳本賦權(quán)
[root@mysql02 keepalived-1.2.24]# chmod 755 /data/chk_mysql.sh

13、 master1 與 master2 開啟 keepalived 進(jìn)程
-- master1
[root@mysql02 keepalived-1.2.24]# service keepalived start
-- master2
[root@mysql01 keepalived-1.2.24]# service keepalived start

14、 測試
14.1 查看 vip 情況 ,發(fā)現(xiàn) vip 只在 master1 上, tcpdump 抓包,發(fā)現(xiàn)只有 master1 10.219.24.25 多播包 這也符合 VRRP 工作機(jī)制
-- master1
[root@mysql02 keepalived-1.2.24]# ip a l
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:7c:41:00 brd ff:ff:ff:ff:ff:ff
inet 10.219.24.25/8 brd 10.255.255.255 scope global eth0
inet 10.219.24.30/32 scope global eth0
inet6 fe80::20c:29ff:fe7c:4100/64 scope link
valid_lft forever preferred_lft forever

[root@mysql02 keepalived-1.2.24]# tcpdump -n 'host 224.0.0.18'
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 65535 bytes
00:58:35.883861 IP 10.219.24.25 > 224.0.0.18: VRRPv2, Advertisement, vrid 54, prio 100, authtype simple, intvl 1s, length 20
00:58:36.885543 IP 10.219.24.25 > 224.0.0.18: VRRPv2, Advertisement, vrid 54, prio 100, authtype simple, intvl 1s, length 20

-- master2
[root@mysql01 keepalived-1.2.24]# ip a l
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:44:29:7a brd ff:ff:ff:ff:ff:ff
inet 10.219.24.22/8 brd 10.255.255.255 scope global eth0
inet6 fe80::20c:29ff:fe44:297a/64 scope link
valid_lft forever preferred_lft forever

14.2 master1 中 keepalived 關(guān)閉 , 發(fā)現(xiàn) vip 漂到了 master2 上
-- master1
[root@mysql02 keepalived-1.2.24]# service keepalived stop
Stopping keepalived: [ OK ]
-- master2
[root@mysql01 keepalived-1.2.24]# ip a l
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:44:29:7a brd ff:ff:ff:ff:ff:ff
inet 10.219.24.22/8 brd 10.255.255.255 scope global eth0
inet 10.219.24.30/32 scope global eth0
inet6 fe80::20c:29ff:fe44:297a/64 scope link
valid_lft forever preferred_lft forever

14.3 再將之前關(guān)閉的 keepalived 開啟,發(fā)現(xiàn) vip 未漂回來, 正好符合主備為 非搶占式。
[root@mysql02 keepalived-1.2.24]# service keepalived start
Starting keepalived: [ OK ]
[root@mysql02 keepalived-1.2.24]# ip a l
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:7c:41:00 brd ff:ff:ff:ff:ff:ff
inet 10.219.24.25/8 brd 10.255.255.255 scope global eth0
inet6 fe80::20c:29ff:fe7c:4100/64 scope link
valid_lft forever preferred_lft forever
14.4 將 master1 上的 mysql 關(guān)閉, 發(fā)現(xiàn) master1 上的 keepalived 進(jìn)程也被腳本 kill 了, 順利的完成了 vip 漂回 master2 上
-- master1
[root@mysql02 keepalived-1.2.24]# ip a l
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:7c:41:00 brd ff:ff:ff:ff:ff:ff
inet 10.219.24.25/8 brd 10.255.255.255 scope global eth0
inet6 fe80::20c:29ff:fe7c:4100/64 scope link
valid_lft forever preferred_lft forever

-- master2
[root@mysql01 keepalived-1.2.24]# ip a l
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:44:29:7a brd ff:ff:ff:ff:ff:ff
inet 10.219.24.22/8 brd 10.255.255.255 scope global eth0
inet 10.219.24.30/32 scope global eth0
inet6 fe80::20c:29ff:fe44:297a/64 scope link
valid_lft forever preferred_lft forever

轉(zhuǎn)載于:https://www.cnblogs.com/andy6/p/7055746.html

總結(jié)

以上是生活随笔為你收集整理的mysql+keepalived 双主热备高可用的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯,歡迎將生活随笔推薦給好友。

欧美成人一区二区 | 天天草天天干天天 | 最新av观看| 经典三级一区 | 久久亚洲欧美日韩精品专区 | 日日草av| 久草视频在线免费看 | 久久久久在线视频 | 91亚洲狠狠婷婷综合久久久 | 天天操欧美 | 国产日韩精品久久 | 亚洲va在线va天堂va偷拍 | 国产在线播放不卡 | 国产精品久久精品 | 亚州精品国产 | 久久久久久国产精品 | 欧美先锋影音 | 免费合欢视频成人app | 国产91免费在线 | 婷婷激情影院 | 免费观看版 | 免费观看完整版无人区 | 久草视频在线免费看 | 日韩成人精品 | 九九日韩| 国产手机在线播放 | 久久免费av电影 | 亚洲影院天堂 | 国产精品美女久久久久久2018 | 中文字幕一区二区三区在线观看 | 中文字幕刺激在线 | av片中文字幕 | 午夜免费久久看 | 欧美性黄网官网 | 国产精品成人免费精品自在线观看 | 亚洲福利精品 | 国产美女被啪进深处喷白浆视频 | 毛片随便看 | 久久久国产日韩 | 国产亚洲精品久久久久久网站 | 国产精品黄网站在线观看 | 日韩欧美一区视频 | av在线专区| 青春草免费在线视频 | 天天干,天天射,天天操,天天摸 | 中文字幕久久久精品 | 国产3p视频 | 97人人射| 在线视频观看亚洲 | 免费国产一区二区 | 在线视频a | 久久国产精品99久久人人澡 | 免费麻豆网站 | av高清一区二区三区 | 国产一级二级在线观看 | 天天操夜夜操天天射 | 久久久久久久综合色一本 | 亚洲夜夜网 | 国内精品久久久久久久久久久久 | 国产精品久久久久免费 | 97免费中文视频在线观看 | 免费aa大片 | 香蕉影院在线 | 在线成人看片 | 黄色一级大片在线观看 | 五月婷婷在线视频观看 | 久久久精品 一区二区三区 国产99视频在线观看 | 九九免费在线视频 | 97超在线视频 | 国产精品黑丝在线观看 | 久久99亚洲网美利坚合众国 | 日韩久久一区二区 | 91精品视频免费看 | 精品一区二区精品 | 国产又粗又猛又黄又爽的视频 | 久久久久免费精品视频 | 精品专区一区二区 | 奇米影视8888在线观看大全免费 | 亚洲成人资源 | 嫩草伊人久久精品少妇av | 美女黄频 | 久久特级毛片 | 特级aaa毛片 | 亚洲精品在线观 | 亚洲高清视频在线播放 | 91免费网站在线观看 | 狠狠躁天天躁 | 伊人五月天婷婷 | 国产精品2018 | 999抗病毒口服液 | 亚洲国产免费 | 免费色视频网址 | 国产九九热视频 | 天堂va在线观看 | 亚洲一区二区视频在线播放 | 玖玖在线免费视频 | 99热这里只有精品在线观看 | 中文字幕日韩伦理 | 911在线 | 蜜臀av夜夜澡人人爽人人桃色 | 在线免费观看黄色 | 国产第一福利网 | 91亚洲网 | 国产午夜三级一区二区三 | 91在线看视频 | 狠狠操综合 | av网站免费线看精品 | 伊人资源站| 中文字幕一区二区三区四区在线视频 | 久久99精品久久久久久秒播蜜臀 | av一二三区| 婷婷久久综合网 | 婷婷免费视频 | 人人草在线观看 | 天天爽天天搞 | 在线观看福利网站 | 狠狠色噜噜狠狠狠合久 | 成人国产精品久久久 | 国产午夜精品久久 | 成人av片免费观看app下载 | 国产在线播放一区二区三区 | 麻豆91在线 | 亚洲精品国偷自产在线91正片 | 久久久久综合精品福利啪啪 | 国产精品一码二码三码在线 | 久草在线一免费新视频 | 国产精品丝袜 | 成人免费在线观看电影 | 99热最新精品 | 欧美日本不卡高清 | 中文字幕在线观看网 | a在线观看国产 | 国产成人av在线 | 一区二区三区四区五区在线视频 | www日 | 91桃花视频 | 99久久精 | 97精品一区| 五月开心网 | 久久国产高清 | 9在线观看免费高清完整版在线观看明 | 视频在线观看99 | 日日日日| 日韩在线视频不卡 | 综合久久久久 | 色噜噜狠狠狠狠色综合久不 | 亚洲精品国产精品久久99热 | 九热精品 | 国产人成一区二区三区影院 | 97精品国产97久久久久久 | 丁香激情视频 | 日韩综合视频在线观看 | 久久国产热 | 五月丁香 | 久久精品国产亚洲a | 免费一级片观看 | 久久毛片网| 久久视频精品在线 | 欧美激情综合色 | 国产福利在线 | www成人av| av中文字幕在线电影 | 成人免费在线电影 | 国产福利中文字幕 | 精品影院 | 亚洲精品国产精品久久99热 | www黄色 | 在线观看黄污 | 精品久久亚洲 | 久久理论影院 | 97精品国产aⅴ | 国产美女主播精品一区二区三区 | 夜夜操网| 最近日韩免费视频 | 夜夜夜夜夜夜操 | 久久国产欧美日韩 | 91久久国产精品 | 九九热精品在线 | 日韩三级精品 | 视频在线亚洲 | 在线日韩中文字幕 | 成人免费视频a | 麻豆高清免费国产一区 | 日韩黄色av网站 | www.狠狠操.com | 亚洲成人动漫在线观看 | 99热在线观看 | 国产免费又爽又刺激在线观看 | 国产精品久久久久久久av电影 | 韩国av一区二区 | 97碰碰精品嫩模在线播放 | 亚洲专区在线 | 视频在线99 | 91精品婷婷国产综合久久蝌蚪 | 国产精品三级视频 | 久久久久电影网站 | 美女视频永久黄网站免费观看国产 | 国产综合福利在线 | 亚洲精品人人 | 九色激情网 | 久久国产精品一区二区 | 911香蕉视频 | 在线观看视频一区二区三区 | 在线观看免费视频你懂的 | 日韩在线视频线视频免费网站 | 亚洲欧美日韩精品久久久 | 天堂av在线网站 | 精品欧美日韩 | 国产视频精品免费 | 免费日韩视 | 亚洲视频观看 | 免费97视频| 久久免费中文视频 | 国产精品四虎 | 视频福利在线观看 | 一区二区三区免费在线播放 | 中文字幕日韩一区二区三区不卡 | 国产精品久久伊人 | 欧美极品xxxx | 欧美一区二区三区在线视频观看 | 综合网伊人 | 综合国产在线观看 | 免费网址你懂的 | 国产美女免费看 | 91黄色成人| 黄色福利网站 | 99久久99热这里只有精品 | 国产色视频| 久久经典视频 | a级国产乱理论片在线观看 伊人宗合网 | 久久久久国产精品视频 | 91亚色视频在线观看 | 色wwww| 国产精品永久免费视频 | 男女男视频 | 丁香六月婷婷开心 | 日韩精品久久久免费观看夜色 | 国产精品久久久久久久久久 | 中日韩在线视频 | 国产精品2区 | 视频一区二区三区视频 | 久久在现| 亚洲视屏一区 | 国产一区二区不卡视频 | 国产精品久久免费看 | 激情在线五月天 | 国产一区二区在线免费观看 | 国产精品va在线 | 精品91视频| 久久婷五月| 毛片的网址 | 美女网站视频免费黄 | 免费电影一区二区三区 | av亚洲产国偷v产偷v自拍小说 | 国产成人免费av电影 | 极品久久久久久久 | 日韩欧美高清视频在线观看 | av在线免费网站 | 久久亚洲成人网 | 国产一级免费观看视频 | 91在线观看视频网站 | 国产精品久久久久永久免费看 | 亚洲专区在线 | 91tv国产成人福利 | 久久精品视频国产 | 成人一级片在线观看 | 久久免费观看视频 | 国产精品久久久久999 | 手机看片国产日韩 | 亚洲精品久久久久999中文字幕 | 二区视频在线观看 | 综合av在线 | 一区二区电影在线观看 | 九草在线视频 | 日韩免费视频线观看 | 日本乱视频 | 亚洲国产精品久久久久久 | 色五丁香 | 久草在线免费新视频 | 欧美精品久久久久久久久久丰满 | 人人精久 | 91精品国自产在线观看 | 久久天天操 | 久草精品在线观看 | 久久男人中文字幕资源站 | 日韩精品91偷拍在线观看 | 日本99干网| 最近中文字幕国语免费av | 免费在线观看不卡av | 999电影免费在线观看2020 | 91九色蝌蚪国产 | 欧美日韩一区二区三区在线观看视频 | 国产999视频在线观看 | 日日干干夜夜 | 五月激情六月丁香 | 欧洲亚洲国产视频 | 天天干中文字幕 | 国产色秀视频 | 日韩免费看片 | 四虎影视成人精品 | 久久99久久99| 成人免费毛片aaaaaa片 | 91亚洲激情 | 国产69久久久欧美一级 | 国产精品18p | 欧美精品久久久久 | 97av超碰| 欧美一区二区在线免费看 | 毛片一二区 | 久久精品理论 | 国产又粗又猛又色又黄网站 | 99热在线国产精品 | 五月婷婷黄色 | 中文字幕韩在线第一页 | 日韩欧美在线综合网 | 欧美性生活免费 | 经典三级一区 | 日日夜夜噜 | 伊人婷婷激情 | 欧美精品免费一区二区 | 一区二区三区福利 | 五月天精品视频 | 久青草影院 | 在线视频第一页 | 在线性视频日韩欧美 | 国产69熟| 久久免费播放视频 | 一级黄毛片 | 91免费高清视频 | 国产激情电影综合在线看 | 国产精品亚洲精品 | 国产精品久久久久久久久大全 | 最近日韩中文字幕中文 | 日韩av在线资源 | 在线视频电影 | 久久艹欧美| 国产又粗又猛又黄视频 | 91网站在线视频 | av五月婷婷| 国产一区在线免费 | 丁香午夜| 国产中文字幕亚洲 | 精品福利网 | 成人在线视频免费看 | 夜夜躁天天躁很躁波 | 国产中文字幕在线看 | 亚洲欧洲成人 | 国产在线观看一区 | 国产午夜免费视频 | 午夜精品999 | 黄色一级免费电影 | 亚洲激情精品 | 亚洲精品久久久久58 | 91亚洲精品国偷拍 | 成人午夜影院在线观看 | 精品一区二区在线观看 | 不卡的av| 亚洲高清av在线 | 综合网欧美 | www.香蕉视频在线观看 | 久草网在线观看 | 亚洲欧美在线视频免费 | 国产亚洲日本 | 最新日韩视频 | 天天干天天上 | 国产黄色片久久久 | 婷婷草 | 在线中文字幕一区二区 | 精品福利片 | 久久精品99国产 | 欧美日韩在线观看一区二区三区 | 久久国产免费 | 国产精品久久久毛片 | 国产理论一区二区三区 | 国产资源在线免费观看 | 亚洲aⅴ一区二区三区 | 三级性生活视频 | 国产美女免费观看 | 久久久久亚洲精品 | 91传媒在线播放 | 狠狠干激情 | av丝袜制服 | 精品伦理一区二区三区 | 午夜精品电影一区二区在线 | 一区二区三区电影在线播 | 日韩在线观看你懂的 | 国产生活一级片 | 成人午夜影视 | 五月婷婷丁香激情 | 免费视频久久 | 日韩在线观看视频一区二区三区 | 成人欧美一区二区三区黑人麻豆 | 国产色视频一区 | 91在线麻豆| 国产视频一区二区在线观看 | 国产一级性生活视频 | 欧美天天综合网 | 波多野结衣电影久久 | 黄色在线观看网站 | 午夜丁香网 | 亚洲成人国产 | aaaaaa毛片| 伊人射| 免费无遮挡动漫网站 | 亚洲一级黄色 | 在线影院中文字幕 | 久久黄色免费观看 | 国产视频在线免费观看 | 国产精品日韩久久久久 | 在线看中文字幕 | 成人av在线影院 | 操久久免费视频 | 五月婷婷另类国产 | 涩涩网站在线 | 久久一区二区三区超碰国产精品 | 亚洲一区二区精品视频 | 五月天婷亚洲天综合网鲁鲁鲁 | 夜夜高潮夜夜爽国产伦精品 | 丝袜美腿亚洲 | 在线精品视频免费观看 | 欧美一区二区伦理片 | 天天色天天色天天色 | 波多野结衣日韩 | av一区二区三区在线 | 香蕉视频在线免费看 | 亚洲人人射 | 怡春院av| 国偷自产中文字幕亚洲手机在线 | 久久成人国产精品一区二区 | 国产91aaa| 欧美成人高清 | 久草在线高清 | 久久久这里有精品 | 香蕉网在线观看 | av一区二区三区在线 | 精品日韩在线一区 | 免费观看v片在线观看 | 亚洲日韩欧美一区二区在线 | 成人app在线免费观看 | 黄av资源 | 国产免费叼嘿网站免费 | 国产一级免费视频 | 天天操夜夜操国产精品 | 国产 一区二区三区 在线 | 在线亚洲小视频 | www99精品 | a在线观看免费视频 | 国产精品久久电影网 | 国产亚洲成av人片在线观看桃 | 玖玖视频网 | 国产资源av | 99视频在线精品免费观看2 | 911香蕉| 国产91在线 | 美洲 | 亚洲做受高潮欧美裸体 | 香蕉视频国产在线观看 | 日韩中文幕| av解说在线观看 | 天天天天天天天天操 | 久久av网 | 日韩精品中文字幕在线观看 | 久久人人爽av| 国产在线观看一区 | 青青河边草免费观看 | 久草网在线观看 | www.天天色.com | 国产精品久久精品国产 | 在线观看91精品视频 | 免费福利片 | 亚洲日本va中文字幕 | 免费韩国av | 国内精品一区二区 | a天堂一码二码专区 | 国产精品美乳一区二区免费 | 免费观看91视频大全 | 超碰大片| 国产黄色片网站 | 97精品国自产拍在线观看 | www.国产毛片 | 亚洲天堂网在线播放 | 九九九热精品免费视频观看 | 国产原创在线视频 | 亚洲成人av在线播放 | 狠狠干夜夜 | 97中文字幕 | 国产一级特黄毛片在线毛片 | 在线色网站| 色噜噜狠狠狠狠色综合久不 | 免费男女羞羞的视频网站中文字幕 | 亚洲成av人影院 | www操操 | 日日射av| 欧美成人中文字幕 | 欧美日一级片 | 毛片99 | 日韩在线视频二区 | av网址最新 | 最近2019好看的中文字幕免费 | 亚洲影院天堂 | 精品久久精品久久 | 欧美一二三四在线 | 国产精品久久久久久久久久久久冷 | 91久久精| 成人九九视频 | 亚洲高清激情 | 在线观看国产高清视频 | 在线免费av网站 | 天天操网| 色婷婷狠狠18 | 国产精品久久久久毛片大屁完整版 | 天天干天天搞天天射 | 久久久久久久久久久免费 | 亚洲欧美日韩不卡 | 精品国产成人av | 日本精品视频一区二区 | 天天搞天天干天天色 | 欧美性成人 | 91av成人 | 日韩视频一区二区三区在线播放免费观看 | 韩国av免费观看 | 亚洲国产精品视频在线观看 | 国产精品美女久久久免费 | 在线观看国产中文字幕 | 伊人丁香| 亚洲精品一区二区三区在线观看 | 韩国中文三级 | 久久久亚洲电影 | 91精品麻豆 | 天天草天天操 | 日韩三级视频在线观看 | 国产精品情侣视频 | 国产黄色美女 | 99免费在线观看 | 中文字幕有码在线 | 亚洲一区二区三区miaa149 | 91福利区一区二区三区 | 免费在线观看不卡av | 91成人看片| 在线观看国产日韩欧美 | 日本精品一区二区三区在线播放视频 | 久草在线视频精品 | 国产视频精品在线 | 中文字幕一二三区 | 亚洲v精品 | 国产成人亚洲精品自产在线 | 国内视频在线观看 | 国产一区二区影院 | 国产九九热 | 亚洲片在线 | 黄色电影网站在线观看 | 欧美日韩一区二区免费在线观看 | 蜜臀av网址 | 九色在线视频 | 狠狠操天天射 | 国产中文字幕一区二区三区 | 久久成人一区二区 | av免费看av | 国产色区| 日韩综合一区二区 | 国产亚洲精品无 | 亚洲视频每日更新 | 91精品在线麻豆 | 999久久久免费精品国产 | 国产麻豆视频免费观看 | 日本精品久久久久 | 国产字幕在线看 | 99久久精品日本一区二区免费 | 一级片免费在线 | 五月婷香 | 亚洲激情视频 | av一级一片| 久草在线视频在线观看 | 亚洲欧洲一区二区在线观看 | 国产精品自在线 | 天天操天天吃 | 亚洲狠狠| 三三级黄色片之日韩 | 九九综合九九 | 欧美性大胆 | 欧美激情视频一二区 | 日本三级全黄少妇三2023 | 久久久午夜视频 | 97人人爽人人 | 手机在线日韩视频 | 亚洲影视九九影院在线观看 | 91超碰在线播放 | 五月婷婷色 | 一区二区三区在线观看 | 免费99精品国产自在在线 | 狠狠操夜夜操 | 在线观看视频国产一区 | 天天操天天爽天天干 | 99久久婷婷国产一区二区三区 | 黄色国产在线 | 国产成人专区 | 毛片无卡免费无播放器 | 美女网站在线观看 | 国产精品视频永久免费播放 | 久久色亚洲 | 成人啪啪18免费游戏链接 | 国产精品视频最多的网站 | 日韩精品一区在线观看 | 欧美a√大片 | 日韩av一卡二卡三卡 | 国产精品a成v人在线播放 | 日韩美女一级片 | av免费成人 | 91欧美精品 | 成人中文字幕+乱码+中文字幕 | 成人动漫精品一区二区 | 日免费视频| 亚洲国产精品成人女人久久 | 女人18精品一区二区三区 | 日韩激情小视频 | 摸阴视频 | 国产精品av免费在线观看 | 成人毛片在线观看 | 国内精品久久久久影院一蜜桃 | 99人久久精品视频最新地址 | 不卡在线一区 | 亚洲天堂网在线视频观看 | 亚洲三区在线 | 亚洲精品在线一区二区 | 久久免费的视频 | 一区二区三区久久精品 | 免费三级影片 | 97在线成人 | 五月婷婷六月丁香激情 | 国产精品18久久久久vr手机版特色 | 国产成人中文字幕 | 天天天天射 | 日韩在线网址 | 三级av小说| 黄色三级网站在线观看 | 欧美在线一二区 | 黄色网www | 99免费国产| 欧美日韩国产一区二区三区在线观看 | 韩国一区二区av | 天天操天天添 | 996久久国产精品线观看 | 国产一区二区在线观看视频 | 国产精品美女久久久免费 | 亚洲乱码国产乱码精品天美传媒 | 国产一级视屏 | 中文字幕第一页在线vr | 韩日三级av | 欧美性爽爽| 99国产精品久久久久老师 | 国产1区2区| 永久免费在线 | 天天干天天想 | 亚洲深夜影院 | 成人久久久精品国产乱码一区二区 | 久草观看视频 | www最近高清中文国语在线观看 | 亚洲欧美日韩国产一区二区三区 | 天天曰天天 | 麻豆一二| 久久久精品国产一区二区电影四季 | 欧美日韩在线视频免费 | 99热精品久久 | 91精品国产网站 | 亚洲精品videossex少妇 | 国产精品久久久久久五月尺 | 狠狠狠色丁香婷婷综合久久五月 | 日日夜夜综合网 | 欧美性极品xxxx做受 | 九九99视频 | 99超碰在线观看 | 国产资源网站 | 69av网| 久久免费片 | 99久视频 | 日韩午夜av电影 | 99精品一区二区 | 色婷婷精品 | 国内精品久久久久久久久 | 久久天天躁狠狠躁亚洲综合公司 | 国产精品视频99 | 国产黄色免费在线观看 | 欧美精品在线观看免费 | 日韩免费三级 | 中文一二区 | 国产精品久久久久久久久久久久 | 免费在线观看av网址 | 91精品视频播放 | 国产精品久久久久久久久久直播 | 色妞色视频一区二区三区四区 | 久久99久久久久 | 中文有码在线 | 黄色av一级| 亚洲成人精品av | 狠狠躁夜夜躁人人爽视频 | 国产夫妻性生活自拍 | 欧美在线观看视频一区二区三区 | 国产麻豆成人传媒免费观看 | 在线免费观看羞羞视频 | 偷拍福利视频一区二区三区 | 综合婷婷丁香 | 手机在线看永久av片免费 | 日韩免费播放 | 91在线看| 天天操网 | 中午字幕在线观看 | 欧美成人a在线 | 国产精品一区二 | 综合网在线视频 | 丁香激情网 | 欧美另类高清 | 日韩中文字幕国产精品 | 天天操天天色天天射 | 国产黄色高清 | 狠狠色丁香九九婷婷综合五月 | 精品视频久久 | 国产精品成人自产拍在线观看 | 亚洲免费永久精品国产 | 夜色资源站国产www在线视频 | 日韩精品一区二区三区电影 | 在线日韩中文 | 精品一区二区视频 | 亚洲综合视频在线 | 久久国产麻豆 | 日本一区二区三区免费观看 | 亚洲精品国产精品国产 | 丁香六月婷婷开心婷婷网 | 欧美日韩久久久 | 狠狠狠狠狠色综合 | 国产精品久久久av久久久 | 在线观看免费中文字幕 | 四虎在线免费观看视频 | 亚洲午夜精品在线观看 | 日韩午夜大片 | 国产专区欧美专区 | 欧美日韩国产一区二区在线观看 | 欧美日韩午夜爽爽 | 国产区精品在线观看 | 又黄又刺激 | 久久成人精品电影 | 日韩精品视频免费专区在线播放 | 中文字幕在线观看视频一区二区三区 | av电影中文字幕在线观看 | 中文字幕永久免费 | 国产精品成人一区二区三区吃奶 | 日韩一级成人av | 婷婷视频在线 | 国产91影院 | 国产99久久精品一区二区永久免费 | 美女黄频在线观看 | 亚洲更新最快 | 激情综合啪 | 99国产精品免费网站 | 久久久久久国产精品免费 | 亚洲成成品网站 | 久久免费视频精品 | 九九电影在线 | 日韩一二三在线 | 婷婷av在线 | 国产 日韩 在线 亚洲 字幕 中文 | 天天做夜夜做 | 正在播放国产一区二区 | 在线播放视频一区 | 国产色婷婷在线 | 日日干夜夜草 | 亚洲欧美日韩精品久久奇米一区 | 欧美成a人片在线观看久 | 久久伊99综合婷婷久久伊 | 人人干,人人爽 | 97人人模人人爽人人少妇 | 91免费网址 | 91片在线观看 | 久久久久久久久毛片精品 | 激情综合五月网 | 国内精品久久久久久久久久久久 | 久久国产影视 | 欧美a级一区二区 | 97碰碰碰 | 国产精品videoxxxx | 91插插插免费视频 | 欧美精品乱码久久久久久 | 久青草视频 | 亚洲精品视频免费看 | 色视频网站在线观看一=区 a视频免费在线观看 | 中文字幕在线播放视频 | 999久久精品 | 日本久久久久久久久久久 | 久久99精品国产91久久来源 | 日韩乱色精品一区二区 | 久久精品成人热国产成 | 伊人久久精品久久亚洲一区 | 亚洲电影院| 五月花激情 | 91黄在线看| av中文字幕免费在线观看 | 蜜臀av性久久久久蜜臀aⅴ涩爱 | 亚洲精品在线视频 | 欧美午夜精品久久久久久浪潮 | 在线天堂中文在线资源网 | 婷婷色六月天 | 精品免费久久久久久 | 丁香六月国产 | 99精品久久久久 | 国产精品久久电影网 | 四虎成人在线 | 色综合中文综合网 | 毛片网站在线 | 五月婷婷在线观看视频 | 黄色免费网战 | 精品国产一区二区三区日日嗨 | a视频在线观看 | 在线视频日韩一区 | 一区 二区 精品 | 精品国产美女 | 国产在线精品视频 | 2019中文在线观看 | 亚洲成人av一区二区 | 欧美孕妇与黑人孕交 | 91探花在线视频 | 久久久亚洲电影 | 天天看天天干 | 另类五月激情 | 日韩系列 | 国产成人一区二区三区久久精品 | 911在线| 午夜精品麻豆 | 黄污在线观看 | 久久久精品成人 | 亚洲精品美女视频 | 国产精品网红直播 | 国产尤物在线视频 | 天堂av高清 | 射久久久 | 欧美日韩国产色综合一二三四 | 一区二区三区日韩精品 | 亚洲伊人网在线观看 | 国内精品久久久久久久 | 天天干夜夜 | 国产免费精彩视频 | 成人免费在线看片 | 在线免费观看一区二区三区 | 欧美色图另类 | 五月天综合色 | 四虎影视成人永久免费观看亚洲欧美 | a天堂一码二码专区 | 成人午夜电影在线播放 | 国产在线一区二区三区播放 | 精品一区精品二区高清 | 欧美午夜一区二区福利视频 | 精品国模一区二区三区 | 97在线观看视频国产 | 999成人免费视频 | 色诱亚洲精品久久久久久 | 在线免费观看视频a | 国产亚洲精品女人久久久久久 | 九九久久电影 | www.av免费观看 | 国产麻豆电影在线观看 | 天天做天天爱天天爽综合网 | 中文字幕一区二区三区在线观看 | 808电影| 亚洲深爱激情 | 高清日韩一区二区 | 欧美老少交| 免费视频你懂得 | 一区二区欧美在线观看 | 国产福利91精品一区 | 黄免费网站 | 91毛片在线 | 99精品视频在线观看视频 | 国产亚洲精品久久久久久大师 | 日韩v在线91成人自拍 | 国产高清在线免费视频 | 久久免费福利 | 五月婷婷毛片 | 国产r级在线观看 | 日韩二区三区在线 | 五月天六月婷 | aav在线| 久久免费精品一区二区三区 | 亚洲永久av | 四虎永久视频 | 人人看人人做人人澡 | 美女网站视频色 | 91刺激视频| 999久久精品 | av免费看网站 | 国产在线观看免费观看 | 国产一在线精品一区在线观看 | 欧美超碰在线 | 国产特级毛片aaaaaa高清 | 亚洲综合最新在线 | 国产综合香蕉五月婷在线 | 国产精品视频最多的网站 | 狠狠狠操 | 在线免费成人 | 欧美 国产 视频 | 一级黄色电影网站 | 开心激情久久 | 碰超在线 | 一区二区三区四区影院 | 天天天在线综合网 | 五月婷婷一级片 | 久久久久久久久国产 | 超薄丝袜一二三区 | 手机看片午夜 | 中文在线字幕免 | 在线亚洲天堂网 | 精品电影一区 | 六月丁香激情网 | 波多野结衣在线播放一区 | 蜜臀av夜夜澡人人爽人人 | 久久综合久久综合这里只有精品 | 国产资源网 | 国产高清成人av | 日本午夜免费福利视频 | 国产高清在线观看av | 最新一区二区三区 | 亚洲精品久久久久中文字幕二区 | 亚洲午夜久久久久久久久久久 | 久久久久久久久久久久久久av | 在线三级播放 | 久久在线一区 | 视频一区二区视频 | 国产.精品.日韩.另类.中文.在线.播放 | 亚洲区另类春色综合小说校园片 | 网站免费黄| 在线观看免费av网 | 免费黄色网址网站 | 国产人成在线视频 | 免费视频 你懂的 | 日韩在线播放视频 | 香蕉影院在线观看 | 亚洲精品视频在线免费播放 | 日韩免费在线观看 | 九九热视频在线 | 激情视频一区二区三区 | 中文字幕在线观看播放 | 久草在线资源免费 | 欧美日产在线观看 | 欧美性春潮 | 日韩精品一区二区三区在线视频 | 亚洲成人免费观看 | 中文字幕二区三区 | 国产精品免费在线观看视频 | 香蕉久久久久久av成人 | 人人干狠狠干 | 精品国产精品久久 | av不卡中文字幕 | 久久精品成人欧美大片古装 | 91成年人网站 | 国产在线视频一区二区三区 | 欧美成人播放 | 国产一区在线视频 | 久久久www成人免费精品张筱雨 | 国产伦理久久 | 看黄色91 | 探花视频免费观看 | 中文国产在线观看 | 欧美日一级片 | 69国产盗摄一区二区三区五区 | 国产精品毛片一区视频播 | 国产精品久久久久久久久久久免费 | 亚洲国内精品在线 | 国内成人精品视频 | 天天操操操操操 | 国产123区在线观看 国产精品麻豆91 | 骄小bbw搡bbbb揉bbbb | 日韩三级久久 | 激情欧美一区二区免费视频 | 国产亚洲免费观看 | 欧美日韩在线精品一区二区 | 草久久久久久 | 夜夜摸夜夜爽 | 久久免费视频一区 | www.色综合.com | 99视频精品免费观看, | 精品在线看 | 91精品国产成人观看 | 91精品国产高清自在线观看 | 日韩视频免费观看高清完整版在线 | 一区二区三区免费在线播放 | 超碰在线中文字幕 | 欧美一二区在线 | 午夜男人影院 | 成人精品亚洲 | 国内外成人在线视频 | 成人免费中文字幕 | 亚洲免费视频观看 | 久久99精品久久久久久秒播蜜臀 | 日韩精品第1页 | 特黄特黄的视频 | av免费网站 | 能在线观看的日韩av | 麻豆成人小视频 | 亚洲男男gaygay无套 | 久久综合狠狠 | 成人黄色电影在线播放 | 欧洲一区二区在线观看 |