日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 运维知识 > 数据库 >内容正文

数据库

ProxySQL+MGR实现读写分离和主节点故障无感知切换 - 完整操作记录

發布時間:2024/1/8 数据库 45 豆豆
生活随笔 收集整理的這篇文章主要介紹了 ProxySQL+MGR实现读写分离和主节点故障无感知切换 - 完整操作记录 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

ProxySQL+MGR實現讀寫分離和主節點故障無感知切換 - 完整操作記錄

??

前面的文章介紹了ProxySQL用法,這里說下ProxySQL中間件針對Mysql組復制模式實現讀寫分離以及主節點故障時能夠自動切換到新的主節點,而應用對此過程無感知的功能。Mysql組復制(MGR)組復制能夠完成主節點故障后推選出來新的主節點,不過在應用層不可能通過修改新的主節點的IP來連接新的主節點,但是通過MGR+ProxySQL可以實際主節點故障時應用無感應自動切換到新的主節點。

根據上圖,描述下實現思路:三個節點使multi-primary的方式連接,應用通過連接ProxySQL中間件,根據sql的屬性(是否為select語句)來決定連接哪一個節點,一個可寫節點,兩個只讀節點(其實三個都是可寫節點,只不過通過proxysql進行了讀寫分離)。如果默認的可寫節點掛掉的話,proxysql通過定期運行的調度器會將另一個只讀節點的其中一臺設為可寫節點,實際主節點故障應用無感應的要求。上述的整個過程中,應用無需任何變動。應用從意識發生了故障,到連接重新指向新的主,正常提供服務,秒級別的間隔。

一、環境準備

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 172.16.60.211?????? MGR-node1 (master1)???? Centos7.5 172.16.60.212?????? MGR-node2 (master2)???? Centos7.5 172.16.60.213?????? MGR-node3 (master3)???? Centos7.5 172.16.60.214?????? ProxySQL-node?????????? Centos7.5 [root@MGR-node1 ~] # cat /etc/redhat-release CentOS Linux release 7.5.1804 (Core) ???? 為了方便實驗,關閉所有節點的防火墻 [root@MGR-node1 ~] # systemctl stop firewalld [root@MGR-node1 ~] # firewall-cmd --state not running ???? [root@MGR-node1 ~] # cat /etc/sysconfig/selinux |grep "SELINUX=disabled" SELINUX=disabled [root@MGR-node1 ~] # setenforce 0??????????? setenforce: SELinux is disabled [root@MGR-node1 ~] # getenforce????????????? Disabled ?? 特別要注意一個關鍵點: 必須設置好各個mysql節點的主機名,并且保證能通過主機名找到各成員! 則必須要在每個節點的 /etc/hosts 里面做主機名綁定,否則后續將節點加入group組會失敗!報錯RECOVERING!! [root@MGR-node1 ~] # cat /etc/hosts ........ 172.16.60.211??? MGR-node1 172.16.60.212??? MGR-node2 172.16.60.213??? MGR-node3

二、在三個節點上安裝Mysql5.7

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 在三個mysql節點機上使用yum方式安裝Mysql5.7,參考:https: //www .cnblogs.com /kevingrace/p/8340690 .html ???? 安裝MySQL yum資源庫 [root@MGR-node1 ~] # yum localinstall https://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm ???? 安裝MySQL 5.7 [root@MGR-node1 ~] # yum install -y mysql-community-server ???? 啟動MySQL服務器和MySQL的自動啟動 [root@MGR-node1 ~] # systemctl start mysqld.service [root@MGR-node1 ~] # systemctl enable mysqld.service ???? 設置登錄密碼 由于MySQL從5.7開始不允許首次安裝后使用空密碼進行登錄!為了加強安全性,系統會隨機生成一個密碼以供管理員首次登錄使用, 這個密碼記錄在 /var/log/mysqld .log文件中,使用下面的命令可以查看此密碼: [root@MGR-node1 ~] # cat /var/log/mysqld.log|grep 'A temporary password' 2019-01-11T05:53:17.824073Z 1 [Note] A temporary password is generated for root@localhost: TaN.k:*Qw2xs ???? 使用上面查看的密碼TaN.k:*Qw2xs 登錄mysql,并重置密碼為123456 [root@MGR-node1 ~] # mysql -p???????????????? #輸入默認的密碼:TaN.k:*Qw2xs ............. mysql> set global validate_password_policy=0; Query OK, 0 rows affected (0.00 sec) ???? mysql> set global validate_password_length=1; Query OK, 0 rows affected (0.00 sec) ???? mysql> set password=password( "123456" ); Query OK, 0 rows affected, 1 warning (0.00 sec) ???? mysql> flush privileges; Query OK, 0 rows affected (0.00 sec) ???? 查看mysql版本 [root@MGR-node1 ~] # mysql -p123456 ........ mysql> select version(); +-----------+ | version() | +-----------+ | 5.7.24??? | +-----------+ 1 row in set (0.00 sec) ??? ===================================================================== 溫馨提示 mysql5.7通過上面默認安裝后,執行語句可能會報錯: ERROR 1819 (HY000): Your password does not satisfy the current policy requirements ??? 這個報錯與Mysql 密碼安全策略validate_password_policy的值有關,validate_password_policy可以取0、1、2三個值: 解決辦法: set global validate_password_policy=0; set global validate_password_length=1;

三、MGR組復制環境部署 (多寫模式)

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 360 361 362 363 364 365 366 367 368 369 370 371 372 373 374 375 376 377 378 379 380 381 382 383 384 385 386 387 388 389 390 391 392 393 394 395 396 397 398 399 400 401 402 403 404 405 406 407 408 409 410 411 412 413 414 415 416 417 418 419 420 421 422 423 424 425 426 427 428 429 430 431 432 433 434 435 436 437 438 439 440 441 442 443 444 445 446 可以參考:https: //www .cnblogs.com /kevingrace/p/10260685 .html 由于之前做了其他測試,這里需要將三個節點的mysql環境抹干凈: # systemctl? stop? mysqld # rm -rf /var/lib/mysql # systemctl start mysqld 然后重啟密碼 # cat /var/log/mysqld.log|grep 'A temporary password' # mysql -p123456 mysql> set global validate_password_policy=0; mysql> set global validate_password_length=1; mysql> set password=password( "123456" ); mysql> flush privileges; ======================================================= 1) MGR-node1節點操作 [root@MGR-node1 ~] # mysql -p123456 ......... mysql> select uuid(); +--------------------------------------+ | uuid()?????????????????????????????? | +--------------------------------------+ | ae09faae-34bb-11e9-9f91-005056ac6820 | +--------------------------------------+ 1 row in set (0.00 sec) [root@MGR-node1 ~] # cp /etc/my.cnf /etc/my.cnf.bak [root@MGR-node1 ~] # >/etc/my.cnf [root@MGR-node1 ~] # vim /etc/my.cnf [mysqld] datadir = /var/lib/mysql socket = /var/lib/mysql/mysql .sock ???????? symbolic-links = 0 ???????? log-error = /var/log/mysqld .log pid- file = /var/run/mysqld/mysqld .pid ???? #GTID: server_id = 1 gtid_mode = on enforce_gtid_consistency = on ???? master_info_repository=TABLE relay_log_info_repository=TABLE binlog_checksum=NONE ???????? #binlog log_bin = mysql-bin log-slave-updates = 1 binlog_format = row sync -master-info = 1 sync_binlog = 1 ??????? #relay log skip_slave_start = 1 ???? transaction_write_set_extraction=XXHASH64????? loose-group_replication_group_name= "5db40c3c-180c-11e9-afbf-005056ac6820"???? loose-group_replication_start_on_boot=off??? loose-group_replication_local_address= "172.16.60.211:24901" loose-group_replication_group_seeds= "172.16.60.211:24901,172.16.60.212:24901,172.16.60.213:24901" loose-group_replication_bootstrap_group=off loose-group_replication_single_primary_mode=off????? loose-group_replication_enforce_update_everywhere_checks=on??? loose-group_replication_ip_whitelist= "172.16.60.0/24,127.0.0.1/8"?? 重啟mysql服務 [root@MGR-node1 ~] # systemctl restart mysqld 登錄mysql進行相關設置操作 [root@MGR-node1 ~] # mysql -p123456 ............ mysql> SET SQL_LOG_BIN=0;? Query OK, 0 rows affected (0.00 sec) mysql> GRANT REPLICATION SLAVE ON *.* TO rpl_slave@ '%' IDENTIFIED BY 'slave@123' ; Query OK, 0 rows affected, 1 warning (0.00 sec) mysql> FLUSH PRIVILEGES; Query OK, 0 rows affected (0.01 sec) mysql> reset master; Query OK, 0 rows affected (0.19 sec) mysql> SET SQL_LOG_BIN=1; Query OK, 0 rows affected (0.00 sec) mysql> CHANGE MASTER TO MASTER_USER= 'rpl_slave' , MASTER_PASSWORD= 'slave@123' FOR CHANNEL 'group_replication_recovery' ; Query OK, 0 rows affected, 2 warnings (0.33 sec) mysql> INSTALL PLUGIN group_replication SONAME 'group_replication.so' ; Query OK, 0 rows affected (0.03 sec) mysql> SHOW PLUGINS; +----------------------------+----------+--------------------+----------------------+---------+ | Name?????????????????????? | Status?? | Type?????????????? | Library????????????? | License | +----------------------------+----------+--------------------+----------------------+---------+ ............... ............... | group_replication????????? | ACTIVE?? | GROUP REPLICATION? | group_replication.so | GPL???? | +----------------------------+----------+--------------------+----------------------+---------+ 46 rows in set (0.00 sec) mysql> SET GLOBAL group_replication_bootstrap_group=ON; Query OK, 0 rows affected (0.00 sec) mysql> START GROUP_REPLICATION; Query OK, 0 rows affected (2.34 sec) mysql> SET GLOBAL group_replication_bootstrap_group=OFF; Query OK, 0 rows affected (0.00 sec) mysql> SELECT * FROM performance_schema.replication_group_members; +---------------------------+--------------------------------------+-------------+-------------+--------------+ | CHANNEL_NAME????????????? | MEMBER_ID??????????????????????????? | MEMBER_HOST | MEMBER_PORT | MEMBER_STATE | +---------------------------+--------------------------------------+-------------+-------------+--------------+ | group_replication_applier | 42ca8591-34bb-11e9-8296-005056ac6820 | MGR-node1?? |??????? 3306 | ONLINE?????? | +---------------------------+--------------------------------------+-------------+-------------+--------------+ 1 row in set (0.00 sec) 比如要保證上面的group_replication_applier的狀態為 "ONLINE" 才對! ?? 創建一個測試庫 mysql> CREATE DATABASE kevin CHARACTER SET utf8 COLLATE utf8_general_ci;????? Query OK, 1 row affected (0.03 sec) ?? mysql> use kevin; Database changed mysql> create table if not exists haha ( id int(10) PRIMARY KEY AUTO_INCREMENT,name varchar(50) NOT NULL); Query OK, 0 rows affected (0.24 sec) ?? mysql> insert into kevin.haha values(1, "wangshibo" ),(2, "guohuihui" ),(3, "yangyang" ),(4, "shikui" );????? Query OK, 4 rows affected (0.07 sec) Records: 4? Duplicates: 0? Warnings: 0 ?? mysql> select * from kevin.haha; +----+-----------+ | id | name????? | +----+-----------+ |? 1 | wangshibo | |? 2 | guohuihui | |? 3 | yangyang? | |? 4 | shikui??? | +----+-----------+ 4 rows in set (0.00 sec) ===================================================================== 2) MGR-node2節點操作 [root@MGR-node2 ~] # cp /etc/my.cnf /etc/my.cnf.bak [root@MGR-node2 ~] # >/etc/my.cnf [root@MGR-node2 ~] # vim /etc/my.cnf [mysqld] datadir = /var/lib/mysql socket = /var/lib/mysql/mysql .sock ?????? symbolic-links = 0 ?????? log-error = /var/log/mysqld .log pid- file = /var/run/mysqld/mysqld .pid ?? #GTID: server_id = 2 gtid_mode = on enforce_gtid_consistency = on ?? master_info_repository=TABLE relay_log_info_repository=TABLE binlog_checksum=NONE ?????? #binlog log_bin = mysql-bin log-slave-updates = 1 binlog_format = row sync -master-info = 1 sync_binlog = 1 ????? #relay log skip_slave_start = 1 ?? transaction_write_set_extraction=XXHASH64 loose-group_replication_group_name= "5db40c3c-180c-11e9-afbf-005056ac6820" loose-group_replication_start_on_boot=off loose-group_replication_local_address= "172.16.60.212:24901" loose-group_replication_group_seeds= "172.16.60.211:24901,172.16.60.212:24901,172.16.60.213:24901" loose-group_replication_bootstrap_group=off loose-group_replication_single_primary_mode=off loose-group_replication_enforce_update_everywhere_checks=on loose-group_replication_ip_whitelist= "172.16.60.0/24,127.0.0.1/8" 重啟mysql服務 [root@MGR-node2 ~] # systemctl restart mysqld 登錄mysql進行相關設置操作 [root@MGR-node2 ~] # mysql -p123456 ......... mysql> SET SQL_LOG_BIN=0; Query OK, 0 rows affected (0.00 sec) mysql> GRANT REPLICATION SLAVE ON *.* TO rpl_slave@ '%' IDENTIFIED BY 'slave@123' ; Query OK, 0 rows affected, 1 warning (0.00 sec) mysql> FLUSH PRIVILEGES; Query OK, 0 rows affected (0.00 sec) mysql> reset master; Query OK, 0 rows affected (0.17 sec) mysql> SET SQL_LOG_BIN=1; Query OK, 0 rows affected (0.00 sec) mysql> CHANGE MASTER TO MASTER_USER= 'rpl_slave' , MASTER_PASSWORD= 'slave@123' FOR CHANNEL 'group_replication_recovery' ; Query OK, 0 rows affected, 2 warnings (0.21 sec) mysql> INSTALL PLUGIN group_replication SONAME 'group_replication.so' ; Query OK, 0 rows affected (0.20 sec) mysql> SHOW PLUGINS; +----------------------------+----------+--------------------+----------------------+---------+ | Name?????????????????????? | Status?? | Type?????????????? | Library????????????? | License | +----------------------------+----------+--------------------+----------------------+---------+ ............. ............. | group_replication????????? | ACTIVE?? | GROUP REPLICATION? | group_replication.so | GPL???? | +----------------------------+----------+--------------------+----------------------+---------+ 46 rows in set (0.00 sec) mysql> START GROUP_REPLICATION; Query OK, 0 rows affected (6.25 sec) mysql> SELECT * FROM performance_schema.replication_group_members; +---------------------------+--------------------------------------+-------------+-------------+--------------+ | CHANNEL_NAME????????????? | MEMBER_ID??????????????????????????? | MEMBER_HOST | MEMBER_PORT | MEMBER_STATE | +---------------------------+--------------------------------------+-------------+-------------+--------------+ | group_replication_applier | 4281f7b7-34bb-11e9-8949-00505688047c | MGR-node2?? |??????? 3306 | ONLINE?????? | | group_replication_applier | 42ca8591-34bb-11e9-8296-005056ac6820 | MGR-node1?? |??????? 3306 | ONLINE?????? | +---------------------------+--------------------------------------+-------------+-------------+--------------+ 2 rows in set (0.00 sec) 查看下,發現已經將MGR-node1節點添加的數據同步過來了 mysql> show databases; +--------------------+ | Database?????????? | +--------------------+ | information_schema | | kevin????????????? | | mysql????????????? | | performance_schema | | sys??????????????? | +--------------------+ 5 rows in set (0.00 sec) mysql> select * from kevin.haha; +----+-----------+ | id | name????? | +----+-----------+ |? 1 | wangshibo | |? 2 | guohuihui | |? 3 | yangyang? | |? 4 | shikui??? | +----+-----------+ 4 rows in set (0.00 sec) ===================================================================== 3) MGR-node3節點操作 [root@MGR-node3 ~] # cp /etc/my.cnf /etc/my.cnf.bak [root@MGR-node3 ~] # >/etc/my.cnf [root@MGR-node3 ~] # vim /etc/my.cnf [mysqld] datadir = /var/lib/mysql socket = /var/lib/mysql/mysql .sock ?????? symbolic-links = 0 ?????? log-error = /var/log/mysqld .log pid- file = /var/run/mysqld/mysqld .pid ?? #GTID: server_id = 3 gtid_mode = on enforce_gtid_consistency = on ?? master_info_repository=TABLE relay_log_info_repository=TABLE binlog_checksum=NONE ?????? #binlog log_bin = mysql-bin log-slave-updates = 1 binlog_format = row sync -master-info = 1 sync_binlog = 1 ????? #relay log skip_slave_start = 1 ?? transaction_write_set_extraction=XXHASH64 loose-group_replication_group_name= "5db40c3c-180c-11e9-afbf-005056ac6820" loose-group_replication_start_on_boot=off loose-group_replication_local_address= "172.16.60.213:24901" loose-group_replication_group_seeds= "172.16.60.211:24901,172.16.60.212:24901,172.16.60.213:24901" loose-group_replication_bootstrap_group=off loose-group_replication_single_primary_mode=off loose-group_replication_enforce_update_everywhere_checks=on loose-group_replication_ip_whitelist= "172.16.60.0/24,127.0.0.1/8" 重啟mysql服務 [root@MGR-node3 ~] # systemctl restart mysqld 登錄mysql進行相關設置操作 [root@MGR-node3 ~] # mysql -p123456 .......... mysql> SET SQL_LOG_BIN=0; Query OK, 0 rows affected (0.00 sec) mysql> GRANT REPLICATION SLAVE ON *.* TO rpl_slave@ '%' IDENTIFIED BY 'slave@123' ; Query OK, 0 rows affected, 1 warning (0.00 sec) mysql> FLUSH PRIVILEGES; Query OK, 0 rows affected (0.01 sec) mysql> reset master; Query OK, 0 rows affected (0.10 sec) mysql> SET SQL_LOG_BIN=1; Query OK, 0 rows affected (0.00 sec) mysql> CHANGE MASTER TO MASTER_USER= 'rpl_slave' , MASTER_PASSWORD= 'slave@123' FOR CHANNEL 'group_replication_recovery' ; Query OK, 0 rows affected, 2 warnings (0.27 sec) mysql> INSTALL PLUGIN group_replication SONAME 'group_replication.so' ; Query OK, 0 rows affected (0.04 sec) mysql> SHOW PLUGINS; +----------------------------+----------+--------------------+----------------------+---------+ | Name?????????????????????? | Status?? | Type?????????????? | Library????????????? | License | +----------------------------+----------+--------------------+----------------------+---------+ ............. | group_replication????????? | ACTIVE?? | GROUP REPLICATION? | group_replication.so | GPL???? | +----------------------------+----------+--------------------+----------------------+---------+ 46 rows in set (0.00 sec) mysql> START GROUP_REPLICATION; Query OK, 0 rows affected (4.54 sec) mysql> SELECT * FROM performance_schema.replication_group_members; +---------------------------+--------------------------------------+-------------+-------------+--------------+ | CHANNEL_NAME????????????? | MEMBER_ID??????????????????????????? | MEMBER_HOST | MEMBER_PORT | MEMBER_STATE | +---------------------------+--------------------------------------+-------------+-------------+--------------+ | group_replication_applier | 4281f7b7-34bb-11e9-8949-00505688047c | MGR-node2?? |??????? 3306 | ONLINE?????? | | group_replication_applier | 42ca8591-34bb-11e9-8296-005056ac6820 | MGR-node1?? |??????? 3306 | ONLINE?????? | | group_replication_applier | 456216bd-34bb-11e9-bbd1-005056880888 | MGR-node3?? |??????? 3306 | ONLINE?????? | +---------------------------+--------------------------------------+-------------+-------------+--------------+ 3 rows in set (0.00 sec) 查看下,發現已經將在其他節點上添加的數據同步過來了 mysql> show databases; +--------------------+ | Database?????????? | +--------------------+ | information_schema | | kevin????????????? | | mysql????????????? | | performance_schema | | sys??????????????? | +--------------------+ 5 rows in set (0.00 sec) mysql> select * from kevin.haha; +----+-----------+ | id | name????? | +----+-----------+ |? 1 | wangshibo | |? 2 | guohuihui | |? 3 | yangyang? | |? 4 | shikui??? | +----+-----------+ 4 rows in set (0.00 sec) ===================================================================== 4) 組復制數據同步測試 在任意一個節點上執行 mysql> SELECT * FROM performance_schema.replication_group_members; +---------------------------+--------------------------------------+-------------+-------------+--------------+ | CHANNEL_NAME????????????? | MEMBER_ID??????????????????????????? | MEMBER_HOST | MEMBER_PORT | MEMBER_STATE | +---------------------------+--------------------------------------+-------------+-------------+--------------+ | group_replication_applier | 2658b203-1565-11e9-9f8b-005056880888 | MGR-node3?? |??????? 3306 | ONLINE?????? | | group_replication_applier | 2c1efc46-1565-11e9-ab8e-00505688047c | MGR-node2?? |??????? 3306 | ONLINE?????? | | group_replication_applier | 317e2aad-1565-11e9-9c2e-005056ac6820 | MGR-node1?? |??????? 3306 | ONLINE?????? | +---------------------------+--------------------------------------+-------------+-------------+--------------+ 3 rows in set (0.00 sec) ?? 如上,說明已經在MGR-node1、MGR-node2、MGR-node3 三個節點上成功部署了基于GTID的組復制同步環境。 現在在三個節點中的任意一個上面更新數據,那么其他兩個節點的數據庫都會將新數據同步過去的! ?? 1)在MGR-node1節點數據庫更新數據 mysql> delete from kevin.haha where id >2; Query OK, 2 rows affected (0.14 sec) ?? 接著在MGR-node2、MGR-node3節點數據庫查看,發現更新后數據已經同步過來了! mysql> select * from kevin.haha; +----+-----------+ | id | name????? | +----+-----------+ |? 1 | wangshibo | |? 2 | guohuihui | +----+-----------+ 2 rows in set (0.00 sec) ?? 2)在MGR-node2節點數據庫更新數據 mysql> insert into kevin.haha values(11, "beijing" ),(12, "shanghai" ),(13, "anhui" ); Query OK, 3 rows affected (0.06 sec) Records: 3? Duplicates: 0? Warnings: 0 ?? 接著在MGR-node1、MGR-node3節點數據庫查看,發現更新后數據已經同步過來了! mysql> select * from kevin.haha; +----+-----------+ | id | name????? | +----+-----------+ |? 1 | wangshibo | |? 2 | guohuihui | | 11 | beijing?? | | 12 | shanghai? | | 13 | anhui???? | +----+-----------+ 5 rows in set (0.00 sec) ?? 3)在MGR-node3節點數據庫更新數據 mysql> update kevin.haha set id =100 where name= "anhui" ; Query OK, 1 row affected (0.16 sec) Rows matched: 1? Changed: 1? Warnings: 0 ?? mysql> delete from kevin.haha where id =12; Query OK, 1 row affected (0.22 sec) ?? 接著在MGR-node1、MGR-node2節點數據庫查看,發現更新后數據已經同步過來了! mysql> select * from kevin.haha; +-----+-----------+ | id? | name????? | +-----+-----------+ |?? 1 | wangshibo | |?? 2 | guohuihui | |? 11 | beijing?? | | 100 | anhui???? | +-----+-----------+ 4 rows in set (0.00 sec)

四、ProxySQL讀寫分離和主節點故障無感知切換

1) 安裝mysql客戶端,用于在本機連接到ProxySQL的管理接口

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 [root@ProxySQL-node ~] # vim /etc/yum.repos.d/mariadb.repo [mariadb] name = MariaDB baseurl = http: //yum .mariadb.org /10 .3.5 /centos6-amd64 gpgkey=https: //yum .mariadb.org /RPM-GPG-KEY-MariaDB gpgcheck=1 ???? 安裝mysql-clinet客戶端 [root@ProxySQL-node ~] # yum install -y MariaDB-client ??? ============================================================================ 如果遇到報錯: Error: MariaDB-compat conflicts with 1:mariadb-libs-5.5.60-1.el7_5.x86_64 ? You could try using --skip-broken to work around the problem ? You could try running: rpm -Va --nofiles --nodigest ???? 解決辦法: [root@ProxySQL-node ~] # rpm -qa|grep mariadb mariadb-libs-5.5.60-1.el7_5.x86_64 ?? [root@ProxySQL-node ~] # rpm -e mariadb-libs-5.5.60-1.el7_5.x86_64 --nodeps [root@ProxySQL-node ~] # yum install -y MariaDB-client

2) 安裝proxysql

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 proxysql的rpm包下載地址: https: //pan .baidu.com /s/1S1_b5DKVCpZSOUNmtCXrrg 提取密碼: 5t1c ??? [root@ProxySQL-node ~] # yum install -y perl-DBI perl-DBD-MySQL [root@ProxySQL-node ~] # rpm -ivh proxysql-1.4.8-1-centos7.x86_64.rpm --force ??? 啟動proxysql [root@ProxySQL-node ~] # /etc/init.d/proxysql start Starting ProxySQL: DONE! [root@ProxySQL-node ~] # ss -lntup|grep proxy??? tcp??? LISTEN???? 0????? 128?????? *:6080????????????????? *:*?????????????????? users :(( "proxysql" ,pid=29931,fd=11)) tcp??? LISTEN???? 0????? 128?????? *:6032????????????????? *:*?????????????????? users :(( "proxysql" ,pid=29931,fd=28)) tcp??? LISTEN???? 0????? 128?????? *:6033????????????????? *:*?????????????????? users :(( "proxysql" ,pid=29931,fd=27)) tcp??? LISTEN???? 0????? 128?????? *:6033????????????????? *:*?????????????????? users :(( "proxysql" ,pid=29931,fd=26)) tcp??? LISTEN???? 0????? 128?????? *:6033????????????????? *:*?????????????????? users :(( "proxysql" ,pid=29931,fd=25)) tcp??? LISTEN???? 0????? 128?????? *:6033????????????????? *:*?????????????????? users :(( "proxysql" ,pid=29931,fd=24)) ??? [root@ProxySQL-node ~] # mysql -uadmin -padmin -h127.0.0.1 -P6032 ............ ............ MySQL [(none)]> show databases; +-----+---------------+-------------------------------------+ | seq | name????????? | file??????????????????????????????? | +-----+---------------+-------------------------------------+ | 0?? | main????????? |???????????????????????????????????? | | 2?? | disk????????? | /var/lib/proxysql/proxysql .db?????? | | 3?? | stats???????? |???????????????????????????????????? | | 4?? | monitor?????? |???????????????????????????????????? | | 5?? | stats_history | /var/lib/proxysql/proxysql_stats .db | +-----+---------------+-------------------------------------+ 5 rows in set (0.000 sec) 接著初始化Proxysql,將之前的proxysql數據都刪除 MySQL [(none)]> delete from scheduler ; Query OK, 0 rows affected (0.000 sec) ?? MySQL [(none)]> delete from mysql_servers; Query OK, 3 rows affected (0.000 sec) ?? MySQL [(none)]> delete from mysql_users; Query OK, 1 row affected (0.000 sec) ?? MySQL [(none)]> delete from mysql_query_rules; Query OK, 0 rows affected (0.000 sec) ?? MySQL [(none)]> delete from mysql_group_replication_hostgroups ; Query OK, 1 row affected (0.000 sec) ?? MySQL [(none)]> LOAD MYSQL VARIABLES TO RUNTIME; Query OK, 0 rows affected (0.000 sec) ?? MySQL [(none)]> SAVE MYSQL VARIABLES TO DISK; Query OK, 94 rows affected (0.175 sec) ?? MySQL [(none)]> LOAD MYSQL SERVERS TO RUNTIME; Query OK, 0 rows affected (0.003 sec) ?? MySQL [(none)]> SAVE MYSQL SERVERS TO DISK; Query OK, 0 rows affected (0.140 sec) ?? MySQL [(none)]> LOAD MYSQL USERS TO RUNTIME; Query OK, 0 rows affected (0.000 sec) ?? MySQL [(none)]> SAVE MYSQL USERS TO DISK; Query OK, 0 rows affected (0.050 sec) ?? MySQL [(none)]> LOAD SCHEDULER TO RUNTIME; Query OK, 0 rows affected (0.000 sec) ?? MySQL [(none)]> SAVE SCHEDULER TO DISK; Query OK, 0 rows affected (0.096 sec) ?? MySQL [(none)]> LOAD MYSQL QUERY RULES TO RUNTIME; Query OK, 0 rows affected (0.000 sec) ?? MySQL [(none)]> SAVE MYSQL QUERY RULES TO DISK; Query OK, 0 rows affected (0.156 sec) ?? MySQL [(none)]>

3)在數據庫端建立proxysql登入需要的帳號 (在三個MGR任意一個節點上操作,會自動同步到其他節點)

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 [root@MGR-node1 ~] # mysql -p123456 ......... mysql> CREATE USER 'proxysql' @ '%' IDENTIFIED BY 'proxysql' ;??? Query OK, 0 rows affected (0.07 sec) mysql> GRANT ALL ON * . * TO? 'proxysql' @ '%' ; Query OK, 0 rows affected (0.06 sec) mysql> create user 'sbuser' @ '%' IDENTIFIED BY 'sbpass' ;??? Query OK, 0 rows affected (0.05 sec) mysql> GRANT ALL ON * . * TO 'sbuser' @ '%' ;? Query OK, 0 rows affected (0.08 sec) mysql> FLUSH PRIVILEGES;??? Query OK, 0 rows affected (0.07 sec)

4) 創建檢查MGR節點狀態的函數和視圖 (在三個MGR任意一個節點上操作,會自動同步到其他節點)

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 在MGR-node1節點上,創建系統視圖sys.gr_member_routing_candidate_status,該視圖將為ProxySQL提供組復制相關的監控狀態指標。 下載addition_to_sys.sql腳本,在MGR-node1節點執行如下語句導入MySQL即可 (在mgr-node1節點的mysql執行后,會同步到其他兩個節點上)。 ?? 下載地址: https: //pan .baidu.com /s/1bNYHtExy2fmqwvEyQS3sWg 提取密碼:wst7 [root@MGR-node1 ~] # vim /root/addition_to_sys.sql USE sys; ?? DELIMITER $$ ?? CREATE FUNCTION IFZERO(a INT, b INT) RETURNS INT DETERMINISTIC RETURN IF(a = 0, b, a)$$ ?? CREATE FUNCTION LOCATE2(needle TEXT(10000), haystack TEXT(10000), offset INT) RETURNS INT DETERMINISTIC RETURN IFZERO(LOCATE(needle, haystack, offset), LENGTH(haystack) + 1)$$ ?? CREATE FUNCTION GTID_NORMALIZE(g TEXT(10000)) RETURNS TEXT(10000) DETERMINISTIC RETURN GTID_SUBTRACT(g, '' )$$ ?? CREATE FUNCTION GTID_COUNT(gtid_set TEXT(10000)) RETURNS INT DETERMINISTIC BEGIN ?? DECLARE result BIGINT DEFAULT 0; ?? DECLARE colon_pos INT; ?? DECLARE next_dash_pos INT; ?? DECLARE next_colon_pos INT; ?? DECLARE next_comma_pos INT; ?? SET gtid_set = GTID_NORMALIZE(gtid_set); ?? SET colon_pos = LOCATE2( ':' , gtid_set, 1); ?? WHILE colon_pos != LENGTH(gtid_set) + 1 DO ????? SET next_dash_pos = LOCATE2( '-' , gtid_set, colon_pos + 1); ????? SET next_colon_pos = LOCATE2( ':' , gtid_set, colon_pos + 1); ????? SET next_comma_pos = LOCATE2( ',' , gtid_set, colon_pos + 1); ????? IF next_dash_pos < next_colon_pos AND next_dash_pos < next_comma_pos THEN ??????? SET result = result + ????????? SUBSTR(gtid_set, next_dash_pos + 1, ???????????????? LEAST(next_colon_pos, next_comma_pos) - (next_dash_pos + 1)) - ????????? SUBSTR(gtid_set, colon_pos + 1, next_dash_pos - (colon_pos + 1)) + 1; ????? ELSE ??????? SET result = result + 1; ????? END IF; ????? SET colon_pos = next_colon_pos; ?? END WHILE; ?? RETURN result; END$$ ?? CREATE FUNCTION gr_applier_queue_length() RETURNS INT DETERMINISTIC BEGIN ?? RETURN (SELECT sys.gtid_count( GTID_SUBTRACT( (SELECT Received_transaction_set FROM performance_schema.replication_connection_status WHERE Channel_name = 'group_replication_applier' ), (SELECT @@global.GTID_EXECUTED) ))); END$$ ?? CREATE FUNCTION gr_member_in_primary_partition() RETURNS VARCHAR(3) DETERMINISTIC BEGIN ?? RETURN (SELECT IF( MEMBER_STATE= 'ONLINE' AND ((SELECT COUNT(*) FROM performance_schema.replication_group_members WHERE MEMBER_STATE != 'ONLINE' ) >= ((SELECT COUNT(*) FROM performance_schema.replication_group_members) /2 ) = 0), 'YES' , 'NO' ) FROM performance_schema.replication_group_members JOIN performance_schema.replication_group_member_stats USING(member_id)); END$$ ?? CREATE VIEW gr_member_routing_candidate_status AS SELECT sys.gr_member_in_primary_partition() as viable_candidate, IF( (SELECT (SELECT GROUP_CONCAT(variable_value) FROM performance_schema.global_variables WHERE variable_name IN ( 'read_only' , 'super_read_only' )) != 'OFF,OFF' ), 'YES' , 'NO' ) as read_only, sys.gr_applier_queue_length() as transactions_behind, Count_Transactions_in_queue as 'transactions_to_cert' from performance_schema.replication_group_member_stats;$$ ?? DELIMITER ; 導入addition_to_sys.sql文件數據 [root@MGR-node1 ~] # mysql -p123456 < /root/addition_to_sys.sql mysql: [Warning] Using a password on the command line interface can be insecure. 在三個mysql節點上可以查看該視圖: [root@MGR-node1 ~] # mysql -p123456 ............ mysql> select * from sys.gr_member_routing_candidate_status; +------------------+-----------+---------------------+----------------------+ | viable_candidate | read_only | transactions_behind | transactions_to_cert | +------------------+-----------+---------------------+----------------------+ | YES????????????? | NO??????? |?????????????????? 0 |??????????????????? 0 | +------------------+-----------+---------------------+----------------------+ 1 row in set (0.01 sec)

5) 在proxysql中增加帳號

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 [root@ProxySQL-node ~] # mysql -uadmin -padmin -h127.0.0.1 -P6032 ........... MySQL [(none)]> INSERT INTO MySQL_users(username,password,default_hostgroup) VALUES ( 'proxysql' , 'proxysql' ,1); Query OK, 1 row affected (0.000 sec) ?? MySQL [(none)]> UPDATE global_variables SET variable_value= 'proxysql' where variable_name= 'mysql-monitor_username' ;?? Query OK, 1 row affected (0.001 sec) ?? MySQL [(none)]> UPDATE global_variables SET variable_value= 'proxysql' where variable_name= 'mysql-monitor_password' ; Query OK, 1 row affected (0.002 sec) ?? MySQL [(none)]> LOAD MYSQL SERVERS TO RUNTIME; Query OK, 0 rows affected (0.006 sec) ?? MySQL [(none)]> SAVE MYSQL SERVERS TO DISK; Query OK, 0 rows affected (0.387 sec) ?? 測試一下能否正常登入數據庫 [root@ProxySQL-node ~] # mysql -uproxysql -pproxysql -h 127.0.0.1 -P6033 -e"select @@hostname" +------------+ | @@ hostname | +------------+ | MGR-node1? | +------------+ =================================================================== 如果上面測試登錄時報錯: [root@ProxySQL-node ~] #? mysql -uproxysql -pproxysql -h 127.0.0.1 -P6033 -e"select @@hostname" ERROR 1045 (28000): ProxySQL Error: Access denied for user 'proxysql' @ '127.0.0.1' (using password: YES) 但是檢查發現,明明用戶名和密碼已經修改成proxysql:proxysql了 MySQL [(none)]> select * from global_variables;?? .......... | mysql-interfaces??????????????????????????????????? | 0.0.0.0:6033?????? | | mysql-default_schema??????????????????????????????? | information_schema | | mysql-stacksize???????????????????????????????????? | 1048576??????????? | | mysql-server_version??????????????????????????????? | 5.5.30???????????? | | mysql-connect_timeout_server??????????????????????? | 3000?????????????? | | mysql-monitor_username????????????????????????????? | proxysql?????????? | | mysql-monitor_password????????????????????????????? | proxysql?????????? | 解決辦法: 依次執行下面的命令 MySQL [(none)]> LOAD MYSQL VARIABLES TO RUNTIME; MySQL [(none)]> SAVE MYSQL VARIABLES TO DISK; MySQL [(none)]> LOAD MYSQL SERVERS TO RUNTIME; MySQL [(none)]> SAVE MYSQL SERVERS TO DISK; MySQL [(none)]> LOAD MYSQL USERS TO RUNTIME; MySQL [(none)]> SAVE MYSQL USERS TO DISK; MySQL [(none)]> LOAD SCHEDULER TO RUNTIME; MySQL [(none)]> SAVE SCHEDULER TO DISK; MySQL [(none)]> LOAD MYSQL QUERY RULES TO RUNTIME; MySQL [(none)]> SAVE MYSQL QUERY RULES TO DISK; ========================================================= 如果測試登錄再出現: [root@ProxySQL-node ~] # mysql -uproxysql -pproxysql -h 127.0.0.1 -P6033 -e"select @@hostname" ERROR 9001 (HY000) at line 1: Max connect timeout reached while reaching hostgroup 1 after 10000ms 這是因為后端三個mysql的MGR節點還沒有加入到proxysql中的原因,再進行完下面的步驟 "配置proxysql" 后就可以了 [root@ProxySQL-node ~] # mysql -uproxysql -pproxysql -h 127.0.0.1 -P6033 -e"select @@hostname" +------------+ | @@ hostname | +------------+ | MGR-node1? | +------------+

6) 配置proxysql

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 [root@ProxySQL-node ~] # mysql -uadmin -padmin -h127.0.0.1 -P6032? ............. MySQL [(none)]> delete from mysql_servers; Query OK, 3 rows affected (0.000 sec) ?? MySQL [(none)]> insert into mysql_servers (hostgroup_id, hostname , port) values(1, '172.16.60.211' ,3306); Query OK, 1 row affected (0.001 sec) ?? MySQL [(none)]> insert into mysql_servers (hostgroup_id, hostname , port) values(1, '172.16.60.212' ,3306); Query OK, 1 row affected (0.000 sec) ?? MySQL [(none)]> insert into mysql_servers (hostgroup_id, hostname , port) values(1, '172.16.60.213' ,3306); Query OK, 1 row affected (0.000 sec) ?? MySQL [(none)]> insert into mysql_servers (hostgroup_id, hostname , port) values(2, '172.16.60.211' ,3306); Query OK, 1 row affected (0.000 sec) ?? MySQL [(none)]> insert into mysql_servers (hostgroup_id, hostname , port) values(2, '172.16.60.212' ,3306); Query OK, 1 row affected (0.000 sec) ?? MySQL [(none)]> insert into mysql_servers (hostgroup_id, hostname , port) values(2, '172.16.60.213' ,3306); Query OK, 1 row affected (0.000 sec) ?? MySQL [(none)]> select * from? mysql_servers ; +--------------+---------------+------+--------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | hostgroup_id | hostname????? | port | status | weight | compression | max_connections | max_replication_lag | use_ssl | max_latency_ms | comment | +--------------+---------------+------+--------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | 1??????????? | 172.16.60.211 | 3306 | ONLINE | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 1??????????? | 172.16.60.212 | 3306 | ONLINE | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 1??????????? | 172.16.60.213 | 3306 | ONLINE | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.211 | 3306 | ONLINE | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.212 | 3306 | ONLINE | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.213 | 3306 | ONLINE | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | +--------------+---------------+------+--------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ 6 rows in set (0.001 sec) ?? hostgroup_id = 1代表write group,針對我們提出的限制,這個地方只配置了一個節點; hostgroup_id = 2代表 read group,包含了MGR的所有節點,目前只是Onlinle的,等配置過scheduler后,status就會有變化 。 ?? 對于上面的hostgroup配置,默認所有的寫操作會發送到hostgroup_id為1的online節點,也就是發送到寫節點上。 所有的讀操作,會發送為hostgroup_id為2的online節點。 ?? 需要確認一下沒有使用proxysql的讀寫分離規則(因為之前測試中配置了這個地方,所以需要刪除,以免影響后面的測試)。 MySQL [(none)]> delete from mysql_query_rules; Query OK, 2 rows affected (0.000 sec) ?? MySQL [(none)]> commit; Query OK, 0 rows affected (0.000 sec) ?? 最后需要將global_variables,mysql_servers、mysql_users表的信息加載到RUNTIME,更進一步加載到DISK: MySQL [(none)]> LOAD MYSQL VARIABLES TO RUNTIME; Query OK, 0 rows affected (0.001 sec) ?? MySQL [(none)]> SAVE MYSQL VARIABLES TO DISK; Query OK, 94 rows affected (0.080 sec) ?? MySQL [(none)]> LOAD MYSQL SERVERS TO RUNTIME; Query OK, 0 rows affected (0.003 sec) ?? MySQL [(none)]> SAVE MYSQL SERVERS TO DISK; Query OK, 0 rows affected (0.463 sec) ?? MySQL [(none)]> LOAD MYSQL USERS TO RUNTIME; Query OK, 0 rows affected (0.001 sec) ?? MySQL [(none)]> SAVE MYSQL USERS TO DISK; Query OK, 0 rows affected (0.134 sec) 再次驗證proxysql登錄 [root@ProxySQL-node ~] # mysql -uproxysql -pproxysql -h 127.0.0.1 -P6033 -e"select @@hostname" +------------+ | @@ hostname | +------------+ | MGR-node1? | +------------+

7)配置scheduler
首先,請在Github地址https://github.com/ZzzCrazyPig/proxysql_groupreplication_checker下載相應的腳本
這個地址有三個腳本可供下載:
proxysql_groupreplication_checker.sh用于multi-primary模式,可以實現讀寫分離,以及故障切換,同一時間點多個節點可以多寫;
gr_mw_mode_cheker.sh用于multi-primary模式,可以實現讀寫分離,以及故障切換,不過在同一時間點只能有一個節點能寫;
gr_sw_mode_checker.sh用于single-primary模式,可以實現讀寫分離,以及故障切換;
由于這里實驗的環境是multi-primary模式,所以選擇proxysql_groupreplication_checker.sh腳本。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 三個腳本我已打包放在了百度云盤上,下載地址:https: //pan .baidu.com /s/1lUzr58BSA_U7wmYwsRcvzQ 提取密碼:9rm7 將下載的腳本proxysql_groupreplication_checker.sh放到目錄 /var/lib/proxysql/ 下,并增加可以執行的權限: [root@ProxySQL-node ~] # chmod a+x /var/lib/proxysql/proxysql_groupreplication_checker.sh [root@ProxySQL-node ~] # ll /var/lib/proxysql/proxysql_groupreplication_checker.sh?????? -rwxr-xr-x 1 root root 6081 Feb 20 14:25 /var/lib/proxysql/proxysql_groupreplication_checker .sh 最后,在proxysql的scheduler表里面加載如下記錄,然后加載到RUNTIME使其生效,同時還可以持久化到磁盤: 執行語句" INSERT INTO scheduler( id ,interval_ms,filename,arg1,arg2,arg3,arg4, arg5) VALUES (1, '10000' , '/var/lib/proxysql/proxysql_groupreplication_checker.sh' , '1' , '2' , '1' , '0' , '/var/lib/proxysql/proxysql_groupreplication_checker.log' );" 如下: [root@ProxySQL-node ~] # mysql -uadmin -padmin -h127.0.0.1 -P6032 .............. MySQL [(none)]> INSERT INTO scheduler( id ,interval_ms,filename,arg1,arg2,arg3,arg4, arg5) VALUES (1, '10000' , '/var/lib/proxysql/proxysql_groupreplication_checker.sh' , '1' , '2' , '1' , '0' , '/var/lib/proxysql/proxysql_groupreplication_checker.log' ); Query OK, 1 row affected (0.000 sec) MySQL [(none)]> select * from scheduler; +----+--------+-------------+--------------------------------------------------------+------+------+------+------+---------------------------------------------------------+---------+ | id | active | interval_ms | filename?????????????????????????????????????????????? | arg1 | arg2 | arg3 | arg4 | arg5??????????????????????????????????????????????????? | comment | +----+--------+-------------+--------------------------------------------------------+------+------+------+------+---------------------------------------------------------+---------+ | 1? | 1????? | 10000?????? | /var/lib/proxysql/proxysql_groupreplication_checker .sh | 1??? | 2??? | 1??? | 0??? | /var/lib/proxysql/proxysql_groupreplication_checker .log |???????? | +----+--------+-------------+--------------------------------------------------------+------+------+------+------+---------------------------------------------------------+---------+ 1 row in set (0.000 sec) MySQL [(none)]> LOAD SCHEDULER TO RUNTIME; Query OK, 0 rows affected (0.001 sec) MySQL [(none)]> SAVE SCHEDULER TO DISK; Query OK, 0 rows affected (0.118 sec) ============================================================================== scheduler各column的說明: active : 1: enable scheduler to schedule the script we provide interval_ms : invoke one by one in cycle (eg: 5000(ms) = 5s represent every 5s invoke the script) filename: represent the script file path arg1~arg5: represent the input parameters the script received 腳本proxysql_groupreplication_checker.sh對應的參數說明如下: arg1 is the hostgroup_id for write arg2 is the hostgroup_id for read arg3 is the number of writers we want active at the same time arg4 represents if we want that the member acting for writes is also candidate for reads arg5 is the log file schedule信息加載后,就會分析當前的環境,mysql_servers中顯示出當前只有172.16.60.211是可以寫的, 172.16.60.212以及172.16.60.213是用來讀的。 MySQL [(none)]> select * from? mysql_servers ;????????????? // 上面操作后,稍等一會兒后執行此命令才會有下面的結果 +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | hostgroup_id | hostname????? | port | status?????? | weight | compression | max_connections | max_replication_lag | use_ssl | max_latency_ms | comment | +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | 1??????????? | 172.16.60.211 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 1??????????? | 172.16.60.212 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 1??????????? | 172.16.60.213 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.211 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.212 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.213 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ 6 rows in set (0.000 sec) 因為schedule的arg4,我這里設為了0,就表示可寫的節點不能用于讀。那我將arg4設置為1試一下: MySQL [(none)]> update scheduler set arg4=1; Query OK, 1 row affected (0.000 sec) MySQL [(none)]> select * from scheduler; +----+--------+-------------+--------------------------------------------------------+------+------+------+------+---------------------------------------------------------+---------+ | id | active | interval_ms | filename?????????????????????????????????????????????? | arg1 | arg2 | arg3 | arg4 | arg5??????????????????????????????????????????????????? | comment | +----+--------+-------------+--------------------------------------------------------+------+------+------+------+---------------------------------------------------------+---------+ | 1? | 1????? | 10000?????? | /var/lib/proxysql/proxysql_groupreplication_checker .sh | 1??? | 2??? | 1??? | 1??? | /var/lib/proxysql/proxysql_groupreplication_checker .log |???????? | +----+--------+-------------+--------------------------------------------------------+------+------+------+------+---------------------------------------------------------+---------+ 1 row in set (0.000 sec) MySQL [(none)]> SAVE SCHEDULER TO DISK; Query OK, 0 rows affected (0.286 sec) MySQL [(none)]> LOAD SCHEDULER TO RUNTIME; Query OK, 0 rows affected (0.000 sec) MySQL [(none)]> select * from? mysql_servers;????????? // 上面操作后,稍微等一會兒執行此命令才會有下面的結果 +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | hostgroup_id | hostname????? | port | status?????? | weight | compression | max_connections | max_replication_lag | use_ssl | max_latency_ms | comment | +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | 1??????????? | 172.16.60.211 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 1??????????? | 172.16.60.212 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 1??????????? | 172.16.60.213 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.211 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.212 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.213 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ 6 rows in set (0.000 sec) arg4設置為1之后,172.16.60.211節點用來寫的同時,也可以被用來讀。 便于下面的測試還是將arg4設為0: MySQL [(none)]> update scheduler set arg4=0; Query OK, 1 row affected (0.000 sec) MySQL [(none)]> SAVE SCHEDULER TO DISK; Query OK, 0 rows affected (0.197 sec) MySQL [(none)]> LOAD SCHEDULER TO RUNTIME; Query OK, 0 rows affected (0.000 sec) MySQL [(none)]> select * from? mysql_servers;???????????? // 稍微等一會兒執行此命令,才會有下面的結果 +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | hostgroup_id | hostname????? | port | status?????? | weight | compression | max_connections | max_replication_lag | use_ssl | max_latency_ms | comment | +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | 1??????????? | 172.16.60.211 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 1??????????? | 172.16.60.212 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 1??????????? | 172.16.60.213 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.211 | 3306 | OFFLINE_SORT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.212 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.213 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ 6 rows in set (0.000 sec) 各個節點的gr_member_routing_candidate_status視圖也顯示了當前節點是否是正常狀態的, proxysql就是讀取的這個視圖的信息來決定此節點是否可用。 [root@MGR-node1 ~] # mysql -p123456????????????? ........... mysql> select * from sys.gr_member_routing_candidate_status\G; *************************** 1. row *************************** ???? viable_candidate: YES ??????????? read_only: NO ? transactions_behind: 0 transactions_to_cert: 0 1 row in set (0.00 sec) ERROR: No query specified

8) 設置讀寫分離

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 MySQL [(none)]> insert into mysql_query_rules (active, match_pattern, destination_hostgroup, apply) values (1, "^SELECT" ,2,1); Query OK, 1 row affected (0.001 sec) MySQL [(none)]> LOAD MYSQL QUERY RULES TO RUNTIME; Query OK, 0 rows affected (0.001 sec) MySQL [(none)]> SAVE MYSQL QUERY RULES TO DISK; Query OK, 0 rows affected (0.264 sec) 解釋說明: match_pattern的規則是基于正則表達式的, active表示是否啟用這個sql路由項, match_pattern就是我們正則匹配項, destination_hostgroup表示我們要將該類sql轉發到哪些mysql上面去,這里我們將 select 轉發到group 2,。 apply為1表示該正則匹配后,將不再接受其他匹配,直接轉發。 對于 for update需要在gruop1上執行,可以加上規則: MySQL [(none)]> insert into mysql_query_rules(active,match_pattern,destination_hostgroup,apply) values(1, '^SELECT.*FOR UPDATE$' ,1,1); Query OK, 1 row affected (0.001 sec) 在proxysql本機或其他客戶機上檢查下, select 語句,一直連接的是172.16.60.212和172.16.60.213 [root@MGR-node3 ~] # mysql -uproxysql -pproxysql -h172.16.60.214 -P6033 -e "select @@hostname" mysql: [Warning] Using a password on the command line interface can be insecure. +------------+ | @@ hostname | +------------+ | MGR-node3? | +------------+ [root@MGR-node3 ~] # mysql -uproxysql -pproxysql -h172.16.60.214 -P6033 -e "select @@hostname" mysql: [Warning] Using a password on the command line interface can be insecure. +------------+ | @@ hostname | +------------+ | MGR-node2? | +------------+ [root@MGR-node3 ~] # mysql -uproxysql -pproxysql -h172.16.60.214 -P6033 -e "select @@hostname" mysql: [Warning] Using a password on the command line interface can be insecure. +------------+ | @@ hostname | +------------+ | MGR-node2? | +------------+ [root@MGR-node3 ~] # mysql -uproxysql -pproxysql -h172.16.60.214 -P6033 -e "select @@hostname" mysql: [Warning] Using a password on the command line interface can be insecure. +------------+ | @@ hostname | +------------+ | MGR-node3? | +------------+

9) 驗證數據的讀寫分離效果

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 [root@ProxySQL-node ~] # mysql -uproxysql -pproxysql -h172.16.60.214 -P6033 -e "select @@hostname"?? +------------+ | @@ hostname | +------------+ | MGR-node2? | +------------+ [root@ProxySQL-node ~] # mysql -uproxysql -pproxysql -h172.16.60.214 -P6033 -e "select * from kevin.haha" +-----+-----------+ | id? | name????? | +-----+-----------+ |?? 1 | wangshibo | |?? 2 | guohuihui | |? 11 | beijing?? | | 100 | anhui???? | +-----+-----------+ [root@ProxySQL-node ~] # mysql -uproxysql -pproxysql -h172.16.60.214 -P6033 -e "delete from kevin.haha where id=1;"????????????????????? [root@ProxySQL-node ~] # mysql -uproxysql -pproxysql -h172.16.60.214 -P6033 -e "delete from kevin.haha where id=2;" [root@ProxySQL-node ~] # mysql -uproxysql -pproxysql -h172.16.60.214 -P6033 -e "select * from kevin.haha"??????????????? +-----+---------+ | id? | name??? | +-----+---------+ |? 11 | beijing | | 100 | anhui?? | +-----+---------+ [root@ProxySQL-node ~] # mysql -uproxysql -pproxysql -h172.16.60.214 -P6033 -e 'insert into kevin.haha values(21,"zhongguo"),(22,"xianggang"),(23,"taiwan");' [root@ProxySQL-node ~] # mysql -uproxysql -pproxysql -h172.16.60.214 -P6033 -e "select * from kevin.haha"??????????????????????????????? +-----+-----------+ | id? | name????? | +-----+-----------+ |? 11 | beijing?? | |? 21 | zhongguo? | |? 22 | xianggang | |? 23 | taiwan??? | | 100 | anhui???? | 最后在proxysql管理端查看讀寫分離情況 [root@ProxySQL-node ~] # mysql -uadmin -padmin -h 127.0.0.1 -P6032 .......... MySQL [(none)]> select hostgroup,username,digest_text,count_star from stats_mysql_query_digest; +-----------+----------+------------------------------------------------------+------------+ | hostgroup | username | digest_text????????????????????????????????????????? | count_star | +-----------+----------+------------------------------------------------------+------------+ | 1???????? | proxysql | insert into kevin.haha values(?,?),(?,?),(?,?)?????? | 1????????? | | 1???????? | proxysql | insert into kevin.haha values(?,yangyang)??????????? | 1????????? | | 1???????? | proxysql | delete from kevin.haha where id =???????????????????? | 2????????? | | 1???????? | proxysql | select @@version_comment limit ????????????????????? | 120??????? | | 1???????? | proxysql | KILL ??????????????????????????????????????????????? | 8????????? | | 1???????? | proxysql | select @@ hostname??????????????????????????????????? | 11???????? | | 1???????? | proxysql | KILL QUERY ????????????????????????????????????????? | 10???????? | | 2???????? | proxysql | select @@ hostname , sleep (?)????????????????????????? | 53???????? | | 1???????? | proxysql | insert into kevin.haha values(?,yangyang),(?,shikui) | 2????????? | | 1???????? | proxysql | show databases?????????????????????????????????????? | 1????????? | | 2???????? | proxysql | select @@ hostname??????????????????????????????????? | 31???????? | | 2???????? | proxysql | select * from kevin.haha???????????????????????????? | 4????????? | | 1???????? | proxysql | insert into kevin.haha values(?,wawa)??????????????? | 3????????? | +-----------+----------+------------------------------------------------------+------------+ 13 rows in set (0.002 sec) MySQL [(none)]> select * from? mysql_servers; +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | hostgroup_id | hostname????? | port | status?????? | weight | compression | max_connections | max_replication_lag | use_ssl | max_latency_ms | comment | +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | 1??????????? | 172.16.60.211 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 1??????????? | 172.16.60.212 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 1??????????? | 172.16.60.213 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.211 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.212 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.213 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ 6 rows in set (0.000 sec) 通過上面可以看到: 寫操作都分配到了group1組內,即寫操作分配到172.16.60.211節點上。 讀操作都分配到了group2組內,即讀操作分配到172.16.60.212、172.16.60.213節點上。

10)設置故障應用無感應

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 在上面的讀寫分離規則中,我設置了172.16.60.211為可寫節點,172.16.60.212,172.16.60.213為只讀節點 如果此時172.16.60.211變成只讀模式的話,應用能不能直接連到其它的節點進行寫操作? ?? 現手動將172.16.60.211變成只讀模式: [root@MGR-node1 ~] # mysql -p123456 ........ mysql> set global read_only=1; Query OK, 0 rows affected (0.00 sec) ?? 接著觀察一下mysql_servers的狀態,自動將group1的172.16.60.212改成了online,group2的172.16.60.211, 172.16.60.213變成online了,就表示將172.16.60.212變為可寫節點,其它兩個節點變為只讀節點了。 ?? [root@ProxySQL-node ~] # mysql -uadmin -padmin -h 127.0.0.1 -P6032 ........ MySQL [(none)]> select * from? mysql_servers; +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | hostgroup_id | hostname????? | port | status?????? | weight | compression | max_connections | max_replication_lag | use_ssl | max_latency_ms | comment | +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | 1??????????? | 172.16.60.211 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 1??????????? | 172.16.60.212 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 1??????????? | 172.16.60.213 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.211 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.212 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.213 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ 6 rows in set (0.001 sec) ?? 通過模擬的連接也可以看到 select 語句都連接到172.16.60.211和172.16.60.213進行了。 (模擬時可以稍微間隔一段時間,快速測試可能會連接同一個讀節點) [root@MGR-node3 ~] # mysql -uproxysql -pproxysql -h172.16.60.214 -P6033 -e "select @@hostname" mysql: [Warning] Using a password on the command line interface can be insecure. +------------+ | @@ hostname | +------------+ | MGR-node3? | +------------+ [root@MGR-node3 ~] # mysql -uproxysql -pproxysql -h172.16.60.214 -P6033 -e "select @@hostname" mysql: [Warning] Using a password on the command line interface can be insecure. +------------+ | @@ hostname | +------------+ | MGR-node1? | +------------+ [root@MGR-node3 ~] # mysql -uproxysql -pproxysql -h172.16.60.214 -P6033 -e "select @@hostname" mysql: [Warning] Using a password on the command line interface can be insecure. +------------+ | @@ hostname | +------------+ | MGR-node3? | +------------+ [root@MGR-node3 ~] # mysql -uproxysql -pproxysql -h172.16.60.214 -P6033 -e "select @@hostname" mysql: [Warning] Using a password on the command line interface can be insecure. +------------+ | @@ hostname | +------------+ | MGR-node1? | +------------+ [root@MGR-node3 ~] # mysql -uproxysql -pproxysql -h172.16.60.214 -P6033 -e "select @@hostname" mysql: [Warning] Using a password on the command line interface can be insecure. +------------+ | @@ hostname | +------------+ | MGR-node1? | +------------+ ?? 然后再將將172.16.60.211變為可寫模式后,mysql_servers也恢復過來了。 [root@MGR-node1 ~] # mysql -p123456 ........ mysql> set global read_only=0; Query OK, 0 rows affected (0.00 sec) ?? 接著觀察一下mysql_servers的狀態 [root@ProxySQL-node ~] # mysql -uadmin -padmin -h 127.0.0.1 -P6032 ......... MySQL [(none)]> select * from? mysql_servers; +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | hostgroup_id | hostname????? | port | status?????? | weight | compression | max_connections | max_replication_lag | use_ssl | max_latency_ms | comment | +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | 1??????????? | 172.16.60.211 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 1??????????? | 172.16.60.212 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 1??????????? | 172.16.60.213 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.211 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.212 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.213 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ 6 rows in set (0.000 sec) ?? 經過測試將172.16.60.211節點停止組復制(stop group_replication)或者該節點宕機(mysql服務掛掉)后,mysql_servers表的信息也會正常的切換新的節點。 待172.16.60.211恢復再加入到組復制后,mysql_servers也會正常的將172.16.60.211改成online狀態。 ====================================================================================================== 可能出現的問題: mysql>? select * from? mysql_servers ; +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | hostgroup_id | hostname????? | port | status?????? | weight | compression | max_connections | max_replication_lag | use_ssl | max_latency_ms | comment | +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | 1??????????? | 172.16.60.211 | 3306 | OFFLINE_HARD | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.211 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.212 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.213 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ 4 rows in set (0.00 sec) 也就是說,可能遇到上面所有節點都offline了的情況,查看錯誤日志如下: [root@ProxySQL-node ~] # tail -f /var/lib/proxysql/proxysql.log ........ [2019-02-18 16:23:52] read node [hostgroup_id: 2, hostname : 172.16.60.213, port: 3306, isOK: 0] is not OK, we will set it 's status to be ' OFFLINE_SOFT' ERROR 1142 (42000) at line 1: SELECT command denied to user 'proxysql' @ '172.16.60.214' for table 'gr_member_routing_candidate_status' [2019-02-18 16:23:55] current write node [hostgroup_id: 2, hostname : 172.17.61.131, port: 3306, isOK: 0] is not OK, we need to do switch over ERROR 1142 (42000) at line 1: SELECT command denied to user 'proxysql' @ '172.16.60.214' for table 'gr_member_routing_candidate_status' [2019-02-18 16:23:55] read node [hostgroup_id: 2, hostname : 172.17.61.132, port: 3306, isOK: 0] is not OK, we will set it 's status to be ' OFFLINE_SOFT' ERROR 1142 (42000) at line 1: SELECT command denied to user 'proxysql' @ '172.16.60.214' for table 'gr_member_routing_candidate_status 從上面的錯誤日志上看出是權限的問題,proxysql用戶沒有足夠的權限讀取數據。 解決辦法: [root@MGR-node1 ~] # mysql -p123456 ......... mysql> GRANT ALL ON * . * TO? 'proxysql' @ '%' ;? mysql> flush privileges; 再次看看,就有權限了 [root@ProxySQL-node ~] # mysql -uadmin -padmin -h 127.0.0.1 -P6032 ......... MySQL [(none)]> select * from? mysql_servers; +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | hostgroup_id | hostname????? | port | status?????? | weight | compression | max_connections | max_replication_lag | use_ssl | max_latency_ms | comment | +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ | 1??????????? | 172.16.60.211 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 1??????????? | 172.16.60.212 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 1??????????? | 172.16.60.213 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.211 | 3306 | OFFLINE_SOFT | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.212 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | | 2??????????? | 172.16.60.213 | 3306 | ONLINE?????? | 1????? | 0?????????? | 1000??????????? | 0?????????????????? | 0?????? | 0????????????? |???????? | +--------------+---------------+------+--------------+--------+-------------+-----------------+---------------------+---------+----------------+---------+ 6 rows in set (0.000 sec)

到此,ProxySQL就簡單實現了MGR的讀寫分離和主節點故障無感知環境。

***************當你發現自己的才華撐不起野心時,就請安靜下來學習吧*************** 分類: Mysql

轉載于:https://my.oschina.net/rootliu/blog/3095004

總結

以上是生活随笔為你收集整理的ProxySQL+MGR实现读写分离和主节点故障无感知切换 - 完整操作记录的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

激情五月播播久久久精品 | www.久久91| 精品产品国产在线不卡 | 手机成人av在线 | 午夜少妇一区二区三区 | 五月天婷亚洲天综合网精品偷 | 久久视频在线观看 | 日韩精品视频免费在线观看 | 91精品久久久久久综合五月天 | 亚洲美女视频网 | 午夜色站 | 亚洲国产精品推荐 | 成人精品国产 | 91免费网站在线观看 | 69国产盗摄一区二区三区五区 | 91传媒视频在线观看 | 久久久免费高清视频 | 91精品久久久久久久久久入口 | 免费观看一区二区三区视频 | 色a综合| 在线之家免费在线观看电影 | 国产亚洲精品成人av久久影院 | 黄色av一区二区三区 | 中文av网 | 99精品色| 操少妇视频 | 国产视频在线播放 | 久久天天躁狠狠躁亚洲综合公司 | 狠狠gao| 狠狠色伊人亚洲综合成人 | 在线免费观看的av | 99久久久久久久久久 | 在线天堂中文在线资源网 | 亚洲春色奇米影视 | 玖玖在线资源 | 国产福利精品视频 | 日韩欧美精品在线 | 国产专区第一页 | 久久久久亚洲国产 | www.888av | 日日夜夜狠狠操 | 欧美精品小视频 | 久久精品一二三区白丝高潮 | 国产高清视频免费观看 | 亚洲精品视频在线播放 | 97超在线 | 日韩精品短视频 | 能在线观看的日韩av | 视频直播国产精品 | 国产午夜在线观看视频 | 国产视频 亚洲视频 | 日韩网站中文字幕 | 免费a v观看 | 免费在线国产 | 国产在线观看地址 | 911国产精品 | 四虎在线免费视频 | 中文字幕一区二区三区四区久久 | 日本三级香港三级人妇99 | 欧美一区二区三区在线播放 | 国产做aⅴ在线视频播放 | 成人三级黄色 | 日韩一二区在线观看 | 国产精品欧美久久久久三级 | 91av在线免费观看 | 午夜视频在线观看一区 | 韩国在线一区二区 | 国产成人一区二 | a级国产乱理伦片在线观看 亚洲3级 | 国产成人一区二区三区免费看 | 婷婷视频在线 | 日产乱码一二三区别免费 | 亚洲欧美怡红院 | 毛片播放网站 | 懂色av一区二区三区蜜臀 | 亚洲精品高清一区二区三区四区 | 日本中文字幕网 | 国产亚洲精品综合一区91 | 国产尤物在线视频 | 四虎在线免费观看 | 国产精品久久久久一区二区三区 | 国产精品久久久久久高潮 | 国产韩国日本高清视频 | 18pao国产成视频永久免费 | 天天操夜夜操国产精品 | 精品黄色片| 成片免费观看视频 | 深夜福利视频一区二区 | 国产精品久免费的黄网站 | 91在线视频免费91 | 亚洲视频电影在线 | 国产高清中文字幕 | 日本中文字幕影院 | 91资源在线播放 | 欧美日韩一级在线 | 91热这里只有精品 | 激情视频91| 亚洲综合情| 日韩免费视频 | 日韩精品一区不卡 | 久久精品一二三 | 9ⅰ精品久久久久久久久中文字幕 | 97av色| 国产一区二区三区四区在线 | 日韩欧美国产视频 | 国产一区二区三区四区在线 | 日韩精品一区二区三区免费观看视频 | 中文日韩在线 | 天天玩天天操天天射 | 一本大道久久精品懂色aⅴ 五月婷社区 | 91精品在线视频观看 | 看全黄大色黄大片 | 在线99热| 日韩视频在线不卡 | 色噜噜色噜噜 | 国产自偷自拍 | 亚洲成人国产精品 | 国产高清不卡av | 天天天射| 99色亚洲 | 色99中文字幕 | 国产精品永久免费 | 国产一区高清在线观看 | 色香蕉在线 | 美女久久久久久久久久 | 国产 成人 久久 | 成年在线观看 | 成人小电影在线看 | 99亚洲精品| 日韩久久精品一区二区三区 | 探花视频在线观看+在线播放 | 人人爽人人乐 | 成人精品国产 | 国产成人av网址 | 久久视影 | 国产一区在线观看免费 | 天天天操操操 | 日韩午夜电影 | 成人97人人超碰人人99 | 成片人卡1卡2卡3手机免费看 | 国产伦理一区二区 | 亚洲免费婷婷 | 日韩高清dvd | 正在播放日韩 | 国产精品欧美一区二区三区不卡 | 日韩影视在线观看 | 欧美韩国日本在线观看 | 国产精品一区二区在线看 | 国产99久久九九精品免费 | 久久久久久久18 | 亚洲精品成人av在线 | 久久久99精品免费观看app | 国产高清日韩欧美 | 中文字幕一区在线观看视频 | 亚洲91精品 | 日日麻批40分钟视频免费观看 | 久久久久久久久福利 | 国产精品久久久久久久久免费看 | 国产特级毛片 | 久久蜜臀一区二区三区av | 国产精品午夜久久 | av成人亚洲| 日韩69av| 三级黄色理论片 | 天堂视频中文在线 | 91私密保健 | 五月天中文字幕mv在线 | 美女视频黄在线 | 亚洲三级在线免费观看 | 婷婷激情在线 | 亚洲精品乱码白浆高清久久久久久 | 日本成人黄色片 | 久久国色夜色精品国产 | 美国av片在线观看 | 国产成人a v电影 | 91夫妻视频 | 亚洲精品中文字幕视频 | 国精产品999国精产品视频 | 黄网站免费大全入口 | 国产成人精品一区二区在线 | 日韩精品一区二区三区免费观看视频 | 亚洲va在线va天堂 | 国产精品久久艹 | 天天干,天天操 | 国产最新视频在线 | 98超碰在线 | 中文字幕激情 | 欧美在线视频一区二区 | 欧美日韩精品在线观看视频 | 亚洲免费激情 | 日韩午夜在线观看 | 最新免费中文字幕 | 激情文学综合丁香 | 国产成人中文字幕 | 日韩网站免费观看 | 成人精品视频 | 国产手机在线 | 欧美激情视频一区 | www夜夜操| 草樱av| 欧日韩在线视频 | 日韩午夜电影 | 国产精品18毛片一区二区 | av视屏在线播放 | 日韩网站视频 | 免费欧美高清视频 | 人人讲 | 欧美综合色在线图区 | 欧美日韩免费观看一区=区三区 | 欧美va电影 | 91av在线国产 | 久草在线视频国产 | 国产一级精品绿帽视频 | 婷婷视频 | 欧美日韩亚洲在线观看 | 欧美色综合久久 | 国内一区二区视频 | 免费国产在线精品 | 久久999精品| 色的网站在线观看 | 久久五月情影视 | 91久久国产综合精品女同国语 | 久久久久欠精品国产毛片国产毛生 | 免费网址在线播放 | 日日夜夜操操操操 | 日韩黄色免费电影 | 色狠狠综合| 国产97视频在线 | 麻豆av一区二区三区在线观看 | 在线激情网| 久久精品一二三区 | 91成人破解版| 精品久久久久_ | 国产精品午夜久久 | 就要干b| 欧美日韩一区二区三区不卡 | 99久久婷婷国产 | 国产欧美精品一区二区三区四区 | 久久久久日本精品一区二区三区 | 亚洲精品在线免费观看视频 | 国产精品18久久久久久首页狼 | 成人动漫一区二区 | 激情综合色播五月 | 欧美a√大片 | 欧美日韩xx| 天天摸天天弄 | 精品国内自产拍在线观看视频 | 色婷婷97| 99亚洲精品在线 | 色多视频在线观看 | 高清久久久久久 | 中文字幕在线不卡国产视频 | av中文电影 | 成人a视频片观看免费 | 日本久久片 | 久久视频免费观看 | 最新中文字幕在线播放 | 黄色成人毛片 | 国产黄色片免费在线观看 | 九九九视频在线 | 91爱爱网址| 日韩精品一区二区三区丰满 | 综合网欧美| 久久综合9988久久爱 | 久久久高清 | 在线观看中文字幕2021 | 在线视频日韩精品 | 久久久久久久国产精品 | 国产福利网站 | 成年人黄色大片在线 | 亚洲黄电影 | 国产精品女人久久久久久 | 欧美aaaxxxx做受视频 | 99视频免费观看 | 久久久久成人免费 | 久久久久久久久久毛片 | 亚洲aⅴ在线观看 | 在线影院中文字幕 | 久久久久欧美精品999 | 欧美国产日韩一区二区三区 | 天天翘av| www.av在线播放 | 亚洲欧美日韩在线看 | 视频国产一区二区三区 | 国产精品aⅴ | 99热最新在线| 狠狠干成人| 国产精品一区电影 | 在线观看视频国产一区 | 亚洲国产资源 | 一区二区在线电影 | 久久久国产一区二区三区 | 三级在线视频观看 | 亚洲精品欧美专区 | 伊人婷婷| 在线观看国产区 | 国产亚洲成人精品 | 99热这里精品 | 香蕉网在线播放 | 亚洲欧美激情精品一区二区 | 天天综合入口 | 色婷婷国产 | 日日夜夜人人精品 | 日韩一区二区免费在线观看 | 69热国产视频 | 国产精品成人免费 | 又爽又黄又无遮挡网站动态图 | 欧美精品免费在线观看 | 9797在线看片亚洲精品 | 五月天综合婷婷 | www中文在线 | 超碰97免费 | 国产在线中文 | 日韩黄色网络 | 中文亚洲欧美日韩 | 成人国产电影在线观看 | 中文字幕中文字幕在线中文字幕三区 | 日本视频网 | 国产精品二区三区 | 久久国产精品久久w女人spa | 精品久久久免费视频 | 在线播放日韩av | 亚洲精品在线观看的 | 国产在线播放一区二区 | 国产精品久久久久一区 | 婷婷网站天天婷婷网站 | 免费观看的黄色片 | 亚洲精品66 | 亚洲视屏 | 国产黑丝袜在线 | 特级大胆西西4444www | 99re国产视频 | 人人爽人人搞 | 国产精品久久久久一区二区国产 | 看黄色91 | 天堂成人在线 | 日本精品久久久久 | 国产高清在线不卡 | 一级黄色大片 | 探花视频在线观看+在线播放 | 在线 精品 国产 | 国产高清在线观看av | 五月激情综合婷婷 | 欧美性另类| 99产精品成人啪免费网站 | 国产精品激情偷乱一区二区∴ | 国产成人亚洲在线观看 | 中文字幕在线看视频 | 亚洲国产成人久久综合 | 国产精品第十页 | 亚洲jizzjizz日本少妇 | 免费a视频在线 | av亚洲产国偷v产偷v自拍小说 | 久久成人国产精品免费软件 | 日韩中文幕 | 91亚洲在线| 国产高清视频免费观看 | 久久综合五月天婷婷伊人 | 狠狠操狠狠干天天操 | 国产视频不卡一区 | 在线视频日韩一区 | 国产精品9999 | 99久久夜色精品国产亚洲96 | www.午夜视频 | 国产成人福利片 | av网站手机在线观看 | 美女在线观看av | 欧美日韩在线精品一区二区 | 成年人免费电影 | 亚洲精欧美一区二区精品 | 一本到视频在线观看 | av网址在线播放 | 操操操天天操 | 九九交易行官网 | 欧美一区二区日韩一区二区 | 亚洲精品91天天久久人人 | 99re8这里有精品热视频免费 | 又长又大又黑又粗欧美 | 久久精品视频观看 | 91麻豆精品国产91久久久久 | 最新免费中文字幕 | 久久天天躁夜夜躁狠狠躁2022 | www久久精品 | 一区二区三区精品在线视频 | 欧美性生活一级片 | 亚洲最大av网 | 精品一区中文字幕 | 九九在线精品视频 | 在线观看成人毛片 | 国产精品99在线观看 | 日韩av黄 | 五月开心网 | 国产福利电影网址 | 日韩国产精品毛片 | 中文字幕丝袜一区二区 | 香蕉视频久久 | 啪啪激情网| 亚洲在线高清 | 天天干夜夜夜 | 天天艹天天 | 在线免费中文字幕 | 国内精品久久久久影院优 | 日韩字幕| 久久久国产精品成人免费 | av资源免费观看 | 国产又粗又长又硬免费视频 | 精品视频一区在线 | 91精品无人成人www | 视频国产一区二区三区 | 五月天久久狠狠 | 欧美一级电影免费观看 | 日韩免费中文 | 91av在线视频播放 | 激情视频网页 | 天天干天天做天天爱 | 国产亚洲精品美女久久 | 在线观看成年人 | 亚洲国产片色 | 日韩在线视频看看 | 欧美久久久久久久久 | 偷拍区另类综合在线 | 九色91福利| 久久99国产综合精品 | 国产91精品久久久久 | 91九色性视频 | 国产精品高潮呻吟久久av无 | 久久免费视频这里只有精品 | 成人黄色小说在线观看 | 色综合久久久 | 中文字幕一区二区三区久久 | 久久国产精品免费观看 | 国产精品va最新国产精品视频 | 国产精品久久久久aaaa九色 | 18久久久久久| 97在线免费视频 | 婷婷久久精品 | 在线欧美日韩 | 中文字幕 国产视频 | 国产视频午夜 | 毛片网站在线观看 | 久草免费色站 | 成人一级片免费看 | 亚洲a免费| 欧美另类sm图片 | 国产精品wwwwww| 久色网 | 免费看的av片 | 五月天伊人 | 最近中文字幕在线中文高清版 | 亚洲精品视频 | 开心激情网五月天 | 九草在线视频 | 麻豆网站免费观看 | 国产亚洲小视频 | 久久精品一二三区 | 国产精品一区二区免费视频 | 亚洲黄色av网址 | 狠狠操狠狠 | 亚洲成人999| 久操操| 在线观看蜜桃视频 | 久久这里只有精品首页 | 国产裸体视频网站 | 欧美在线日韩在线 | 国产做aⅴ在线视频播放 | 麻豆传媒电影在线观看 | 精品网站999www | 91精品婷婷国产综合久久蝌蚪 | 日韩二区精品 | 成人电影毛片 | 97视频在线观看视频免费视频 | 国产精品精品 | 亚洲一级性 | 成人黄大片 | 精品二区久久 | 精品欧美一区二区精品久久 | 国产特级毛片aaaaaa高清 | 国产精品高潮呻吟久久久久 | 亚洲精品一区二区网址 | 久久婷五月 | 天堂在线v | 天天色影院 | 成人国产精品免费观看 | 精品国产1区2区3区 国产欧美精品在线观看 | 欧美一级性生活视频 | 日韩在线观看电影 | 色天堂在线视频 | 亚洲精品国产高清 | 日韩黄色av网站 | 国产 日韩 欧美 中文 在线播放 | 夜夜躁天天躁很躁波 | 国产精品第7页 | 91香蕉视频在线下载 | 日韩精品影视 | av福利第一导航 | 一区二区视频网站 | 天天干天天做 | 91九色成人 | 久久免费视频7 | 精品福利网站 | 日韩欧美视频在线播放 | 中文字幕精品三区 | 久久色视频 | 久久成人18免费网站 | 国产剧在线观看片 | 日本91在线 | 免费日韩一区二区三区 | 九色视频网址 | 免费观看午夜视频 | 在线免费观看成人 | 99精品国产免费久久久久久下载 | 亚洲精品玖玖玖av在线看 | 日韩免费大片 | 亚洲精品在线一区二区三区 | 久草热久草视频 | 日韩在线视 | 欧美韩国日本在线观看 | 亚洲无吗天堂 | 麻豆视频网址 | 永久免费精品视频网站 | 亚洲天堂网在线视频观看 | 欧美另类老妇 | 亚洲v欧美v国产v在线观看 | 欧美做受高潮1 | 最近中文字幕完整高清 | 成人久久久精品国产乱码一区二区 | 久久精品一区二区三区中文字幕 | 精品国产片 | 日韩免费网址 | 99精品视频在线免费观看 | 伊香蕉大综综综合久久啪 | 日韩精品一区二区三区电影 | 色综合久久88色综合天天免费 | 国产又黄又爽无遮挡 | 日韩精品中文字幕av | 久久伦理视频 | 日韩欧美v | 亚洲黄色成人 | 五月婷婷中文网 | 日日夜夜精品免费视频 | 美女免费视频网站 | 国产精品久久片 | 成人四虎| 中文av网站 | 五月综合久久 | 麻豆国产电影 | 免费av的网站 | 日韩中文字幕免费看 | 99热最新在线 | 黄色资源在线观看 | 色综合天天色综合 | 99精品在线观看视频 | 最新中文字幕在线播放 | 美女黄频| 欧美a在线看 | 蜜桃av观看 | 天天天天综合 | 91视频免费视频 | 国产精品女 | 国产成人久久av | 黄色网在线播放 | 91精品麻豆 | 精品一区二区在线看 | 色综合激情久久 | 日韩精品一区二区在线视频 | 国产精品久久久久久久久久免费 | 98超碰人人| 免费看污黄网站 | 成人av中文字幕在线观看 | 一级片观看 | 久久99网 | 国产精品一区免费观看 | 99精品国产高清在线观看 | 国产在线欧美 | 欧美日韩国产精品爽爽 | 综合色在线| 亚洲黄色精品 | 亚洲黄色av网址 | 五月激情天 | 日本免费久久高清视频 | 黄网站免费看 | 精品福利视频在线观看 | 中日韩免费视频 | 91视频高清| 99精品久久精品一区二区 | 亚洲三级黄色 | 国产成人精品一区二区三区在线观看 | 精品国产乱码久久久久久三级人 | 成人av在线观 | 9i看片成人免费看片 | 色综合小说 | 97视频亚洲 | 九九视频精品在线 | 久久国产日韩 | 久久久久久蜜桃一区二区 | 在线免费av观看 | 黄色小网站在线观看 | 日韩女同一区二区三区在线观看 | 日韩成人黄色 | 国产精品1区 | 国产精品videossex国产高清 | 久久国产精品影视 | 国产亚洲字幕 | 免费看黄在线观看 | 天天操天天插 | 国产精品资源在线观看 | 午夜免费视频网站 | 中文字幕区 | 亚洲精品乱码久久久久久蜜桃欧美 | 99久久99久久精品免费 | 人人澡人人添人人爽一区二区 | 婷婷久久网 | 91成人在线视频 | 97电影网手机版 | 在线免费观看视频 | 免费看的视频 | 在线观看中文字幕一区二区 | 一区电影 | 国产亚洲婷婷免费 | 精品91在线 | 日韩免费一级a毛片在线播放一级 | 深夜免费小视频 | 狠狠狠狠狠狠狠 | 999成人网| 国产在线精品国自产拍影院 | 五月天网站在线 | 亚洲午夜精品久久久 | 欧洲一区精品 | 久久手机免费观看 | 中文字幕资源站 | 国内精品视频在线 | 99久久精品国产网站 | 亚洲人人射 | 99热国产精品 | 日本黄色免费播放 | 国产精品成人一区二区三区吃奶 | 免费观看性生活大片3 | 五月婷综合 | 成人小视频在线观看免费 | 亚洲视频资源在线 | 精品亚洲欧美无人区乱码 | 韩日电影在线 | 久久久久久久久精 | 国产三级久久久 | 久久不射网站 | 免费看黄的视频 | 日本中文在线观看 | 正在播放 国产精品 | 国产成人久久av977小说 | 日韩欧美在线高清 | 日日爽天天操 | 成人午夜在线电影 | 欧美性做爰猛烈叫床潮 | 日日操网 | 欧美久久久久久 | 国产a视频免费观看 | 成人午夜电影在线播放 | 免费午夜视频在线观看 | 日韩精品一区二区三区免费观看 | av免费福利 | 国产免费观看久久黄 | 免费视频一区二区 | 91成人短视频在线观看 | 一区二区视频在线播放 | 久久精品亚洲精品国产欧美 | 日日综合 | 欧美精品亚洲二区 | 国产福利91精品一区二区三区 | 国产超碰在线观看 | www日韩精品 | 黄色av成人在线 | www.夜夜骑.com| 93久久精品日日躁夜夜躁欧美 | 黄色成人免费电影 | 天天透天天插 | 91污视频在线 | 欧美地下肉体性派对 | 欧美精品久久久久 | a特级毛片 | 91精彩在线视频 | 久草视频视频在线播放 | 色婷婷一| 欧美日韩一区久久 | 激情综合网五月婷婷 | 国产高清不卡在线 | 不卡av免费在线观看 | 中文字幕中文字幕在线中文字幕三区 | 国产一区免费在线 | a√国产免费a | 久久免费成人网 | 二区精品视频 | 亚洲人成影院在线 | 精品国产亚洲一区二区麻豆 | 一区二区三区高清在线观看 | 国内视频一区二区 | 国产91电影在线观看 | 黄色精品在线看 | 色婷婷啪啪免费在线电影观看 | 精品专区| 99热这里精品 | 精品久久网站 | 激情深爱五月 | 日韩成人精品在线观看 | 久久九九免费 | 久久免费视频5 | 国产日韩在线一区 | av丝袜美腿| 国产小视频在线免费观看 | 久久精品欧美一区二区三区麻豆 | 午夜精品久久久久久久久久久久久久 | 中日韩三级视频 | 国产精品18久久久久久不卡孕妇 | 日韩欧美精品一区二区三区经典 | 成人在线免费视频 | 国产国产人免费人成免费视频 | 免费看av在线 | 青春草国产视频 | 国产精久久 | 免费看一及片 | 黄色在线观看污 | 中文字幕国产亚洲 | 久久99精品久久久久久秒播蜜臀 | 四虎影视4hu4虎成人 | 国产一区 在线播放 | 福利视频第一页 | www黄色软件 | 久久久久久久久免费 | 黄色大全免费网站 | 亚洲午夜精品一区 | 丁香激情视频 | 黄色一级免费网站 | 日韩精品视频免费专区在线播放 | 97视频一区 | 99麻豆久久久国产精品免费 | 草久久久久久久 | 欧美夫妻性生活电影 | 国产999精品久久久久久麻豆 | 国产偷在线 | 深爱婷婷| 99热在线观看 | 免费aa大片 | 色综合久久综合中文综合网 | 国产精品视频大全 | 三级动态视频在线观看 | 91视频久久久久 | 久久国产精品小视频 | 99精品久久久 | 国产精品久久久久久69 | 久久99精品国产一区二区三区 | 亚洲成人av在线播放 | 亚洲一级电影 | 天天插天天狠天天透 | 亚洲国产手机在线 | 天天色天天射天天操 | 久99久精品| 深爱激情开心 | 中文国产在线观看 | 97国产情侣爱久久免费观看 | 天天摸天天干天天操天天射 | 夜夜操网站| 色吧久久 | 中文字幕在线观看网 | 中文字幕视频网 | 国产中文字幕在线视频 | 日本公妇在线观看 | 亚洲欧美乱综合图片区小说区 | 久久色视频 | 激情av网址 | 国产精品成人免费一区久久羞羞 | 久久精品人人做人人综合老师 | 中文字幕在线日 | 91免费视频网站在线观看 | 五月天综合激情 | 51久久夜色精品国产麻豆 | 天天色棕合合合合合合 | 色综合天天综合在线视频 | 在线免费看黄网站 | 五月婷综合 | 欧美有色 | 国产成人精品电影久久久 | 全黄色一级片 | 婷婷午夜 | 99精品亚洲 | 在线观看视频免费播放 | 2019精品手机国产品在线 | 成人在线视频观看 | 成人黄色免费在线观看 | 久久色在线播放 | 国产成人av一区二区三区在线观看 | 国产精品成人自产拍在线观看 | 黄色精品国产 | 色综合天天狠天天透天天伊人 | 人人干人人艹 | 国产精品成人久久久 | 最新av在线网址 | 精品久久久久久久久中文字幕 | 日本黄色大片免费看 | 久久国产精品免费看 | 九色琪琪久久综合网天天 | 欧美a级片免费看 | 一区二区三区日韩精品 | 日韩久久午夜一级啪啪 | 99热在线看 | 激情网五月婷婷 | 91精品在线麻豆 | 国产小视频你懂的在线 | 国产精品 欧美 日韩 | 日韩一区二区三区免费电影 | 在线观看视频国产 | 狠狠狠狠狠狠 | 91精品国产91久久久久久三级 | 欧美视频不卡 | 中文字幕久久亚洲 | 成人久久免费视频 | 97av在线 | 91精品在线免费观看 | 五月婷在线播放 | 在线高清| 91九色九色 | 久久色亚洲 | 99热这里只有精品8 久久综合毛片 | 免费在线观看av电影 | 精品久久一区二区三区 | 三级av在线播放 | 黄色a一级片 | 日韩精品在线免费播放 | 亚洲精品国产免费 | 日韩三级视频在线观看 | 国产精品网红直播 | 天天草天天操 | 在线观看免费高清视频大全追剧 | 又粗又长又大又爽又黄少妇毛片 | 欧美一级免费 | 国产精品99久久久久的智能播放 | 久久玖 | 黄色片亚洲 | 国产精品毛片久久久久久久久久99999999 | 国产精品a成v人在线播放 | 日本性生活一级片 | 亚洲一级电影在线观看 | 免费激情网 | 91资源在线 | 中文字幕在线观看一区二区三区 | 成人黄色资源 | 97精品在线观看 | 最近免费中文字幕 | 欧美激情精品久久久 | 视频在线一区二区三区 | 夜夜嗨av色一区二区不卡 | 中文字幕乱视频 | 欧美日韩一区二区视频在线观看 | 久久亚洲私人国产精品 | 日本xxxx裸体xxxx17 | 在线色亚洲 | 亚洲成av人片在线观看www | 9999国产| av成人资源 | 在线a视频 | 日本黄色大片免费看 | 国产99久久久国产精品免费二区 | 久久久久久国产精品久久 | .国产精品成人自产拍在线观看6 | 国产日韩精品欧美 | 精品亚洲免费 | 日日爽天天操 | 久久激五月天综合精品 | 中文字幕免费久久 | 日日操天天操狠狠操 | 超碰精品在线观看 | 亚洲一区视频在线播放 | 亚洲国产精品人久久电影 | 麻豆高清免费国产一区 | 国产美女被啪进深处喷白浆视频 | 国产亚洲成av人片在线观看桃 | 国产精品久久久久免费 | 伊人伊成久久人综合网小说 | 91精品在线播放 | 成人理论电影 | 国产精品黄网站在线观看 | 亚洲综合欧美激情 | 亚洲视频精品 | 黄色av大片 | 欧美一区在线观看视频 | 韩国av免费在线 | 中文字幕丰满人伦在线 | 伊人天天操 | 人人澡超碰碰97碰碰碰软件 | 欧美9999| 国模吧一区| 日韩在线色视频 | 综合在线色 | 日韩精品视频在线观看网址 | 国产手机av| 亚洲精品一区二区久 | 国产精品成人国产乱 | 中文字幕高清免费日韩视频在线 | 国产精品免费久久久久 | 亚洲免费成人 | 欧美日一级片 | 欧美一区二区伦理片 | 热久久免费视频 | 婷婷五月色综合 | 伊人久久影视 | 国产三级视频 | 日本aa在线 | 国产精品美女久久久久久免费 | 国产亚洲久久 | 99久久精品免费看国产一区二区三区 | 美女一区网站 | 久日视频| 99色99| 99激情网| 成人免费色 | 国内精品视频久久 | 一区二区三区久久 | 精品欧美小视频在线观看 | 中文字幕成人网 | 色多多污污在线观看 | 2022国产精品视频 | 91桃色在线观看视频 | 在线观看国产高清视频 | 最新99热 | 一级一片免费观看 | 青青河边草免费观看 | 亚洲爱视频 | 亚洲视频中文 | 91欧美精品 | 国产女做a爱免费视频 | 深爱婷婷久久综合 | 欧美一级看片 | 五月丁色 | 精品国产aⅴ麻豆 | 九九九九精品九九九九 | 91自拍成人 | 国产男女免费完整视频 | 色综合久久久久综合体 | 在线观看国产成人av片 | 日韩高清久久 | www天天操 | 欧美一级性生活视频 | 天堂在线视频中文网 | 亚洲免费观看视频 | 三级在线国产 | www.色午夜,com | 伊人成人精品 | 久久伊人爱 | 国产麻豆视频免费观看 | 福利电影久久 | 免费在线播放av电影 | 亚洲激情影院 | 国产香蕉久久 | 中文字幕在线观看第二页 | av色综合网 | 国产精品99在线播放 | 日韩欧美大片免费观看 | 在线成人免费 | 91你懂的 | 亚洲视频在线观看网站 | 婷婷九月丁香 | 91精品网站 | 国产精品永久在线观看 | 国产精品mv | 中文一区在线观看 | 国产一级片一区二区三区 | 国产精品 日韩 | 久草av在线播放 | 在线国产激情视频 | 久久se视频 | 国产欧美精品xxxx另类 | 在线之家免费在线观看电影 | 在线你懂| 人人干在线 | 悠悠av资源片 | 一区二区丝袜 | 免费一级片观看 | 国产 日韩 在线 亚洲 字幕 中文 | 国产色a在线观看 | 欧美 激情 国产 91 在线 | 天天五月天色 | 91完整版观看 | 天天色天天射综合网 | 成人免费一级 | 黄色大片av | 欧美嫩草影院 | 久草免费在线观看视频 | 久久精品国产免费观看 | 久久国精品| 国产色拍拍拍拍在线精品 | 人人爽人人爽人人爽学生一级 | 日日操天天爽 | 91高清不卡| 99精品在线免费视频 | 91精品麻豆 | 国产免费中文字幕 | 国产剧情久久 | 视频二区在线 | 综合激情av | av久久在线 |