学会数据库读写分离、分表分库
https://www.cnblogs.com/joylee/p/7513038.html
系統(tǒng)開發(fā)中，數(shù)據(jù)庫是非常重要的一個點。除了程序的本身的優(yōu)化，如：SQL語句優(yōu)化、代碼優(yōu)化，數(shù)據(jù)庫的處理本身優(yōu)化也是非常重要的。主從、熱備、分表分庫等都是系統(tǒng)發(fā)展遲早會遇到的技術問題問題。Mycat是一個廣受好評的數(shù)據(jù)庫中間件，已經(jīng)在很多產(chǎn)品上進行使用了。希望通過這篇文章的介紹，能學會Mycat的使用。
安裝
Mycat官網(wǎng)：http://www.mycat.io/
可以了解下Mycat的背景和應用情況，這樣使用起來比較有信心。
Mycat下載地址：http://dl.mycat.io/
官網(wǎng)有個文檔，屬于詳細的介紹，初次入門，看起來比較花時間。
下載：
建議大家選擇 1.6-RELEASE 版本，畢竟是比較穩(wěn)定的版本。
安裝：
根據(jù)不同的系統(tǒng)選擇不同的版本。包括linux、windows、mac,作者考慮還是非常周全的，當然，也有源碼版的。（ps:源碼版的下載后，只要配置正確，就可以正常運行調(diào)試，這個贊一下。）
Mycat的安裝其實只要解壓下載的目錄就可以了，非常簡單。
安裝完成后，目錄如下：
| bin | mycat命令，啟動、重啟、停止等 |
| catlet | catlet為Mycat的一個擴展功能 |
| conf | Mycat 配置信息,重點關注 |
| lib | Mycat引用的jar包，Mycat是java開發(fā)的 |
| logs | 日志文件，包括Mycat啟動的日志和運行的日志。 |
配置
Mycat的配置文件都在conf目錄里面，這里介紹幾個常用的文件：
| server.xml | Mycat的配置文件，設置賬號、參數(shù)等 |
| schema.xml | Mycat對應的物理數(shù)據(jù)庫和數(shù)據(jù)庫表的配置 |
| rule.xml | Mycat分片（分庫分表）規(guī)則 |
Mycat的架構其實很好理解，Mycat是代理，Mycat后面就是物理數(shù)據(jù)庫。和Web服務器的Nginx類似。對于使用者來說，訪問的都是Mycat，不會接觸到后端的數(shù)據(jù)庫。
我們現(xiàn)在做一個主從、讀寫分離，簡單分表的示例。結構如下圖：
| Mycat | 192.168.0.2 | mycat服務器，連接數(shù)據(jù)庫時，連接此服務器 |
| database1 | 192.168.0.3 | 物理數(shù)據(jù)庫1，真正存儲數(shù)據(jù)的數(shù)據(jù)庫 |
| database2 | 192.168.0.4 | 物理數(shù)據(jù)庫2，真正存儲數(shù)據(jù)的數(shù)據(jù)庫 |
Mycat作為主數(shù)據(jù)庫中間件，肯定是與代碼弱關聯(lián)的，所以代碼是不用修改的，使用Mycat后，連接數(shù)據(jù)庫是不變的，默認端口是8066。連接方式和普通數(shù)據(jù)庫一樣，如：jdbc:mysql://192.168.0.2:8066/
server.xml
示例
Copy <user name="test"><property name="password">test</property> <property name="schemas">lunch</property> <property name="readOnly">false</property> <!-- 表級 DML 權限設置 --> <!-- <privileges check="false"> <schema name="TESTDB" dml="0110" > <table name="tb01" dml="0000"></table> <table name="tb02" dml="1111"></table> </schema> </privileges> --> </user>重點關注下面這段，其他默認即可。
| user | 用戶配置節(jié)點 |
| --name | 登錄的用戶名，也就是連接Mycat的用戶名 |
| --password | 登錄的密碼，也就是連接Mycat的密碼 |
| --schemas | 數(shù)據(jù)庫名，這里會和schema.xml中的配置關聯(lián)，多個用逗號分開，例如需要這個用戶需要管理兩個數(shù)據(jù)庫db1,db2，則配置db1,dbs |
| --privileges | 配置用戶針對表的增刪改查的權限，具體見文檔吧 |
我這里配置了一個賬號test 密碼也是test,針對數(shù)據(jù)庫lunch,讀寫權限都有，沒有針對表做任何特殊的權限。
schema.xml
schema.xml是最主要的配置項，首先看我的配置文件。
| schema | 數(shù)據(jù)庫設置，此數(shù)據(jù)庫為邏輯數(shù)據(jù)庫，name與server.xml中schema對應 |
| dataNode | 分片信息，也就是分庫相關配置 |
| dataHost | 物理數(shù)據(jù)庫，真正存儲數(shù)據(jù)的數(shù)據(jù)庫 |
每個節(jié)點的屬性逐一說明：
schema:
| name | 邏輯數(shù)據(jù)庫名，與server.xml中的schema對應 |
| checkSQLschema | 數(shù)據(jù)庫前綴相關設置，建議看文檔，這里暫時設為folse |
| sqlMaxLimit | select 時默認的limit，避免查詢?nèi)?/td> |
table:
| name | 表名，物理數(shù)據(jù)庫中表名 |
| dataNode | 表存儲到哪些節(jié)點，多個節(jié)點用逗號分隔。節(jié)點為下文dataNode設置的name |
| primaryKey | 主鍵字段名，自動生成主鍵時需要設置 |
| autoIncrement | 是否自增 |
| rule | 分片規(guī)則名，具體規(guī)則下文rule詳細介紹 |
dataNode
| name | 節(jié)點名，與table中dataNode對應 |
| datahost | 物理數(shù)據(jù)庫名，與datahost中name對應 |
| database | 物理數(shù)據(jù)庫中數(shù)據(jù)庫名 |
dataHost
| name | 物理數(shù)據(jù)庫名，與dataNode中dataHost對應 |
| balance | 均衡負載的方式 |
| writeType | 寫入方式 |
| dbType | 數(shù)據(jù)庫類型 |
| heartbeat | 心跳檢測語句，注意語句結尾的分號要加。 |
應用場景
數(shù)據(jù)庫分表分庫
配置如下：
Copy我在192.168.0.2、192.168.0.3均有數(shù)據(jù)庫lunch。
lunchmenu、restaurant、userlunch、users這些表都只寫入節(jié)點dn1，也就是192.168.0.2這個服務，而dictionary寫入了dn1、dn2兩個節(jié)點，也就是192.168.0.2、192.168.0.3這兩臺服務器。分片的規(guī)則為：mod-long。
主要關注rule屬性，rule屬性的內(nèi)容來源于rule.xml這個文件，Mycat支持10種分表分庫的規(guī)則，基本能滿足你所需要的要求，這個必須贊一個，其他數(shù)據(jù)庫中間件好像都沒有這么多。
table中的rule屬性對應的就是rule.xml文件中tableRule的name,具體有哪些分表和分庫的實現(xiàn)，建議還是看下文檔。我這里選擇的mod-long就是將數(shù)據(jù)平均拆分。因為我后端是兩臺物理庫，所以rule.xml中mod-long對應的function count為2，見下面部分代碼：
數(shù)據(jù)庫讀寫分離
配置如下：
Copy這樣的配置與前一個示例配置改動如下：
刪除了table分配的規(guī)則,以及datanode只有一個
datahost也只有一臺，但是writehost總添加了readhost,balance改為1，表示讀寫分離。
以上配置達到的效果就是102.168.0.2為主庫，192.168.0.3為從庫。
注意：Mycat主從分離只是在讀的時候做了處理，寫入數(shù)據(jù)的時候，只會寫入到writehost，需要通過mycat的主從復制將數(shù)據(jù)復制到readhost，這個問題當時候我糾結了好久，數(shù)據(jù)寫入writehost后，readhost一直沒有數(shù)據(jù)，以為是自己配置的問題，后面才發(fā)現(xiàn)Mycat就沒有實現(xiàn)主從復制的功能，畢竟數(shù)據(jù)庫本身自帶的這個功能才是最高效穩(wěn)定的。
至于其他的場景，如同時主從和分表分庫也是支持的了，只要了解這個實現(xiàn)以后再去修改配置，都是可以實現(xiàn)的。而熱備及故障專業(yè)官方推薦使用haproxy配合一起使用，大家可以試試。
使用
Mycat的啟動也很簡單，啟動命令在Bin目錄：
Copy如果在啟動時發(fā)現(xiàn)異常，在logs目錄中查看日志。
- wrapper.log 為程序啟動的日志，啟動時的問題看這個
- mycat.log 為腳本執(zhí)行時的日志，SQL腳本執(zhí)行報錯后的具體錯誤內(nèi)容,查看這個文件。mycat.log是最新的錯誤日志，歷史日志會根據(jù)時間生成目錄保存。
mycat啟動后，執(zhí)行命令不成功，可能實際上配置有錯誤，導致后面的命令沒有很好的執(zhí)行。
Mycat帶來的最大好處就是使用是完全不用修改原有代碼的，在mycat通過命令啟動后，你只需要將數(shù)據(jù)庫連接切換到Mycat的地址就可以了。如下面就可以進行連接了：
Copy mysql -h192.168.0.1 -P8806 -uroot -p123456連接成功后可以執(zhí)行sql腳本了。
所以，可以直接通過sql管理工具（如：navicat、datagrip）連接，執(zhí)行腳本。我一直用datagrip來進行日常簡單的管理，這個很方便。
Mycat還有一個管理的連接，端口號是9906.
Copy mysql -h192.168.0.1 -P9906 -uroot -p123456連接后可以根據(jù)管理命令查看Mycat的運行情況，當然，喜歡UI管理方式的人，可以安裝一個Mycat-Web來進行管理，有興趣自行搜索。
簡而言之，開發(fā)中使用Mycat和直接使用Mysql機會沒有差別。
常見問題
使用Mycat后總會遇到一些坑，我將自己遇到的一些問題在這里列一下，希望能與大家有共鳴：
-
Mycat是不是配置以后，就能完全解決分表分庫和讀寫分離問題？
Mycat配合數(shù)據(jù)庫本身的復制功能，可以解決讀寫分離的問題，但是針對分表分庫的問題，不是完美的解決。或者說，至今為止，業(yè)界沒有完美的解決方案。
分表分庫寫入能完美解決，但是，不能完美解決主要是聯(lián)表查詢的問題，Mycat支持兩個表聯(lián)表的查詢，多余兩個表的查詢不支持。 其實，很多數(shù)據(jù)庫中間件關于分表分庫后查詢的問題，都是需要自己實現(xiàn)的，而且節(jié)本都不支持聯(lián)表查詢，Mycat已經(jīng)算做地非常先進了。
分表分庫的后聯(lián)表查詢問題，大家通過合理數(shù)據(jù)庫設計來避免。 -
Mycat支持哪些數(shù)據(jù)庫，其他平臺如 .net、PHP能用嗎？
官方說了，支持的數(shù)據(jù)庫包括MySQL、SQL Server、Oracle、DB2、PostgreSQL 等主流數(shù)據(jù)庫，很贊。
盡量用Mysql,我試過SQL Server，會有些小問題，因為部分語法有點差異。 -
Mycat 非JAVA平臺如 .net、PHP能用嗎？
可以用。這一點MyCat做的也很棒。
參考
《Mycat權威指南》：?http://www.mycat.io/document/Mycat_V1.6.0.pdf
官網(wǎng) ：http://www.mycat.io/
如果想熟練使用Mycat，建議要仔細看看官方推薦的文檔，可能需要花點時間。本文只是簡單的介紹下Mycat的配置，希望能快速讓大家對Mycat有個認識，官方的文檔理解起來也很容易，只是需要的時間更多，本文為說明的參數(shù)，請參考官方文檔。
轉載于:https://www.cnblogs.com/davidwang456/articles/10366244.html
總結
以上是生活随笔為你收集整理的学会数据库读写分离、分表分库的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： spring-session用redis
- 下一篇： spring boot多数据源配置(my