日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 运维知识 > 数据库 >内容正文

数据库

学会数据库读写分离、分表分库

發布時間:2025/4/5 数据库 25 豆豆
生活随笔 收集整理的這篇文章主要介紹了 学会数据库读写分离、分表分库 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

https://www.cnblogs.com/joylee/p/7513038.html

系統開發中,數據庫是非常重要的一個點。除了程序的本身的優化,如:SQL語句優化、代碼優化,數據庫的處理本身優化也是非常重要的。主從、熱備、分表分庫等都是系統發展遲早會遇到的技術問題問題。Mycat是一個廣受好評的數據庫中間件,已經在很多產品上進行使用了。希望通過這篇文章的介紹,能學會Mycat的使用。

安裝

Mycat官網:http://www.mycat.io/
可以了解下Mycat的背景和應用情況,這樣使用起來比較有信心。

Mycat下載地址:http://dl.mycat.io/
官網有個文檔,屬于詳細的介紹,初次入門,看起來比較花時間。

下載:
建議大家選擇 1.6-RELEASE 版本,畢竟是比較穩定的版本。

安裝:
根據不同的系統選擇不同的版本。包括linux、windows、mac,作者考慮還是非常周全的,當然,也有源碼版的。(ps:源碼版的下載后,只要配置正確,就可以正常運行調試,這個贊一下。)

Mycat的安裝其實只要解壓下載的目錄就可以了,非常簡單。
安裝完成后,目錄如下:

目錄說明
binmycat命令,啟動、重啟、停止等
catletcatlet為Mycat的一個擴展功能
confMycat 配置信息,重點關注
libMycat引用的jar包,Mycat是java開發的
logs日志文件,包括Mycat啟動的日志和運行的日志。

配置

Mycat的配置文件都在conf目錄里面,這里介紹幾個常用的文件:

文件說明
server.xmlMycat的配置文件,設置賬號、參數等
schema.xmlMycat對應的物理數據庫和數據庫表的配置
rule.xmlMycat分片(分庫分表)規則

Mycat的架構其實很好理解,Mycat是代理,Mycat后面就是物理數據庫。和Web服務器的Nginx類似。對于使用者來說,訪問的都是Mycat,不會接觸到后端的數據庫。
我們現在做一個主從、讀寫分離,簡單分表的示例。結構如下圖:

服務器IP說明
Mycat192.168.0.2mycat服務器,連接數據庫時,連接此服務器
database1192.168.0.3物理數據庫1,真正存儲數據的數據庫
database2192.168.0.4物理數據庫2,真正存儲數據的數據庫

Mycat作為主數據庫中間件,肯定是與代碼弱關聯的,所以代碼是不用修改的,使用Mycat后,連接數據庫是不變的,默認端口是8066。連接方式和普通數據庫一樣,如:jdbc:mysql://192.168.0.2:8066/

server.xml

示例

Copy <user name="test"><property name="password">test</property> <property name="schemas">lunch</property> <property name="readOnly">false</property> <!-- 表級 DML 權限設置 --> <!-- <privileges check="false"> <schema name="TESTDB" dml="0110" > <table name="tb01" dml="0000"></table> <table name="tb02" dml="1111"></table> </schema> </privileges> --> </user>

重點關注下面這段,其他默認即可。

參數說明
user用戶配置節點
--name登錄的用戶名,也就是連接Mycat的用戶名
--password登錄的密碼,也就是連接Mycat的密碼
--schemas數據庫名,這里會和schema.xml中的配置關聯,多個用逗號分開,例如需要這個用戶需要管理兩個數據庫db1,db2,則配置db1,dbs
--privileges配置用戶針對表的增刪改查的權限,具體見文檔吧

我這里配置了一個賬號test 密碼也是test,針對數據庫lunch,讀寫權限都有,沒有針對表做任何特殊的權限。

schema.xml
schema.xml是最主要的配置項,首先看我的配置文件。

Copy <?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://io.mycat/"> <!-- 數據庫配置,與server.xml中的數據庫對應 --> <schema name="lunch" checkSQLschema="false" sqlMaxLimit="100"> <table name="lunchmenu" dataNode="dn1" /> <table name="restaurant" dataNode="dn1" /> <table name="userlunch" dataNode="dn1" /> <table name="users" dataNode="dn1" /> <table name="dictionary" primaryKey="id" autoIncrement="true" dataNode="dn1,dn2" rule="mod-long" /> </schema> <!-- 分片配置 --> <dataNode name="dn1" dataHost="test1" database="lunch" /> <dataNode name="dn2" dataHost="test2" database="lunch" /> <!-- 物理數據庫配置 --> <dataHost name="test1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native"> <heartbeat>select user();</heartbeat> <writeHost host="hostM1" url="192.168.0.2:3306" user="root" password="123456"> </writeHost> </dataHost> <dataHost name="test2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native"> <heartbeat>select user();</heartbeat> <writeHost host="hostS1" url="192.168.0.3:3306" user="root" password="123456"> </writeHost> </dataHost> </mycat:schema> 參數說明
schema數據庫設置,此數據庫為邏輯數據庫,name與server.xml中schema對應
dataNode分片信息,也就是分庫相關配置
dataHost物理數據庫,真正存儲數據的數據庫

每個節點的屬性逐一說明:

schema:

屬性說明
name邏輯數據庫名,與server.xml中的schema對應
checkSQLschema數據庫前綴相關設置,建議看文檔,這里暫時設為folse
sqlMaxLimitselect 時默認的limit,避免查詢全表

table:

屬性說明
name表名,物理數據庫中表名
dataNode表存儲到哪些節點,多個節點用逗號分隔。節點為下文dataNode設置的name
primaryKey主鍵字段名,自動生成主鍵時需要設置
autoIncrement是否自增
rule分片規則名,具體規則下文rule詳細介紹

dataNode

屬性說明
name節點名,與table中dataNode對應
datahost物理數據庫名,與datahost中name對應
database物理數據庫中數據庫名

dataHost

屬性說明
name物理數據庫名,與dataNode中dataHost對應
balance均衡負載的方式
writeType寫入方式
dbType數據庫類型
heartbeat心跳檢測語句,注意語句結尾的分號要加。

應用場景

數據庫分表分庫

配置如下:

Copy <?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://io.mycat/"> <!-- 數據庫配置,與server.xml中的數據庫對應 --> <schema name="lunch" checkSQLschema="false" sqlMaxLimit="100"> <table name="lunchmenu" dataNode="dn1" /> <table name="restaurant" dataNode="dn1" /> <table name="userlunch" dataNode="dn1" /> <table name="users" dataNode="dn1" /> <table name="dictionary" primaryKey="id" autoIncrement="true" dataNode="dn1,dn2" rule="mod-long" /> </schema> <!-- 分片配置 --> <dataNode name="dn1" dataHost="test1" database="lunch" /> <dataNode name="dn2" dataHost="test2" database="lunch" /> <!-- 物理數據庫配置 --> <dataHost name="test1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native"> <heartbeat>select user();</heartbeat> <writeHost host="hostM1" url="192.168.0.2:3306" user="root" password="123456"> </writeHost> </dataHost> <dataHost name="test2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native"> <heartbeat>select user();</heartbeat> <writeHost host="hostS1" url="192.168.0.3:3306" user="root" password="123456"> </writeHost> </dataHost> </mycat:schema>

我在192.168.0.2、192.168.0.3均有數據庫lunch。
lunchmenu、restaurant、userlunch、users這些表都只寫入節點dn1,也就是192.168.0.2這個服務,而dictionary寫入了dn1、dn2兩個節點,也就是192.168.0.2、192.168.0.3這兩臺服務器。分片的規則為:mod-long。
主要關注rule屬性,rule屬性的內容來源于rule.xml這個文件,Mycat支持10種分表分庫的規則,基本能滿足你所需要的要求,這個必須贊一個,其他數據庫中間件好像都沒有這么多。
table中的rule屬性對應的就是rule.xml文件中tableRule的name,具體有哪些分表和分庫的實現,建議還是看下文檔。我這里選擇的mod-long就是將數據平均拆分。因為我后端是兩臺物理庫,所以rule.xml中mod-long對應的function count為2,見下面部分代碼:

Copy <tableRule name="mod-long"><rule> <columns>id</columns> <algorithm>mod-long</algorithm> </rule> </tableRule> <function name="mod-long" class="io.mycat.route.function.PartitionByMod"> <!-- how many data nodes --> <property name="count">2</property> </function>

數據庫讀寫分離

配置如下:

Copy <?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://io.mycat/"> <!-- 數據庫配置,與server.xml中的數據庫對應 --> <schema name="lunch" checkSQLschema="false" sqlMaxLimit="100"> <table name="lunchmenu" dataNode="dn1" /> <table name="restaurant" dataNode="dn1" /> <table name="userlunch" dataNode="dn1" /> <table name="users" dataNode="dn1" /> <table name="dictionary" primaryKey="id" autoIncrement="true" dataNode="dn1" /> </schema> <!-- 分片配置 --> <dataNode name="dn1" dataHost="test1" database="lunch" /> <!-- 物理數據庫配置 --> <dataHost name="test1" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="native"> <heartbeat>select user();</heartbeat> <writeHost host="hostM1" url="192.168.0.2:3306" user="root" password="123456"> <readHost host="hostM1" url="192.168.0.3:3306" user="root" password="123456"> </readHost> </writeHost> </dataHost> </mycat:schema>

這樣的配置與前一個示例配置改動如下:
刪除了table分配的規則,以及datanode只有一個
datahost也只有一臺,但是writehost總添加了readhost,balance改為1,表示讀寫分離。
以上配置達到的效果就是102.168.0.2為主庫,192.168.0.3為從庫。

注意:Mycat主從分離只是在讀的時候做了處理,寫入數據的時候,只會寫入到writehost,需要通過mycat的主從復制將數據復制到readhost,這個問題當時候我糾結了好久,數據寫入writehost后,readhost一直沒有數據,以為是自己配置的問題,后面才發現Mycat就沒有實現主從復制的功能,畢竟數據庫本身自帶的這個功能才是最高效穩定的。

至于其他的場景,如同時主從和分表分庫也是支持的了,只要了解這個實現以后再去修改配置,都是可以實現的。而熱備及故障專業官方推薦使用haproxy配合一起使用,大家可以試試。

使用

Mycat的啟動也很簡單,啟動命令在Bin目錄:

Copy ##啟動 mycat start ##停止 mycat stop ##重啟 mycat restart

如果在啟動時發現異常,在logs目錄中查看日志。

  • wrapper.log 為程序啟動的日志,啟動時的問題看這個
  • mycat.log 為腳本執行時的日志,SQL腳本執行報錯后的具體錯誤內容,查看這個文件。mycat.log是最新的錯誤日志,歷史日志會根據時間生成目錄保存。

mycat啟動后,執行命令不成功,可能實際上配置有錯誤,導致后面的命令沒有很好的執行。

Mycat帶來的最大好處就是使用是完全不用修改原有代碼的,在mycat通過命令啟動后,你只需要將數據庫連接切換到Mycat的地址就可以了。如下面就可以進行連接了:

Copy mysql -h192.168.0.1 -P8806 -uroot -p123456

連接成功后可以執行sql腳本了。
所以,可以直接通過sql管理工具(如:navicat、datagrip)連接,執行腳本。我一直用datagrip來進行日常簡單的管理,這個很方便。

Mycat還有一個管理的連接,端口號是9906.

Copy mysql -h192.168.0.1 -P9906 -uroot -p123456

連接后可以根據管理命令查看Mycat的運行情況,當然,喜歡UI管理方式的人,可以安裝一個Mycat-Web來進行管理,有興趣自行搜索。

簡而言之,開發中使用Mycat和直接使用Mysql機會沒有差別。

常見問題

使用Mycat后總會遇到一些坑,我將自己遇到的一些問題在這里列一下,希望能與大家有共鳴:

  • Mycat是不是配置以后,就能完全解決分表分庫和讀寫分離問題?
    Mycat配合數據庫本身的復制功能,可以解決讀寫分離的問題,但是針對分表分庫的問題,不是完美的解決。或者說,至今為止,業界沒有完美的解決方案。
    分表分庫寫入能完美解決,但是,不能完美解決主要是聯表查詢的問題,Mycat支持兩個表聯表的查詢,多余兩個表的查詢不支持。 其實,很多數據庫中間件關于分表分庫后查詢的問題,都是需要自己實現的,而且節本都不支持聯表查詢,Mycat已經算做地非常先進了。
    分表分庫的后聯表查詢問題,大家通過合理數據庫設計來避免。

  • Mycat支持哪些數據庫,其他平臺如 .net、PHP能用嗎?
    官方說了,支持的數據庫包括MySQL、SQL Server、Oracle、DB2、PostgreSQL 等主流數據庫,很贊。
    盡量用Mysql,我試過SQL Server,會有些小問題,因為部分語法有點差異。

  • Mycat 非JAVA平臺如 .net、PHP能用嗎?
    可以用。這一點MyCat做的也很棒。

參考

《Mycat權威指南》:?http://www.mycat.io/document/Mycat_V1.6.0.pdf
官網 :http://www.mycat.io/

如果想熟練使用Mycat,建議要仔細看看官方推薦的文檔,可能需要花點時間。本文只是簡單的介紹下Mycat的配置,希望能快速讓大家對Mycat有個認識,官方的文檔理解起來也很容易,只是需要的時間更多,本文為說明的參數,請參考官方文檔。

轉載于:https://www.cnblogs.com/davidwang456/articles/10366244.html

總結

以上是生活随笔為你收集整理的学会数据库读写分离、分表分库的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。