开源数据库中间件-MyCa初探与分片实践
-
如今隨著互聯網的發展，數據的量級也是撐指數的增長，從GB到TB到PB。對數據的各種操作也是愈加的困難，傳統的關系性數據庫已經無法滿足快速查詢與插入數據的需求。這個時候NoSQL的出現暫時解決了這一危機。它通過降低數據的安全性，減少對事務的支持，減少對復雜查詢的支持，來獲取性能上的提升。
-
但是，在有些場合NoSQL一些折衷是無法滿足使用場景的，就比如有些使用場景是絕對要有事務與安全指標的。這個時候NoSQL肯定是無法滿足的，所以還是需要使用關系性數據庫。如果使用關系型數據庫解決海量存儲的問題呢？此時就需要做數據庫集群，為了提高查詢性能將一個數據庫的數據分散到不同的數據庫中存儲。
MyCat簡介
-
Mycat 背后是阿里曾經開源的知名產品——Cobar。Cobar 的核心功能和優勢是 MySQL 數據庫分片，此產品曾經廣為流傳，據說最早的發起者對 Mysql 很精通，后來從阿里跳槽了，阿里隨后開源的 Cobar，并維持到 2013 年年初，然后，就沒有然后了。
-
Cobar 的思路和實現路徑的確不錯。基于 Java 開發的，實現了 MySQL 公開的二進制傳輸協議，巧妙地將自己偽裝成一個 MySQL Server，目前市面上絕大多數MySQL客戶端工具和應用都能兼容。比自己實現一個新的數據庫協議要明智的多，因為生態環境在哪里擺著。
-
Mycat 是基于 cobar 演變而來，對 cobar 的代碼進行了徹底的重構，使用 NIO 重構了網絡模塊，并且優化了 Buffer 內核，增強了聚合，Join 等基本特性，同時兼容絕大多數數據庫成為通用的數據庫中間件。
-
簡單的說，MyCAT就是：一個新穎的數據庫中間件產品支持mysql集群，或者mariadb?cluster，提供高可用性數據分片集群。你可以像使用mysql一樣使用mycat。對于開發人員來說根本感覺不到mycat的存在。
MyCat下載及安裝
MySQL安裝與啟動
JDK：要求jdk必須是1.7及以上版本
MySQL：推薦mysql是5.5以上版本
MySQL安裝與啟動步驟如下：( 步驟1-5省略 )
rpm -qa|grep -i mysql
3. 卸載舊版本MySQL
rpm -e --nodeps? 軟件名稱
4. 安裝服務端
rpm -ivh?MySQL-server-5.5.49-1.linux2.6.i386.rpm
5. 安裝客戶端
rpm -ivh?MySQL-client-5.5.49-1.linux2.6.i386.rpm
6. 啟動MySQL服務
service mysql start
7. 登錄MySQL
mysql -u root
8. 設置遠程登錄權限
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%'IDENTIFIED BY '123456' WITH GRANT OPTION;
在本地SQLyog 連接遠程MySQL進行測試
MyCat安裝及啟動
MyCat的官方網站： www.mycat.org.cn
下載地址： github.com/MyCATApache…
mycat 支持的命令{ console | start | stop | restart | status | dump }
Mycat的默認端口號為：8066
MyCat分片
什么是分片
簡單來說，就是指通過某種特定的條件，將我們存放在同一個數據庫中的數據分散存放到多個數據庫（主機）上面，以達到分散單臺設備負載的效果。
數據的切分（Sharding）根據其切分規則的類型，可以分為兩種切分模式。
分片相關的概念
邏輯庫(schema) ：
- 前面一節講了數據庫中間件，通常對實際應用來說，并不需要知道中間件的存在，業務開發人員只需要知道數據庫的概念，所以數據庫中間件可以被看做是一個或多個數據庫集群構成的邏輯庫。
邏輯表（table）：
- 既然有邏輯庫，那么就會有邏輯表，分布式數據庫中，對應用來說，讀寫數據的表就是邏輯表。邏輯表，可以是數據切分后，分布在一個或多個分片庫中，也可以不做數據切分，不分片，只有一個表構成。
分片表：
- 是指那些原有的很大數據的表，需要切分到多個數據庫的表，這樣，每個分片都有一部分數據，所有分片構成了完整的數據。 總而言之就是需要進行分片的表。
非分片表：
- 一個數據庫中并不是所有的表都很大，某些表是可以不用進行切分的，非分片是相對分片表來說的，就是那些不需要進行數據切分的表。
分片節點(dataNode)
- 數據切分后，一個大表被分到不同的分片數據庫上面，每個表分片所在的數據庫就是分片節點（dataNode）。
節點主機(dataHost)
- 數據切分后，每個分片節點（dataNode）不一定都會獨占一臺機器，同一機器上面可以有多個分片數據庫，這樣一個或多個分片節點（dataNode）所在的機器就是節點主機（dataHost）,為了規避單節點主機并發數限制，盡量將讀寫壓力高的分片節點（dataNode）均衡的放在不同的節點主機（dataHost）。
分片規則(rule)
- 前面講了數據切分，一個大表被分成若干個分片表，就需要一定的規則，這樣按照某種業務規則把數據分到某個分片的規則就是分片規則，數據切分選擇合適的分片規則非常重要，將極大的避免后續數據處理的難度。
MyCat分片配置
- schema.xml作為MyCat中重要的配置文件之一，管理著MyCat的邏輯庫、邏輯表以及對應的分片規則、DataNode以及DataSource。弄懂這些配置，是正確使用MyCat的前提。這里就一層層對該文件進行解析。
- schema 標簽用于定義MyCat實例中的邏輯庫
- Table 標簽定義了MyCat中的邏輯表 rule用于指定分片規則，auto-sharding-long的分片規則是按ID值的范圍進行分片 1-5000000 為第1片 5000001-10000000 為第2片.... 具體設置我們會在第5小節中講解。
- dataNode 標簽定義了MyCat中的數據節點，也就是我們通常說所的數據分片。
- dataHost標簽在mycat邏輯庫中也是作為最底層的標簽存在，直接定義了具體的數據庫實例、讀寫分離配置和心跳語句。
- 在服務器上創建3個數據庫，分別是db1 db2 db3
- 修改schema.xml如下：<?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://org.opencloudb/"><schema name="PINYOUGOUDB" checkSQLschema="false" sqlMaxLimit="100"><table name="tb_test" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" /></schema><dataNode name="dn1" dataHost="localhost1" database="db1" /><dataNode name="dn2" dataHost="localhost1" database="db2" /><dataNode name="dn3" dataHost="localhost1" database="db3" /><dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"><heartbeat>select user()</heartbeat><writeHost host="hostM1" url="192.168.25.142:3306" user="root"password="123456"></writeHost></dataHost> </mycat:schema> 復制代碼
- server.xml幾乎保存了所有mycat需要的系統配置信息。最常用的是在此配置用戶名、密碼及權限。在system中添加UTF-8字符集設置，否則存儲中文會出現問號
<property name="charset">utf8</property> - 修改user的設置 , 我們這里為 PINYOUGOUDB設置了兩個用戶<user name="test"><property name="password">test</property><property name="schemas">PINYOUGOUDB</property></user><user name="root"><property name="password">123456</property><property name="schemas">PINYOUGOUDB</property></user> 復制代碼
MyCat分片測試
進入mycat ，執行下列語句創建一個表:
CREATE TABLE tb_test (id BIGINT(20) NOT NULL,title VARCHAR(100) NOT NULL ,PRIMARY KEY (id) ) ENGINE=INNODB DEFAULT CHARSET=utf8 復制代碼創建后你會發現，MyCat會自動將你的表轉換為大寫，這一點與Oracle有些類似。
接下來是插入表數據，注意，在寫INSERT語句時一定要寫把字段列表寫出來，否則會出現下列錯誤提示：
錯誤代碼： 1064 partition table, insert must provide ColumnList
我們試著插入一些數據： INSERT INTO TB_TEST(ID,TITLE) VALUES(1,'goods1'); INSERT INTO TB_TEST(ID,TITLE) VALUES(2,'goods2'); INSERT INTO TB_TEST(ID,TITLE) VALUES(3,'goods3'); 復制代碼
我們會發現這些數據被寫入到第一個節點中了，那什么時候數據會寫到第二個節點中呢？ 我們插入下面的數據就可以插入第二個節點了
INSERT INTO TB_TEST(ID,TITLE) VALUES(5000001,'goods5000001');
因為我們采用的分片規則是每節點存儲500萬條數據，所以當ID大于5000000則會存儲到第二個節點上。 目前只設置了兩個節點，如果數據大于1000萬條，會怎么樣呢？執行下列語句測試一下 INSERT INTO TB_TEST(ID,TITLE) VALUES(10000001,'goods10000001');
MyCat分片規則
rule.xml用于定義分片規則 ，我們這里講解兩種最常見的分片規則
- tableRule 是定義具體某個表或某一類表的分片規則名稱，columns用于定義分片的列，algorithm代表算法名稱， 我們接著找rang-long的定義
- Function用于定義算法 mapFile 用于定義算法需要的數據，我們打開autopartition-long.txt
- 當我們需要將數據平均分在幾個分區中，需要使用一致性hash規則， 我們找到function的name為murmur 的定義，將count屬性改為3，因為我要將數據分成3片
- 我們再配置文件中可以找到表規則定義
- 但是這個規則指定的列是id ,如果我們的表主鍵不是id ,而是order_id ,那么我們應該重新定義一個tableRule：
- 在schema.xml中配置邏輯表時，指定規則為sharding-by-murmur-order <table name="tb_order" dataNode="dn1,dn2,dn3" rule="sharding-by-murmur-order" />
我們測試一下，創建訂單表 ,并插入數據，測試分片效果。
了解數據庫讀寫分離
數據庫讀寫分離對于大型系統或者訪問量很高的互聯網應用來說，是必不可少的一個重要功能。對于MySQL來說，標準的讀寫分離是主從模式，一個寫節點Master后面跟著多個讀節點，讀節點的數量取決于系統的壓力，通常是1-3個讀節點的配置擴展思考
總結
以上是生活随笔為你收集整理的开源数据库中间件-MyCa初探与分片实践的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 第十三届蓝桥杯2022各组完整真题(可评
- 下一篇： 52次课（mysql用户管理、常用sql