kingshard架構設計和功能實現

kingshard(https://github.com/flike/kingshard)開源有一段時間了，有些熱心的用戶發郵件來咨詢kingshard的設計和實現問題。于是周末抽空寫了一篇介紹kingshard架構和功能實現的文章，希望通過本文能夠讓用戶對kingshard有更深的了解。下面分模塊來介紹kingshard的核心組件的設計和實現。

1. 整體架構

kingshard采用Go開發，充分地利用了Go語言的并發特性。Go語言在并發方面，做了很好的封裝，這大大簡化了kingshard的開發工作。kingshard的整體工作流程入下所述：讀取配置文件并啟動，在配置文件中設置的監聽端口監聽客戶端請求。

收到客戶端連接請求后，啟動一個goroutine單獨處理該請求。

首選進行登錄驗證，驗證過程完全兼容MySQL認證協議，由于用戶名和密碼在配置文件中已經設置好，所以可以利用該信息驗證連接請求是否合法。 當用戶名和密碼都正確時，轉入下面的步驟，否則返回出錯信息給客戶端。

認證通過后，客戶端發送SQL語句。

kingshard對客戶端發送過來的SQL語句，進行詞法和語義分析，識別出SQL的類型和生成SQL的路由計劃。如果有必要還會改寫SQL，然后轉發到相應的DB。也有可能不做詞法和語義分析直接轉發到相應的后端DB。如果轉發SQL是分表且跨多個DB，則每個DB對應啟動一個goroutine發送SQL和接收該DB返回的結果。

接收并合并結果，然后轉發給客戶端。

kingshard工作整體流程可參考下面這幅圖。??kingshard整體架構圖如下所示?

2. 詞法和語義分析

要將kingshard的功能做的足夠強大，就不得不進行SQL的詞法和語義分析。SQL語句的詞法分析指的是將SQL語句切分成一個一個的關鍵字。例如對SQL語句：select name from stu where id < 13進行詞法分析，得到的結果是：{"select","name","from","stu","where","id","

數據分片，解析出表名和查詢條件，將SQL路由到正確的DB。

SQL黑名單，通過詞法和語義分析，也可以快速識別出需要屏蔽的SQL語句。例如，檢測到delete語句不帶where操作，就可以直接阻斷該SQL的轉發。

kingshard并沒有考慮完全兼容MySQL所有語法，因為完全兼容MySQL語法會使得詞法和語義分析模塊變得異常復雜，而且低效。對于DDL語句其實沒必要解析，只要能正確轉發到后端相應的DB上就可以。

kingshard只對部分DML語句(select,update,insert,delete,replace)進行了解析，這樣可以滿足絕大部分的分表操作。對于其他語句，kingshard會將其發送到一個默認的DB，或者通過kingshard特有的方式將其發送到指定的DB上，例如：?/*node2*/insert into stu(id,name) values(12,'xiaoming'),對于這種帶有注釋的的sql語句，kingshard能夠識別出，然后將這條sql語句發送到node2節點的Master DB上。

3. 負載均衡

用戶使用Mysql Proxy目的很大一部分就是為了降低單臺DB的負載，將讀壓力分擔到多臺DB上。kingshard支持多個slave，不同的slave可以配置不同的讀權重，權重越大分擔的讀請求越多。kingshard讀請求負載均衡采用的是權重輪詢調度算法。

大部分系統采用該算法時，都是轉發SQL語句時，動態地計算出本次選取DB的序號。然后將讀請求的SQL語句發送到該DB。仔細分析一下，這樣做其實是沒有必要的。因為DB的權重是相對固定的，不會經常變動，所以完全可以計算出一個固定的輪詢序列，然后將這個序列保存在一個數組中。這樣不需要動態計算，每次讀取數組就可以。舉個例子來說，在kingshard的node配置項中配置slave選項：?slave:192.168.0.12@2,192.168.0.13@3?kingshard在讀取配置信息初始化系統的時候，就生成了一個輪詢數組:[0,0,1,1,1]。在kingshard中會將這個數組打亂順序，變成：[0,1,1,0,1]。這樣就避免了動態計算DB下標的問題，對性能提升有一定幫助。

4.sharding實現

首選需要介紹兩個概念：子表，在kingshard中一張邏輯上的大表由若干張小的子表組成。例如：將stu表分成stu_0000,stu_0001,stu_0002,stu_0003。 在數據庫中stu表是不存在的，它只是一張邏輯上的表。數據庫中只存在四張子表(stu_0000,stu_0001,stu_0002,stu_0003)。 發送SQL語句時，kingshard會識別出需要分表的SQL語句，并改寫該SQL。例如，客戶端發送過來的SQL語句是：select name from stu where id =10;?kingshard收到該SQL語句后，從配置信息中識別出該表是一個Hash類型的分表。根據分表規則，將該SQL改寫成：select name from stu_2 where id =10;?然后發送給對應的DB。

Node，子表分布在各個node上，每個node包含一個maser server和若干個slave server(slave個數可以為0)。寫請求會發往該node中master server，讀請求會發往該node中的slave server。

kingshard的sharding采用了兩級映射的思想，首選根據SQL語句的分表條件計算出這條SQL語句落在哪個子表上，然后再根據配置信息找到該子表 落在哪個node上。采用兩級映射的思想，對于MySQL的擴容和縮容都能很方便地支持。目前kingshard sharding支持insert, delete, select, update和replace語句, 所有這五類操作都支持跨子表。但寫操作僅支持單node上的跨子表，select操作則可以跨node，跨子表。

對于有些表沒有分表，操作該表的SQL語句會發往default node。或者用戶可以選擇在SQL語句前面加上注釋，指定該SQL要發往的node，kingshard接收到語句后，識別出注釋中指定的node，然后將該SQL發往對應node中合適的DB。例如用戶發送/*node1*/select * from member where id=100,kingshard接收到該SQL后會將其發送到node1的salve上。這樣kingshard就能很好地兼容分表和不分表的各種應用場景了。

5. 事務的實現

所有proxy支持shard后都會面臨一個問題：支不支持分布式事務？出于性能和可用性考慮， kingshard只支持單臺DB上的事務，不允許跨DB的事務。kingshard處理單DB上的事務流程如下：用戶發送begin語句。

kingshard接收到SQL語句后，將該連接的狀態設置為事務。

用戶發送DML語句，kingshard識別出語句需要發送到的DB，然后kingshard新建一個與后端DB的連接中取一個連接，利用該連接發送語句。

收取SQL語句的結果后，將連接放回。

kingshard收到下一條SQL語句，判斷該SQL是不是發往同一個DB，如果不是則報錯。如果是發往同一個DB，則利用該連接發送語句。

收到用戶發送的commit語句，將該連接的狀態設置為非事務，事務結束。

6. 后端DB存活檢測

kingshard每個node啟動了一個goroutine用于檢測后端master和slave的狀態。當goroutine持續一段時間(由配置文件中down_after_noalive參數設置)ping不通后端的DB后，會將該DB的狀態設置為down，后續kingshard就不會將sql語句發往該DB了。

7. 客戶端白名單機制

有時候用戶為了安全考慮，希望只能某幾臺server能夠連接kingshard。在kingshard的配置文件中有一個參數：allow_ips，用于實現客戶端白名單機制。當管理員設置了該參數，則意味著只有allow_ips指定的IP能夠連接kingshard，其他IP都會被kingshard拒絕連接。如果不設置該參數，則連接kingshard的客戶端不受限制。

8. 管理端設計和實現

kingshard的管理端口復用了工作端口，通過特定的關鍵字(admin)來標示。kingshard是通過對管理端特定的SQL進行詞法和語義分析，將SQL語句解析為一條kingshard可以識別的命令。目前支持平滑上下線master和slave，和查看kingshard配置和后端DB狀態。后續打算將web頁面集成到管理端，這樣用戶就可以不用輸入命令行操作，而是在網頁上操作。大大降低用戶使用kingshard的門檻。

上述各個模塊都是kingshard中比較核心的模塊，通過這篇文章的介紹，我想讀者應該對kingshard的架構和實現有了初步的了解。很多功能的設計和實現，都是作者慢慢地摸索和實踐。如果有讀者對kingshard的設計或實現感興趣或者對上述設計有不同的想法，歡迎發郵件(flikecn#126.com)給我。

總結

以上是生活随笔為你收集整理的mysql kingshard 扩容_如何用Go打造一个高性能mysql proxy的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。