总结下Mysql分表分库的策略及应用
上月前面試某公司，對于mysql分表的思路，當時簡要的說了下hash算法分表，以及discuz分表的思路，
但是對于新增數據自增id存放的設計思想回答的不是很好(筆試+面試整個過程算是OK過了，因與個人預期的薪酬不太理想而忍痛放棄.)，在此再深究下mysql 分表優化之類的設計思路方案.先來閑扯下發文目的：
為什么要分表和分區？
日常開發中我們經常會遇到大表的情況，所謂的大表是指存儲了百萬級乃至千萬級條記錄的表。這樣的表過于龐大，導致數據庫在查詢和插入的時候耗時太長，性能低下，如果涉及聯合查詢的情況，性能會更加糟糕。分表和表分區的目的就是減少數據庫的負擔，提高數據庫的效率，通常點來講就是提高表的增刪改查效率。
什么是分表？
分表是將一個大表按照一定的規則分解成多張具有獨立存儲空間的實體表，我們可以稱為子表，每個表都對應三個文件，MYD數據文件，.MYI索引文件，.frm表結構文件。這些子表可以分布在同一塊磁盤上，也可以在不同的機器上。app讀寫的時候根據事先定義好的規則得到對應的子表名，然后去操作它。
什么是分區？
分區和分表相似，都是按照規則分解表。不同在于分表將大表分解為若干個獨立的實體表，而分區是將數據分段劃分在多個位置存放，可以是同一塊磁盤也可以在不同的機器。分區后，表面上還是一張表，但數據散列到多個位置了。app讀寫的時候操作的還是大表名字，db自動去組織分區的數據。
mysql分表和分區有什么聯系呢？
1.都能提高mysql的性高，在高并發狀態下都有一個良好的表現。
2.分表和分區不矛盾，可以相互配合的，對于那些大訪問量，并且表數據比較多的表，我們可以采取分表和分區結合的方式（如果merge這種分表方式，不能和分區配合的話，可以用其他的分表試），訪問量不大，但是表數據很多的表，我們可以采取分區的方式等。
3.分表技術是比較麻煩的，需要手動去創建子表，app服務端讀寫時候需要計算子表名。采用merge好一些，但也要創建子表和配置子表間的union關系。
4.表分區相對于分表，操作方便，不需要創建子表。
我們知道對于大型的互聯網應用，數據庫單表的數據量可能達到千萬甚至上億級別，同時面臨這高并發的壓力。Master-Slave結構只能對數據庫的讀能力進行擴展，寫操作還是集中在Master中，Master并不能無限制的掛接Slave庫，如果需要對數據庫的吞吐能力進行進一步的擴展，可以考慮采用分庫分表的策略。
? ? 1.分表
? ? ? ?在分表之前，首先要選中合適的分表策略（以哪個字典為分表字段，需要將數據分為多少張表），使數據能夠均衡的分布在多張表中，并且不影響正常的查詢。在企業級應用中，往往使用org_id(組織主鍵)做為分表字段，在互聯網應用中往往是userid。在確定分表策略后，當數據進行存儲及查詢時，需要確定到哪張表里去查找數據，
? ? ? ?數據存放的數據表 = 分表字段的內容 % 分表數量
? ? ?2.分庫
? ? ? ? 分表能夠解決單表數據量過大帶來的查詢效率下降的問題，但是不能給數據庫的并發訪問帶來質的提升，面對高并發的寫訪問，當Master無法承擔高并發的寫入請求時，不管如何擴展Slave服務器，都沒有意義了。我們通過對數據庫進行拆分，來提高數據庫的寫入能力，即所謂的分庫。分庫采用對關鍵字取模的方式，對數據庫進行路由。
? ? ?數據存放的數據庫=分庫字段的內容%數據庫的數量
? ? 3.即分表又分庫
數據庫分表可以解決單表海量數據的查詢性能問題，分庫可以解決單臺數據庫的并發訪問壓力問題
當數據庫同時面臨海量數據存儲和高并發訪問的時候，需要同時采取分表和分庫策略。一般分表分庫策略如下：
中間變量 = 關鍵字%（數據庫數量*單庫數據表數量）
庫 = 取整（中間變量/單庫數據表數量）
表 = （中間變量%單庫數據表數量）
先談談分表的幾種方式：
1、mysql集群
事實它并不是分表，但起到了和分表相同的作用。集群可分擔數據庫的操作次數，將任務分擔到多臺數據庫上。集群可以讀寫分離，減少讀寫壓力。從而提升數據庫性能。
2、自定義規則分表
大表可以按照業務的規則來分解為多個子表。通常為以下幾種類型，也可自己定義規則。
1 Range（范圍）–這種模式允許將數據劃分不同范圍。例如可以將一個表通過年份劃分成若干個分區。 2 Hash（哈希）–這中模式允許通過對表的一個或多個列的Hash Key進行計算，最后通過這個Hash碼不同數值對應的數據區域進行分區。例如可以建立一個對表主鍵進行分區的表。 3 Key（鍵值）-上面Hash模式的一種延伸，這里的Hash Key是MySQL系統產生的。 4 List（預定義列表）–這種模式允許系統通過預定義的列表的值來對數據進行分割。 5 composite（復合模式） –以上模式的組合使用以聊天信息表為例：
我事先建100個這樣的表，message_00,message_01,message_02……….message_98,message_99.然后根據用戶的ID來判斷這個用戶的聊天信息放到哪張表里面，你可以用hash的方式來獲得，可以用求余的方式來獲得，方法很多，各人想各人的吧。下面用hash的方法來獲得表名：
<?php function get_hash_table($table,$userid) {$str = crc32($userid);if($str<0){$hash = "0".substr(abs($str), 0, 1);}else{$hash = substr($str, 0, 2);}return $table."_".$hash; } echo get_hash_table('message' , 'user18991'); //結果為message_10 echo get_hash_table('message' , 'user34523'); //結果為message_13 ?>說明一下，上面的這個方法，告訴我們user18991這個用戶的消息都記錄在message_10這張表里，user34523這個用戶的消息都記錄在message_13這張表里，讀取的時候，只要從各自的表中讀取就行了。
優點：避免一張表出現幾百萬條數據，縮短了一條sql的執行時間
缺點：當一種規則確定時，打破這條規則會很麻煩，上面的例子中我用的hash算法是crc32，如果我現在不想用這個算法了，改用md5后，會使同一個用戶的消息被存儲到不同的表中，這樣數據亂套了。擴展性很差。
3，利用merge存儲引擎來實現分表
我覺得這種方法比較適合，那些沒有事先考慮，而已經出現了得，數據查詢慢的情況。這個時候如果要把已有的大數據量表分開比較痛苦，最痛苦的事就是改代碼，因為程序里面的sql語句已經寫好了，現在一張表要分成幾十張表，甚至上百張表，這樣sql語句是不是要重寫呢？舉個例子，我很喜歡舉例子
mysql>show engines;的時候你會發現mrg_myisam其實就是merge。
mysql> CREATE TABLE IF NOT EXISTS `user1` (-> `id` int(11) NOT NULL AUTO_INCREMENT,-> `name` varchar(50) DEFAULT NULL,-> `sex` int(1) NOT NULL DEFAULT '0',-> PRIMARY KEY (`id`)-> ) ENGINE=MyISAM DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ; Query OK, 0 rows affected (0.05 sec) mysql> CREATE TABLE IF NOT EXISTS `user2` (-> `id` int(11) NOT NULL AUTO_INCREMENT,-> `name` varchar(50) DEFAULT NULL,-> `sex` int(1) NOT NULL DEFAULT '0',-> PRIMARY KEY (`id`)-> ) ENGINE=MyISAM DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ; Query OK, 0 rows affected (0.01 sec) mysql> INSERT INTO `user1` (`name`, `sex`) VALUES('張映', 0); Query OK, 1 row affected (0.00 sec) mysql> INSERT INTO `user2` (`name`, `sex`) VALUES('tank', 1); Query OK, 1 row affected (0.00 sec) mysql> CREATE TABLE IF NOT EXISTS `alluser` (-> `id` int(11) NOT NULL AUTO_INCREMENT,-> `name` varchar(50) DEFAULT NULL,-> `sex` int(1) NOT NULL DEFAULT '0',-> INDEX(id)-> ) TYPE=MERGE UNION=(user1,user2) INSERT_METHOD=LAST AUTO_INCREMENT=1 ; Query OK, 0 rows affected, 1 warning (0.00 sec) mysql> select id,name,sex from alluser; +----+--------+-----+ | id | name | sex | +----+--------+-----+ | 1 | 張映 | 0 | | 1 | tank | 1 | +----+--------+-----+ 2 rows in set (0.00 sec) mysql> INSERT INTO `alluser` (`name`, `sex`) VALUES('tank2', 0); Query OK, 1 row affected (0.00 sec) mysql> select id,name,sex from user2-> ; +----+-------+-----+ | id | name | sex | +----+-------+-----+ | 1 | tank | 1 | | 2 | tank2 | 0 | +----+-------+-----+ 2 rows in set (0.00 sec) mysql> CREATE TABLE IF NOT EXISTS `user1` ( -> `id` int(11) NOT NULL AUTO_INCREMENT, -> `name` varchar(50) DEFAULT NULL, -> `sex` int(1) NOT NULL DEFAULT '0', -> PRIMARY KEY (`id`) -> ) ENGINE=MyISAM DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ; Query OK, 0 rows affected (0.05 sec) mysql> CREATE TABLE IF NOT EXISTS `user2` ( -> `id` int(11) NOT NULL AUTO_INCREMENT, -> `name` varchar(50) DEFAULT NULL, -> `sex` int(1) NOT NULL DEFAULT '0', -> PRIMARY KEY (`id`) -> ) ENGINE=MyISAM DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ; Query OK, 0 rows affected (0.01 sec) mysql> INSERT INTO `user1` (`name`, `sex`) VALUES('張映', 0); Query OK, 1 row affected (0.00 sec) mysql> INSERT INTO `user2` (`name`, `sex`) VALUES('tank', 1); Query OK, 1 row affected (0.00 sec) mysql> CREATE TABLE IF NOT EXISTS `alluser` ( -> `id` int(11) NOT NULL AUTO_INCREMENT, -> `name` varchar(50) DEFAULT NULL, -> `sex` int(1) NOT NULL DEFAULT '0', -> INDEX(id) -> ) TYPE=MERGE UNION=(user1,user2) INSERT_METHOD=LAST AUTO_INCREMENT=1 ; Query OK, 0 rows affected, 1 warning (0.00 sec) mysql> select id,name,sex from alluser; +----+--------+-----+ | id | name | sex | +----+--------+-----+ | 1 | 張映 | 0 | | 1 | tank | 1 | +----+--------+-----+ 2 rows in set (0.00 sec) mysql> INSERT INTO `alluser` (`name`, `sex`) VALUES('tank2', 0); Query OK, 1 row affected (0.00 sec) mysql> select id,name,sex from user2 -> ; +----+-------+-----+ | id | name | sex | +----+-------+-----+ | 1 | tank | 1 | | 2 | tank2 | 0 | +----+-------+-----+ 2 rows in set (0.00 sec)從上面的操作中，我不知道你有沒有發現點什么？假如我有一張用戶表user，有50W條數據，現在要拆成二張表user1和user2，每張表25W條數據，
INSERT INTO user1(user1.id,user1.name,user1.sex)SELECT (user.id,user.name,user.sex)FROM user where user.id <= 250000 INSERT INTO user2(user2.id,user2.name,user2.sex)SELECT (user.id,user.name,user.sex)FROM user where user.id > 250000這樣我就成功的將一張user表，分成了二個表，這個時候有一個問題，代碼中的sql語句怎么辦，以前是一張表，現在變成二張表了，代碼改動很大，這樣給程序員帶來了很大的工作量，有沒有好的辦法解決這一點呢？辦法是把以前的user表備份一下，然后刪除掉，上面的操作中我建立了一個alluser表，只把這個alluser表的表名改成user就行了。但是，不是所有的mysql操作都能用的
?
a，如果你使用 alter table 來把 merge 表變為其它表類型，到底層表的映射就被丟失了。取而代之的，來自底層 myisam 表的行被復制到已更換的表中，該表隨后被指定新類型。
b，網上看到一些說replace不起作用，我試了一下可以起作用的。暈一個先
mysql> UPDATE alluser SET sex=REPLACE(sex, 0, 1) where id=2; Query OK, 1 row affected (0.00 sec) Rows matched: 1 Changed: 1 Warnings: 0 mysql> select * from alluser; +----+--------+-----+ | id | name | sex | +----+--------+-----+ | 1 | 張映 | 0 | | 1 | tank | 1 | | 2 | tank2 | 1 | +----+--------+-----+ 3 rows in set (0.00 sec) mysql> UPDATE alluser SET sex=REPLACE(sex, 0, 1) where id=2; Query OK, 1 row affected (0.00 sec) Rows matched: 1 Changed: 1 Warnings: 0 mysql> select * from alluser;+----+--------+-----+| id | name | sex |+----+--------+-----+| 1 | 張映 | 0 || 1 | tank | 1 || 2 | tank2 | 1 |+----+--------+-----+3 rows in set (0.00 sec)c，一個 merge 表不能在整個表上維持 unique 約束。當你執行一個 insert，數據進入第一個或者最后一個 myisam 表（取決于 insert_method 選項的值）。mysql 確保唯一鍵值在那個 myisam 表里保持唯一，但不是跨集合里所有的表。
d,當你創建一個 merge 表之時，沒有檢查去確保底層表的存在以及有相同的機構。當 merge 表被使用之時，mysql 檢查每個被映射的表的記錄長度是否相等，但這并不十分可靠。如果你從不相似的 myisam 表創建一個 merge 表，你非常有可能撞見奇怪的問題。
c和d在網上看到的，沒有測試，大家試一下吧。
優點：擴展性好，并且程序代碼改動的不是很大
缺點：這種方法的效果比第二種要差一點
三、總結一下
上面提到的三種方法，我實際做過二種，第一種和第二種。第三種沒有做過，所以說的細一點。哈哈。做什么事都有一個度，超過個度就過變得很差，不能一味的做數據庫服務器集群，硬件是要花錢買的，也不要一味的分表，分出來1000表，mysql的存儲歸根到底還以文件的形勢存在硬盤上面，一張表對應三個文件，1000個分表就是對應3000個文件，這樣檢索起來也會變的很慢。我的建議是
方法1和方法2結合的方式來進行分表
方法1和方法3結合的方式來進行分表
我的二個建議適合不同的情況，根據個人情況而定，我覺得會有很多人選擇方法1和方法3結合的方式
未完待續.............
無論從事什么行業，只要做好兩件事就夠了，一個是你的專業、一個是你的人品，專業決定了你的存在，人品決定了你的人脈，剩下的就是堅持，用善良專業和真誠贏取更多的信任。不忘初心 方得始終！來源:http://www.cnblogs.com/phpper/p/6937896.html
總結
以上是生活随笔為你收集整理的总结下Mysql分表分库的策略及应用的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： mysql分库分表总结
- 下一篇： mysql分库分表方案浅析