[转载]学习数据库分表和分库思想
目錄：
?
1.基本思想之什么是分庫分表？
從字面上簡單理解，就是把原本存儲于一個庫的數據分塊存儲到多個庫上，把原本存儲于一個表的數據分塊存儲到多個表上。
?
2.基本思想之為什么要分庫分表？
數據庫中的數據量不一定是可控的，在未進行分庫分表的情況下，隨著時間和業務的發展，庫中的表會越來越多，表中的數據量也會越來越大，相應地，數據操作，增刪改查的開銷也會越來越大；另外，由于無法進行分布式式部署，而一臺服務器的資源（CPU、磁盤、內存、IO等）是有限的，最終數據庫所能承載的數據量、數據處理能力都將遭遇瓶頸。
?
3.分庫分表的實施策略。
分庫分表有垂直切分和水平切分兩種。
3.1 何謂垂直切分
即將表按照功能模塊、關系密切程度劃分出來，部署到不同的庫上。例如，我們會建立定義數據庫workDB、商品數據庫payDB、用戶數據庫userDB、日志數據庫logDB等，分別用于存儲項目數據定義表、商品定義表、用戶數據表、日志數據表等。
3.2 何謂水平切分
當一個表中的數據量過大時，我們可以把該表的數據按照某種規則，例如userID散列，進行劃分，然后存儲到多個結構相同的表，和不同的庫上。例如，我們的userDB中的用戶數據表中，每一個表的數據量都很大，就可以把userDB切分為結構相同的多個userDB：part0DB、part1DB等，再將userDB上的用戶數據表userTable，切分為很多userTable：userTable0、userTable1等，然后將這些表按照一定的規則存儲到多個userDB上，查找也就按照這種規則來進行，不過我在嘗試中使用最多的是奇偶分庫，按月分表的理念。
3.3 應該使用哪一種方式來實施數據庫分庫分表，這要看數據庫中數據量的瓶頸所在，并綜合項目的業務類型進行考慮。
如果數據庫是因為表太多而造成海量數據，并且項目的各項業務邏輯劃分清晰、低耦合，那么規則簡單明了、容易實施的垂直切分必是首選。
而如果數據庫中的表并不多，但單表的數據量很大、或數據熱度很高，這種情況之下就應該選擇水平切分，水平切分比垂直切分要復雜一些，它將原本邏輯上屬于一體的數據進行了物理分割，除了在分割時要對分割的粒度做好評估，考慮數據平均和負載平均，后期也將對項目人員及應用程序產生額外的數據管理負擔。
在現實項目中，往往是這兩種情況兼而有之，這就需要做出權衡，甚至既需要垂直切分，又需要水平切分。我們的調查問卷項目便綜合使用了垂直與水平切分，我們首先對數據庫進行垂直切分，然后，再針對一部分表，通常是用戶數據表、日志表，進行水平切分。
?
4.分庫分表存在的問題。
4.1 事務問題。
在執行分庫分表之后，由于數據存儲到了不同的庫上，數據庫事務管理出現了困難。如果依賴數據庫本身的分布式事務管理功能去執行事務，將付出高昂的性能代價；如果由應用程序去協助控制，形成程序邏輯上的事務，又會造成編程方面的負擔。解決思路：配置事務分發路由器。
4.2 跨庫跨表的join問題。
在執行了分庫分表之后，難以避免會將原本邏輯關聯性很強的數據劃分到不同的表、不同的庫上，這時，表的關聯操作將受到限制，我們無法join位于不同分庫的表，也無法join分表粒度不同的表，結果原本一次查詢能夠完成的業務，可能需要多次查詢才能完成。
4.3 額外的數據管理負擔和數據運算壓力。
額外的數據管理負擔，最顯而易見的就是數據的定位問題和數據的增刪改查的重復執行問題，這些都可以通過應用程序解決，但必然引起額外的邏輯運算，例如，對于一個記錄用戶成績的用戶數據表userTable，業務要求查出成績最好的100位，在進行分表之前，只需一個order by語句就可以搞定，但是在進行分表之后，將需要n個order by語句，分別查出每一個分表的前100名用戶數據，然后再對這些數據進行合并計算，才能得出結果。
?
轉載自：http://blog.csdn.net/zeb_perfect/article/details/40502673
?
PS：還有兩位大神的系列文章，也讓我受益良多。
http://blog.csdn.net/bluishglc/article/details/6161475
http://blog.csdn.net/kobejayandy/article/details/9034577
轉載于:https://www.cnblogs.com/VAllen/articles/database-sharding-base-thought.html
總結
以上是生活随笔為你收集整理的[转载]学习数据库分表和分库思想的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： iOS开发：iPhone6、6 plus
- 下一篇： nodejs mysql 创建连接池