何濤

唯品會平臺架構(gòu)師

何濤，現(xiàn)任職于唯品會平臺架構(gòu)部，要負(fù)責(zé)數(shù)據(jù)訪問層，網(wǎng)關(guān)，數(shù)據(jù)庫中間件，平臺框架等開發(fā)設(shè)計工作。在數(shù)據(jù)庫性能優(yōu)化，架構(gòu)設(shè)計等方面有著大量的經(jīng)驗(yàn)積累。熱衷于高可用，高并發(fā)及高性能的架構(gòu)研究。

大家可能會有這樣疑問：連接池類似于線程池或者對象池，就是一個放連接的池子，使用的時候從里面拿一個，用完了再歸還，功能非常簡單，有什么可講的。

可能還會有這樣的疑問：高性能這么高大上，一個小小的連接池，如何跟高大上靠上邊的。

本主題將會全面介紹連接池原理，高性能的設(shè)計，優(yōu)化實(shí)踐，現(xiàn)有連接池的瓶頸及解決方案。同時也會介紹唯品會自研數(shù)據(jù)庫連接池產(chǎn)品(代號：Caelus)

為什么要有連接池

先看一下連接池所處的位置：

應(yīng)用框架的業(yè)務(wù)實(shí)現(xiàn)一般都會訪問數(shù)據(jù)庫，緩存或者HTTP服務(wù)。為什么要在訪問的地方加上一個連接池呢？

下面以訪問MySQL為例，執(zhí)行一個SQL命令，如果不使用連接池，需要經(jīng)過哪些流程。

1：TCP建立連接的三次握手

2：MySQL認(rèn)證的三次握手

3：真正的SQL執(zhí)行

4：MySQL的關(guān)閉

5：TCP的四次握手關(guān)閉

可以看到，為了執(zhí)行一條SQL，卻多了非常多我們不關(guān)心的網(wǎng)絡(luò)交互。

優(yōu)點(diǎn)：實(shí)現(xiàn)簡單。

缺點(diǎn)：

1：網(wǎng)絡(luò)IO較多

2：數(shù)據(jù)庫的負(fù)載較高

3：響應(yīng)時間較長及QPS較低

4：應(yīng)用頻繁的創(chuàng)建連接和關(guān)閉連接，導(dǎo)致臨時對象較多，GC頻繁

5：在關(guān)閉連接后，會出現(xiàn)大量TIME_WAIT 的TCP狀態(tài)(在2個MSL之后關(guān)閉)

使用連接池流程

第一次訪問的時候，需要建立連接。 但是之后的訪問，均會復(fù)用之前創(chuàng)建的連接。

優(yōu)點(diǎn)：

1：較少了網(wǎng)絡(luò)開銷

2：系統(tǒng)的性能會有一個實(shí)質(zhì)的提升

3：沒了麻煩的TIME_WAIT狀態(tài)

當(dāng)然，現(xiàn)實(shí)往往是殘酷的，當(dāng)我們解決了一個問題的時候，同時伴隨著另外一個問題的產(chǎn)生。

使用連接池面臨的最大挑戰(zhàn)： 連接池的性能

連接數(shù)和線程數(shù)性能優(yōu)化

分庫DB部署結(jié)構(gòu)：

假設(shè)有128個分庫：32個服務(wù)器，每個服務(wù)器有4個schema。按照128個分庫的設(shè)計，便會新建128個獨(dú)立數(shù)據(jù)庫連接池。

數(shù)據(jù)庫連接池的模型

特點(diǎn)：

1：128個連接池完全獨(dú)立，不同的schema也對應(yīng)不同的連接池

2：先通過拆庫，讀寫等策略選擇對應(yīng)的連接池，再從連接池獲取一個連接進(jìn)行操作

3：操作完后，再將連接歸還到對應(yīng)的連接池中。

優(yōu)點(diǎn)：

結(jié)構(gòu)簡單，分散競爭

面臨的問題：

1：線程數(shù)過多

先看一下新建一個連接池，需要新建的線程數(shù)的個數(shù)。

可以看到隨著分庫的增加，不管選用哪個連接池，線程的個數(shù)均會線性增長。線程數(shù)過多將會導(dǎo)致內(nèi)存占用較大: 默認(rèn)1個線程會占用1M的空間，如果是512個線程，則會占用1M*512=512M上下文切換開銷。

Tips：由于stack和heap申請為虛地址空間，但是一旦使用就不會釋放。(線程也不一定會占用1M的空間)

2：連接數(shù)過多

數(shù)據(jù)庫的連接資源比較重，并且隨著連接的增加，數(shù)據(jù)庫的性能會有明顯的下降。DBA一般會限制每個DB建立連接的個數(shù)，比如限制為3K 。假設(shè)數(shù)據(jù)庫單臺限制3K，32臺則容量為3K*32=96K。如果應(yīng)用最大，最小連接數(shù)均為10，則每個應(yīng)用總計需要128*10=1.28K個連接。那么數(shù)據(jù)庫理論上支持的應(yīng)用個數(shù)為96K/1.28K= 80 臺

3：不能連接復(fù)用

同一個物理機(jī)下面不同的schema完全獨(dú)立，連接不能復(fù)用

優(yōu)化后的數(shù)據(jù)庫連接池模型

特點(diǎn)：

1：只有一個連接池,所有節(jié)點(diǎn)共享線程 (解決了線程數(shù)過多的問題)

2：每個物理機(jī)對應(yīng)一個host, host里面維護(hù)多個schema，schema存放連接。

3：同一個host下面的不同schema 可以進(jìn)行連接復(fù)用(解決連接數(shù)過多的問題)

獲取連接流程：

1：獲取連接需要帶上 ip,port和schema信息：比如獲取的是host31的schema1

2：先到host31的schema1中獲取空閑連接，但是schema1無空閑連接，便會從schema2中獲取空閑連接。

3：從schema2中獲取的連接執(zhí)行useschema1，該連接便切換到schema1上面。

4：執(zhí)行對應(yīng)的SQL操作，執(zhí)行完成后，歸還連接到schema1的池子里面。

優(yōu)點(diǎn)：

1：連接復(fù)用：有效減少連接數(shù)。

2：提升性能：避免頻繁的新建連接。新建連接的開銷比較大，而使用use schema開銷非常小

3：有效減少線程數(shù)。按現(xiàn)有方案大概只需要4個線程即可。而優(yōu)化前需要512個線程

缺點(diǎn)：

1：管理較為復(fù)雜

2：不符合JDBC接口規(guī)范。DataSource只有簡單的getConnection()接口，沒有針對獲取對應(yīng)schema的連接的接口。需要繼承DataSouce，實(shí)現(xiàn)特定接口。

事務(wù)語句性能優(yōu)化

優(yōu)化前執(zhí)行事務(wù)的模型

從連接池里面獲取到連接，默認(rèn)是自動提交。為了開啟事務(wù)，需要執(zhí)行setautocommit=false 操作，然后再執(zhí)行具體的SQL，歸還連接的時候，還需要將連接設(shè)置為自動提交(需要執(zhí)行set autocommit=true) 。可以看到開啟事務(wù)，需要額外執(zhí)行兩條事務(wù)的語句。

優(yōu)化后執(zhí)行事務(wù)的模型

每個schema里面所有的連接會按照autocommit進(jìn)行分組。 分為自動提交(autocommit=true) 和非自動提交(autocommit=false)。獲取連接時優(yōu)先獲取相同autocommit的分組里的連接，如果沒有可用連接則從另外一個分組中獲取連接，業(yè)務(wù)操作執(zhí)行完后，再歸還到對應(yīng)的分組里面。該種機(jī)制避免了開啟事務(wù)多執(zhí)行的兩條事務(wù)語句。

鎖性能優(yōu)化

連接池的通用功能：

連接池主要包含五部分：獲取連接，歸還連接，定時任務(wù)，維護(hù)組件及資源池

獲取連接：

1：獲取超時：如果超過規(guī)定時間未獲取到連接，則會拋出異常

2：有效性檢查：當(dāng)從資源池里面獲取到資源，需要檢查該資源的有效性，如果失效，再次獲取連接。避免執(zhí)行業(yè)務(wù)的時候報錯。

3：創(chuàng)建連接：可以同步創(chuàng)建，也可以異步創(chuàng)建。

歸還連接：

1：歸還連接：比如需要檢查最大空閑數(shù)，確定是物理關(guān)閉還是歸還到連接池

2：銷毀連接: 可同步銷毀也可異步銷毀

定時任務(wù)：

1：空閑檢查：主要是檢查空閑連接，連接空閑超過一定時間，則會關(guān)閉連接。

2：最小連接數(shù)控制：一般會設(shè)置最小連接數(shù)。保證當(dāng)前系統(tǒng)里面最小的連接數(shù)。如果不夠，則會新建連接。

組件維護(hù)：

1：連接狀態(tài)控制：空閑，使用，刪除等狀態(tài)控制

2：異常處理：對JDBC訪問的異常統(tǒng)一處理，如果異常與連接相關(guān)，則會將該連接銷毀掉。

3：緩存：避免對SQL重復(fù)解析，PrepareStatement機(jī)制下，會對SQL解析的對象進(jìn)行緩存。

4：JDBC封裝：對JDBC進(jìn)行了實(shí)現(xiàn)，真正的實(shí)現(xiàn)是底層的driver,比如MySQL-connector-java 。

資源池：

1：資源池是存放連接的地方，也是連接池最核心的地方。

2：所有的組件基本上都與資源池進(jìn)行交互，對連接資源的競爭非常激烈。該處的性能將決定了整個連接池的性能。

3：一般資源池的實(shí)現(xiàn)是使用JDK提供的BlockingQueue。那么是否有方案可以進(jìn)行無鎖的設(shè)計，來避免競爭。

資源池?zé)o鎖設(shè)計

獲取連接大概流程：

1：從ThreadLocal里面獲取連接，如果沒有空閑連接，則從全局連接池(CopyOnWriteArrayList)中獲取。

2：如果全局連接池中沒有空閑連接，則會異步新建連接。

3：判定超時時間是否大于閾值，如果小于閾值，則進(jìn)行自旋。否則進(jìn)行park休眠。

4：連接建立成功后，會對park的線程進(jìn)行喚醒

主要從四個方面實(shí)現(xiàn)了無鎖的設(shè)計：ThreadLocal,CopyOnWriteArrayList，異步建立連接及自旋。

ThreadLocal

1：每個線程均有一個連接隊(duì)列。該隊(duì)列是全局隊(duì)列的引用。

2：獲取連接時先從ThreadLocal里面拿連接，如果連接是空閑狀態(tài)，則使用。否則移除掉，再拿下一個，直到拿不到連接為止。

3：歸還連接時，只需要?dú)w還到Threadlocal的隊(duì)列里面，同時設(shè)置連接為空閑狀態(tài)

4：如果使用BlockQueue,獲取連接時調(diào)用poll,歸還連接時調(diào)用offer，存在兩次鎖的競爭。優(yōu)化后通過CAS避免了兩次鎖的開銷(獲取連接時，使用CAS置連接為非空閑狀態(tài)；歸還時，使用CAS置連接為空閑狀態(tài))

CopyOnWriteArrayList

1：該隊(duì)列使用場景是：大量讀，少量寫的操作，并且存儲的數(shù)據(jù)比較有限。而連接池的場景非常適合采用CopyOnWriteArrayList。

2：在獲取連接或者歸還連接時，只會通過CAS更改連接的狀態(tài)，不會對連接池進(jìn)行添加或者刪除的操作。

3：一般連接池連接的個數(shù)比較可控，CopyOnWriteArrayList在寫操作時會對所有連接進(jìn)行拷貝，對內(nèi)存影響不大。

異步建立連接

獲取到連接后，判斷一下是否有并發(fā)正在等待獲取連接，如果有，則異步建立連接。避免下一個連接的等待。如果CopyOnWriteArrayList沒有空閑連接，則異步建立連接。

自旋

該自旋比較類似于JDK對synchronized的自旋機(jī)制。如果發(fā)現(xiàn)超時時間大于設(shè)定的閾值(比如10微秒)，則會進(jìn)行線程掛起。如果小于設(shè)定的閾值，則重新獲取連接，進(jìn)行自選，避免線程的上下文切換帶來的性能開銷。。

優(yōu)化小技巧

方法內(nèi)聯(lián)優(yōu)化

1：每調(diào)用一次方法，線程便會新建一個棧幀，新建棧幀開銷相對比較大

2：JIT在運(yùn)行時會進(jìn)行內(nèi)聯(lián)優(yōu)化，多個方法使用一個棧幀，避免棧幀新建過多

3：JIT方法內(nèi)聯(lián)優(yōu)化默認(rèn)的字節(jié)碼個數(shù)閾值是35個字節(jié)，低于35個字節(jié)，才會進(jìn)行優(yōu)化。(可通過-XX:MaxInlineSize=35進(jìn)行設(shè)置)

通過修改上述代碼，編譯后字節(jié)碼修改到34個字節(jié)，則可以滿足內(nèi)聯(lián)的條件。

心跳語句選擇

PrepareStatement模式選擇

MySQL driver默認(rèn)是client模式，如果需要開啟server模式，需要設(shè)置 useServerPrepStmts=true 。PrepareStatement默認(rèn)的client模式和Statement對于DB端沒有區(qū)別。大家普遍理解PrepareStatement和Statement的區(qū)別是PrepareStatement可以避免SQL注入。但是避免SQL注入是如何做到的？

使用PrepareStatement設(shè)置參數(shù)的時候，比如調(diào)用setString(int parameterIndex, String x)，本地會對設(shè)置的參數(shù)進(jìn)行轉(zhuǎn)義來避免SQL注入。

執(zhí)行SQL的時候，會將SQL的?替換成轉(zhuǎn)義后的字符，發(fā)送到數(shù)據(jù)庫執(zhí)行。

PSCache

MySQLdriver 默認(rèn)不開啟，可通過設(shè)置 cachePrepStmts = true 進(jìn)行開啟

QueryTimeout

之前也遇到因?yàn)殚_啟了queryTimeout，導(dǎo)致連接泄露的問題。

具體可參考：

MySQL driver的bug發(fā)現(xiàn)之旅：http://blog.csdn.net/hetaohappy/article/details/52091005

關(guān)于連接池的最優(yōu)配置之前做過整理，可參考：

http://blog.csdn.net/hetaohappy/article/details/51861015

唯品會自研連接池：Caelus

Caelus是唯品會自研的高性能的分布式的數(shù)據(jù)庫連接池。

高性能：基于無鎖的連接池設(shè)計模型來提升連接池性能；

在分庫較多的場景下，減少線程數(shù)。?假如有128個分庫，現(xiàn)有連接池模型下則需要使用128個獨(dú)立的連接池，每個連接池都需要線程(1-4個，不同的連接池不同)處理任務(wù)。則總共需要維護(hù)128到128*4個線程，開銷巨大。而Caelus連接池會大大減少線程數(shù)。

連接復(fù)用。?對于 一個MySQL 的instance上面有多個schema場景下。現(xiàn)有連接池不同的schema的連接不可復(fù)用。而Caelus可以復(fù)用不同schema的連接，提升性能。

過多的事務(wù)指令。如果是事務(wù)語句，則從連接池拿到連接后，需要先開啟事務(wù)(setautocommit=false)，歸還時需要再設(shè)置(set autocommit=true)。每使用一次連接，均需要額外執(zhí)行兩條事務(wù)指令。Caelus能有效減少事務(wù)指令。

配置規(guī)范的統(tǒng)一。結(jié)合MySQL的設(shè)置，提供規(guī)范統(tǒng)一，最優(yōu)的配置。

本主題講解了數(shù)據(jù)庫連接池的性能設(shè)計優(yōu)化。 關(guān)于緩存(Memcache，Redis)

和HTTP連接池的優(yōu)化實(shí)踐，后面有機(jī)會再和大家一塊溝通學(xué)習(xí)。

關(guān)于Netty的純異步HTTP連接池設(shè)計，可參考：

http://blog.csdn.net/hetaohappy/article/details/51867059

電商技術(shù)專題月 ?| ?中生代技術(shù)

https://toutiao.io/posts/z5vlan/preview

總結(jié)

以上是生活随笔為你收集整理的mysql数据库资源池是否耗尽_高性能数据库连接池的内幕的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。