mysql分片库分页查询_mysql数据库分页查询优化
當數據很多需要進行分頁查詢時:需要先查出第一條數據的id然后根據id查詢大于id的數據 limt 一頁的數據量
1. ? 直接用limit?start,?count分頁語句,?也是我程序中用的方法:
select?*?from?product?limit?start,?count
當起始頁較小時,查詢沒有性能問題,我們分別看下從10,?100,?1000,?10000開始分頁的執行時間(每頁取20條),?如下:
select?*?from?product?limit?10,?20?? 0.016秒
select?*?from?product?limit?100,?20?? 0.016秒
select?*?from?product?limit?1000,?20?? 0.047秒
select?*?from?product?limit?10000,?20?? 0.094秒
我們已經看出隨著起始記錄的增加,時間也隨著增大,?這說明分頁語句limit跟起始頁碼是有很大關系的,那么我們把起始記錄改為40w看下(也就是記錄的一般左右) ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?select?*?from?product?limit?400000,?20?? 3.229秒
再看我們取最后一頁記錄的時間
select?*?from?product?limit?866613,?20?? 37.44秒
難怪搜索引擎抓取我們頁面的時候經常會報超時,像這種分頁最大的頁碼頁顯然這種時
間是無法忍受的。
從中我們也能總結出兩件事情:
1)limit語句的查詢時間與起始記錄的位置成正比
2)mysql的limit語句是很方便,但是對記錄很多的表并不適合直接使用。
2. ? 對limit分頁問題的性能優化方法
利用表的覆蓋索引來加速分頁查詢
我們都知道,利用了索引查詢的語句中如果只包含了那個索引列(覆蓋索引),那么這種情況會查詢很快。
因為利用索引查找有優化算法,且數據就在查詢索引上面,不用再去找相關的數據地址了,這樣節省了很多時間。另外Mysql中也有相關的索引緩存,在并發高的時候利用緩存就效果更好了。
在我們的例子中,我們知道id字段是主鍵,自然就包含了默認的主鍵索引?,F在讓我們看看利用覆蓋索引的查詢效果如何:
這次我們之間查詢最后一頁的數據(利用覆蓋索引,只包含id列),如下:
select?id?from?product?limit?866613,?20 0.2秒
相對于查詢了所有列的37.44秒,提升了大概100多倍的速度
那么如果我們也要查詢所有列,有兩種方法,一種是id>=的形式,另一種就是利用join,看下實際情況:
SELECT?*?FROM?product?WHERE?ID?>?=(select?id?from?product?limit?866613,?1)?limit?20
查詢時間為0.2秒,簡直是一個質的飛躍啊,哈哈
另一種寫法
SELECT?*?FROM?product?a?JOIN?(select?id?from?product?limit?866613,?20)?b?ON?a.ID?=?b.id
查詢時間也很短,贊!
其實兩者用的都是一個原理嘛,所以效果也差不多
總結
以上是生活随笔為你收集整理的mysql分片库分页查询_mysql数据库分页查询优化的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 数据库mysql存储过程_[数据库]my
- 下一篇: mysql字段数值累加_mysql字段值