mongodb查詢分頁優(yōu)化?

轉(zhuǎn)自：https://blog.csdn.net/chunqiuwei/article/details/11669885

項目中需要用mongodb來進行數(shù)據(jù)測存儲和查詢,其中涉及到分頁:分頁的要求如下

1)每頁顯示10條

由于數(shù)據(jù)量太大,cursor.count()獲取的符合條件的數(shù)據(jù)量也很大,導致分頁得分好幾萬頁,同時在項目中用到了skip加limit的分頁方式,使得性能變慢

所以通過討論使用了一下措施.即要求2

2)最多分5000頁,(其實用戶也不可能從第一頁一頁一頁的翻到6000頁去,一般情況下翻個幾十頁,查不到自己所要的數(shù)據(jù),都會重新輸入查詢條件來再進行一次篩選)

?

經(jīng)過前面的博客討論,可以知道分頁過程中用cursor.count()獲取符合條件的條數(shù)是很耗時的,在幾千萬條數(shù)據(jù)的壓力下,基本上點擊查詢等待時間不是一般的慢.

?

結(jié)合要求2,現(xiàn)在我們的分頁思路可以進行一下改動,思路的偽代碼如下

1)分頁查詢語句為:

???

DBCursor cursor = collection.find(query).skip((currentPage-1) * PAGESIZE).sort(new BasicDBObject("starttime", -1)).limit(PAGESIZE);//PAGESIZE=10
2)既然限制了最大頁數(shù),那么可以知道skip的最大值就等于最大頁數(shù)*每頁顯示的條數(shù),在這里是10*5000=50000條.那么核心思路也就由此而出

?

int? count = 0;

if(查詢的數(shù)量>50000){

? count = 5000;

}else{

?? count =實際的數(shù)量

}

通過if條件可知,我們需要做這么一個判斷:判斷符合條件的數(shù)據(jù)量的大小是否大于50000

所以,在分頁查詢語句的后面可以添加這樣的一句代碼

?

DBCursor cursor2 = collection.find(query).skip(maxPage * PAGESIZE).limit(1);//maxPage=最大頁數(shù),在這里是5000

這句代碼思路很簡單,就只直接skip跳過50000條數(shù)據(jù)進行查詢,如果能查到結(jié)果,就說明查詢的數(shù)據(jù)量大于50000條

所以上面的代碼改動如下

int count = 0;

if(cursor2.hasNext()){//說明數(shù)據(jù)量大于50000

?? count = 50000;

}else{

?? count = cursor.count();//在五萬條數(shù)據(jù)以內(nèi)的情況下,這個速度還是挺快的

}

當然上面的語句也可以寫的更優(yōu)雅一些

int count = cursor2.hasNext()? 50000:cursor.count();

方法有點:

多增加了一條查詢語句,進行最大條數(shù)的判斷,雖然說查詢語句增加了,但是結(jié)果顯示查詢效率確實有了很大的提高,因為這些查詢通過測試都是毫秒級的.易用性得到提高

方法缺點:

? 限制了分頁的最大頁數(shù),使得查詢結(jié)果顯示的不全,一定程序上影響了用戶的使用.

轉(zhuǎn)載于:https://www.cnblogs.com/arcticBoiledWater/p/9681153.html

總結(jié)

以上是生活随笔為你收集整理的mongodb查询分页优化的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。