今日推薦

這 9 個 Java 開源項目 yyds，你知道幾個？阿里技術專家推薦的20本書，免費送！K8S 部署 SpringBoot 項目（一篇夠用）妙用Java 8中的 Function接口 消滅if...else（非常新穎的寫法） Nginx 入門到實戰，新手必懂。

前言

• 面試官：來說說，一千萬的數據，你是怎么查詢的？

• B哥：直接分頁查詢，使用limit分頁。

• 面試官：有實操過嗎？

• B哥：肯定有呀

此刻獻上一首《涼涼》

也許有些人沒遇過上千萬數據量的表，也不清楚查詢上千萬數據量的時候會發生什么。

今天就來帶大家實操一下，這次是基于MySQL 5.7.26做測試

準備數據

沒有一千萬的數據怎么辦？

創建唄

代碼創建一千萬？那是不可能的，太慢了，可能真的要跑一天?？梢圆捎脭祿炷_本執行速度快很多。

創建表

CREATE?TABLE?`user_operation_log`??(`id`?int(11)?NOT?NULL?AUTO_INCREMENT,`user_id`?varchar(64)?CHARACTER?SET?utf8mb4?COLLATE?utf8mb4_general_ci?NULL?DEFAULT?NULL,`ip`?varchar(20)?CHARACTER?SET?utf8mb4?COLLATE?utf8mb4_general_ci?NULL?DEFAULT?NULL,`op_data`?varchar(255)?CHARACTER?SET?utf8mb4?COLLATE?utf8mb4_general_ci?NULL?DEFAULT?NULL,`attr1`?varchar(255)?CHARACTER?SET?utf8mb4?COLLATE?utf8mb4_general_ci?NULL?DEFAULT?NULL,`attr2`?varchar(255)?CHARACTER?SET?utf8mb4?COLLATE?utf8mb4_general_ci?NULL?DEFAULT?NULL,`attr3`?varchar(255)?CHARACTER?SET?utf8mb4?COLLATE?utf8mb4_general_ci?NULL?DEFAULT?NULL,`attr4`?varchar(255)?CHARACTER?SET?utf8mb4?COLLATE?utf8mb4_general_ci?NULL?DEFAULT?NULL,`attr5`?varchar(255)?CHARACTER?SET?utf8mb4?COLLATE?utf8mb4_general_ci?NULL?DEFAULT?NULL,`attr6`?varchar(255)?CHARACTER?SET?utf8mb4?COLLATE?utf8mb4_general_ci?NULL?DEFAULT?NULL,`attr7`?varchar(255)?CHARACTER?SET?utf8mb4?COLLATE?utf8mb4_general_ci?NULL?DEFAULT?NULL,`attr8`?varchar(255)?CHARACTER?SET?utf8mb4?COLLATE?utf8mb4_general_ci?NULL?DEFAULT?NULL,`attr9`?varchar(255)?CHARACTER?SET?utf8mb4?COLLATE?utf8mb4_general_ci?NULL?DEFAULT?NULL,`attr10`?varchar(255)?CHARACTER?SET?utf8mb4?COLLATE?utf8mb4_general_ci?NULL?DEFAULT?NULL,`attr11`?varchar(255)?CHARACTER?SET?utf8mb4?COLLATE?utf8mb4_general_ci?NULL?DEFAULT?NULL,`attr12`?varchar(255)?CHARACTER?SET?utf8mb4?COLLATE?utf8mb4_general_ci?NULL?DEFAULT?NULL,PRIMARY?KEY?(`id`)?USING?BTREE )?ENGINE?=?InnoDB?AUTO_INCREMENT?=?1?CHARACTER?SET?=?utf8mb4?COLLATE?=?utf8mb4_general_ci?ROW_FORMAT?=?Dynamic;

創建數據腳本

采用批量插入，效率會快很多，而且每1000條數就commit，數據量太大，也會導致批量插入效率慢

DELIMITER?;; CREATE?PROCEDURE?batch_insert_log() BEGINDECLARE?i?INT?DEFAULT?1;DECLARE?userId?INT?DEFAULT?10000000;set?@execSql?=?'INSERT?INTO?`test`.`user_operation_log`(`user_id`,?`ip`,?`op_data`,?`attr1`,?`attr2`,?`attr3`,?`attr4`,?`attr5`,?`attr6`,?`attr7`,?`attr8`,?`attr9`,?`attr10`,?`attr11`,?`attr12`)?VALUES';set?@execData?=?'';WHILE?i<=10000000?DOset?@attr?=?"'測試很長很長很長很長很長很長很長很長很長很長很長很長很長很長很長很長很長的屬性'";set?@execData?=?concat(@execData,?"(",?userId?+?i,?",?'10.0.69.175',?'用戶登錄操作'",?",",?@attr,?",",?@attr,?",",?@attr,?",",?@attr,?",",?@attr,?",",?@attr,?",",?@attr,?",",?@attr,?",",?@attr,?",",?@attr,?",",?@attr,?",",?@attr,?")");if?i?%?1000?=?0thenset?@stmtSql?=?concat(@execSql,?@execData,";");prepare?stmt?from?@stmtSql;execute?stmt;DEALLOCATE?prepare?stmt;commit;set?@execData?=?"";elseset?@execData?=?concat(@execData,?",");end?if;SET?i=i+1;END?WHILE;END;; DELIMITER?;

開始測試

哥的電腦配置比較低：win10 標壓渣渣i5 讀寫約500MB的SSD

由于配置低，本次測試只準備了3148000條數據，占用了磁盤5G(還沒建索引的情況下)，跑了38min，電腦配置好的同學，可以插入多點數據測試

SELECT?count(1)?FROM?`user_operation_log`

返回結果：3148000

三次查詢時間分別為：

• 14060 ms

• 13755 ms

• 13447 ms

普通分頁查詢

MySQL 支持 LIMIT 語句來選取指定的條數數據， Oracle 可以使用 ROWNUM 來選取。

MySQL分頁查詢語法如下：

SELECT?*?FROM?table?LIMIT?[offset,]?rows?|?rows?OFFSET?offset

• 第一個參數指定第一個返回記錄行的偏移量

• 第二個參數指定返回記錄行的最大數目

下面我們開始測試查詢結果：

SELECT?*?FROM?`user_operation_log`?LIMIT?10000,?10

查詢3次時間分別為：

• 59 ms

• 49 ms

• 50 ms

這樣看起來速度還行，不過是本地數據庫，速度自然快點。

換個角度來測試

相同偏移量，不同數據量

SELECT?*?FROM?`user_operation_log`?LIMIT?10000,?10 SELECT?*?FROM?`user_operation_log`?LIMIT?10000,?100 SELECT?*?FROM?`user_operation_log`?LIMIT?10000,?1000 SELECT?*?FROM?`user_operation_log`?LIMIT?10000,?10000 SELECT?*?FROM?`user_operation_log`?LIMIT?10000,?100000 SELECT?*?FROM?`user_operation_log`?LIMIT?10000,?1000000

查詢時間如下：

數量第一次第二次第三次

10條	53ms	52ms	47ms
100條	50ms	60ms	55ms
1000條	61ms	74ms	60ms
10000條	164ms	180ms	217ms
100000條	1609ms	1741ms	1764ms
1000000條	16219ms	16889ms	17081ms

從上面結果可以得出結束：數據量越大，花費時間越長

相同數據量，不同偏移量

SELECT?*?FROM?`user_operation_log`?LIMIT?100,?100 SELECT?*?FROM?`user_operation_log`?LIMIT?1000,?100 SELECT?*?FROM?`user_operation_log`?LIMIT?10000,?100 SELECT?*?FROM?`user_operation_log`?LIMIT?100000,?100 SELECT?*?FROM?`user_operation_log`?LIMIT?1000000,?100偏移量第一次第二次第三次

100	36ms	40ms	36ms
1000	31ms	38ms	32ms
10000	53ms	48ms	51ms
100000	622ms	576ms	627ms
1000000	4891ms	5076ms	4856ms

從上面結果可以得出結束：偏移量越大，花費時間越長

SELECT?*?FROM?`user_operation_log`?LIMIT?100,?100 SELECT?id,?attr?FROM?`user_operation_log`?LIMIT?100,?100

如何優化

既然我們經過上面一番的折騰，也得出了結論，針對上面兩個問題：偏移大、數據量大，我們分別著手優化

優化偏移量大問題

采用子查詢方式

我們可以先定位偏移位置的 id，然后再查詢數據

SELECT?*?FROM?`user_operation_log`?LIMIT?1000000,?10SELECT?id?FROM?`user_operation_log`?LIMIT?1000000,?1SELECT?*?FROM?`user_operation_log`?WHERE?id?>=?(SELECT?id?FROM?`user_operation_log`?LIMIT?1000000,?1)?LIMIT?10

查詢結果如下：

sql花費時間

第一條	4818ms
第二條(無索引情況下)	4329ms
第二條(有索引情況下)	199ms
第三條(無索引情況下)	4319ms
第三條(有索引情況下)	201ms

從上面結果得出結論：

• 第一條花費的時間最大，第三條比第一條稍微好點

• 子查詢使用索引速度更快

缺點：只適用于id遞增的情況

id非遞增的情況可以使用以下寫法，但這種缺點是分頁查詢只能放在子查詢里面

注意：某些 mysql 版本不支持在 in 子句中使用 limit，所以采用了多個嵌套select

SELECT?*?FROM?`user_operation_log`?WHERE?id?IN?(SELECT?t.id?FROM?(SELECT?id?FROM?`user_operation_log`?LIMIT?1000000,?10)?AS?t)

采用 id 限定方式

這種方法要求更高些，id必須是連續遞增，而且還得計算id的范圍，然后使用 between，sql如下

SELECT?*?FROM?`user_operation_log`?WHERE?id?between?1000000?AND?1000100?LIMIT?100SELECT?*?FROM?`user_operation_log`?WHERE?id?>=?1000000?LIMIT?100

查詢結果如下：

sql花費時間

第一條	22ms
第二條	21ms

從結果可以看出這種方式非?？?/p>

注意：這里的 LIMIT 是限制了條數，沒有采用偏移量

優化數據量大問題

返回結果的數據量也會直接影響速度

SELECT?*?FROM?`user_operation_log`?LIMIT?1,?1000000SELECT?id?FROM?`user_operation_log`?LIMIT?1,?1000000SELECT?id,?user_id,?ip,?op_data,?attr1,?attr2,?attr3,?attr4,?attr5,?attr6,?attr7,?attr8,?attr9,?attr10,?attr11,?attr12?FROM?`user_operation_log`?LIMIT?1,?1000000

查詢結果如下：

sql花費時間

第一條	15676ms
第二條	7298ms
第三條	15960ms

從結果可以看出減少不需要的列，查詢效率也可以得到明顯提升

第一條和第三條查詢速度差不多，這時候你肯定會吐槽，那我還寫那么多字段干啥呢，直接 * 不就完事了

注意本人的 MySQL 服務器和客戶端是在_同一臺機器_上，所以查詢數據相差不多，有條件的同學可以測測客戶端與MySQL分開

SELECT * 它不香嗎？

在這里順便補充一下為什么要禁止 SELECT *。難道簡單無腦，它不香嗎？

主要兩點：

用 "SELECT * " 數據庫需要解析更多的對象、字段、權限、屬性等相關內容，在 SQL 語句復雜，硬解析較多的情況下，會對數據庫造成沉重的負擔。

增大網絡開銷，* 有時會誤帶上如log、IconMD5之類的無用且大文本字段，數據傳輸size會幾何增漲。特別是MySQL和應用程序不在同一臺機器，這種開銷非常明顯。

結束

最后還是希望大家自己去實操一下，肯定還可以收獲更多，歡迎留言！！

創建腳本我給你正好了，你還在等什么！！！

作者：Owater 鏈接：https://juejin.cn/post/6863668253898735629

推薦文章1、一款高顏值的 SpringBoot+JPA 博客項目2、超優 Vue+Element+Spring 中后端解決方案3、推薦幾個支付項目！4、推薦一個 Java 企業信息化系統5、一款基于 Spring Boot 的現代化社區（論壇/問答/社交網絡/博客）

總結

以上是生活随笔為你收集整理的面试官：一千万数据，怎么快速查询？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。