【歡迎關(guān)注微信公眾號(hào)：廈門(mén)微思網(wǎng)絡(luò)】

?

反常的sql語(yǔ)句

上周四午休時(shí)分，我正在工位上小憩，睡夢(mèng)中仿佛看到了自己拿著李白在榮耀峽谷里大殺四方的情景，就在我剛拿完五殺準(zhǔn)備帶領(lǐng)隊(duì)友推對(duì)面水晶的時(shí)候，一句慌亂急促的“糟了”把我從睡夢(mèng)中驚醒。

?

我瞇開(kāi)朦朧的雙眼，才發(fā)現(xiàn)剛才的發(fā)聲來(lái)源于我的組長(zhǎng)莊哥，看到他在緊張的點(diǎn)開(kāi)日志系統(tǒng)查看日志。

?

我預(yù)感到有什么不妙的事情發(fā)生，仔細(xì)一問(wèn)才知道，原來(lái)就在我瞇眼的期間，線上數(shù)據(jù)庫(kù)服務(wù)器的CPU被打滿，同時(shí)觸發(fā)了生產(chǎn)數(shù)據(jù)庫(kù)只讀延遲的限定時(shí)間并且發(fā)出告警，而且告警的過(guò)程持續(xù)了半個(gè)小時(shí)。

?

這讓我倒吸了一口涼氣，因?yàn)槲覀兘M做的系統(tǒng)很多都用的是同一個(gè)數(shù)據(jù)庫(kù)服務(wù)器，日用戶活躍量有好幾十萬(wàn)，如果服務(wù)器崩潰了將會(huì)使所有的系統(tǒng)服務(wù)都不可用。

?

于是我們趕緊通過(guò)sql日志進(jìn)行問(wèn)題查找，最后排查出來(lái)是因?yàn)橐粡坰ql的高量查詢沒(méi)有走索引導(dǎo)致，日志列表顯示，這條sql語(yǔ)句的掃描行數(shù)達(dá)到了上百萬(wàn)，基本就是全表掃描的情況，而且半個(gè)小時(shí)的時(shí)間查詢了達(dá)上萬(wàn)次，每條sql查詢的耗時(shí)都在3000ms以上。

?

我的天啊，難怪服務(wù)器會(huì)CPU打滿，這么一條耗時(shí)的sql語(yǔ)句查詢量這么大，數(shù)據(jù)庫(kù)的資源當(dāng)然是直接就崩潰了，這是當(dāng)時(shí)那條sql的查詢情況：

?

?

臨時(shí)處理

看了這條語(yǔ)句，我又倒吸一口涼氣，這不就是我寫(xiě)的系統(tǒng)調(diào)用的sql語(yǔ)句嗎？完了，這回逃不掉了，真是人在睡夢(mèng)里，鍋從天上來(lái)。

?

當(dāng)然，因?yàn)槭俏易约簩?xiě)的sql，所以我一看就知道這條語(yǔ)句是有問(wèn)題的。

?

根據(jù)我的代碼處理，這條sql的調(diào)用還少了個(gè)重要的參數(shù)user_fruit_id，這個(gè)參數(shù)沒(méi)有傳的話是不應(yīng)該走這條sql查詢的，在我的設(shè)計(jì)里，該參數(shù)是數(shù)據(jù)表里一個(gè)聯(lián)合索引的最左側(cè)字段，如果該字段沒(méi)有傳值的話，那么索引就不會(huì)生效了。

?

• ?

KEY `idx_userfruitid_type` (`user_fruit_id`,`task_type`,`receive_start_time`,`receive_end_time`) USING BTREE

?

雖然定位到了sql語(yǔ)句，但是線上的問(wèn)題刻不容緩，總不可能找出bug改完再上線吧，所以，我們只能做了一個(gè)臨時(shí)處理，就是在原來(lái)的表上多加了一個(gè)聯(lián)合索引，其實(shí)就是去掉了user_fruit_id?字段，讓這些高量的查詢都能走新的索引，就像下面這樣

?

• ?

KEY `idx_task_type_receive_start_time` (`task_type`,`receive_start_time`,`receive_end_time`,`created_time`) USING BTREE

?

加上索引后，sql的掃描行數(shù)就大幅度的降低了，重啟實(shí)例后就又能正常運(yùn)行了。

?

最左匹配原則

那么為什么最左側(cè)的字段沒(méi)傳索引就不生效了，這是因?yàn)镸ySQL的聯(lián)合索引是基于“最左匹配原則”匹配的。

?

我們都知道，索引的底層是B+樹(shù)結(jié)構(gòu)，聯(lián)合索引的結(jié)構(gòu)也是B+樹(shù)，只不過(guò)鍵值數(shù)量不是一個(gè)，而是多個(gè)，構(gòu)建一顆B+樹(shù)只能根據(jù)一個(gè)值來(lái)構(gòu)建，因此數(shù)據(jù)庫(kù)依據(jù)聯(lián)合索引最左的字段來(lái)構(gòu)建B+樹(shù)。

?

例如我們用兩個(gè)字段（name，age）這個(gè)聯(lián)合索引來(lái)分析

?

?

圖片來(lái)源于林曉斌老師的《MySQL實(shí)戰(zhàn)45講》課程

?

當(dāng)我們?cè)趙here條件中查找name為“張三”的所有記錄的時(shí)候，可以快速定位到ID4，并且查出所有包含“張三”的記錄

?

而如果要查找“張三，10”這一條特定的數(shù)據(jù)，就可以用 name = "張三" and age = 10?獲取，因?yàn)槁?lián)合索引的鍵值對(duì)是兩個(gè)，所以只要前面的name確定的情況下就可以進(jìn)一步定位到具體的age記錄。

?

但是如果你的查詢條件只有age的話，那么索引就不會(huì)生效，因?yàn)闆](méi)有匹配最左邊的字段，后面所有的索引字段都不會(huì)生效，所以我之前寫(xiě)的sql語(yǔ)句才會(huì)因?yàn)樯倭俗钭筮叺膗ser_fruit_id字段而走了全表掃描的查詢方式。

?

正常來(lái)說(shuō)，假設(shè)一個(gè)聯(lián)合索引設(shè)計(jì)成(a,b)這樣的結(jié)構(gòu)的話，那么用a and b作為條件，或者a單獨(dú)作為查詢條件都會(huì)走索引，這種情況下我們就不要再為a字段單獨(dú)設(shè)計(jì)索引了。

?

但如果查詢條件里面只有b的語(yǔ)句，是無(wú)法使用(a,b)這個(gè)聯(lián)合索引的，這時(shí)候你不得不維護(hù)另外一個(gè)索引，也就是說(shuō)你需要同時(shí)維護(hù)(a,b)、(b) 這兩個(gè)索引。

?

找出Bug

雖然臨時(shí)做了處理，但問(wèn)題并不算解決，很明顯是系統(tǒng)出現(xiàn)了bug才會(huì)有走這樣的查詢條件。因?yàn)槭俏易约簩?xiě)的代碼，所以知道是哪條sql后我就馬上定位到了代碼里的具體方法，后來(lái)才發(fā)現(xiàn)是因?yàn)槲覍?duì)user_fruit_id字段的判空處理不生效所致。

?

因?yàn)樵撟侄问菑恼{(diào)用方傳過(guò)來(lái)的，所以我在方法參數(shù)里對(duì)該字段做了非空限制的注解，也就是javax包下的@NotNull

?

• ?
• ?
• ?
• ?
• ?
• ?
• ?
• ?
• ?
• ?

public?class?GardenUserTaskListReq?implements?Serializable?{ private static final long serialVersionUID = -9161295541482297498L; @ApiModelProperty(notes = "水果id") @NotNull(message = "水果id不能為空") private Long userFruitId; /**以下省略*/ .....................}

?

雖然加上該注解來(lái)做非空校驗(yàn)，但我卻沒(méi)有在參數(shù)加上另一個(gè)注解@Validated，該注解如果沒(méi)加上的話，那么調(diào)用javax包下的校驗(yàn)規(guī)則就都不生效，正確的寫(xiě)法是在controller層方法的參數(shù)前面加上注解

?

?

除此之外，因?yàn)閡ser_fruit_id這個(gè)字段是另一張表的主鍵，我在代碼里也沒(méi)有對(duì)這張表是否存在這個(gè)id做查詢判斷，這樣一來(lái)，無(wú)論調(diào)用方傳什么值過(guò)來(lái)都會(huì)直接觸發(fā)sql查詢，并且在不跑索引的情況下直接走全表掃描。

?

不得不說(shuō)，這真是個(gè)低級(jí)錯(cuò)誤，說(shuō)真的，我對(duì)這個(gè)原因真是感到嘀笑皆非，再怎么說(shuō)也工作幾年了，怎么還犯一些新手級(jí)別的錯(cuò)誤呢，這臉打得真是讓我相當(dāng)慚愧。

?

總結(jié)

雖然是低級(jí)錯(cuò)誤，但造成的后果也算挺嚴(yán)重了，這次事件也讓我更加的警醒，在以后的開(kāi)發(fā)工作中必須要遵守該有的原則，大概有這么幾點(diǎn)：

?

1、不能相信調(diào)用端。重要的參數(shù)都要先做驗(yàn)證，即使是非空值也需要做驗(yàn)證，不符合條件的就要直接返回或拋異常，不能參與業(yè)務(wù)sql的查詢，否則頻繁的訪問(wèn)也會(huì)對(duì)服務(wù)造成負(fù)擔(dān)。

?

2、sql語(yǔ)句要先做性能查詢。對(duì)于數(shù)據(jù)量大的表，建好索引后，所有的sql查詢語(yǔ)句要用explain檢測(cè)性能，并且根據(jù)結(jié)果來(lái)進(jìn)一步優(yōu)化索引。

?

3、代碼必須要review。之前我沒(méi)有放太大的精力在代碼的review上，雖說(shuō)跟迭代排期的緊湊也有關(guān)系，但不管怎么說(shuō)，bug確實(shí)是我的疏忽造成的，尤其是像空值這種細(xì)小的錯(cuò)誤在Java里可以說(shuō)家常便飯。

?

千里之堤毀于蟻穴，有時(shí)一個(gè)小bug很容易就引發(fā)整個(gè)系統(tǒng)的崩盤(pán)，這一次的問(wèn)題也讓我更加深刻的認(rèn)識(shí)到了review代碼的重要性，不管業(yè)務(wù)開(kāi)發(fā)的工作量有多麻煩，這一步操作絕對(duì)不能忽視。

?

后續(xù)

知道了bug的原因，改完代碼當(dāng)天就重新發(fā)布了，后來(lái)，莊哥告訴我說(shuō)，為了以后讓組里的其他人對(duì)此次問(wèn)題有所警戒，讓我寫(xiě)一篇問(wèn)題記錄總結(jié)一下，我想了一下，這不是我的強(qiáng)項(xiàng)啊，但怎么說(shuō)也確實(shí)是自己的問(wèn)題，還是老老實(shí)實(shí)的寫(xiě)一下記錄好了。

?

我本以為這樣就可以松一口氣了，可平哥 (組里的一位大佬) 卻突然用詭異的眼神看著我，語(yǔ)重心長(zhǎng)的說(shuō)，上次xxx也因?yàn)榫€上出現(xiàn)問(wèn)題寫(xiě)了報(bào)告，你這一次估計(jì)也不能例外了，可能要一萬(wàn)字以上。我瞬間就感覺(jué)一個(gè)雷劈到了我頭上，蒼天啊。。。。。。

?

【歡迎關(guān)注微信公眾號(hào)：廈門(mén)微思網(wǎng)絡(luò)】

?

總結(jié)

以上是生活随笔為你收集整理的【心塞】因为一个低级错误，生产数据库崩溃了将近半个小时的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。