mysql临时表好处和坏处_mysql临时表产生的执行效率问题改进(转)
問題:
近日,線上MySQL查出一個(gè)慢sql,每次都要查詢1000ms以上,嚴(yán)重影響用戶體驗(yàn)
今得空去診斷一番,記錄如下:
sql原句:
SELECT?r.object_id?AS?cardId,?count(1)?AS?attachs?FROM?hzresource_object?r
LEFT?JOIN
(?SELECT?card_id?FROM?card_member?WHERE?user_id?=?#uid#?and?card_member.deleted=0
UNION
SELECT?card_id?FROM?card_subscribed?where?user_id?=?#uid#?and?card_subscribed.deleted=0
)?m?ON?r.object_id?=?m.card_id
WHERE?r.object_type?=?#objectType#?AND?r.deleted?=?0
GROUP?BY?r.object_id;
解決問題:
由于對(duì)數(shù)據(jù)庫優(yōu)化一知半解,完全無從下手,只能求助度娘和谷哥了,試驗(yàn)了各種方法,都不見效果
幾番周折之后,最終把注意力集中到了臨時(shí)表上,因?yàn)閑xplain查看執(zhí)行計(jì)劃,可以看到Using temporary
MySQL在執(zhí)行SQL查詢時(shí)可能會(huì)用到臨時(shí)表,一般情況下,用到臨時(shí)表就意味著性能較低。
于是想辦法修改sql語句,摒棄臨時(shí)表,修改如下:
SELECT?r.object_id?AS?cardId,?count(1)?AS?attachs?FROM?hzresource_object?r
WHERE?r.object_type?=?#objectType#??AND?r.deleted?=?0?and?r.object_id?in?(
SELECT?card_id?FROM?card_member?WHERE?user_id?=?#uid#?and?card_member.deleted=0
UNION
SELECT?card_id?FROM?card_subscribed?where?user_id?=?#uid#?and?card_subscribed.deleted=0
)
GROUP?BY?r.object_id;
即把語句給拆分成兩個(gè)sql語,用in操作拼接
本機(jī)測試:
優(yōu)化前執(zhí)行時(shí)間1040ms,優(yōu)化后執(zhí)行時(shí)間:85ms,執(zhí)行速度是原來的12倍多!贊
PS:
常理我們都會(huì)排斥用in操作,用union替換,那為什么這里用in會(huì)更快呢?
帶著問題,接著去網(wǎng)上找,原來:
sql執(zhí)行會(huì)生成一個(gè)巨大的臨時(shí)表,當(dāng)內(nèi)存放不下時(shí),要全部copy 到磁盤,導(dǎo)致IO飆升,時(shí)間開銷增大。
額外收獲知識(shí)收藏如下:
臨時(shí)表存儲(chǔ)
MySQL臨時(shí)表分為“內(nèi)存臨時(shí)表”和“磁盤臨時(shí)表”,其中內(nèi)存臨時(shí)表使用MySQL的MEMORY存儲(chǔ)引擎,磁盤臨時(shí)表使用MySQL的MyISAM存儲(chǔ)引擎;
一般情況下,MySQL會(huì)先創(chuàng)建內(nèi)存臨時(shí)表,但內(nèi)存臨時(shí)表超過配置指定的值后,MySQL會(huì)將內(nèi)存臨時(shí)表導(dǎo)出到磁盤臨時(shí)表;
使用臨時(shí)表的場景
1)ORDER BY子句和GROUP BY子句不同, 例如:ORDERY BY price GROUP BY name;
2)在JOIN查詢中,ORDER BY或者GROUP BY使用了不是第一個(gè)表的列 例如:SELECT * from TableA, TableB ORDER BY TableA.price GROUP by TableB.name
3)ORDER BY中使用了DISTINCT關(guān)鍵字 ORDERY BY DISTINCT(price)
4)SELECT語句中指定了SQL_SMALL_RESULT關(guān)鍵字 SQL_SMALL_RESULT的意思就是告訴MySQL,結(jié)果會(huì)很小,請(qǐng)直接使用內(nèi)存臨時(shí)表,不需要使用索引排序 SQL_SMALL_RESULT必須和GROUP BY、DISTINCT或DISTINCTROW一起使用 一般情況下,我們沒有必要使用這個(gè)選項(xiàng),讓MySQL服務(wù)器選擇即可。
直接使用磁盤臨時(shí)表的場景
1)表包含TEXT或者BLOB列;
2)GROUP BY 或者 DISTINCT 子句中包含長度大于512字節(jié)的列;
3)使用UNION或者UNION ALL時(shí),SELECT子句中包含大于512字節(jié)的列;
表的設(shè)計(jì)原則
使用臨時(shí)表一般都意味著性能比較低,特別是使用磁盤臨時(shí)表,性能更慢,因此我們?cè)趯?shí)際應(yīng)用中應(yīng)該盡量避免臨時(shí)表的使用。 常見的避免臨時(shí)表的方法有:
1)創(chuàng)建索引:在ORDER BY或者GROUP BY的列上創(chuàng)建索引;
2)分拆很長的列:一般情況下,TEXT、BLOB,大于512字節(jié)的字符串,基本上都是為了顯示信息,而不會(huì)用于查詢條件, 因此表設(shè)計(jì)的時(shí)候,應(yīng)該將這些列獨(dú)立到另外一張表。
SQL優(yōu)化
如果表的設(shè)計(jì)已經(jīng)確定,修改比較困難,那么也可以通過優(yōu)化SQL語句來減少臨時(shí)表的大小,以提升SQL執(zhí)行效率。
常見的優(yōu)化SQL語句方法如下:
1)拆分SQL語句
臨時(shí)表主要是用于排序和分組,很多業(yè)務(wù)都是要求排序后再取出詳細(xì)的分頁數(shù)據(jù),這種情況下可以將排序和取出詳細(xì)數(shù)據(jù)拆分成不同的SQL,以降低排序或分組時(shí)臨時(shí)表的大小,提升排序和分組的效率,我們的案例就是采用這種方法。
2)優(yōu)化業(yè)務(wù),去掉排序分組等操作
有時(shí)候業(yè)務(wù)其實(shí)并不需要排序或分組,僅僅是為了好看或者閱讀方便而進(jìn)行了排序,例如數(shù)據(jù)導(dǎo)出、數(shù)據(jù)查詢等操作,這種情況下去掉排序和分組對(duì)業(yè)務(wù)也沒有多大影響。
如何判斷使用了臨時(shí)表?
使用explain查看執(zhí)行計(jì)劃,Extra列看到Using temporary就意味著使用了臨時(shí)表。
小結(jié):
可見, 完全顛覆了對(duì)in操作符的認(rèn)識(shí),凡事兒都是要分情況討論的
總結(jié)
以上是生活随笔為你收集整理的mysql临时表好处和坏处_mysql临时表产生的执行效率问题改进(转)的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: mysql relay bin 主库_M
- 下一篇: mysql switch binlog_