MySql数据库查询优化
Mysql數(shù)據(jù)庫查詢常見效率慢場景：
1. mysql在數(shù)據(jù)量較大的時候、使用group by查詢結(jié)果集時速度很慢的原因可能有以下幾種：
1）分組字段不在同一張表中
2） 分組字段沒有建索引
3）分組字段加DESC后索引沒有起作用（如何讓索引起作用才是關(guān)鍵、且聽下文分解）
4）分組字段中加函數(shù)導(dǎo)致索引不起作用（這種一定要避免、本文不對這種情況展開說明）
5）分組字段中含有TEXT或CLOB字段（改成VARCHAR字段）
Mysql常見優(yōu)化策略
1、group by優(yōu)化
1）優(yōu)化策略：
先給分組字段建索引
再對該表分組、分組后再和其他表關(guān)聯(lián)查詢
2）優(yōu)化理論：
先利用索引將結(jié)果集快速最小化、然后再和其他表關(guān)聯(lián)
MySQL數(shù)據(jù)庫優(yōu)化的八種方式(經(jīng)典必看)
引言：
關(guān)于數(shù)據(jù)庫優(yōu)化，網(wǎng)上有不少資料和方法，但是不少質(zhì)量參差不齊，有些總結(jié)的不夠到位，內(nèi)容冗雜
偶爾發(fā)現(xiàn)了這篇文章，總結(jié)得很經(jīng)典，文章流量也很大，所以拿到自己的總結(jié)文集中，積累優(yōu)質(zhì)文章，提升個人能力，希望對大家今后開發(fā)中也有幫助
1、選取最適用的字段屬性
MySQL可以很好的支持大數(shù)據(jù)量的存取，但是一般說來，數(shù)據(jù)庫中的表越小，在它上面執(zhí)行的查詢也就會越快。因此，在創(chuàng)建表的時候，為了獲得更好的性能，我們可以將表中字段的寬度設(shè)得盡可能小。
例如，在定義郵政編碼這個字段時，如果將其設(shè)置為CHAR(255),顯然給數(shù)據(jù)庫增加了不必要的空間，甚至使用VARCHAR這種類型也是多余的，因為CHAR(6)就可以很好的完成任務(wù)了。同樣的，如果可以的話，我們應(yīng)該使用MEDIUMINT而不是BIGIN來定義整型字段。
另外一個提高效率的方法是在可能的情況下，應(yīng)該盡量把字段設(shè)置為NOTNULL，這樣在將來執(zhí)行查詢的時候，數(shù)據(jù)庫不用去比較NULL值。
對于某些文本字段，例如“省份”或者“性別”，我們可以將它們定義為ENUM類型。因為在MySQL中，ENUM類型被當(dāng)作數(shù)值型數(shù)據(jù)來處理，而數(shù)值型數(shù)據(jù)被處理起來的速度要比文本類型快得多。這樣，我們又可以提高數(shù)據(jù)庫的性能。
2、使用連接（JOIN）來代替子查詢(Sub-Queries)
MySQL從4.1開始支持SQL的子查詢。這個技術(shù)可以使用SELECT語句來創(chuàng)建一個單列的查詢結(jié)果，然后把這個結(jié)果作為過濾條件用在另一個查詢中。例如，我們要將客戶基本信息表中沒有任何訂單的客戶刪除掉，就可以利用子查詢先從銷售信息表中將所有發(fā)出訂單的客戶ID取出來，然后將結(jié)果傳遞給主查詢，如下所示：
DELETEFROMcustomerinfo
WHERECustomerIDNOTin(SELECTCustomerIDFROMsalesinfo)
使用子查詢可以一次性的完成很多邏輯上需要多個步驟才能完成的SQL操作，同時也可以避免事務(wù)或者表鎖死，并且寫起來也很容易。但是，有些情況下，子查詢可以被更有效率的連接（JOIN）..替代。例如，假設(shè)我們要將所有沒有訂單記錄的用戶取出來，可以用下面這個查詢完成：
SELECT*FROMcustomerinfo
WHERECustomerIDNOTin(SELECTCustomerIDFROMsalesinfo)
如果使用連接（JOIN）..來完成這個查詢工作，速度將會快很多。尤其是當(dāng)salesinfo表中對CustomerID建有索引的話，性能將會更好，查詢?nèi)缦拢?/p>
SELECT*FROMcustomerinfo
LEFTJOINsalesinfoONcustomerinfo.CustomerID=salesinfo.CustomerID
WHEREsalesinfo.CustomerIDISNULL
連接（JOIN）..之所以更有效率一些，是因為MySQL不需要在內(nèi)存中創(chuàng)建臨時表來完成這個邏輯上的需要兩個步驟的查詢工作。
3、使用聯(lián)合(UNION)來代替手動創(chuàng)建的臨時表
MySQL從4.0的版本開始支持union查詢，它可以把需要使用臨時表的兩條或更多的select查詢合并的一個查詢中。在客戶端的查詢會話結(jié)束的時候，臨時表會被自動刪除，從而保證數(shù)據(jù)庫整齊、高效。使用union來創(chuàng)建查詢的時候，我們只需要用UNION作為關(guān)鍵字把多個select語句連接起來就可以了，要注意的是所有select語句中的字段數(shù)目要想同。下面的例子就演示了一個使用UNION的查詢。
SELECTName,PhoneFROMclientUNION
SELECTName,BirthDateFROMauthorUNION
SELECTName,SupplierFROMproduct
4、事務(wù)
盡管我們可以使用子查詢（Sub-Queries）、連接（JOIN）和聯(lián)合（UNION）來創(chuàng)建各種各樣的查詢，但不是所有的數(shù)據(jù)庫操作都可以只用一條或少數(shù)幾條SQL語句就可以完成的。更多的時候是需要用到一系列的語句來完成某種工作。但是在這種情況下，當(dāng)這個語句塊中的某一條語句運行出錯的時候，整個語句塊的操作就會變得不確定起來。設(shè)想一下，要把某個數(shù)據(jù)同時插入兩個相關(guān)聯(lián)的表中，可能會出現(xiàn)這樣的情況：第一個表中成功更新后，數(shù)據(jù)庫突然出現(xiàn)意外狀況，造成第二個表中的操作沒有完成，這樣，就會造成數(shù)據(jù)的不完整，甚至?xí)茐臄?shù)據(jù)庫中的數(shù)據(jù)。要避免這種情況，就應(yīng)該使用事務(wù)，它的作用是：要么語句塊中每條語句都操作成功，要么都失敗。換句話說，就是可以保持?jǐn)?shù)據(jù)庫中數(shù)據(jù)的一致性和完整性。事物以BEGIN關(guān)鍵字開始，COMMIT關(guān)鍵字結(jié)束。在這之間的一條SQL操作失敗，那么，ROLLBACK命令就可以把數(shù)據(jù)庫恢復(fù)到BEGIN開始之前的狀態(tài)。
BEGIN; INSERTINTOsalesinfoSETCustomerID=14;UPDATEinventorySETQuantity=11WHEREitem='book';COMMIT;
事務(wù)的另一個重要作用是當(dāng)多個用戶同時使用相同的數(shù)據(jù)源時，它可以利用鎖定數(shù)據(jù)庫的方法來為用戶提供一種安全的訪問方式，這樣可以保證用戶的操作不被其它的用戶所干擾。
5、鎖定表
盡管事務(wù)是維護(hù)數(shù)據(jù)庫完整性的一個非常好的方法，但卻因為它的獨占性，有時會影響數(shù)據(jù)庫的性能，尤其是在很大的應(yīng)用系統(tǒng)中。由于在事務(wù)執(zhí)行的過程中，數(shù)據(jù)庫將會被鎖定，因此其它的用戶請求只能暫時等待直到該事務(wù)結(jié)束。如果一個數(shù)據(jù)庫系統(tǒng)只有少數(shù)幾個用戶來使用，事務(wù)造成的影響不會成為一個太大的問題；但假設(shè)有成千上萬的用戶同時訪問一個數(shù)據(jù)庫系統(tǒng)，例如訪問一個電子商務(wù)網(wǎng)站，就會產(chǎn)生比較嚴(yán)重的響應(yīng)延遲。
其實，有些情況下我們可以通過鎖定表的方法來獲得更好的性能。下面的例子就用鎖定表的方法來完成前面一個例子中事務(wù)的功能。
LOCKTABLEinventoryWRITESELECTQuantityFROMinventoryWHEREItem='book';
...
UPDATEinventorySETQuantity=11WHEREItem='book';UNLOCKTABLES
這里，我們用一個select語句取出初始數(shù)據(jù)，通過一些計算，用update語句將新值更新到表中。包含有WRITE關(guān)鍵字的LOCKTABLE語句可以保證在UNLOCKTABLES命令被執(zhí)行之前，不會有其它的訪問來對inventory進(jìn)行插入、更新或者刪除的操作。
6、使用外鍵
鎖定表的方法可以維護(hù)數(shù)據(jù)的完整性，但是它卻不能保證數(shù)據(jù)的關(guān)聯(lián)性。這個時候我們就可以使用外鍵。
例如，外鍵可以保證每一條銷售記錄都指向某一個存在的客戶。在這里，外鍵可以把customerinfo表中的CustomerID映射到salesinfo表中CustomerID，任何一條沒有合法CustomerID的記錄都不會被更新或插入到salesinfo中。
CREATETABLEcustomerinfo( CustomerIDINTNOTNULL,PRIMARYKEY(CustomerID))TYPE=INNODB;
CREATETABLEsalesinfo( SalesIDINTNOTNULL,CustomerIDINTNOTNULL,
PRIMARYKEY(CustomerID,SalesID),
FOREIGNKEY(CustomerID)REFERENCEScustomerinfo(CustomerID)ONDELETECASCADE)TYPE=INNODB;
注意例子中的參數(shù)“ONDELETECASCADE”。該參數(shù)保證當(dāng)customerinfo表中的一條客戶記錄被刪除的時候，salesinfo表中所有與該客戶相關(guān)的記錄也會被自動刪除。如果要在MySQL中使用外鍵，一定要記住在創(chuàng)建表的時候?qū)⒈淼念愋投x為事務(wù)安全表InnoDB類型。該類型不是MySQL表的默認(rèn)類型。定義的方法是在CREATETABLE語句中加上TYPE=INNODB。如例中所示。
7、使用索引
索引是提高數(shù)據(jù)庫性能的常用方法，它可以令數(shù)據(jù)庫服務(wù)器以比沒有索引快得多的速度檢索特定的行，尤其是在查詢語句當(dāng)中包含有MAX(),MIN()和ORDERBY這些命令的時候，性能提高更為明顯。
那該對哪些字段建立索引呢？
一般說來，索引應(yīng)建立在那些將用于JOIN,WHERE判斷和ORDERBY排序的字段上。盡量不要對數(shù)據(jù)庫中某個含有大量重復(fù)的值的字段建立索引。對于一個ENUM類型的字段來說，出現(xiàn)大量重復(fù)值是很有可能的情況
例如customerinfo中的“province”..字段，在這樣的字段上建立索引將不會有什么幫助；相反，還有可能降低數(shù)據(jù)庫的性能。我們在創(chuàng)建表的時候可以同時創(chuàng)建合適的索引，也可以使用ALTERTABLE或CREATEINDEX在以后創(chuàng)建索引。此外，MySQL從版本3.23.23開始支持全文索引和搜索。全文索引在MySQL中是一個FULLTEXT類型索引，但僅能用于MyISAM類型的表。對于一個大的數(shù)據(jù)庫，將數(shù)據(jù)裝載到一個沒有FULLTEXT索引的表中，然后再使用ALTERTABLE或CREATEINDEX創(chuàng)建索引，將是非常快的。但如果將數(shù)據(jù)裝載到一個已經(jīng)有FULLTEXT索引的表中，執(zhí)行過程將會非常慢。
8、優(yōu)化的查詢語句
絕大多數(shù)情況下，使用索引可以提高查詢的速度，但如果SQL語句使用不恰當(dāng)?shù)脑挘饕龑o法發(fā)揮它應(yīng)有的作用。
下面是應(yīng)該注意的幾個方面。
首先，最好是在相同類型的字段間進(jìn)行比較的操作。
在MySQL3.23版之前，這甚至是一個必須的條件。例如不能將一個建有索引的INT字段和BIGINT字段進(jìn)行比較；但是作為特殊的情況，在CHAR類型的字段和VARCHAR類型字段的字段大小相同的時候，可以將它們進(jìn)行比較。
其次，在建有索引的字段上盡量不要使用函數(shù)進(jìn)行操作。
例如，在一個DATE類型的字段上使用YEAE()函數(shù)時，將會使索引不能發(fā)揮應(yīng)有的作用。所以，下面的兩個查詢雖然返回的結(jié)果一樣，但后者要比前者快得多。
第三，在搜索字符型字段時，我們有時會使用LIKE關(guān)鍵字和通配符，這種做法雖然簡單，但卻也是以犧牲系統(tǒng)性能為代價的。
例如下面的查詢將會比較表中的每一條記錄。
SELECT*FROMbooks
WHEREnamelike"MySQL%"
但是如果換用下面的查詢，返回的結(jié)果一樣，但速度就要快上很多：
SELECT*FROMbooks
WHEREname＞="MySQL"andname＜"MySQM"
最后，應(yīng)該注意避免在查詢中讓MySQL進(jìn)行自動類型轉(zhuǎn)換，因為轉(zhuǎn)換過程也會使索引變得不起作用。
優(yōu)化Mysql數(shù)據(jù)庫的8個方法
本文通過8個方法優(yōu)化Mysql數(shù)據(jù)庫：創(chuàng)建索引、復(fù)合索引、索引不會包含有NULL值的列、使用短索引、排序的索引問題、like語句操作、不要在列上進(jìn)行運算、不使用NOT IN和<>操作
1、創(chuàng)建索引
對于查詢占主要的應(yīng)用來說，索引顯得尤為重要。很多時候性能問題很簡單的就是因為我們忘了添加索引而造成的，或者說沒有添加更為有效的索引導(dǎo)致。如果不加索引的話，那么查找任何哪怕只是一條特定的數(shù)據(jù)都會進(jìn)行一次全表掃描，如果一張表的數(shù)據(jù)量很大而符合條件的結(jié)果又很少，那么不加索引會引起致命的性能下降。但是也不是什么情況都非得建索引不可，比如性別可能就只有兩個值，建索引不僅沒什么優(yōu)勢，還會影響到更新速度，這被稱為過度索引。
2、復(fù)合索引
比如有一條語句是這樣的：select * from users where area='beijing' and age=22;
如果我們是在area和age上分別創(chuàng)建單個索引的話，由于mysql查詢每次只能使用一個索引，所以雖然這樣已經(jīng)相對不做索引時全表掃描提高了很多效率，但是如果在area、age兩列上創(chuàng)建復(fù)合索引的話將帶來更高的效率。如果我們創(chuàng)建了(area, age, salary)的復(fù)合索引，那么其實相當(dāng)于創(chuàng)建了(area,age,salary)、(area,age)、(area)三個索引，這被稱為最佳左前綴特性。因此我們在創(chuàng)建復(fù)合索引時應(yīng)該將最常用作限制條件的列放在最左邊，依次遞減。
3、索引不會包含有NULL值的列
只要列中包含有NULL值都將不會被包含在索引中，復(fù)合索引中只要有一列含有NULL值，那么這一列對于此復(fù)合索引就是無效的。所以我們在數(shù)據(jù)庫設(shè)計時不要讓字段的默認(rèn)值為NULL。
4、使用短索引
對串列進(jìn)行索引，如果可能應(yīng)該指定一個前綴長度。例如，如果有一個CHAR(255)的 列，如果在前10 個或20 個字符內(nèi)，多數(shù)值是惟一的，那么就不要對整個列進(jìn)行索引。短索引不僅可以提高查詢速度而且可以節(jié)省磁盤空間和I/O操作。
5、排序的索引問題
mysql查詢只使用一個索引，因此如果where子句中已經(jīng)使用了索引的話，那么order by中的列是不會使用索引的。因此數(shù)據(jù)庫默認(rèn)排序可以符合要求的情況下不要使用排序操作；盡量不要包含多個列的排序，如果需要最好給這些列創(chuàng)建復(fù)合索引。
6、like語句操作
一般情況下不鼓勵使用like操作，如果非使用不可，如何使用也是一個問題。like “%aaa%” 不會使用索引而like “aaa%”可以使用索引。
7、不要在列上進(jìn)行運算
select * from users where YEAR(adddate)<2007;
將在每個行上進(jìn)行運算，這將導(dǎo)致索引失效而進(jìn)行全表掃描，因此我們可以改成
select * from users where adddate<‘2007-01-01';
8、不使用NOT IN和<>操作
NOT IN和<>操作都不會使用索引將進(jìn)行全表掃描。NOT IN可以NOT EXISTS代替，id<>3則可使用id>3 or id<3來代替。
數(shù)據(jù)庫SQL優(yōu)化大總結(jié)之 百萬級數(shù)據(jù)庫優(yōu)化方案
網(wǎng)上關(guān)于SQL優(yōu)化的教程很多，但是比較雜亂。近日有空整理了一下，寫出來跟大家分享一下，其中有錯誤和不足的地方，還請大家糾正補充。
這篇文章我花費了大量的時間查找資料、修改、排版，希望大家閱讀之后，感覺好的話推薦給更多的人，讓更多的人看到、糾正以及補充。
1.對查詢進(jìn)行優(yōu)化，要盡量避免全表掃描，首先應(yīng)考慮在 where 及 order by 涉及的列上建立索引。
2.應(yīng)盡量避免在 where 子句中對字段進(jìn)行 null 值判斷，否則將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描，如：
select id from t where num is null
最好不要給數(shù)據(jù)庫留NULL，盡可能的使用NOT NULL填充數(shù)據(jù)庫.
備注、描述、評論之類的可以設(shè)置為NULL，其他的，最好不要使用NULL。
不要以為NULL不需要空間，比如：char(100)型，在字段建立時，空間就固定了，不管是否插入值（NULL也包含在內(nèi)），都是占用100個字符的空間的，如果是varchar這樣的變長字段，null不占用空間。
可以在num上設(shè)置默認(rèn)值0，確保表中num列沒有null值，然后這樣查詢：
select id from t where num = 0
3.應(yīng)盡量避免在 where 子句中使用 != 或 <> 操作符，否則將引擎放棄使用索引而進(jìn)行全表掃描。
4.應(yīng)盡量避免在 where 子句中使用 or 來連接條件，如果一個字段有索引，一個字段沒有索引，將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描，如：
select id from t where num=10 or Name = 'admin'
可以這樣查詢：
select id from t where num = 10 union all select id from t where Name = 'admin'
5.in 和 not in 也要慎用，否則會導(dǎo)致全表掃描，如：
select id from t where num in(1,2,3)
對于連續(xù)的數(shù)值，能用 between 就不要用 in 了：
select id from t where num between 1 and 3
很多時候用exists 代替 in是一個好的選擇：
select num from a where num in(select num from b)
用下面的語句替換：
select num from a where exists(select 1 from b where num=a.num)
6.下面的查詢也將導(dǎo)致全表掃描：
select id from t where name like ‘%abc%’
若要提高效率，可以考慮全文檢索。
7.如果在 where 子句中使用參數(shù)，也會導(dǎo)致全表掃描。因為SQL只有在運行時才會解析局部變量，但優(yōu)化程序不能將訪問計劃的選擇推遲到運行時；它必須在編譯時進(jìn)行選擇。然 而，如果在編譯時建立訪問計劃，變量的值還是未知的，因而無法作為索引選擇的輸入項。如下面語句將進(jìn)行全表掃描：
select id from t where num = @num
可以改為強制查詢使用索引：
select id from t with(index(索引名)) where num = @num
.應(yīng)盡量避免在 where 子句中對字段進(jìn)行表達(dá)式操作，這將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描。如：
select id from t where num/2 = 100
應(yīng)改為:
select id from t where num = 100*2
9.應(yīng)盡量避免在where子句中對字段進(jìn)行函數(shù)操作，這將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描。如：
select id from t where substring(name,1,3) = ’abc’ -–name以abc開頭的id select id from t where datediff(day,createdate,’2005-11-30′) = 0 -–‘2005-11-30’ --生成的id
應(yīng)改為:
select id from t where name like 'abc%' select id from t where createdate >= '2005-11-30' and createdate < '2005-12-1'
10.不要在 where 子句中的“=”左邊進(jìn)行函數(shù)、算術(shù)運算或其他表達(dá)式運算，否則系統(tǒng)將可能無法正確使用索引。
11.在使用索引字段作為條件時，如果該索引是復(fù)合索引，那么必須使用到該索引中的第一個字段作為條件時才能保證系統(tǒng)使用該索引，否則該索引將不會被使用，并且應(yīng)盡可能的讓字段順序與索引順序相一致。
12.不要寫一些沒有意義的查詢，如需要生成一個空表結(jié)構(gòu)：
select col1,col2 into #t from t where 1=0
這類代碼不會返回任何結(jié)果集，但是會消耗系統(tǒng)資源的，應(yīng)改成這樣：
create table #t(…)
13.Update 語句，如果只更改1、2個字段，不要Update全部字段，否則頻繁調(diào)用會引起明顯的性能消耗，同時帶來大量日志。
14.對于多張大數(shù)據(jù)量（這里幾百條就算大了）的表JOIN，要先分頁再JOIN，否則邏輯讀會很高，性能很差。
15.select count(*) from table；這樣不帶任何條件的count會引起全表掃描，并且沒有任何業(yè)務(wù)意義，是一定要杜絕的。
16.索引并不是越多越好，索引固然可以提高相應(yīng)的 select 的效率，但同時也降低了 insert 及 update 的效率，因為 insert 或 update 時有可能會重建索引，所以怎樣建索引需要慎重考慮，視具體情況而定。一個表的索引數(shù)最好不要超過6個，若太多則應(yīng)考慮一些不常使用到的列上建的索引是否有 必要。
17.應(yīng)盡可能的避免更新 clustered 索引數(shù)據(jù)列，因為 clustered 索引數(shù)據(jù)列的順序就是表記錄的物理存儲順序，一旦該列值改變將導(dǎo)致整個表記錄的順序的調(diào)整，會耗費相當(dāng)大的資源。若應(yīng)用系統(tǒng)需要頻繁更新 clustered 索引數(shù)據(jù)列，那么需要考慮是否應(yīng)將該索引建為 clustered 索引。
18.盡量使用數(shù)字型字段，若只含數(shù)值信息的字段盡量不要設(shè)計為字符型，這會降低查詢和連接的性能，并會增加存儲開銷。這是因為引擎在處理查詢和連 接時會逐個比較字符串中每一個字符，而對于數(shù)字型而言只需要比較一次就夠了。
19.盡可能的使用 varchar/nvarchar 代替 char/nchar，因為首先變長字段存儲空間小，可以節(jié)省存儲空間，其次對于查詢來說，在一個相對較小的字段內(nèi)搜索效率顯然要高些。
20.任何地方都不要使用 select * from t ，用具體的字段列表代替“*”，不要返回用不到的任何字段。
21.盡量使用表變量來代替臨時表。如果表變量包含大量數(shù)據(jù)，請注意索引非常有限（只有主鍵索引）。
22. 避免頻繁創(chuàng)建和刪除臨時表，以減少系統(tǒng)表資源的消耗。臨時表并不是不可使用，適當(dāng)?shù)厥褂盟鼈兛梢允鼓承├谈行В纾?dāng)需要重復(fù)引用大型表或常用表中的某個數(shù)據(jù)集時。但是，對于一次性事件， 最好使用導(dǎo)出表。
23.在新建臨時表時，如果一次性插入數(shù)據(jù)量很大，那么可以使用 select into 代替 create table，避免造成大量 log ，以提高速度；如果數(shù)據(jù)量不大，為了緩和系統(tǒng)表的資源，應(yīng)先create table，然后insert。
24.如果使用到了臨時表，在存儲過程的最后務(wù)必將所有的臨時表顯式刪除，先 truncate table ，然后 drop table ，這樣可以避免系統(tǒng)表的較長時間鎖定。
25.盡量避免使用游標(biāo)，因為游標(biāo)的效率較差，如果游標(biāo)操作的數(shù)據(jù)超過1萬行，那么就應(yīng)該考慮改寫。
26.使用基于游標(biāo)的方法或臨時表方法之前，應(yīng)先尋找基于集的解決方案來解決問題，基于集的方法通常更有效。
27.與臨時表一樣，游標(biāo)并不是不可使用。對小型數(shù)據(jù)集使用 FAST_FORWARD 游標(biāo)通常要優(yōu)于其他逐行處理方法，尤其是在必須引用幾個表才能獲得所需的數(shù)據(jù)時。在結(jié)果集中包括“合計”的例程通常要比使用游標(biāo)執(zhí)行的速度快。如果開發(fā)時 間允許，基于游標(biāo)的方法和基于集的方法都可以嘗試一下，看哪一種方法的效果更好。
28.在所有的存儲過程和觸發(fā)器的開始處設(shè)置 SET NOCOUNT ON ，在結(jié)束時設(shè)置 SET NOCOUNT OFF 。無需在執(zhí)行存儲過程和觸發(fā)器的每個語句后向客戶端發(fā)送 DONE_IN_PROC 消息。
29.盡量避免大事務(wù)操作，提高系統(tǒng)并發(fā)能力。
30.盡量避免向客戶端返回大數(shù)據(jù)量，若數(shù)據(jù)量過大，應(yīng)該考慮相應(yīng)需求是否合理。
實際案例分析：拆分大的DELETE或INSERT語句，批量提交SQL語句
如果你需要在一個在線的網(wǎng)站上去執(zhí)行一個大的DELETE或INSERT查詢，你需要非常小心，要避免你的操作讓你的整個網(wǎng)站停止相應(yīng)。因為這兩個操作是會鎖表的，表一鎖住了，別的操作都進(jìn)不來了。
Apache會有很多的子進(jìn)程或線程。所以，其工作起來相當(dāng)有效率，而我們的服務(wù)器也不希望有太多的子進(jìn)程，線程和數(shù)據(jù)庫鏈接，這是極大的占服務(wù)器資源的事情，尤其是內(nèi)存。
如果你把你的表鎖上一段時間，比如30秒鐘，那么對于一個有很高訪問量的站點來說，這30秒所積累的訪問進(jìn)程/線程，數(shù)據(jù)庫鏈接，打開的文件數(shù)，可能不僅僅會讓你的WEB服務(wù)崩潰，還可能會讓你的整臺服務(wù)器馬上掛了。
所以，如果你有一個大的處理，你一定把其拆分，使用LIMIToracle(rownum),sqlserver(top)條件是一個好的方法。下面是一個mysql示例：
while(1){
//每次只做1000條
mysql_query(“delete from logs where log_date <= ’2012-11-01’ limit 1000”);
if(mysql_affected_rows() == 0){
//刪除完成，退出！
break；
}
//每次暫停一段時間，釋放表讓其他進(jìn)程/線程訪問。
usleep(50000)
}
好了，到這里就寫完了。我知道還有很多沒有寫到的，還請大家補充。后面有空會介紹一些SQL優(yōu)化工具給大家。讓我們一起學(xué)習(xí)，一起進(jìn)步吧！
運維角度淺談MySQL數(shù)據(jù)庫優(yōu)化
一個成熟的數(shù)據(jù)庫架構(gòu)并不是一開始設(shè)計就具備高可用、高伸縮等特性的，它是隨著用戶量的增加，基礎(chǔ)架構(gòu)才逐漸完善。這篇博文主要談MySQL數(shù)據(jù)庫發(fā)展周期中所面臨的問題及優(yōu)化方案，暫且拋開前端應(yīng)用不說，大致分為以下五個階段：
1、數(shù)據(jù)庫表設(shè)計
項目立項后，開發(fā)部根據(jù)產(chǎn)品部需求開發(fā)項目，開發(fā)工程師工作其中一部分就是對表結(jié)構(gòu)設(shè)計。對于數(shù)據(jù)庫來說，這點很重要，如果設(shè)計不當(dāng)，會直接影響訪問速度和用戶體驗。影響的因素很多，比如慢查詢、低效的查詢語句、沒有適當(dāng)建立索引、數(shù)據(jù)庫堵塞（死鎖）等。當(dāng)然，有測試工程師的團(tuán)隊，會做壓力測試，找bug。對于沒有測試工程師的團(tuán)隊來說，大多數(shù)開發(fā)工程師初期不會太多考慮數(shù)據(jù)庫設(shè)計是否合理，而是盡快完成功能實現(xiàn)和交付，等項目有一定訪問量后，隱藏的問題就會暴露，這時再去修改就不是這么容易的事了。
2、數(shù)據(jù)庫部署
該運維工程師出場了，項目初期訪問量不會很大，所以單臺部署足以應(yīng)對在1500左右的QPS（每秒查詢率）。考慮到高可用性，可采用MySQL主從復(fù)制+Keepalived做雙擊熱備，常見集群軟件有Keepalived、Heartbeat。
雙機(jī)熱備博文：http://lizhenliang.blog.51cto.com/7876557/1362313
3、數(shù)據(jù)庫性能優(yōu)化
如果將MySQL部署到普通的X86服務(wù)器上，在不經(jīng)過任何優(yōu)化情況下，MySQL理論值正常可以處理2000左右QPS，經(jīng)過優(yōu)化后，有可能會提升到2500左右QPS，否則，訪問量當(dāng)達(dá)到1500左右并發(fā)連接時，數(shù)據(jù)庫處理性能就會變慢，而且硬件資源還很富裕，這時就該考慮軟件問題了。那么怎樣讓數(shù)據(jù)庫最大化發(fā)揮性能呢？一方面可以單臺運行多個MySQL實例讓服務(wù)器性能發(fā)揮到最大化，另一方面是對數(shù)據(jù)庫進(jìn)行優(yōu)化，往往操作系統(tǒng)和數(shù)據(jù)庫默認(rèn)配置都比較保守，會對數(shù)據(jù)庫發(fā)揮有一定限制，可對這些配置進(jìn)行適當(dāng)?shù)恼{(diào)整，盡可能的處理更多連接數(shù)。
具體優(yōu)化有以下三個層面：
3.1 數(shù)據(jù)庫配置優(yōu)化
MySQL常用有兩種存儲引擎，一個是MyISAM，不支持事務(wù)處理，讀性能處理快，表級別鎖。另一個是InnoDB，支持事務(wù)處理（ACID），設(shè)計目標(biāo)是為處理大容量數(shù)據(jù)發(fā)揮最大化性能，行級別鎖。
表鎖：開銷小，鎖定粒度大，發(fā)生死鎖概率高，相對并發(fā)也低。
行鎖：開銷大，鎖定粒度小，發(fā)生死鎖概率低，相對并發(fā)也高。
為什么會出現(xiàn)表鎖和行鎖呢？主要是為了保證數(shù)據(jù)的完整性，舉個例子，一個用戶在操作一張表，其他用戶也想操作這張表，那么就要等第一個用戶操作完，其他用戶才能操作，表鎖和行鎖就是這個作用。否則多個用戶同時操作一張表，肯定會數(shù)據(jù)產(chǎn)生沖突或者異常。
根據(jù)以上看來，使用InnoDB存儲引擎是最好的選擇，也是MySQL5.5以后版本中默認(rèn)存儲引擎。每個存儲引擎相關(guān)聯(lián)參數(shù)比較多，以下列出主要影響數(shù)據(jù)庫性能的參數(shù)。
公共參數(shù)默認(rèn)值：
|
1 2 3 4 5 6 |
|
MyISAM參數(shù)默認(rèn)值：
|
1 2 3 4 5 6 7 8 9 10 |
|
InnoDB參數(shù)默認(rèn)值：
|
1 2 3 4 5 6 7 8 9 10 |
|
3.2 系統(tǒng)內(nèi)核優(yōu)化
大多數(shù)MySQL都部署在linux系統(tǒng)上，所以操作系統(tǒng)的一些參數(shù)也會影響到MySQL性能，以下對linux內(nèi)核進(jìn)行適當(dāng)優(yōu)化。
|
1 2 3 4 5 6 7 8 9 10 |
|
在linux系統(tǒng)中，如果進(jìn)程打開的文件句柄數(shù)量超過系統(tǒng)默認(rèn)值1024，就會提示“too many files open”信息，所以要調(diào)整打開文件句柄限制。
|
1 2 3 4 |
|
3.3 硬件配置
加大物理內(nèi)存，提高文件系統(tǒng)性能。linux內(nèi)核會從內(nèi)存中分配出緩存區(qū)（系統(tǒng)緩存和數(shù)據(jù)緩存）來存放熱數(shù)據(jù)，通過文件系統(tǒng)延遲寫入機(jī)制，等滿足條件時（如緩存區(qū)大小到達(dá)一定百分比或者執(zhí)行sync命令）才會同步到磁盤。也就是說物理內(nèi)存越大，分配緩存區(qū)越大，緩存數(shù)據(jù)越多。當(dāng)然，服務(wù)器故障會丟失一定的緩存數(shù)據(jù)。
SSD硬盤代替SAS硬盤，將RAID級別調(diào)整為RAID1+0，相對于RAID1和RAID5有更好的讀寫性能（IOPS），畢竟數(shù)據(jù)庫的壓力主要來自磁盤I/O方面。
4、數(shù)據(jù)庫架構(gòu)擴(kuò)展
隨著業(yè)務(wù)量越來越大，單臺數(shù)據(jù)庫服務(wù)器性能已無法滿足業(yè)務(wù)需求，該考慮加機(jī)器了，該做集群了~~~。主要思想是分解單臺數(shù)據(jù)庫負(fù)載，突破磁盤I/O性能，熱數(shù)據(jù)存放緩存中，降低磁盤I/O訪問頻率。
4.1 主從復(fù)制與讀寫分離
因為生產(chǎn)環(huán)境中，數(shù)據(jù)庫大多都是讀操作，所以部署一主多從架構(gòu)，主數(shù)據(jù)庫負(fù)責(zé)寫操作，并做雙擊熱備，多臺從數(shù)據(jù)庫做負(fù)載均衡，負(fù)責(zé)讀操作，主流的負(fù)載均衡器有LVS、HAProxy、Nginx。
怎么來實現(xiàn)讀寫分離呢？大多數(shù)企業(yè)是在代碼層面實現(xiàn)讀寫分離，效率比較高。另一個種方式通過代理程序?qū)崿F(xiàn)讀寫分離，企業(yè)中應(yīng)用較少，常見代理程序有MySQL Proxy、Amoeba。在這樣數(shù)據(jù)庫集群架構(gòu)中，大大增加數(shù)據(jù)庫高并發(fā)能力，解決單臺性能瓶頸問題。如果從數(shù)據(jù)庫一臺從庫能處理2000 QPS，那么5臺就能處理1w QPS，數(shù)據(jù)庫橫向擴(kuò)展性也很容易。
有時，面對大量寫操作的應(yīng)用時，單臺寫性能達(dá)不到業(yè)務(wù)需求。如果做雙主，就會遇到數(shù)據(jù)庫數(shù)據(jù)不一致現(xiàn)象，產(chǎn)生這個原因是在應(yīng)用程序不同的用戶會有可能操作兩臺數(shù)據(jù)庫，同時的更新操作造成兩臺數(shù)據(jù)庫數(shù)據(jù)庫數(shù)據(jù)發(fā)生沖突或者不一致。在單庫時MySQL利用存儲引擎機(jī)制表鎖和行鎖來保證數(shù)據(jù)完整性，怎樣在多臺主庫時解決這個問題呢？有一套基于perl語言開發(fā)的主從復(fù)制管理工具，叫MySQL-MMM（Master-Master replication managerfor Mysql，Mysql主主復(fù)制管理器），這個工具最大的優(yōu)點是在同一時間只提供一臺數(shù)據(jù)庫寫操作，有效保證數(shù)據(jù)一致性。
主從復(fù)制博文：http://lizhenliang.blog.51cto.com/7876557/1290431
讀寫分離博文：http://lizhenliang.blog.51cto.com/7876557/1305083
MySQL-MMM博文：http://lizhenliang.blog.51cto.com/7876557/1354576
4.2 增加緩存
給數(shù)據(jù)庫增加緩存系統(tǒng)，把熱數(shù)據(jù)緩存到內(nèi)存中，如果緩存中有要請求的數(shù)據(jù)就不再去數(shù)據(jù)庫中返回結(jié)果，提高讀性能。緩存實現(xiàn)有本地緩存和分布式緩存，本地緩存是將數(shù)據(jù)緩存到本地服務(wù)器內(nèi)存中或者文件中。分布式緩存可以緩存海量數(shù)據(jù)，擴(kuò)展性好，主流的分布式緩存系統(tǒng)有memcached、redis，memcached性能穩(wěn)定，數(shù)據(jù)緩存在內(nèi)存中，速度很快，QPS可達(dá)8w左右。如果想數(shù)據(jù)持久化就選擇用redis，性能不低于memcached。
工作過程：
4.3 分庫
分庫是根據(jù)業(yè)務(wù)不同把相關(guān)的表切分到不同的數(shù)據(jù)庫中，比如web、bbs、blog等庫。如果業(yè)務(wù)量很大，還可將切分后的庫做主從架構(gòu)，進(jìn)一步避免單個庫壓力過大。
4.4 分表
數(shù)據(jù)量的日劇增加，數(shù)據(jù)庫中某個表有幾百萬條數(shù)據(jù)，導(dǎo)致查詢和插入耗時太長，怎么能解決單表壓力呢？你就該考慮是否把這個表拆分成多個小表，來減輕單個表的壓力，提高處理效率，此方式稱為分表。
分表技術(shù)比較麻煩，要修改程序代碼里的SQL語句，還要手動去創(chuàng)建其他表，也可以用merge存儲引擎實現(xiàn)分表，相對簡單許多。分表后，程序是對一個總表進(jìn)行操作，這個總表不存放數(shù)據(jù)，只有一些分表的關(guān)系，以及更新數(shù)據(jù)的方式，總表會根據(jù)不同的查詢，將壓力分到不同的小表上，因此提高并發(fā)能力和磁盤I/O性能。
分表分為垂直拆分和水平拆分：
垂直拆分：把原來的一個很多字段的表拆分多個表，解決表的寬度問題。你可以把不常用的字段單獨放到一個表中，也可以把大字段獨立放一個表中，或者把關(guān)聯(lián)密切的字段放一個表中。
水平拆分：把原來一個表拆分成多個表，每個表的結(jié)構(gòu)都一樣，解決單表數(shù)據(jù)量大的問題。
4.5 分區(qū)
分區(qū)就是把一張表的數(shù)據(jù)根據(jù)表結(jié)構(gòu)中的字段（如range、list、hash等）分成多個區(qū)塊，這些區(qū)塊可以在一個磁盤上，也可以在不同的磁盤上，分區(qū)后，表面上還是一張表，但數(shù)據(jù)散列在多個位置，這樣一來，多塊硬盤同時處理不同的請求，從而提高磁盤I/O讀寫性能，實現(xiàn)比較簡單。
注：增加緩存、分庫、分表和分區(qū)主要由程序猿來實現(xiàn)。
5、數(shù)據(jù)庫維護(hù)
數(shù)據(jù)庫維護(hù)是運維工程師或者DBA主要工作，包括性能監(jiān)控、性能分析、性能調(diào)優(yōu)、數(shù)據(jù)庫備份和恢復(fù)等。
5.1性能狀態(tài)關(guān)鍵指標(biāo)
QPS，Queries Per Second：每秒查詢數(shù)，一臺數(shù)據(jù)庫每秒能夠處理的查詢次數(shù)
TPS，Transactions Per Second：每秒處理事務(wù)數(shù)
通過show status查看運行狀態(tài)，會有300多條狀態(tài)信息記錄，其中有幾個值幫可以我們計算出QPS和TPS，如下：
Uptime：服務(wù)器已經(jīng)運行的實際，單位秒
Questions：已經(jīng)發(fā)送給數(shù)據(jù)庫查詢數(shù)
Com_select：查詢次數(shù)，實際操作數(shù)據(jù)庫的
Com_insert：插入次數(shù)
Com_delete：刪除次數(shù)
Com_update：更新次數(shù)
Com_commit：事務(wù)次數(shù)
Com_rollback：回滾次數(shù)
那么，計算方法來了，基于Questions計算出QPS：
|
1 2 |
|
QPS = Questions / Uptime
基于Com_commit和Com_rollback計算出TPS：
|
1 2 3 |
|
TPS = (Com_commit + Com_rollback) / Uptime
另一計算方式：基于Com_select、Com_insert、Com_delete、Com_update計算出QPS
|
1 |
|
等待1秒再執(zhí)行，獲取間隔差值，第二次每個變量值減去第一次對應(yīng)的變量值，就是QPS
TPS計算方法：
|
1 |
|
計算TPS，就不算查詢操作了，計算出插入、刪除、更新四個值即可。
經(jīng)網(wǎng)友對這兩個計算方式的測試得出，當(dāng)數(shù)據(jù)庫中myisam表比較多時，使用Questions計算比較準(zhǔn)確。當(dāng)數(shù)據(jù)庫中innodb表比較多時，則以Com_*計算比較準(zhǔn)確。
5.2 開啟慢查詢?nèi)罩?/p>
MySQL開啟慢查詢?nèi)罩荆治龀瞿臈lSQL語句比較慢，使用set設(shè)置變量，重啟服務(wù)失效，可以在my.cnf添加參數(shù)永久生效。
|
1 2 3 4 |
|
分析慢查詢?nèi)罩荆梢允褂肕ySQL自帶的mysqldumpslow工具，分析的日志較為簡單。
# mysqldumpslow -t 3 /var/log/mysql/mysql-slow.log #查看最慢的前三個查詢
也可以使用percona公司的pt-query-digest工具，日志分析功能全面，可分析slow log、binlog、general log。
分析慢查詢?nèi)罩荆簆t-query-digest /var/log/mysql/mysql-slow.log
分析binlog日志：mysqlbinlog mysql-bin.000001 >mysql-bin.000001.sql
pt-query-digest --type=binlog mysql-bin.000001.sql
分析普通日志：pt-query-digest --type=genlog localhost.log
5.3 數(shù)據(jù)庫備份
備份數(shù)據(jù)庫是最基本的工作，也是最重要的，否則后果很嚴(yán)重，你懂得！但由于數(shù)據(jù)庫比較大，上百G，往往備份都很耗費時間，所以就該選擇一個效率高的備份策略，對于數(shù)據(jù)量大的數(shù)據(jù)庫，一般都采用增量備份。常用的備份工具有mysqldump、mysqlhotcopy、xtrabackup等，mysqldump比較適用于小的數(shù)據(jù)庫，因為是邏輯備份，所以備份和恢復(fù)耗時都比較長。mysqlhotcopy和xtrabackup是物理備份，備份和恢復(fù)速度快，不影響數(shù)據(jù)庫服務(wù)情況下進(jìn)行熱拷貝，建議使用xtrabackup，支持增量備份。
Xtrabackup備份工具使用博文：http://lizhenliang.blog.51cto.com/7876557/1612800
5.4 數(shù)據(jù)庫修復(fù)
有時候MySQL服務(wù)器突然斷電、異常關(guān)閉，會導(dǎo)致表損壞，無法讀取表數(shù)據(jù)。這時就可以用到MySQL自帶的兩個工具進(jìn)行修復(fù)，myisamchk和mysqlcheck。
myisamchk：只能修復(fù)myisam表，需要停止數(shù)據(jù)庫
常用參數(shù)：
-f --force 強制修復(fù)，覆蓋老的臨時文件，一般不使用
-r --recover 恢復(fù)模式
-q --quik 快速恢復(fù)
-a --analyze 分析表
-o --safe-recover 老的恢復(fù)模式，如果-r無法修復(fù)，可以使用此參數(shù)試試
-F --fast 只檢查沒有正常關(guān)閉的表
快速修復(fù)weibo數(shù)據(jù)庫:
# cd /var/lib/mysql/weibo
# myisamchk -r -q *.MYI
mysqlcheck：myisam和innodb表都可以用，不需要停止數(shù)據(jù)庫，如修復(fù)單個表，可在數(shù)據(jù)庫后面添加表名，以空格分割
常用參數(shù)：
-a --all-databases 檢查所有的庫
-r --repair 修復(fù)表
-c --check 檢查表，默認(rèn)選項
-a --analyze 分析表
-o --optimize 優(yōu)化表
-q --quik 最快檢查或修復(fù)表
-F --fast 只檢查沒有正常關(guān)閉的表
快速修復(fù)weibo數(shù)據(jù)庫:
mysqlcheck -r -q -uroot -p123 weibo
5.5另外，查看CPU和I/O性能方法
#查看CPU性能
#參數(shù)-P是顯示CPU數(shù)，ALL為所有，也可以只顯示第幾顆CPU
#查看I/O性能
#參數(shù)-m是以M單位顯示，默認(rèn)K
#%util：當(dāng)達(dá)到100%時，說明I/O很忙。
#await：請求在隊列中等待時間，直接影響read時間。
I/O極限：IOPS（r/s+w/s）,一般RAID0/10在1200左右。（IOPS，每秒進(jìn)行讀寫（I/O）操作次數(shù)）
I/O帶寬：在順序讀寫模式下SAS硬盤理論值在300M/s左右，SSD硬盤理論值在600M/s左右。
Mysql千萬級大數(shù)據(jù)量查詢優(yōu)化
1.對查詢進(jìn)行優(yōu)化，應(yīng)盡量避免全表掃描，首先應(yīng)考慮在 where 及 order by 涉及的列上建立索引。
2.應(yīng)盡量避免在 where 子句中對字段進(jìn)行 null 值判斷，否則將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描，如：select id from t where num is null可以在num上設(shè)置默認(rèn)值0，確保表中num列沒有null值，然后這樣查詢：select id from t where num=0
3.應(yīng)盡量避免在 where 子句中使用!=或<>操作符，否則引擎將放棄使用索引而進(jìn)行全表掃描。
4.應(yīng)盡量避免在 where 子句中使用or 來連接條件，否則將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描，如：select id from t where num=10 or num=20可以這樣查詢：select id from t where num=10 union all select id from t where num=20
5.in 和 not in 也要慎用，否則會導(dǎo)致全表掃描，如：select id from t where num in(1,2,3) 對于連續(xù)的數(shù)值，能用 between 就不要用 in 了：select id from t where num between 1 and 3
6.下面的查詢也將導(dǎo)致全表掃描：select id from t where name like ‘%李%’若要提高效率，可以考慮全文檢索。
7. 如果在 where 子句中使用參數(shù)，也會導(dǎo)致全表掃描。因為SQL只有在運行時才會解析局部變量，但優(yōu)化程序不能將訪問計劃的選擇推遲到運行時；它必須在編譯時進(jìn)行選擇。然 而，如果在編譯時建立訪問計劃，變量的值還是未知的，因而無法作為索引選擇的輸入項。如下面語句將進(jìn)行全表掃描：select id from t where num=@num可以改為強制查詢使用索引：select id from t with(index(索引名)) where num=@num
8.應(yīng)盡量避免在 where 子句中對字段進(jìn)行表達(dá)式操作，這將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描。如：select id from t where num/2=100應(yīng)改為:select id from t where num=100*2
9.應(yīng)盡量避免在where子句中對字段進(jìn)行函數(shù)操作，這將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描。如：select id from t where substring(name,1,3)=’abc’ ，name以abc開頭的id應(yīng)改為:
select id from t where name like ‘a(chǎn)bc%’
10.不要在 where 子句中的“=”左邊進(jìn)行函數(shù)、算術(shù)運算或其他表達(dá)式運算，否則系統(tǒng)將可能無法正確使用索引。
11.在使用索引字段作為條件時，如果該索引是復(fù)合索引，那么必須使用到該索引中的第一個字段作為條件時才能保證系統(tǒng)使用該索引，否則該索引將不會被使用，并且應(yīng)盡可能的讓字段順序與索引順序相一致。
12.不要寫一些沒有意義的查詢，如需要生成一個空表結(jié)構(gòu)：select col1,col2 into #t from t where 1=0
這類代碼不會返回任何結(jié)果集，但是會消耗系統(tǒng)資源的，應(yīng)改成這樣：
create table #t(…)
13.很多時候用 exists 代替 in 是一個好的選擇：select num from a where num in(select num from b)
用下面的語句替換：
select num from a where exists(select 1 from b where num=a.num)
14.并不是所有索引對查詢都有效，SQL是根據(jù)表中數(shù)據(jù)來進(jìn)行查詢優(yōu)化的，當(dāng)索引列有大量數(shù)據(jù)重復(fù)時，SQL查詢可能不會去利用索引，如一表中有字段sex，male、female幾乎各一半，那么即使在sex上建了索引也對查詢效率起不了作用。
15. 索引并不是越多越好，索引固然可 以提高相應(yīng)的 select 的效率，但同時也降低了 insert 及 update 的效率，因為 insert 或 update 時有可能會重建索引，所以怎樣建索引需要慎重考慮，視具體情況而定。一個表的索引數(shù)最好不要超過6個，若太多則應(yīng)考慮一些不常使用到的列上建的索引是否有 必要。
16. 應(yīng)盡可能的避免更新 clustered 索引數(shù)據(jù)列，因為 clustered 索引數(shù)據(jù)列的順序就是表記錄的物理存儲順序，一旦該列值改變將導(dǎo)致整個表記錄的順序的調(diào)整，會耗費相當(dāng)大的資源。若應(yīng)用系統(tǒng)需要頻繁更新 clustered 索引數(shù)據(jù)列，那么需要考慮是否應(yīng)將該索引建為 clustered 索引。
17.盡量使用數(shù)字型字段，若只含數(shù)值信息的字段盡量不要設(shè)計為字符型，這會降低查詢和連接的性能，并會增加存儲開銷。這是因為引擎在處理查詢和連接時會逐個比較字符串中每一個字符，而對于數(shù)字型而言只需要比較一次就夠了。
18.盡可能的使用 varchar/nvarchar 代替 char/nchar ，因為首先變長字段存儲空間小，可以節(jié)省存儲空間，其次對于查詢來說，在一個相對較小的字段內(nèi)搜索效率顯然要高些。
19.任何地方都不要使用 select * from t ，用具體的字段列表代替“*”，不要返回用不到的任何字段。
20.盡量使用表變量來代替臨時表。如果表變量包含大量數(shù)據(jù)，請注意索引非常有限（只有主鍵索引）。
21.避免頻繁創(chuàng)建和刪除臨時表，以減少系統(tǒng)表資源的消耗。
22.臨時表并不是不可使用，適當(dāng)?shù)厥褂盟鼈兛梢允鼓承├谈行В纾?dāng)需要重復(fù)引用大型表或常用表中的某個數(shù)據(jù)集時。但是，對于一次性事件，最好使用導(dǎo)出表。
23.在新建臨時表時，如果一次性插入數(shù)據(jù)量很大，那么可以使用 select into 代替 create table，避免造成大量 log ，以提高速度；如果數(shù)據(jù)量不大，為了緩和系統(tǒng)表的資源，應(yīng)先create table，然后insert。
24.如果使用到了臨時表，在存儲過程的最后務(wù)必將所有的臨時表顯式刪除，先 truncate table ，然后 drop table ，這樣可以避免系統(tǒng)表的較長時間鎖定。
25.盡量避免使用游標(biāo)，因為游標(biāo)的效率較差，如果游標(biāo)操作的數(shù)據(jù)超過1萬行，那么就應(yīng)該考慮改寫。
26.使用基于游標(biāo)的方法或臨時表方法之前，應(yīng)先尋找基于集的解決方案來解決問題，基于集的方法通常更有效。
27. 與臨時表一樣，游標(biāo)并不是不可使 用。對小型數(shù)據(jù)集使用 FAST_FORWARD 游標(biāo)通常要優(yōu)于其他逐行處理方法，尤其是在必須引用幾個表才能獲得所需的數(shù)據(jù)時。在結(jié)果集中包括“合計”的例程通常要比使用游標(biāo)執(zhí)行的速度快。如果開發(fā)時 間允許，基于游標(biāo)的方法和基于集的方法都可以嘗試一下，看哪一種方法的效果更好。
28.在所有的存儲過程和觸發(fā)器的開始處設(shè)置 SET NOCOUNT ON ，在結(jié)束時設(shè)置 SET NOCOUNT OFF 。無需在執(zhí)行存儲過程和觸發(fā)器的每個語句后向客戶端發(fā)送DONE_IN_PROC 消息。
29.盡量避免大事務(wù)操作，提高系統(tǒng)并發(fā)能力。
30.盡量避免向客戶端返回大數(shù)據(jù)量，若數(shù)據(jù)量過大，應(yīng)該考慮相應(yīng)需求是否合理。
Mysql性能監(jiān)控：
1、Navicat快捷鍵
快捷鍵 描述 相關(guān) 描述 Ctrl+Q 打開查詢窗口 Ctrl+/ 注釋sql語句 Ctrl+Shift +/ 解除注釋 Ctrl+R 運行查詢窗口的sql語句 Ctrl+Shift+R 只運行選中的sql語句 Ctrl+L 刪除一行 Ctrl+W 關(guān)閉一個查詢窗口 Ctrl+D 切換到表的結(jié)構(gòu)設(shè)計頁面，但是在查詢頁面寫sql時是復(fù)制當(dāng)前行 Ctrl+O 切換回數(shù)據(jù)內(nèi)容顯示頁 F8 快速回到當(dāng)前對象列表 Ctrl+N 打開一個新的查詢窗口 F6 打開一個mysql命令行窗口 # 注釋作用 查表名、數(shù)據(jù)內(nèi)容 :在數(shù)據(jù)庫上右鍵— 'Find in Database...' — 'Find'
注：數(shù)據(jù)庫里的數(shù)據(jù)順序是按照創(chuàng)建時間存儲并排序的，對應(yīng)List的元素索引從小到大，即索引值越大，這條數(shù)據(jù)的創(chuàng)建時間越晚，與數(shù)據(jù)庫里的順序是對應(yīng)的。 （默認(rèn)排序，即ORDER BY CREATE_TIME ASC）
2、Tools
2.1 數(shù)據(jù)傳輸：是把一個數(shù)據(jù)庫的里面的數(shù)據(jù)復(fù)制到另一個數(shù)據(jù)庫里面去 2.2 數(shù)據(jù)同步：是讓兩個數(shù)據(jù)庫的數(shù)據(jù)保持同步的 2.3 結(jié)構(gòu)同步：是保持兩個數(shù)據(jù)庫的數(shù)據(jù)結(jié)構(gòu)一致的
2.4復(fù)制當(dāng)前的記錄為 insert 語句
2.5監(jiān)控功能
進(jìn)程參數(shù)說明
連接：表示當(dāng)前進(jìn)程連接的名稱，?就是你在Navicat新建連接的名稱
ID ：表示此此進(jìn)程的標(biāo)識號碼
User：表示當(dāng)前登錄的用戶名（eg：root，scott）
Host：表示登錄用戶的IP地址和端口號
DB ：?表示當(dāng)前進(jìn)程連接到的數(shù)據(jù)庫名稱
Command：表示當(dāng)前進(jìn)程執(zhí)行的操作，圖中進(jìn)程處于sleep狀態(tài)
Time：指的是當(dāng)前進(jìn)程執(zhí)行Command所示操作的時長，圖中第2條線程休眠了17秒?
State：連接線程的狀態(tài)信息
Info ：連接線程的其他信息?
3、MySQL性能分析及explain的使用
用explain語句去查看分析結(jié)果：EXPLAIN關(guān)鍵字一般放在SELECT查詢語句的前面，用于描述MySQL如何執(zhí)行查詢操作、以及MySQL成功返回結(jié)果集需要執(zhí)行的行數(shù)。
explain 可以幫助我們分析 select 語句,讓我們知道查詢效率低下的原因,從而改進(jìn)我們查詢,讓查詢優(yōu)化器能夠更好的工作。
語法如下：
EXPLAIN tbl_name 或 EXPLAIN [EXTENDED] SELECT select_options
前者可以得出一個表的字段結(jié)構(gòu)等等，后者主要是給出相關(guān)的一些索引信息。
3.1 看 sql 語句執(zhí)行時間，通常情況下，一條 sql 語句執(zhí)行時間應(yīng)該控制在 0.01 秒內(nèi)，如果大于這個時間，那么說明此 sql 語句，或者此表的表結(jié)構(gòu)需要優(yōu)化，如下圖所示
3.2.看 sql 的執(zhí)行計劃，就是此 sql 在執(zhí)行過程中，有沒有用到索引 等等
EXPLAIN SELECT * FROM `user` WHERE id =1126;
各個屬性的含義
|
屬性 |
含義 |
|
|---|---|---|
|
id |
select查詢的序列號 |
id列數(shù)字越大越先執(zhí)行，如果說數(shù)字一樣大，那么就從上往下依次執(zhí)行，id列為null的就表是這是一個結(jié)果集，不需要使用它來進(jìn)行查詢 |
|
select_type |
select查詢的類型，主要是區(qū)別普通查詢和聯(lián)合查詢、子查詢之類的復(fù)雜查詢。 |
select_type列常見的有： A：simple：表示不需要union操作或者不包含子查詢的簡單select查詢。有連接查詢時，外層的查詢?yōu)閟imple，且只有一個 B：primary：一個需要union操作或者含有子查詢的select，位于最外層的單位查詢的select_type即為primary。且只有一個 C：union：union連接的兩個select查詢，第一個查詢是dervied派生表，除了第一個表外，第二個以后的表select_type都是union D：dependent union：與union一樣，出現(xiàn)在union 或union all語句中，但是這個查詢要受到外部查詢的影響 E：union result：包含union的結(jié)果集，在union和union all語句中,因為它不需要參與查詢，所以id字段為null F：subquery：除了from字句中包含的子查詢外，其他地方出現(xiàn)的子查詢都可能是subquery G：dependent subquery：與dependent union類似，表示這個subquery的查詢要受到外部表查詢的影響 H：derived：from字句中出現(xiàn)的子查詢，也叫做派生表，其他數(shù)據(jù)庫中可能叫做內(nèi)聯(lián)視圖或嵌套select |
|
table |
輸出的行所引用的表 |
顯示的查詢表名，如果查詢使用了別名，那么這里顯示的是別名，如果不涉及對數(shù)據(jù)表的操作，那么這顯示為null，如果顯示為尖括號括起來的<derived N>就表示這個是臨時表，后邊的N就是執(zhí)行計劃中的id，表示結(jié)果來自于這個查詢產(chǎn)生。如果是尖括號括起來的<union M,N>，與<derived N>類似，也是一個臨時表，表示這個結(jié)果來自于union查詢的id為M,N的結(jié)果集。 |
|
type |
聯(lián)合查詢所使用的類型. type顯示的是訪問類型，是較為重要的一個指標(biāo)，結(jié)果值從好到壞依次是： system > const > eq_ref > ref > fulltext > ref_or_null > index_merge > unique_subquery > index_subquery > range > index > ALL 一般來說，得保證查詢至少達(dá)到range級別，最好能達(dá)到ref |
依次從好到差：system，const，eq_ref，ref，fulltext，ref_or_null，unique_subquery，index_subquery，range，index_merge，index，ALL，除了all之外，其他的type都可以使用到索引，除了index_merge之外，其他的type只可以用到一個索引 A：system：表中只有一行數(shù)據(jù)或者是空表，且只能用于myisam和memory表。如果是Innodb引擎表，type列在這個情況通常都是all或者index B：const：使用唯一索引或者主鍵，返回記錄一定是1行記錄的等值where條件時，通常type是const。其他數(shù)據(jù)庫也叫做唯一索引掃描 C：eq_ref：出現(xiàn)在要連接過個表的查詢計劃中，驅(qū)動表只返回一行數(shù)據(jù)，且這行數(shù)據(jù)是第二個表的主鍵或者唯一索引，且必須為not null，唯一索引和主鍵是多列時，只有所有的列都用作比較時才會出現(xiàn)eq_ref D：ref：不像eq_ref那樣要求連接順序，也沒有主鍵和唯一索引的要求，只要使用相等條件檢索時就可能出現(xiàn)，常見與輔助索引的等值查找。或者多列主鍵、唯一索引中，使用第一個列之外的列作為等值查找也會出現(xiàn)，總之，返回數(shù)據(jù)不唯一的等值查找就可能出現(xiàn)。 E：fulltext：全文索引檢索，要注意，全文索引的優(yōu)先級很高，若全文索引和普通索引同時存在時，mysql不管代價，優(yōu)先選擇使用全文索引 F：ref_or_null：與ref方法類似，只是增加了null值的比較。實際用的不多。 G：unique_subquery：用于where中的in形式子查詢，子查詢返回不重復(fù)值唯一值 H：index_subquery：用于in形式子查詢使用到了輔助索引或者in常數(shù)列表，子查詢可能返回重復(fù)值，可以使用索引將子查詢?nèi)ブ亍?I：range：索引范圍掃描，常見于使用>,<,is null,between ,in ,like等運算符的查詢中。 J：index_merge：表示查詢使用了兩個以上的索引，最后取交集或者并集，常見and ，or的條件使用了不同的索引，官方排序這個在ref_or_null之后，但是實際上由于要讀取所個索引，性能可能大部分時間都不如range K：index：索引全表掃描，把索引從頭到尾掃一遍，常見于使用索引列就可以處理不需要讀取數(shù)據(jù)文件的查詢、可以使用索引排序或者分組的查詢。 L：all：這個就是全表掃描數(shù)據(jù)文件，然后再在server層進(jìn)行過濾返回符合要求的記錄。 |
|
possible_keys |
指出MySQL能使用哪個索引在該表中找到行。如果是空的，沒有相關(guān)的索引。這時要提高性能，可通過檢驗WHERE子句，看是否引用某些字段，或者檢查字段不是適合索引。 |
查詢可能使用到的索引都會在這里列出來 |
|
key |
顯示MySQL實際決定使用的鍵。如果沒有索引被選擇，鍵是NULL |
查詢真正使用到的索引，select_type為index_merge時，這里可能出現(xiàn)兩個以上的索引，其他的select_type這里只會出現(xiàn)一個。 |
|
key_len |
顯示MySQL決定使用的鍵長度。如果鍵是NULL，長度就是NULL。文檔提示特別注意這個值可以得出一個多重主鍵里mysql實際使用了哪一部分 |
用于處理查詢的索引長度，如果是單列索引，那就整個索引長度算進(jìn)去，如果是多列索引，那么查詢不一定都能使用到所有的列，具體使用到了多少個列的索引，這里就會計算進(jìn)去，沒有使用到的列，這里不會計算進(jìn)去。留意下這個列的值，算一下你的多列索引總長度就知道有沒有使用到所有的列了。要注意，mysql的ICP特性使用到的索引不會計入其中。另外，key_len只計算where條件用到的索引長度，而排序和分組就算用到了索引，也不會計算到key_len中。 |
|
ref |
顯示哪個字段或常數(shù)與key一起被使用 |
如果是使用的常數(shù)等值查詢，這里會顯示const，如果是連接查詢，被驅(qū)動表的執(zhí)行計劃這里會顯示驅(qū)動表的關(guān)聯(lián)字段，如果是條件使用了表達(dá)式或者函數(shù)，或者條件列發(fā)生了內(nèi)部隱式轉(zhuǎn)換，這里可能顯示為func |
|
rows |
這個數(shù)表示mysql要遍歷多少數(shù)據(jù)才能找到，在innodb上是不準(zhǔn)確的 |
這里是執(zhí)行計劃中估算的掃描行數(shù)，不是精確值 |
|
Extra |
如果是Only index，這意味著信息只用索引樹中的信息檢索出的，這比掃描整個表要快. 如果是where used，就是使用上了where限制。 如果是impossible where 表示用不著where，一般就是沒查出來啥。 如果此信息顯示Using filesort或者Using temporary的話會很吃力，WHERE和ORDER BY的索引經(jīng)常無法兼顧，如果按照WHERE來確定索引，那么在ORDER BY時，就必然會引起Using filesort，這就要看是先過濾再排序劃算，還是先排序再過濾劃算。 |
這個列可以顯示的信息非常多，有幾十種，常用的有 A：distinct：在select部分使用了distinc關(guān)鍵字 B：no tables used：不帶from字句的查詢或者From dual查詢 C：使用not in()形式子查詢或not exists運算符的連接查詢，這種叫做反連接。即，一般連接查詢是先查詢內(nèi)表，再查詢外表，反連接就是先查詢外表，再查詢內(nèi)表。 D：using filesort：排序時無法使用到索引時，就會出現(xiàn)這個。常見于order by和group by語句中 E：using index：查詢時不需要回表查詢，直接通過索引就可以獲取查詢的數(shù)據(jù)。 F：using join buffer（block nested loop），using join buffer（batched key accss）：5.6.x之后的版本優(yōu)化關(guān)聯(lián)查詢的BNL，BKA特性。主要是減少內(nèi)表的循環(huán)數(shù)量以及比較順序地掃描查詢。 G：using sort_union，using_union，using intersect，using sort_intersection： using intersect：表示使用and的各個索引的條件時，該信息表示是從處理結(jié)果獲取交集 using union：表示使用or連接各個使用索引的條件時，該信息表示從處理結(jié)果獲取并集 using sort_union和using sort_intersection：與前面兩個對應(yīng)的類似，只是他們是出現(xiàn)在用and和or查詢信息量大時，先查詢主鍵，然后進(jìn)行排序合并后，才能讀取記錄并返回。 H：using temporary：表示使用了臨時表存儲中間結(jié)果。臨時表可以是內(nèi)存臨時表和磁盤臨時表，執(zhí)行計劃中看不出來，需要查看status變量，used_tmp_table，used_tmp_disk_table才能看出來。 I：using where：表示存儲引擎返回的記錄并不是所有的都滿足查詢條件，需要在server層進(jìn)行過濾。查詢條件中分為限制條件和檢查條件，5.6之前，存儲引擎只能根據(jù)限制條件掃描數(shù)據(jù)并返回，然后server層根據(jù)檢查條件進(jìn)行過濾再返回真正符合查詢的數(shù)據(jù)。5.6.x之后支持ICP特性，可以把檢查條件也下推到存儲引擎層，不符合檢查條件和限制條件的數(shù)據(jù)，直接不讀取，這樣就大大減少了存儲引擎掃描的記錄數(shù)量。extra列顯示using index condition J：firstmatch(tb_name)：5.6.x開始引入的優(yōu)化子查詢的新特性之一，常見于where字句含有in()類型的子查詢。如果內(nèi)表的數(shù)據(jù)量比較大，就可能出現(xiàn)這個 K：loosescan(m..n)：5.6.x之后引入的優(yōu)化子查詢的新特性之一，在in()類型的子查詢中，子查詢返回的可能有重復(fù)記錄時，就可能出現(xiàn)這個 除了這些之外，還有很多查詢數(shù)據(jù)字典庫，執(zhí)行計劃過程中就發(fā)現(xiàn)不可能存在結(jié)果的一些提示信息 |
|
filtered |
使用explain extended時會出現(xiàn)這個列，5.7之后的版本默認(rèn)就有這個字段，不需要使用explain extended了。這個字段表示存儲引擎返回的數(shù)據(jù)在server層過濾后，剩下多少滿足查詢的記錄數(shù)量的比例，注意是百分比，不是具體記錄數(shù)。 |
type=const表示通過索引一次就找到了；type=all,表示為全表掃描；
key=primary的話，表示使用了主鍵；key=null表示沒用到索引。type=ref,因為這時認(rèn)為是多個匹配行，在聯(lián)合查詢中，一般為REF。
3.3 看 sql 的概況，看此sql 執(zhí)行過程中，各個過程的耗時比例
profile 英[?pr??fa?l] 美[?pro?fa?l] n. 側(cè)面，半面; 外形，輪廓; [航] 翼型; 人物簡介; Profiles將stereotypes(版型)、tagged values(標(biāo)記值)和constraints(約束)應(yīng)用于具體的模型元素比如類、屬性、操作和活動。一個Profile對象就是一系列為特定領(lǐng)域(比如，航空航天、保健、金融)或平臺(J2EE、.NET)自定義的UML集合。 profile 作用 幫助你分析并發(fā)現(xiàn)程序運行的瓶頸，找到耗時所在，同時也能幫助你發(fā)現(xiàn)不會被執(zhí)行的代碼。從而最終實現(xiàn)程序的優(yōu)化。
show warnings:顯示上一個語句的錯誤、警告以及注意。
11.CASE WHEN THEN (同java種的switch有點相似)
推薦：如何查找MySQL中查詢慢的SQL語句 推薦：MySQL查詢優(yōu)化之explain的深入解析 在分析查詢性能時，考慮EXPLAIN關(guān)鍵字同樣很管用。EXPLAIN關(guān)鍵字一般放在SELECT查詢語句的前面，用于描述MySQL如何執(zhí)行查詢操作、以及MySQL成功返回結(jié)果集需要執(zhí)行的行數(shù)。explain 可以幫助我們分析 select 語句,讓我們知道查詢效率低下的原因,從而改進(jìn)我們查詢,讓查詢優(yōu)化器能夠更好的工作。 一、MySQL 查詢優(yōu)化器是如何工作的 MySQL 查詢優(yōu)化器有幾個目標(biāo),但是其中最主要的目標(biāo)是盡可能地使用索引,并且使用最嚴(yán)格的索引來消除盡可能多的數(shù)據(jù)行。最終目標(biāo)是提交 SELECT 語句查找數(shù)據(jù)行,而不是排除數(shù)據(jù)行。優(yōu)化器試圖排除數(shù)據(jù)行的原因在于它排除數(shù)據(jù)行的速度越快,那么找到與條件匹配的數(shù)據(jù)行也就越快。如果能夠首先進(jìn)行最嚴(yán)格的測試,查詢就可以執(zhí)行地更快。
總結(jié)
以上是生活随笔為你收集整理的MySql数据库查询优化的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Spatial Transformer
- 下一篇： VMWare的P2V、V2V使用「建议收