索引的原理与优化
索引
索引在MySQL中也叫做“鍵”，是存儲引擎用于快速找到記錄的一種數據結構。索引對于良好的性能
非常關鍵，尤其是當表中的數據量越來越大時，索引對于性能的影響愈發重要。
索引優化應該是對查詢性能優化最有效的手段了。索引能夠輕易將查詢性能提高好幾個數量級。
索引相當于字典的音序表，如果要查某個字，如果不使用音序表，則需要從幾百頁中逐頁去查。
索引的原理
一、索引原理
索引的目的在于提高查詢效率，與我們查閱圖書所用的目錄是一個道理：先定位到章，然后定位到該章下的一個小節，然后找到頁數。相似的例子還有：查字典，查火車車次，飛機航班等
本質都是：通過不斷地縮小想要獲取數據的范圍來篩選出最終想要的結果，同時把隨機的事件變成順序的事件，也就是說，有了這種索引機制，我們可以總是用同一種查找方式來鎖定數據。
數據庫也是一樣，但顯然要復雜的多，因為不僅面臨著等值查詢，還有范圍查詢(>、<、between、in)、模糊查詢(like)、并集查詢(or)等等。數據庫應該選擇怎么樣的方式來應對所有的問題呢？我們回想字典的例子，能不能把數據分成段，然后分段查詢呢？最簡單的如果1000條數據，1到100分成第一段，101到200分成第二段，201到300分成第三段......這樣查第250條數據，只要找第三段就可以了，一下子去除了90%的無效數據。但如果是1千萬的記錄呢，分成幾段比較好？稍有算法基礎的同學會想到搜索樹，其平均復雜度是lgN，具有不錯的查詢性能。但這里我們忽略了一個關鍵的問題，復雜度模型是基于每次相同的操作成本來考慮的。而數據庫實現比較復雜，一方面數據是保存在磁盤上的，另外一方面為了提高性能，每次又可以把部分數據讀入內存來計算，因為我們知道訪問磁盤的成本大概是訪問內存的十萬倍左右，所以簡單的搜索樹難以滿足復雜的應用場景。
二、索引的數據結構
每次查找數據時把磁盤IO次數控制在一個很小的數量級，最好是常數數量級。那么我們就想到如果一個高度可控的多路搜索樹是否能滿足需求呢？就這樣，b+樹應運而生（B+樹是通過二叉查找樹，再由平衡二叉樹，B樹演化而來）如下圖：
?
b+樹的查找過程： 如圖所示，如果要查找數據項29，那么首先會把磁盤塊1由磁盤加載到內存，此時發生一次IO，在內存中用二分查找確定29在17和35之間，鎖定磁盤塊1的P2指針，內存時間因為非常短（相比磁盤的IO）可以忽略不計，通過磁盤塊1的P2指針的磁盤地址把磁盤塊3由磁盤加載到內存，發生第二次IO，29在26和30之間，鎖定磁盤塊3的P2指針，通過指針加載磁盤塊8到內存，發生第三次IO，同時內存中做二分查找找到29，結束查詢，總計三次IO。真實的情況是，3層的b+樹可以表示上百萬的數據，如果上百萬的數據查找只需要三次IO，性能提高將是巨大的，如果沒有索引，每個數據項都要發生一次IO，那么總共需要百萬次的IO，顯然成本非常非常高。
b+樹性質：
1.索引字段要盡量的小：通過上面的分析，我們知道IO次數取決于b+數的高度h，假設當前數據表的數據為N，每個磁盤塊的數據項的數量是m，則有h=㏒(m+1)N，當數據量N一定的情況下，m越大，h越小；而m = 磁盤塊的大小 / 數據項的大小，磁盤塊的大小也就是一個數據頁的大小，是固定的，如果數據項占的空間越小，數據項的數量越多，樹的高度越低。這就是為什么每個數據項，即索引字段要盡量的小，比如int占4字節，要比bigint8字節少一半。這也是為什么b+樹要求把真實的數據放到葉子節點而不是內層節點，一旦放到內層節點，磁盤塊的數據項會大幅度下降，導致樹增高。當數據項等于1時將會退化成線性表。
2.索引的最左匹配特性：當b+樹的數據項是復合的數據結構，比如(name,age,sex)的時候，b+數是按照從左到右的順序來建立搜索樹的，比如當(張三,20,F)這樣的數據來檢索的時候，b+樹會優先比較name來確定下一步的所搜方向，如果name相同再依次比較age和sex，最后得到檢索的數據；但當(20,F)這樣的沒有name的數據來的時候，b+樹就不知道下一步該查哪個節點，因為建立搜索樹的時候name就是第一個比較因子，必須要先根據name來搜索才能知道下一步去哪里查詢。比如當(張三,F)這樣的數據來檢索時，b+樹可以用name來指定搜索方向，但下一個字段age的缺失，所以只能把名字等于張三的數據都找到，然后再匹配性別是F的數據了， 這個是非常重要的性質，即索引的最左匹配特性。
三、 聚集索引和輔助索引
數據庫中的B+樹索引可以分為聚集索引（clustered index）和輔助索引（secondary index），
聚集索引與輔助索引相同的是：不管是聚集索引還是輔助索引，其內部都是B+樹的形式，即高度是平衡的，葉子結點存放著所有的數據。
聚集索引與輔助索引不同的是：葉子結點存放的是否是一整行的信息
1、聚集索引
?
聚集索引的好處之一：它對主鍵的排序查找和范圍查找速度非常快，葉子節點的數據就是用戶所要查詢的數據。如用戶需要查找一張表，查詢最后的10位用戶信息，由于B+樹索引是雙向鏈表，所以用戶可以快速找到最后一個數據頁，并取出10條記錄
聚集索引的好處之二：范圍查詢（range query），即如果要查找主鍵某一范圍內的數據，通過葉子節點的上層中間節點就可以得到頁的范圍，之后直接讀取數據頁即可
mysql> alter table s1 drop primary key; Query OK, 2699998 rows affected (24.23 sec) Records: 2699998 Duplicates: 0 Warnings: 0mysql> desc s1; +--------+-------------+------+-----+---------+-------+ | Field | Type | Null | Key | Default | Extra | +--------+-------------+------+-----+---------+-------+ | id | int(11) | NO | | NULL | | | name | varchar(20) | YES | | NULL | | | gender | char(6) | YES | | NULL | | | email | varchar(50) | YES | | NULL | | +--------+-------------+------+-----+---------+-------+ 4 rows in set (0.12 sec)mysql> explain select * from s1 where id > 1 and id < 1000000; #沒有聚集索引，預估需要檢索的rows數如下 +----+-------------+-------+------------+------+---------------+------+---------+------+---------+----------+-------------+ | id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra | +----+-------------+-------+------------+------+---------------+------+---------+------+---------+----------+-------------+ | 1 | SIMPLE | s1 | NULL | ALL | NULL | NULL | NULL | NULL | 2690100 | 11.11 | Using where | +----+-------------+-------+------------+------+---------------+------+---------+------+---------+----------+-------------+ 1 row in set, 1 warning (0.00 sec)mysql> alter table s1 add primary key(id); Query OK, 0 rows affected (16.25 sec) Records: 0 Duplicates: 0 Warnings: 0mysql> explain select * from s1 where id > 1 and id < 1000000; #有聚集索引，預估需要檢索的rows數如下 +----+-------------+-------+------------+-------+---------------+---------+---------+------+---------+----------+-------------+ | id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra | +----+-------------+-------+------------+-------+---------------+---------+---------+------+---------+----------+-------------+ | 1 | SIMPLE | s1 | NULL | range | PRIMARY | PRIMARY | 4 | NULL | 1343355 | 100.00 | Using where | +----+-------------+-------+------------+-------+---------------+---------+---------+------+---------+----------+-------------+ 1 row in set, 1 warning (0.09 sec)2、輔助索引
表中除了聚集索引外其他索引都是輔助索引（Secondary Index，也稱為非聚集索引），與聚集索引的區別是：輔助索引的葉子節點不包含行記錄的全部數據。
葉子節點除了包含鍵值以外，每個葉子節點中的索引行中還包含一個書簽（bookmark）。該書簽用來告訴InnoDB存儲引擎去哪里可以找到與索引相對應的行數據。
由于InnoDB存儲引擎是索引組織表，因此InnoDB存儲引擎的輔助索引的書簽就是相應行數據的聚集索引鍵。如下圖
?
輔助索引的存在并不影響數據在聚集索引中的組織，因此每張表上可以有多個輔助索引，但只能有一個聚集索引。當通過輔助索引來尋找數據時，InnoDB存儲引擎會遍歷輔助索引并通過葉子級別的指針獲得只想主鍵索引的主鍵，然后再通過主鍵索引來找到一個完整的行記錄。
舉例來說，如果在一棵高度為3的輔助索引樹種查找數據，那需要對這個輔助索引樹遍歷3次找到指定主鍵，如果聚集索引樹的高度同樣為3，那么還需要對聚集索引樹進行3次查找，最終找到一個完整的行數據所在的頁，因此一共需要6次邏輯IO訪問才能得到最終的一個數據頁。
?
四、MySQL索引管理
一 功能
#1\. 索引的功能就是加速查找 #2\. mysql中的primary key，unique，聯合唯一也都是索引，這些索引除了加速查找以外，還有約束的功能二 MySQL常用的索引
普通索引INDEX：加速查找唯一索引：-主鍵索引PRIMARY KEY：加速查找+約束（不為空、不能重復）-唯一索引UNIQUE:加速查找+約束（不能重復）聯合索引：-PRIMARY KEY(id,name):聯合主鍵索引-UNIQUE(id,name):聯合唯一索引-INDEX(id,name):聯合普通索引各個索引的應用場景
舉個例子來說，比如你在為某商場做一個會員卡的系統。這個系統有一個會員表 有下列字段： 會員編號 INT 會員姓名 VARCHAR(10) 會員身份證號碼 VARCHAR(18) 會員電話 VARCHAR(10) 會員住址 VARCHAR(50) 會員備注信息 TEXT那么這個 會員編號，作為主鍵，使用 PRIMARY 會員姓名 如果要建索引的話，那么就是普通的 INDEX 會員身份證號碼 如果要建索引的話，那么可以選擇 UNIQUE （唯一的，不允許重復）#除此之外還有全文索引，即FULLTEXT 會員備注信息 ， 如果需要建索引的話，可以選擇全文搜索。 用于搜索很長一篇文章的時候，效果最好。 用在比較短的文本，如果就一兩行字的，普通的 INDEX 也可以。 但其實對于全文搜索，我們并不會使用MySQL自帶的該索引，而是會選擇第三方軟件如Sphinx，專門來做全文搜索。#其他的如空間索引SPATIAL，了解即可，幾乎不用三 索引的兩大類型hash與btree
#我們可以在創建上述索引的時候，為其指定索引類型，分兩類 hash類型的索引：查詢單條快，范圍查詢慢 btree類型的索引：b+樹，層數越多，數據量指數級增長（我們就用它，因為innodb默認支持它）#不同的存儲引擎支持的索引類型也不一樣 InnoDB 支持事務，支持行級別鎖定，支持 B-tree、Full-text 等索引，不支持 Hash 索引； MyISAM 不支持事務，支持表級別鎖定，支持 B-tree、Full-text 等索引，不支持 Hash 索引； Memory 不支持事務，支持表級別鎖定，支持 B-tree、Hash 等索引，不支持 Full-text 索引； NDB 支持事務，支持行級別鎖定，支持 Hash 索引，不支持 B-tree、Full-text 等索引； Archive 不支持事務，支持表級別鎖定，不支持 B-tree、Hash、Full-text 等索引；四 創建/刪除索引的語法
#方法一：創建表時CREATE TABLE 表名 (字段名1 數據類型 [完整性約束條件…],字段名2 數據類型 [完整性約束條件…],[UNIQUE | FULLTEXT | SPATIAL ] INDEX | KEY[索引名] (字段名[(長度)] [ASC |DESC]) );#方法二：CREATE在已存在的表上創建索引CREATE [UNIQUE | FULLTEXT | SPATIAL ] INDEX 索引名 ON 表名 (字段名[(長度)] [ASC |DESC]) ;#方法三：ALTER TABLE在已存在的表上創建索引ALTER TABLE 表名 ADD [UNIQUE | FULLTEXT | SPATIAL ] INDEX索引名 (字段名[(長度)] [ASC |DESC]) ;#刪除索引：DROP INDEX 索引名 ON 表名字;示范
#方式一 create table t1(id int,name char,age int,sex enum('male','female'),unique key uni_id(id),index ix_name(name) #index沒有key );#方式二 create index ix_age on t1(age);#方式三 alter table t1 add index ix_sex(sex);#查看 mysql> show create table t1; | t1 | CREATE TABLE `t1` (`id` int(11) DEFAULT NULL,`name` char(1) DEFAULT NULL,`age` int(11) DEFAULT NULL,`sex` enum('male','female') DEFAULT NULL,UNIQUE KEY `uni_id` (`id`),KEY `ix_name` (`name`),KEY `ix_age` (`age`),KEY `ix_sex` (`sex`) ) ENGINE=InnoDB DEFAULT CHARSET=latin1六 測試索引
一 準備
#1\. 準備表 create table s1( id int, name varchar(20), gender char(6), email varchar(50) );#2\. 創建存儲過程，實現批量插入記錄 delimiter $$ #聲明存儲過程的結束符號為$$ create procedure auto_insert1() BEGINdeclare i int default 1;while(i<3000000)doinsert into s1 values(i,'egon','male',concat('egon',i,'@oldboy'));set i=i+1;end while; END$$ #$$結束 delimiter ; #重新聲明分號為結束符號#3\. 查看存儲過程 show create procedure auto_insert1\G #4\. 調用存儲過程 call auto_insert1();二 在沒有索引的前提下測試查詢速度
#無索引：mysql根本就不知道到底是否存在id等于333333333的記錄，只能把數據表從頭到尾掃描一遍，此時有多少個磁盤塊就需要進行多少IO操作，所以查詢速度很慢 mysql> select * from s1 where id=333333333; Empty set (0.33 sec)?
三 在表中已經存在大量數據的前提下，為某個字段段建立索引，建立速度會很慢
?
四 在索引建立完畢后，以該字段為查詢條件時，查詢速度提升明顯
PS：
?
mysql先去索引表里根據b+樹的搜索原理很快搜索到id等于333333333的記錄不存在，IO大大降低，因而速度明顯提升
我們可以去mysql的data目錄下找到該表，可以看到占用的硬盤空間多了
需要注意，如下圖
?
五 總結
#1. 一定是為搜索條件的字段創建索引，比如select * from s1 where id = 333;就需要為id加上索引#2. 在表中已經有大量數據的情況下，建索引會很慢，且占用硬盤空間，建完后查詢速度加快 比如create index idx on s1(id);會掃描表中所有的數據，然后以id為數據項，創建索引結構，存放于硬盤的表中。 建完以后，再查詢就會很快了。#3. 需要注意的是：innodb表的索引會存放于s1.ibd文件中，而myisam表的索引則會有單獨的索引文件table1.MYIMySAM索引文件和數據文件是分離的，索引文件僅保存數據記錄的地址。而在innodb中，表數據文件本身就是按照B+Tree（BTree即Balance True）組織的一個索引結構，這棵樹的葉節點data域保存了完整的數據記錄。這個索引的key是數據表的主鍵，因此innodb表數據文件本身就是主索引。 因為inndob的數據文件要按照主鍵聚集，所以innodb要求表必須要有主鍵（Myisam可以沒有），如果沒有顯式定義，則mysql系統會自動選擇七 正確使用索引
一 索引未命中
并不是說我們創建了索引就一定會加快查詢速度，若想利用索引達到預想的提高查詢速度的效果，我們在添加索引時，必須遵循以下問題
1 范圍問題，或者說條件不明確，條件中出現這些符號或關鍵字：>、>=、<、<=、!= 、between...and...、like、
大于號、小于號
?
不等于！=
?
between ...and...
like
?
2 盡量選擇區分度高的列作為索引,區分度的公式是count(distinct col)/count(*)，表示字段不重復的比例，比例越大我們掃描的記錄數越少，唯一鍵的區分度是1，而一些狀態、性別字段可能在大數據面前區分度就是0，那可能有人會問，這個比例有什么經驗值嗎？使用場景不同，這個值也很難確定，一般需要join的字段我們都要求是0.1以上，即平均1條掃描10條記錄
先把表中的索引都刪除，讓我們專心研究區分度的問題
#先把表中的索引都刪除，讓我們專心研究區分度的問題 mysql> desc s1; +--------+-------------+------+-----+---------+-------+ | Field | Type | Null | Key | Default | Extra | +--------+-------------+------+-----+---------+-------+ | id | int(11) | YES | MUL | NULL | | | name | varchar(20) | YES | | NULL | | | gender | char(5) | YES | | NULL | | | email | varchar(50) | YES | MUL | NULL | | +--------+-------------+------+-----+---------+-------+ 4 rows in set (0.00 sec)mysql> drop index a on s1; Query OK, 0 rows affected (0.20 sec) Records: 0 Duplicates: 0 Warnings: 0mysql> drop index d on s1; Query OK, 0 rows affected (0.18 sec) Records: 0 Duplicates: 0 Warnings: 0mysql> desc s1; +--------+-------------+------+-----+---------+-------+ | Field | Type | Null | Key | Default | Extra | +--------+-------------+------+-----+---------+-------+ | id | int(11) | YES | | NULL | | | name | varchar(20) | YES | | NULL | | | gender | char(5) | YES | | NULL | | | email | varchar(50) | YES | | NULL | | +--------+-------------+------+-----+---------+-------+ 4 rows in set (0.00 sec)?
分析原因
我們編寫存儲過程為表s1批量添加記錄，name字段的值均為egon，也就是說name這個字段的區分度很低（gender字段也是一樣的，我們稍后再搭理它）回憶b+樹的結構，查詢的速度與樹的高度成反比，要想將樹的高低控制的很低，需要保證：在某一層內數據項均是按照從左到右，從小到大的順序依次排開，即左1<左2<左3<...而對于區分度低的字段，無法找到大小關系，因為值都是相等的，毫無疑問，還想要用b+樹存放這些等值的數據，只能增加樹的高度，字段的區分度越低，則樹的高度越高。極端的情況，索引字段的值都一樣，那么b+樹幾乎成了一根棍。本例中就是這種極端的情況，name字段所有的值均為'egon'#現在我們得出一個結論：為區分度低的字段建立索引，索引樹的高度會很高，然而這具體會帶來什么影響呢？？？#1：如果條件是name='xxxx',那么肯定是可以第一時間判斷出'xxxx'是不在索引樹中的（因為樹中所有的值均為'egon’），所以查詢速度很快#2：如果條件正好是name='egon',查詢時，我們永遠無法從樹的某個位置得到一個明確的范圍，只能往下找，往下找，往下找。。。這與全表掃描的IO次數沒有多大區別，所以速度很慢3 =和in可以亂序，比如a = 1 and b = 2 and c = 3 建立(a,b,c)索引可以任意順序，mysql的查詢優化器會幫你優化成索引可以識別的形式
4 索引列不能參與計算，保持列“干凈”，比如from_unixtime(create_time) = ’2014-05-29’就不能使用到索引，原因很簡單，b+樹中存的都是數據表中的字段值，但進行檢索時，需要把所有元素都應用函數才能比較，顯然成本太大。所以語句應該寫成create_time = unix_timestamp(’2014-05-29’)
?
5 and/or
#1、and與or的邏輯條件1 and 條件2:所有條件都成立才算成立，但凡要有一個條件不成立則最終結果不成立條件1 or 條件2:只要有一個條件成立則最終結果就成立#2、and的工作原理條件：a = 10 and b = 'xxx' and c > 3 and d =4索引：制作聯合索引(d,a,b,c)工作原理:對于連續多個and：mysql會按照聯合索引，從左到右的順序找一個區分度高的索引字段(這樣便可以快速鎖定很小的范圍)，加速查詢，即按照d—>a->b->c的順序#3、or的工作原理條件：a = 10 or b = 'xxx' or c > 3 or d =4索引：制作聯合索引(d,a,b,c)工作原理:對于連續多個or：mysql會按照條件的順序，從左到右依次判斷，即a->b->c->d在左邊條件成立但是索引字段的區分度低的情況下（name與gender均屬于這種情況），會依次往右找到一個區分度高的索引字段，加速查詢
?
?
經過分析，在條件為name='egon' and gender='male' and id>333 and email='xxx'的情況下，我們完全沒必要為前三個條件的字段加索引，因為只能用上email字段的索引，前三個字段的索引反而會降低我們的查詢效率
?
6 最左前綴匹配原則（詳見第八小節），非常重要的原則，對于組合索引mysql會一直向右匹配直到遇到范圍查詢(>、<、between、like)就停止匹配(指的是范圍大了，有索引速度也慢)，比如a = 1 and b = 2 and c > 3 and d = 4 如果建立(a,b,c,d)順序的索引，d是用不到索引的，如果建立(a,b,d,c)的索引則都可以用到，a,b,d的順序可以任意調整。
?
7 其他情況
- 使用函數select * from tb1 where reverse(email) = 'egon';- 類型不一致如果列是字符串類型，傳入條件是必須用引號引起來，不然...select * from tb1 where email = 999;#排序條件為索引，則select字段必須也是索引字段，否則無法命中 - order byselect name from s1 order by email desc;當根據索引排序時候，select查詢的字段如果不是索引，則速度仍然很慢select email from s1 order by email desc;特別的：如果對主鍵排序，則還是速度很快：select * from tb1 order by nid desc;- 組合索引最左前綴如果組合索引為：(name,email)name and email -- 命中索引name -- 命中索引email -- 未命中索引- count(1)或count(列)代替count(*)在mysql中沒有差別了- create index xxxx on tb(title(19)) #text類型，必須制定長度二 其他注意事項
- 避免使用select * - count(1)或count(列) 代替 count(*) - 創建表時盡量時 char 代替 varchar - 表的字段順序固定長度的字段優先 - 組合索引代替多個單列索引（經常使用多個條件查詢時） - 盡量使用短索引 - 使用連接（JOIN）來代替子查詢(Sub-Queries) - 連表時注意條件類型需一致 - 索引散列值（重復少）不適合建索引，例：性別不適合八 聯合索引與覆蓋索引
一 聯合索引
聯合索引時指對表上的多個列合起來做一個索引。聯合索引的創建方法與單個索引的創建方法一樣，不同之處在僅在于有多個索引列，如下
mysql> create table t(-> a int,-> b int,-> primary key(a),-> key idx_a_b(a,b)-> ); Query OK, 0 rows affected (0.11 sec)?
那么何時需要使用聯合索引呢？在討論這個問題之前，先來看一下聯合索引內部的結果。從本質上來說，聯合索引就是一棵B+樹，不同的是聯合索引的鍵值得數量不是1，而是>=2。接著來討論兩個整型列組成的聯合索引，假定兩個鍵值得名稱分別為a、b如圖
可以看到這與我們之前看到的單個鍵的B+樹并沒有什么不同，鍵值都是排序的，通過葉子結點可以邏輯上順序地讀出所有數據，就上面的例子來說，即（1,1），（1,2），（2,1），（2,4），（3,1），（3,2），數據按（a,b）的順序進行了存放。
因此，對于查詢select * from table where a=xxx and b=xxx, 顯然是可以使用(a,b) 這個聯合索引的，對于單個列a的查詢select * from table where a=xxx,也是可以使用（a,b）這個索引的。
但對于b列的查詢select * from table where b=xxx,則不可以使用（a,b） 索引，其實你不難發現原因，葉子節點上b的值為1、2、1、4、1、2顯然不是排序的，因此對于b列的查詢使用不到(a,b) 索引
聯合索引的第二個好處是在第一個鍵相同的情況下，已經對第二個鍵進行了排序處理，例如在很多情況下應用程序都需要查詢某個用戶的購物情況，并按照時間進行排序，最后取出最近三次的購買記錄，這時使用聯合索引可以幫我們避免多一次的排序操作，因為索引本身在葉子節點已經排序了，如下
#===========準備表============== create table buy_log(userid int unsigned not null,buy_date date );insert into buy_log values (1,'2009-01-01'), (2,'2009-01-01'), (3,'2009-01-01'), (1,'2009-02-01'), (3,'2009-02-01'), (1,'2009-03-01'), (1,'2009-04-01');alter table buy_log add key(userid); alter table buy_log add key(userid,buy_date);#===========驗證============== mysql> show create table buy_log; | buy_log | CREATE TABLE `buy_log` (`userid` int(10) unsigned NOT NULL,`buy_date` date DEFAULT NULL,KEY `userid` (`userid`),KEY `userid_2` (`userid`,`buy_date`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 |#可以看到possible_keys在這里有兩個索引可以用，分別是單個索引userid與聯合索引userid_2,但是優化器最終選擇了使用的key是userid因為該索引的葉子節點包含單個鍵值，所以理論上一個頁能存放的記錄應該更多 mysql> explain select * from buy_log where userid=2; +----+-------------+---------+------+-----------------+--------+---------+-------+------+-------+ | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra | +----+-------------+---------+------+-----------------+--------+---------+-------+------+-------+ | 1 | SIMPLE | buy_log | ref | userid,userid_2 | userid | 4 | const | 1 | | +----+-------------+---------+------+-----------------+--------+---------+-------+------+-------+ 1 row in set (0.00 sec)#接著假定要取出userid為1的最近3次的購買記錄，用的就是聯合索引userid_2了，因為在這個索引中，在userid=1的情況下，buy_date都已經排序好了 mysql> explain select * from buy_log where userid=1 order by buy_date desc limit 3; +----+-------------+---------+------+-----------------+----------+---------+-------+------+--------------------------+ | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra | +----+-------------+---------+------+-----------------+----------+---------+-------+------+--------------------------+ | 1 | SIMPLE | buy_log | ref | userid,userid_2 | userid_2 | 4 | const | 4 | Using where; Using index | +----+-------------+---------+------+-----------------+----------+---------+-------+------+--------------------------+ 1 row in set (0.00 sec)#ps：如果extra的排序顯示是Using filesort，則意味著在查出數據后需要二次排序#對于聯合索引（a,b）,下述語句可以直接使用該索引，無需二次排序 select ... from table where a=xxx order by b;#然后對于聯合索引(a,b,c)來首，下列語句同樣可以直接通過索引得到結果 select ... from table where a=xxx order by b; select ... from table where a=xxx and b=xxx order by c;#但是對于聯合索引(a,b,c)，下列語句不能通過索引直接得到結果，還需要自己執行一次filesort操作，因為索引（a，c)并未排序 select ... from table where a=xxx order by c;二 覆蓋索引
InnoDB存儲引擎支持覆蓋索引（covering index，或稱索引覆蓋），即從輔助索引中就可以得到查詢記錄，而不需要查詢聚集索引中的記錄。
使用覆蓋索引的一個好處是：輔助索引不包含整行記錄的所有信息，故其大小要遠小于聚集索引，因此可以減少大量的IO操作
注意：覆蓋索引技術最早是在InnoDB Plugin中完成并實現，這意味著對于InnoDB版本小于1.0的，或者MySQL數據庫版本為5.0以下的，InnoDB存儲引擎不支持覆蓋索引特性
對于InnoDB存儲引擎的輔助索引而言，由于其包含了主鍵信息，因此其葉子節點存放的數據為（primary key1，priamey key2，...,key1，key2，...）。例如
select age from s1 where id=123 and name = 'egon'; #id字段有索引，但是name字段沒有索引,該sql命中了索引，但未覆蓋，需要去聚集索引中再查找詳細信息。 最牛逼的情況是，索引字段覆蓋了所有，那全程通過索引來加速查詢以及獲取結果就ok了 mysql> desc s1; +--------+-------------+------+-----+---------+-------+ | Field | Type | Null | Key | Default | Extra | +--------+-------------+------+-----+---------+-------+ | id | int(11) | NO | | NULL | | | name | varchar(20) | YES | | NULL | | | gender | char(6) | YES | | NULL | | | email | varchar(50) | YES | | NULL | | +--------+-------------+------+-----+---------+-------+ 4 rows in set (0.21 sec)mysql> explain select name from s1 where id=1000; #沒有任何索引 +----+-------------+-------+------------+------+---------------+------+---------+------+---------+----------+-------------+ | id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra | +----+-------------+-------+------------+------+---------------+------+---------+------+---------+----------+-------------+ | 1 | SIMPLE | s1 | NULL | ALL | NULL | NULL | NULL | NULL | 2688336 | 10.00 | Using where | +----+-------------+-------+------------+------+---------------+------+---------+------+---------+----------+-------------+ 1 row in set, 1 warning (0.00 sec)mysql> create index idx_id on s1(id); #創建索引 Query OK, 0 rows affected (4.16 sec) Records: 0 Duplicates: 0 Warnings: 0mysql> explain select name from s1 where id=1000; #命中輔助索引，但是未覆蓋索引，還需要從聚集索引中查找name +----+-------------+-------+------------+------+---------------+--------+---------+-------+------+----------+-------+ | id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra | +----+-------------+-------+------------+------+---------------+--------+---------+-------+------+----------+-------+ | 1 | SIMPLE | s1 | NULL | ref | idx_id | idx_id | 4 | const | 1 | 100.00 | NULL | +----+-------------+-------+------------+------+---------------+--------+---------+-------+------+----------+-------+ 1 row in set, 1 warning (0.08 sec)mysql> explain select id from s1 where id=1000; #在輔助索引中就找到了全部信息，Using index代表覆蓋索引 +----+-------------+-------+------------+------+---------------+--------+---------+-------+------+----------+-------------+ | id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra | +----+-------------+-------+------------+------+---------------+--------+---------+-------+------+----------+-------------+ | 1 | SIMPLE | s1 | NULL | ref | idx_id | idx_id | 4 | const | 1 | 100.00 | Using index | +----+-------------+-------+------------+------+---------------+--------+---------+-------+------+----------+-------------+ 1 row in set, 1 warning (0.03 sec)覆蓋索引的另外一個好處是對某些統計問題而言的。基于上一小結創建的表buy_log,查詢計劃如下
mysql> explain select count(*) from buy_log; +----+-------------+---------+-------+---------------+--------+---------+------+------+-------------+ | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra | +----+-------------+---------+-------+---------------+--------+---------+------+------+-------------+ | 1 | SIMPLE | buy_log | index | NULL | userid | 4 | NULL | 7 | Using index | +----+-------------+---------+-------+---------------+--------+---------+------+------+-------------+ 1 row in set (0.00 sec)innodb存儲引擎并不會選擇通過查詢聚集索引來進行統計。由于buy_log表有輔助索引，而輔助索引遠小于聚集索引，選擇輔助索引可以減少IO操作，故優化器的選擇如上key為userid輔助索引
對于（a,b）形式的聯合索引，一般是不可以選擇b中所謂的查詢條件。但如果是統計操作，并且是覆蓋索引，則優化器還是會選擇使用該索引，如下
#聯合索引userid_2（userid,buy_date）,一般情況，我們按照buy_date是無法使用該索引的，但特殊情況下：查詢語句是統計操作，且是覆蓋索引，則按照buy_date當做查詢條件時，也可以使用該聯合索引 mysql> explain select count(*) from buy_log where buy_date >= '2011-01-01' and buy_date < '2011-02-01'; +----+-------------+---------+-------+---------------+----------+---------+------+------+--------------------------+ | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra | +----+-------------+---------+-------+---------------+----------+---------+------+------+--------------------------+ | 1 | SIMPLE | buy_log | index | NULL | userid_2 | 8 | NULL | 7 | Using where; Using index | +----+-------------+---------+-------+---------------+----------+---------+------+------+--------------------------+ 1 row in set (0.00 sec)九 查詢優化神器-explain
關于explain命令相信大家并不陌生，具體用法和字段含義可以參考官網explain-output，這里需要強調rows是核心指標，絕大部分rows小的語句執行一定很快（有例外，下面會講到）。所以優化語句基本上都是在優化rows。
執行計劃：讓mysql預估執行操作(一般正確)all < index < range < index_merge < ref_or_null < ref < eq_ref < system/constid,email慢：select * from userinfo3 where name='alex'explain select * from userinfo3 where name='alex'type: ALL(全表掃描)select * from userinfo3 limit 1;快：select * from userinfo3 where email='alex'type: const(走索引)http://blog.itpub.net/29773961/viewspace-1767044/
十 慢查詢優化的基本步驟
0.先運行看看是否真的很慢，注意設置SQL_NO_CACHE 1.where條件單表查，鎖定最小返回記錄表。這句話的意思是把查詢語句的where都應用到表中返回的記錄數最小的表開始查起，單表每個字段分別查詢，看哪個字段的區分度最高 2.explain查看執行計劃，是否與1預期一致（從鎖定記錄較少的表開始查詢） 3.order by limit 形式的sql語句讓排序的表優先查 4.了解業務方使用場景 5.加索引時參照建索引的幾大原則 6.觀察結果，不符合預期繼續從0分析十一 慢日志管理
慢日志- 執行時間 > 10- 未命中索引- 日志文件路徑配置：- 內存show variables like '%query%';show variables like '%queries%';set global 變量名 = 值- 配置文件mysqld --defaults-file='E:\wupeiqi\mysql-5.7.16-winx64\mysql-5.7.16-winx64\my-default.ini'my.conf內容：slow_query_log = ONslow_query_log_file = D:/....注意：修改配置文件之后，需要重啟服務日志管理
MySQL日志管理 ======================================================== 錯誤日志: 記錄 MySQL 服務器啟動、關閉及運行錯誤等信息 二進制日志: 又稱binlog日志，以二進制文件的方式記錄數據庫中除 SELECT 以外的操作 查詢日志: 記錄查詢的信息 慢查詢日志: 記錄執行時間超過指定時間的操作 中繼日志： 備庫將主庫的二進制日志復制到自己的中繼日志中，從而在本地進行重放 通用日志： 審計哪個賬號、在哪個時段、做了哪些事件 事務日志或稱redo日志： 記錄Innodb事務相關的如事務執行時間、檢查點等 ======================================================== 一、bin-log 1\. 啟用 # vim /etc/my.cnf [mysqld] log-bin[=dir\[filename]] # service mysqld restart 2\. 暫停 //僅當前會話 SET SQL_LOG_BIN=0; SET SQL_LOG_BIN=1; 3\. 查看 查看全部： # mysqlbinlog mysql.000002 按時間： # mysqlbinlog mysql.000002 --start-datetime="2012-12-05 10:02:56" # mysqlbinlog mysql.000002 --stop-datetime="2012-12-05 11:02:54" # mysqlbinlog mysql.000002 --start-datetime="2012-12-05 10:02:56" --stop-datetime="2012-12-05 11:02:54" 按字節數： # mysqlbinlog mysql.000002 --start-position=260 # mysqlbinlog mysql.000002 --stop-position=260 # mysqlbinlog mysql.000002 --start-position=260 --stop-position=930 4\. 截斷bin-log（產生新的bin-log文件） a. 重啟mysql服務器 b. # mysql -uroot -p123 -e 'flush logs' 5\. 刪除bin-log文件 # mysql -uroot -p123 -e 'reset master' 二、查詢日志 啟用通用查詢日志 # vim /etc/my.cnf [mysqld] log[=dir\[filename]] # service mysqld restart三、慢查詢日志 啟用慢查詢日志 # vim /etc/my.cnf [mysqld] log-slow-queries[=dir\[filename]] long_query_time=n # service mysqld restart MySQL 5.6: slow-query-log=1 slow-query-log-file=slow.log long_query_time=3 查看慢查詢日志 測試:BENCHMARK(count,expr) SELECT BENCHMARK(50000000,2*3);<wiz_tmp_tag id="wiz-table-range-border" contenteditable="false" style="display: none;">
轉載于:https://www.cnblogs.com/yjiu1990/p/10761055.html
總結
- 上一篇： Python脱产8期 Day09 201
- 下一篇： 观点 | 云原生时代来袭 下一代云数据库