MySQL之锁、事务、优化、OLAP、OLTP
本節(jié)目錄
-
一 鎖的分類及特性
-
二 表級鎖定(MyISAM舉例)
-
三 行級鎖定
-
四 查看死鎖、解除鎖
-
五 事務(wù)
-
六 慢日志、執(zhí)行計劃、sql優(yōu)化
-
七 OLTP與OLAP的介紹和對比
-
八 關(guān)于autocommit的測試
?
一 鎖的分類及特性
數(shù)據(jù)庫鎖定機制簡單來說，就是數(shù)據(jù)庫為了保證數(shù)據(jù)的一致性，而使各種共享資源在被并發(fā)訪問變得有序所設(shè)計的一種規(guī)則。對于任何一種數(shù)據(jù)庫來說都需要有相應(yīng)的鎖定機制，所以MySQL自然也不能例外。MySQL數(shù)據(jù)庫由于其自身架構(gòu)的特點，存在多種數(shù)據(jù)存儲引擎，每種存儲引擎所針對的應(yīng)用場景特點都不太一樣，為了滿足各自特定應(yīng)用場景的需求，每種存儲引擎的鎖定機制都是為各自所面對的特定場景而優(yōu)化設(shè)計，所以各存儲引擎的鎖定機制也有較大區(qū)別。MySQL各存儲引擎使用了三種類型（級別）的鎖定機制：表級鎖定，行級鎖定和頁級鎖定。
1.表級鎖定（table-level）
表級別的鎖定是MySQL各存儲引擎中最大顆粒度的鎖定機制。該鎖定機制最大的特點是實現(xiàn)邏輯非常簡單，帶來的系統(tǒng)負(fù)面影響最小。所以獲取鎖和釋放鎖的速度很快。由于表級鎖一次會將整個表鎖定，所以可以很好的避免困擾我們的死鎖問題。
當(dāng)然，鎖定顆粒度大所帶來最大的負(fù)面影響就是出現(xiàn)鎖定資源爭用的概率也會最高，致使并大度大打折扣。
使用表級鎖定的主要是MyISAM，MEMORY，CSV等一些非事務(wù)性存儲引擎。
2.行級鎖定（row-level）
行級鎖定最大的特點就是鎖定對象的顆粒度很小，也是目前各大數(shù)據(jù)庫管理軟件所實現(xiàn)的鎖定顆粒度最小的。由于鎖定顆粒度很小，所以發(fā)生鎖定資源爭用的概率也最小，能夠給予應(yīng)用程序盡可能大的并發(fā)處理能力而提高一些需要高并發(fā)應(yīng)用系統(tǒng)的整體性能。
雖然能夠在并發(fā)處理能力上面有較大的優(yōu)勢，但是行級鎖定也因此帶來了不少弊端。由于鎖定資源的顆粒度很小，所以每次獲取鎖和釋放鎖需要做的事情也更多，帶來的消耗自然也就更大了。此外，行級鎖定也最容易發(fā)生死鎖。
使用行級鎖定的主要是InnoDB存儲引擎。
3.頁級鎖定（page-level）
頁級鎖定是MySQL中比較獨特的一種鎖定級別，在其他數(shù)據(jù)庫管理軟件中也并不是太常見。頁級鎖定的特點是鎖定顆粒度介于行級鎖定與表級鎖之間，所以獲取鎖定所需要的資源開銷，以及所能提供的并發(fā)處理能力也同樣是介于上面二者之間。另外，頁級鎖定和行級鎖定一樣，會發(fā)生死鎖。
在數(shù)據(jù)庫實現(xiàn)資源鎖定的過程中，隨著鎖定資源顆粒度的減小，鎖定相同數(shù)據(jù)量的數(shù)據(jù)所需要消耗的內(nèi)存數(shù)量是越來越多的，實現(xiàn)算法也會越來越復(fù)雜。不過，隨著鎖定資源顆粒度的減小，應(yīng)用程序的訪問請求遇到鎖等待的可能性也會隨之降低，系統(tǒng)整體并發(fā)度也隨之提升。
使用頁級鎖定的主要是BerkeleyDB存儲引擎。
總的來說，MySQL這3種鎖的特性可大致歸納如下：
表級鎖：開銷小，加鎖快；不會出現(xiàn)死鎖；鎖定粒度大，發(fā)生鎖沖突的概率最高，并發(fā)度最低；
行級鎖：開銷大，加鎖慢；會出現(xiàn)死鎖；鎖定粒度最小，發(fā)生鎖沖突的概率最低，并發(fā)度也最高；????
頁面鎖：開銷和加鎖時間界于表鎖和行鎖之間；會出現(xiàn)死鎖；鎖定粒度界于表鎖和行鎖之間，并發(fā)度一般。
適用：從鎖的角度來說，表級鎖更適合于以查詢?yōu)橹?#xff0c;只有少量按索引條件更新數(shù)據(jù)的應(yīng)用，如Web應(yīng)用；而行級鎖則更適合于有大量按索引條件并發(fā)更新少量不同數(shù)據(jù)，同時又有并發(fā)查詢的應(yīng)用，如一些在線事務(wù)處理（OLTP）系統(tǒng)。
?
二 表級鎖定(MyISAM舉例)
由于MyISAM存儲引擎使用的鎖定機制完全是由MySQL提供的表級鎖定實現(xiàn)，所以下面我們將以MyISAM存儲引擎作為示例存儲引擎。
1.MySQL表級鎖的鎖模式
MySQL的表級鎖有兩種模式：表共享讀鎖（Table Read Lock）和表獨占寫鎖（Table Write Lock）。鎖模式的兼容性：
對MyISAM表的讀操作，不會阻塞其他用戶對同一表的讀請求，但會阻塞對同一表的寫請求；
對MyISAM表的寫操作，則會阻塞其他用戶對同一表的讀和寫操作；
MyISAM表的讀操作與寫操作之間，以及寫操作之間是串行的。當(dāng)一個線程獲得對一個表的寫鎖后，只有持有鎖的線程可以對表進行更新操作。其他線程的讀、寫操作都會等待，直到鎖被釋放為止。
總結(jié)：表鎖，讀鎖會阻塞寫，不會阻塞讀。而寫鎖則會把讀寫都阻塞。
2.如何加表鎖
MyISAM在執(zhí)行查詢語句（SELECT）前，會自動給涉及的所有表加讀鎖，在執(zhí)行更新操作（UPDATE、DELETE、INSERT等）前，會自動給涉及的表加寫鎖，這個過程并不需要用戶干預(yù)，因此，用戶一般不需要直接用LOCK TABLE命令給MyISAM表顯式加鎖。
顯示加鎖：
共享讀鎖：lock table tableName read;
獨占寫鎖：lock table tableName write;
? ? ? ? ? ? ? ? ? ? ? 同時加多鎖：lock table t1 write,t2 read;
批量解鎖：unlock tables;
3.MyISAM表鎖優(yōu)化建議
對于MyISAM存儲引擎，雖然使用表級鎖定在鎖定實現(xiàn)的過程中比實現(xiàn)行級鎖定或者頁級鎖所帶來的附加成本都要小，鎖定本身所消耗的資源也是最少。但是由于鎖定的顆粒度比較到，所以造成鎖定資源的爭用情況也會比其他的鎖定級別都要多，從而在較大程度上會降低并發(fā)處理能力。所以，在優(yōu)化MyISAM存儲引擎鎖定問題的時候，最關(guān)鍵的就是如何讓其提高并發(fā)度。由于鎖定級別是不可能改變的了，所以我們首先需要盡可能讓鎖定的時間變短，然后就是讓可能并發(fā)進行的操作盡可能的并發(fā)。
（1）查詢表級鎖爭用情況
MySQL內(nèi)部有兩組專門的狀態(tài)變量記錄系統(tǒng)內(nèi)部鎖資源爭用情況：
?
這里有兩個狀態(tài)變量記錄MySQL內(nèi)部表級鎖定的情況，兩個變量說明如下：
Table_locks_immediate：產(chǎn)生表級鎖定的次數(shù)；
Table_locks_waited：出現(xiàn)表級鎖定爭用而發(fā)生等待的次數(shù)；此值越高則說明存在著越嚴(yán)重的表級鎖爭用情況。此外，MyISAM的讀寫鎖調(diào)度是寫優(yōu)先，這也是MyISAM不適合做寫為主表的存儲引擎。因為寫鎖后，其他線程不能做任何操作，大量的更新會使查詢很難得到鎖，從而造成永久阻塞。
兩個狀態(tài)值都是從系統(tǒng)啟動后開始記錄，出現(xiàn)一次對應(yīng)的事件則數(shù)量加1。如果這里的Table_locks_waited狀態(tài)值比較高，那么說明系統(tǒng)中表級鎖定爭用現(xiàn)象比較嚴(yán)重，就需要進一步分析為什么會有較多的鎖定資源爭用了。
（2）縮短鎖定時間
如何讓鎖定時間盡可能的短呢？唯一的辦法就是讓我們的Query執(zhí)行時間盡可能的短。
a)盡兩減少大的復(fù)雜Query，將復(fù)雜Query分拆成幾個小的Query分布進行；
b)盡可能的建立足夠高效的索引，讓數(shù)據(jù)檢索更迅速；
c)盡量讓MyISAM存儲引擎的表只存放必要的信息，控制字段類型；
d)利用合適的機會優(yōu)化MyISAM表數(shù)據(jù)文件。
（3）分離能并行的操作
說到MyISAM的表鎖，而且是讀寫互相阻塞的表鎖，可能有些人會認(rèn)為在MyISAM存儲引擎的表上就只能是完全的串行化，沒辦法再并行了。大家不要忘記了，MyISAM的存儲引擎還有一個非常有用的特性，那就是ConcurrentInsert（并發(fā)插入）的特性。
MyISAM存儲引擎有一個控制是否打開Concurrent Insert功能的參數(shù)選項：concurrent_insert，可以設(shè)置為0，1或者2。三個值的具體說明如下：
concurrent_insert=2，無論MyISAM表中有沒有空洞，都允許在表尾并發(fā)插入記錄；
concurrent_insert=1，如果MyISAM表中沒有空洞（即表的中間沒有被刪除的行），MyISAM允許在一個進程讀表的同時，另一個進程從表尾插入記錄。這也是MySQL的默認(rèn)設(shè)置；
concurrent_insert=0，不允許并發(fā)插入。
可以利用MyISAM存儲引擎的并發(fā)插入特性，來解決應(yīng)用中對同一表查詢和插入的鎖爭用。例如，將concurrent_insert系統(tǒng)變量設(shè)為2，總是允許并發(fā)插入；同時，通過定期在系統(tǒng)空閑時段執(zhí)行OPTIMIZE TABLE語句來整理空間碎片，收回因刪除記錄而產(chǎn)生的中間空洞。
（4）合理利用讀寫優(yōu)先級
MyISAM存儲引擎的是讀寫互相阻塞的，那么，一個進程請求某個MyISAM表的讀鎖，同時另一個進程也請求同一表的寫鎖，MySQL如何處理呢？
答案是寫進程先獲得鎖。不僅如此，即使讀請求先到鎖等待隊列，寫請求后到，寫鎖也會插到讀鎖請求之前。
這是因為MySQL的表級鎖定對于讀和寫是有不同優(yōu)先級設(shè)定的，默認(rèn)情況下是寫優(yōu)先級要大于讀優(yōu)先級。
所以，如果我們可以根據(jù)各自系統(tǒng)環(huán)境的差異決定讀與寫的優(yōu)先級：
通過執(zhí)行命令SET LOW_PRIORITY_UPDATES=1，使該連接讀比寫的優(yōu)先級高。如果我們的系統(tǒng)是一個以讀為主，可以設(shè)置此參數(shù)，如果以寫為主，則不用設(shè)置；
通過指定INSERT、UPDATE、DELETE語句的LOW_PRIORITY屬性，降低該語句的優(yōu)先級。
雖然上面方法都是要么更新優(yōu)先，要么查詢優(yōu)先的方法，但還是可以用其來解決查詢相對重要的應(yīng)用（如用戶登錄系統(tǒng)）中，讀鎖等待嚴(yán)重的問題。
另外，MySQL也提供了一種折中的辦法來調(diào)節(jié)讀寫沖突，即給系統(tǒng)參數(shù)max_write_lock_count設(shè)置一個合適的值，當(dāng)一個表的讀鎖達到這個值后，MySQL就暫時將寫請求的優(yōu)先級降低，給讀進程一定獲得鎖的機會。
這里還要強調(diào)一點：一些需要長時間運行的查詢操作，也會使寫進程“餓死”，因此，應(yīng)用中應(yīng)盡量避免出現(xiàn)長時間運行的查詢操作，不要總想用一條SELECT語句來解決問題，因為這種看似巧妙的SQL語句，往往比較復(fù)雜，執(zhí)行時間較長，在可能的情況下可以通過使用中間表等措施對SQL語句做一定的“分解”，使每一步查詢都能在較短時間完成，從而減少鎖沖突。如果復(fù)雜查詢不可避免，應(yīng)盡量安排在數(shù)據(jù)庫空閑時段執(zhí)行，比如一些定期統(tǒng)計可以安排在夜間執(zhí)行。
?
InnoDB默認(rèn)采用行鎖，在未使用索引字段查詢時升級為表鎖。MySQL這樣設(shè)計并不是給你挖坑。它有自己的設(shè)計目的。
即便你在條件中使用了索引字段，MySQL會根據(jù)自身的執(zhí)行計劃，考慮是否使用索引(所以explain命令中會有possible_key 和 key)。如果MySQL認(rèn)為全表掃描效率更高，它就不會使用索引，這種情況下InnoDB將使用表鎖，而不是行鎖。因此，在分析鎖沖突時，別忘了檢查SQL的執(zhí)行計劃，以確認(rèn)是否真正使用了索引。關(guān)于執(zhí)行計劃
第一種情況：全表更新。事務(wù)需要更新大部分或全部數(shù)據(jù)，且表又比較大。若使用行鎖，會導(dǎo)致事務(wù)執(zhí)行效率低，從而可能造成其他事務(wù)長時間鎖等待和更多的鎖沖突。
第二種情況：多表級聯(lián)。事務(wù)涉及多個表，比較復(fù)雜的關(guān)聯(lián)查詢，很可能引起死鎖，造成大量事務(wù)回滾。這種情況若能一次性鎖定事務(wù)涉及的表，從而可以避免死鎖、減少數(shù)據(jù)庫因事務(wù)回滾帶來的開銷。
?
?
三 行級鎖定
?
行級鎖定不是MySQL自己實現(xiàn)的鎖定方式，而是由其他存儲引擎自己所實現(xiàn)的，如廣為大家所知的InnoDB存儲引擎，以及MySQL的分布式存儲引擎NDBCluster等都是實現(xiàn)了行級鎖定。考慮到行級鎖定君由各個存儲引擎自行實現(xiàn)，而且具體實現(xiàn)也各有差別，而InnoDB是目前事務(wù)型存儲引擎中使用最為廣泛的存儲引擎，所以這里我們就主要分析一下InnoDB的鎖定特性。
1.InnoDB鎖定模式及實現(xiàn)機制
考慮到行級鎖定君由各個存儲引擎自行實現(xiàn)，而且具體實現(xiàn)也各有差別，而InnoDB是目前事務(wù)型存儲引擎中使用最為廣泛的存儲引擎，所以這里我們就主要分析一下InnoDB的鎖定特性。
總的來說，InnoDB的鎖定機制和Oracle數(shù)據(jù)庫有不少相似之處。InnoDB的行級鎖定同樣分為兩種類型，共享鎖和排他鎖，而在鎖定機制的實現(xiàn)過程中為了讓行級鎖定和表級鎖定共存，InnoDB也同樣使用了意向鎖（表級鎖定）的概念，也就有了意向共享鎖和意向排他鎖這兩種。
當(dāng)一個事務(wù)需要給自己需要的某個資源加鎖的時候，如果遇到一個共享鎖正鎖定著自己需要的資源的時候，自己可以再加一個共享鎖，不過不能加排他鎖。但是，如果遇到自己需要鎖定的資源已經(jīng)被一個排他鎖占有之后，則只能等待該鎖定釋放資源之后自己才能獲取鎖定資源并添加自己的鎖定。而意向鎖的作用就是當(dāng)一個事務(wù)在需要獲取資源鎖定的時候，如果遇到自己需要的資源已經(jīng)被排他鎖占用的時候，該事務(wù)可以需要鎖定行的表上面添加一個合適的意向鎖。如果自己需要一個共享鎖，那么就在表上面添加一個意向共享鎖。而如果自己需要的是某行（或者某些行）上面添加一個排他鎖的話，則先在表上面添加一個意向排他鎖。意向共享鎖可以同時并存多個，但是意向排他鎖同時只能有一個存在。所以，可以說InnoDB的鎖定模式實際上可以分為四種：共享鎖（S），排他鎖（X），意向共享鎖（IS）和意向排他鎖（IX），我們可以通過以下表格來總結(jié)上面這四種所的共存邏輯關(guān)系：
如果一個事務(wù)請求的鎖模式與當(dāng)前的鎖兼容，InnoDB就將請求的鎖授予該事務(wù)；反之，如果兩者不兼容，該事務(wù)就要等待鎖釋放。
意向鎖是InnoDB自動加的，不需用戶干預(yù)。對于UPDATE、DELETE和INSERT語句，InnoDB會自動給涉及數(shù)據(jù)集加排他鎖（X)；對于普通SELECT語句，InnoDB不會加任何鎖；事務(wù)可以通過以下語句顯示給記錄集加共享鎖或排他鎖。
用SELECT ... IN SHARE MODE獲得共享鎖，主要用在需要數(shù)據(jù)依存關(guān)系時來確認(rèn)某行記錄是否存在，并確保沒有人對這個記錄進行UPDATE或者DELETE操作。
但是如果當(dāng)前事務(wù)也需要對該記錄進行更新操作，則很有可能造成死鎖，對于鎖定行記錄后需要進行更新操作的應(yīng)用，應(yīng)該使用SELECT... FOR UPDATE方式獲得排他鎖。
2.InnoDB行鎖實現(xiàn)方式
InnoDB行鎖是通過給索引上的索引項加鎖來實現(xiàn)的，只有通過索引條件檢索數(shù)據(jù)，InnoDB才使用行級鎖，否則，InnoDB將使用表鎖
在實際應(yīng)用中，要特別注意InnoDB行鎖的這一特性，不然的話，可能導(dǎo)致大量的鎖沖突，從而影響并發(fā)性能。下面通過一些實際例子來加以說明。
（1）在不通過索引條件查詢的時候，InnoDB確實使用的是表鎖，而不是行鎖。
（2）由于MySQL的行鎖是針對索引加的鎖，不是針對記錄加的鎖，所以雖然是訪問不同行的記錄，但是如果是使用相同的索引鍵，是會出現(xiàn)鎖沖突的。
（3）當(dāng)表有多個索引的時候，不同的事務(wù)可以使用不同的索引鎖定不同的行，另外，不論是使用主鍵索引、唯一索引或普通索引，InnoDB都會使用行鎖來對數(shù)據(jù)加鎖。
（4）即便在條件中使用了索引字段，但是否使用索引來檢索數(shù)據(jù)是由MySQL通過判斷不同執(zhí)行計劃的代價來決定的，如果MySQL認(rèn)為全表掃描效率更高，比如對一些很小的表，它就不會使用索引，這種情況下InnoDB將使用表鎖，而不是行鎖。因此，在分析鎖沖突時，別忘了檢查SQL的執(zhí)行計劃，以確認(rèn)是否真正使用了索引。
3.間隙鎖（Next-Key鎖）
當(dāng)我們用范圍條件而不是相等條件檢索數(shù)據(jù)，并請求共享或排他鎖時，InnoDB會給符合條件的已有數(shù)據(jù)記錄的索引項加鎖；
對于鍵值在條件范圍內(nèi)但并不存在的記錄，叫做“間隙（GAP)”，InnoDB也會對這個“間隙”加鎖，這種鎖機制就是所謂的間隙鎖（Next-Key鎖）。
例：
假如emp表中只有101條記錄，其empid的值分別是 1,2,...,100,101，下面的SQL：
是一個范圍條件的檢索，InnoDB不僅會對符合條件的empid值為101的記錄加鎖，也會對empid大于101（這些記錄并不存在）的“間隙”加鎖。
InnoDB使用間隙鎖的目的：
（1）防止幻讀，以滿足相關(guān)隔離級別的要求（關(guān)于事務(wù)的隔離級別）。對于上面的例子，要是不使用間隙鎖，如果其他事務(wù)插入了empid大于100的任何記錄，那么本事務(wù)如果再次執(zhí)行上述語句，就會發(fā)生幻讀；
（2）為了滿足其恢復(fù)和復(fù)制的需要。
很顯然，在使用范圍條件檢索并鎖定記錄時，即使某些不存在的鍵值也會被無辜的鎖定，而造成在鎖定的時候無法插入鎖定鍵值范圍內(nèi)的任何數(shù)據(jù)。在某些場景下這可能會對性能造成很大的危害。
除了間隙鎖給InnoDB帶來性能的負(fù)面影響之外，通過索引實現(xiàn)鎖定的方式還存在其他幾個較大的性能隱患：
（1）當(dāng)Query無法利用索引的時候，InnoDB會放棄使用行級別鎖定而改用表級別的鎖定，造成并發(fā)性能的降低；
（2）當(dāng)Query使用的索引并不包含所有過濾條件的時候，數(shù)據(jù)檢索使用到的索引鍵所只想的數(shù)據(jù)可能有部分并不屬于該Query的結(jié)果集的行列，但是也會被鎖定，因為間隙鎖鎖定的是一個范圍，而不是具體的索引鍵；
（3）當(dāng)Query在使用索引定位數(shù)據(jù)的時候，如果使用的索引鍵一樣但訪問的數(shù)據(jù)行不同的時候（索引只是過濾條件的一部分），一樣會被鎖定。
因此，在實際應(yīng)用開發(fā)中，尤其是并發(fā)插入比較多的應(yīng)用，我們要盡量優(yōu)化業(yè)務(wù)邏輯，盡量使用相等條件來訪問更新數(shù)據(jù)，避免使用范圍條件。
還要特別說明的是，InnoDB除了通過范圍條件加鎖時使用間隙鎖外，如果使用相等條件請求給一個不存在的記錄加鎖，InnoDB也會使用間隙鎖。
4.死鎖
上文講過，MyISAM表鎖是deadlock free的，這是因為MyISAM總是一次獲得所需的全部鎖，要么全部滿足，要么等待，因此不會出現(xiàn)死鎖。但在InnoDB中，除單個SQL組成的事務(wù)外，鎖是逐步獲得的，當(dāng)兩個事務(wù)都需要獲得對方持有的排他鎖才能繼續(xù)完成事務(wù)，這種循環(huán)鎖等待就是典型的死鎖。
在InnoDB的事務(wù)管理和鎖定機制中，有專門檢測死鎖的機制，會在系統(tǒng)中產(chǎn)生死鎖之后的很短時間內(nèi)就檢測到該死鎖的存在。當(dāng)InnoDB檢測到系統(tǒng)中產(chǎn)生了死鎖之后，InnoDB會通過相應(yīng)的判斷來選這產(chǎn)生死鎖的兩個事務(wù)中較小的事務(wù)來回滾，而讓另外一個較大的事務(wù)成功完成。
那InnoDB是以什么來為標(biāo)準(zhǔn)判定事務(wù)的大小的呢？MySQL官方手冊中也提到了這個問題，實際上在InnoDB發(fā)現(xiàn)死鎖之后，會計算出兩個事務(wù)各自插入、更新或者刪除的數(shù)據(jù)量來判定兩個事務(wù)的大小。也就是說哪個事務(wù)所改變的記錄條數(shù)越多，在死鎖中就越不會被回滾掉。
但是有一點需要注意的就是，當(dāng)產(chǎn)生死鎖的場景中涉及到不止InnoDB存儲引擎的時候，InnoDB是沒辦法檢測到該死鎖的，這時候就只能通過鎖定超時限制參數(shù)InnoDB_lock_wait_timeout來解決。
需要說明的是，這個參數(shù)并不是只用來解決死鎖問題，在并發(fā)訪問比較高的情況下，如果大量事務(wù)因無法立即獲得所需的鎖而掛起，會占用大量計算機資源，造成嚴(yán)重性能問題，甚至拖跨數(shù)據(jù)庫。我們通過設(shè)置合適的鎖等待超時閾值，可以避免這種情況發(fā)生。
通常來說，死鎖都是應(yīng)用設(shè)計的問題，通過調(diào)整業(yè)務(wù)流程、數(shù)據(jù)庫對象設(shè)計、事務(wù)大小，以及訪問數(shù)據(jù)庫的SQL語句，絕大部分死鎖都可以避免。下面就通過實例來介紹幾種避免死鎖的常用方法：
（1）在應(yīng)用中，如果不同的程序會并發(fā)存取多個表，應(yīng)盡量約定以相同的順序來訪問表，這樣可以大大降低產(chǎn)生死鎖的機會。
（2）在程序以批量方式處理數(shù)據(jù)的時候，如果事先對數(shù)據(jù)排序，保證每個線程按固定的順序來處理記錄，也可以大大降低出現(xiàn)死鎖的可能。
（3）在事務(wù)中，如果要更新記錄，應(yīng)該直接申請足夠級別的鎖，即排他鎖，而不應(yīng)先申請共享鎖，更新時再申請排他鎖，因為當(dāng)用戶申請排他鎖時，其他事務(wù)可能又已經(jīng)獲得了相同記錄的共享鎖，從而造成鎖沖突，甚至死鎖。
（4）在REPEATABLE-READ隔離級別下，如果兩個線程同時對相同條件記錄用SELECT...FOR UPDATE加排他鎖，在沒有符合該條件記錄情況下，兩個線程都會加鎖成功。程序發(fā)現(xiàn)記錄尚不存在，就試圖插入一條新記錄，如果兩個線程都這么做，就會出現(xiàn)死鎖。這種情況下，將隔離級別改成READ COMMITTED，就可避免問題。
（5）當(dāng)隔離級別為READ COMMITTED時，如果兩個線程都先執(zhí)行SELECT...FOR UPDATE，判斷是否存在符合條件的記錄，如果沒有，就插入記錄。此時，只有一個線程能插入成功，另一個線程會出現(xiàn)鎖等待，當(dāng)?shù)?個線程提交后，第2個線程會因主鍵重出錯，但雖然這個線程出錯了，卻會獲得一個排他鎖。這時如果有第3個線程又來申請排他鎖，也會出現(xiàn)死鎖。對于這種情況，可以直接做插入操作，然后再捕獲主鍵重異常，或者在遇到主鍵重錯誤時，總是執(zhí)行ROLLBACK釋放獲得的排他鎖。
5.什么時候使用表鎖
對于InnoDB表，在絕大部分情況下都應(yīng)該使用行級鎖，因為事務(wù)和行鎖往往是我們之所以選擇InnoDB表的理由。但在個別特殊事務(wù)中，也可以考慮使用表級鎖：
（1）事務(wù)需要更新大部分或全部數(shù)據(jù)，表又比較大，如果使用默認(rèn)的行鎖，不僅這個事務(wù)執(zhí)行效率低，而且可能造成其他事務(wù)長時間鎖等待和鎖沖突，這種情況下可以考慮使用表鎖來提高該事務(wù)的執(zhí)行速度。
（2）事務(wù)涉及多個表，比較復(fù)雜，很可能引起死鎖，造成大量事務(wù)回滾。這種情況也可以考慮一次性鎖定事務(wù)涉及的表，從而避免死鎖、減少數(shù)據(jù)庫因事務(wù)回滾帶來的開銷。
當(dāng)然，應(yīng)用中這兩種事務(wù)不能太多，否則，就應(yīng)該考慮使用MyISAM表了。
在InnoDB下，使用表鎖要注意以下兩點。
（1）使用LOCK TABLES雖然可以給InnoDB加表級鎖，但必須說明的是，表鎖不是由InnoDB存儲引擎層管理的，而是由其上一層──MySQL Server負(fù)責(zé)的，僅當(dāng)autocommit=0（不自動提交，默認(rèn)是自動提交的）、InnoDB_table_locks=1（默認(rèn)設(shè)置）時，InnoDB層才能知道MySQL加的表鎖，MySQL Server也才能感知InnoDB加的行鎖，這種情況下，InnoDB才能自動識別涉及表級鎖的死鎖，否則，InnoDB將無法自動檢測并處理這種死鎖。
（2）在用 LOCK TABLES對InnoDB表加鎖時要注意，要將AUTOCOMMIT設(shè)為0，否則MySQL不會給表加鎖；事務(wù)結(jié)束前，不要用UNLOCK TABLES釋放表鎖，因為UNLOCK TABLES會隱含地提交事務(wù)；COMMIT或ROLLBACK并不能釋放用LOCK TABLES加的表級鎖，必須用UNLOCK TABLES釋放表鎖。正確的方式見如下語句：
例如，如果需要寫表t1并從表t讀，可以按如下做：
6.InnoDB行鎖優(yōu)化建議
InnoDB存儲引擎由于實現(xiàn)了行級鎖定，雖然在鎖定機制的實現(xiàn)方面所帶來的性能損耗可能比表級鎖定會要更高一些，但是在整體并發(fā)處理能力方面要遠遠優(yōu)于MyISAM的表級鎖定的。當(dāng)系統(tǒng)并發(fā)量較高的時候，InnoDB的整體性能和MyISAM相比就會有比較明顯的優(yōu)勢了。但是，InnoDB的行級鎖定同樣也有其脆弱的一面，當(dāng)我們使用不當(dāng)?shù)臅r候，可能會讓InnoDB的整體性能表現(xiàn)不僅不能比MyISAM高，甚至可能會更差。
（1）要想合理利用InnoDB的行級鎖定，做到揚長避短，我們必須做好以下工作：
a)盡可能讓所有的數(shù)據(jù)檢索都通過索引來完成，從而避免InnoDB因為無法通過索引鍵加鎖而升級為表級鎖定；
b)合理設(shè)計索引，讓InnoDB在索引鍵上面加鎖的時候盡可能準(zhǔn)確，盡可能的縮小鎖定范圍，避免造成不必要的鎖定而影響其他Query的執(zhí)行；
c)盡可能減少基于范圍的數(shù)據(jù)檢索過濾條件，避免因為間隙鎖帶來的負(fù)面影響而鎖定了不該鎖定的記錄；
d)盡量控制事務(wù)的大小，減少鎖定的資源量和鎖定時間長度；
e)在業(yè)務(wù)環(huán)境允許的情況下，盡量使用較低級別的事務(wù)隔離，以減少MySQL因為實現(xiàn)事務(wù)隔離級別所帶來的附加成本。
（2）由于InnoDB的行級鎖定和事務(wù)性，所以肯定會產(chǎn)生死鎖，下面是一些比較常用的減少死鎖產(chǎn)生概率的小建議：
a)類似業(yè)務(wù)模塊中，盡可能按照相同的訪問順序來訪問，防止產(chǎn)生死鎖；
b)在同一個事務(wù)中，盡可能做到一次鎖定所需要的所有資源，減少死鎖產(chǎn)生概率；
c)對于非常容易產(chǎn)生死鎖的業(yè)務(wù)部分，可以嘗試使用升級鎖定顆粒度，通過表級鎖定來減少死鎖產(chǎn)生的概率。
（3）可以通過檢查InnoDB_row_lock狀態(tài)變量來分析系統(tǒng)上的行鎖的爭奪情況：
?
InnoDB 的行級鎖定狀態(tài)變量不僅記錄了鎖定等待次數(shù)，還記錄了鎖定總時長，每次平均時長，以及最大時長，此外還有一個非累積狀態(tài)量顯示了當(dāng)前正在等待鎖定的等待數(shù)量。對各個狀態(tài)量的說明如下：
InnoDB_row_lock_current_waits：當(dāng)前正在等待鎖定的數(shù)量；
InnoDB_row_lock_time：從系統(tǒng)啟動到現(xiàn)在鎖定總時間長度；
InnoDB_row_lock_time_avg：每次等待所花平均時間；
InnoDB_row_lock_time_max：從系統(tǒng)啟動到現(xiàn)在等待最常的一次所花的時間；
InnoDB_row_lock_waits：系統(tǒng)啟動后到現(xiàn)在總共等待的次數(shù)；
對于這5個狀態(tài)變量，比較重要的主要是InnoDB_row_lock_time_avg（等待平均時長），InnoDB_row_lock_waits（等待總次數(shù)）以及InnoDB_row_lock_time（等待總時長）這三項。尤其是當(dāng)?shù)却螖?shù)很高，而且每次等待時長也不小的時候，我們就需要分析系統(tǒng)中為什么會有如此多的等待，然后根據(jù)分析結(jié)果著手指定優(yōu)化計劃。
如果發(fā)現(xiàn)鎖爭用比較嚴(yán)重，如InnoDB_row_lock_waits和InnoDB_row_lock_time_avg的值比較高，還可以通過設(shè)置InnoDB Monitors 來進一步觀察發(fā)生鎖沖突的表、數(shù)據(jù)行等，并分析鎖爭用的原因。
鎖沖突的表、數(shù)據(jù)行等，并分析鎖爭用的原因。具體方法如下：
然后就可以用下面的語句來進行查看：
mysql> show engine InnoDB status;監(jiān)視器可以通過發(fā)出下列語句來停止查看：
mysql> drop table InnoDB_monitor;設(shè)置監(jiān)視器后，會有詳細(xì)的當(dāng)前鎖等待的信息，包括表名、鎖類型、鎖定記錄的情況等，便于進行進一步的分析和問題的確定。可能會有讀者朋友問為什么要先創(chuàng)建一個叫InnoDB_monitor的表呢？因為創(chuàng)建該表實際上就是告訴InnoDB我們開始要監(jiān)控他的細(xì)節(jié)狀態(tài)了，然后InnoDB就會將比較詳細(xì)的事務(wù)以及鎖定信息記錄進入MySQL的errorlog中，以便我們后面做進一步分析使用。打開監(jiān)視器以后，默認(rèn)情況下每15秒會向日志中記錄監(jiān)控的內(nèi)容，如果長時間打開會導(dǎo)致.err文件變得非常的巨大，所以用戶在確認(rèn)問題原因之后，要記得刪除監(jiān)控表以關(guān)閉監(jiān)視器，或者通過使用“--console”選項來啟動服務(wù)器以關(guān)閉寫日志文件。
?
四 查看死鎖、解除鎖
?
結(jié)合上面對表鎖和行鎖的分析情況，解除正在死鎖的狀態(tài)有兩種方法：
第一種：
1.查詢是否鎖表
show OPEN TABLES where In_use > 0;
2.查詢進程（如果您有SUPER權(quán)限，您可以看到所有線程。否則，您只能看到您自己的線程）
show processlist
3.殺死進程id（就是上面命令的id列）
kill id
第二種：
1.查看下在鎖的事務(wù)?
SELECT * FROM INFORMATION_SCHEMA.INNODB_TRX;
2.殺死進程id（就是上面命令的trx_mysql_thread_id列）
kill 線程ID
例子：
查出死鎖進程：SHOW PROCESSLIST
殺掉進程????????? KILL 420821;
其它關(guān)于查看死鎖的命令：
1：查看當(dāng)前的事務(wù)
SELECT * FROM INFORMATION_SCHEMA.INNODB_TRX;
2：查看當(dāng)前鎖定的事務(wù)
SELECT * FROM INFORMATION_SCHEMA.INNODB_LOCKS;
3：查看當(dāng)前等鎖的事務(wù)
SELECT * FROM INFORMATION_SCHEMA.INNODB_LOCK_WAITS;
?
五 事務(wù)
1.MySQL 事務(wù)屬性
事務(wù)是由一組SQL語句組成的邏輯處理單元，事務(wù)具有ACID屬性。
原子性（Atomicity）：事務(wù)是一個原子操作單元。在當(dāng)時原子是不可分割的最小元素，其對數(shù)據(jù)的修改，要么全部成功，要么全部都不成功。
一致性（Consistent）：事務(wù)開始到結(jié)束的時間段內(nèi)，數(shù)據(jù)都必須保持一致狀態(tài)。
隔離性（Isolation）：數(shù)據(jù)庫系統(tǒng)提供一定的隔離機制，保證事務(wù)在不受外部并發(fā)操作影響的"獨立"環(huán)境執(zhí)行。
持久性（Durable）：事務(wù)完成后，它對于數(shù)據(jù)的修改是永久性的，即使出現(xiàn)系統(tǒng)故障也能夠保持。
2.事務(wù)常見問題
更新丟失（Lost Update）
原因：當(dāng)多個事務(wù)選擇同一行操作，并且都是基于最初選定的值，由于每個事務(wù)都不知道其他事務(wù)的存在，就會發(fā)生更新覆蓋的問題。類比github提交沖突。
臟讀（Dirty Reads）
原因：事務(wù)A讀取了事務(wù)B已經(jīng)修改但尚未提交的數(shù)據(jù)。若事務(wù)B回滾數(shù)據(jù)，事務(wù)A的數(shù)據(jù)存在不一致性的問題。
不可重復(fù)讀（Non-Repeatable Reads）
原因：事務(wù)A第一次讀取最初數(shù)據(jù)，第二次讀取事務(wù)B已經(jīng)提交的修改或刪除數(shù)據(jù)。導(dǎo)致兩次讀取數(shù)據(jù)不一致。不符合事務(wù)的隔離性。
幻讀（Phantom Reads）
原因：事務(wù)A根據(jù)相同條件第二次查詢到事務(wù)B提交的新增數(shù)據(jù)，兩次數(shù)據(jù)結(jié)果集不一致。不符合事務(wù)的隔離性。
幻讀和臟讀有點類似
臟讀是事務(wù)B里面修改了數(shù)據(jù)，
幻讀是事務(wù)B里面新增了數(shù)據(jù)。
3.事務(wù)的隔離級別
數(shù)據(jù)庫的事務(wù)隔離越嚴(yán)格，并發(fā)副作用越小，但付出的代價也就越大。這是因為事務(wù)隔離實質(zhì)上是將事務(wù)在一定程度上"串行"進行，這顯然與"并發(fā)"是矛盾的。根據(jù)自己的業(yè)務(wù)邏輯，權(quán)衡能接受的最大副作用。從而平衡了"隔離" 和 "并發(fā)"的問題。MySQL默認(rèn)隔離級別是可重復(fù)讀。
臟讀，不可重復(fù)讀，幻讀，其實都是數(shù)據(jù)庫讀一致性問題，必須由數(shù)據(jù)庫提供一定的事務(wù)隔離機制來解決。
查看當(dāng)前數(shù)據(jù)庫的事務(wù)隔離級別：show variables like 'tx_isolation';
mysql> show variables like 'tx_isolation'; +---------------+-----------------+ | Variable_name | Value | +---------------+-----------------+ | tx_isolation | REPEATABLE-READ | +---------------+-----------------+4.事務(wù)級別的設(shè)置
1.未提交讀（READ UNCOMMITED） 解決的障礙：無； 引入的問題：臟讀set SESSION TRANSACTION ISOLATION LEVEL READ UNCOMMITTED;2.已提交讀 （READ COMMITED） 解決的障礙：臟讀； 引入的問題：不可重復(fù)讀set SESSION TRANSACTION ISOLATION LEVEL read committed;3.可重復(fù)讀（REPEATABLE READ）解決的障礙：不可重復(fù)讀； 引入的問題：set SESSION TRANSACTION ISOLATION LEVEL repeatable read;4.可串行化（SERIALIZABLE）解決的障礙：可重復(fù)讀； 引入的問題：鎖全表，性能低下set SESSION TRANSACTION ISOLATION LEVEL repeatable read;?
總結(jié)：
事務(wù)隔離級別為可重復(fù)讀時，如果有索引（包括主鍵索引）的時候，以索引列為條件更新數(shù)據(jù)，會存在間隙鎖間、行鎖、頁鎖的問題，從而鎖住一些行；如果沒有索引，更新數(shù)據(jù)時會鎖住整張表
事務(wù)隔離級別為串行化時，讀寫數(shù)據(jù)都會鎖住整張表
隔離級別越高，越能保證數(shù)據(jù)的完整性和一致性，但是對并發(fā)性能的影響也越大，對于多數(shù)應(yīng)用程序，可以優(yōu)先考慮把數(shù)據(jù)庫系統(tǒng)的隔離級別設(shè)為Read Committed，它能夠避免臟讀取，而且具有較好的并發(fā)性能。
?5.事務(wù)保存點，實現(xiàn)部分回滾
我們可以在mysql事務(wù)處理過程中定義保存點(SAVEPOINT)，然后回滾到指定的保存點前的狀態(tài)。
定義保存點，以及回滾到指定保存點前狀態(tài)的語法如下。
1.定義保存點---SAVEPOINT 保存點名;
2.回滾到指定保存點---ROLLBACK TO SAVEPOINT 保存點名:
1、查看user表中的數(shù)據(jù)mysql> select * from user; +-----+----------+-----+------+ | mid | name | scx | word | +-----+----------+-----+------+ | 1 | zhangsan | 0 | NULL | | 2 | wangwu | 1 | NULL | +-----+----------+-----+------+ 2 rows in set (0.05 sec) 2、mysql事務(wù)開始mysql> BEGIN; -- 或者start transaction； Query OK, 0 rows affected (0.00 sec) 3、向表user中插入2條數(shù)據(jù)mysql> INSERT INTO user VALUES ('3','one','0',''); Query OK, 1 row affected (0.08 sec) mysql> INSERT INTO user VALUES ('4,'two','0',''); Query OK, 1 row affected (0.00 sec) mysql> select * from user; +-----+----------+-----+------+ | mid | name | scx | word | +-----+----------+-----+------+ | 1 | zhangsan | 0 | NULL | | 2 | wangwu | 1 | NULL | | 3 | one | 0 | | | 4 | two | 0 | | +-----+----------+-----+------+ 4 rows in set (0.00 sec) 4、指定保存點，保存點名為testmysql> SAVEPOINT test; Query OK, 0 rows affected (0.00 sec) 5、向表user中插入第3條數(shù)據(jù)mysql> INSERT INTO user VALUES ('5','three','0',''); Query OK, 1 row affected (0.00 sec) mysql> select * from user; +-----+----------+-----+------+ | mid | name | scx | word | +-----+----------+-----+------+ | 1 | zhangsan | 0 | NULL | | 2 | wangwu | 1 | NULL | | 3 | one | 0 | | | 4 | two | 0 | | | 5 | three | 0 | | +-----+----------+-----+------+ 5 rows in set (0.02 sec) 6、回滾到保存點testmysql> ROLLBACK TO SAVEPOINT test; Query OK, 0 rows affected (0.31 sec) mysql> select * from user; +-----+----------+-----+------+ | mid | name | scx | word | +-----+----------+-----+------+ | 1 | zhangsan | 0 | NULL | | 2 | wangwu | 1 | NULL | | 3 | one | 0 | | | 4 | two | 0 | | +-----+----------+-----+------+ 4 rows in set (0.00 sec)我們可以看到保存點test以后插入的記錄沒有顯示了，即成功團滾到了定義保存點test前的狀態(tài)。利用保存點可以實現(xiàn)只提交事務(wù)中部分處理的功能。
? 6 事務(wù)控制語句
BEGIN或START TRANSACTION；顯式地開啟一個事務(wù)； COMMIT； 也可以使用COMMIT WORK，不過二者是等價的。COMMIT會提交事務(wù)，并使已對數(shù)據(jù)庫進行的所有修改成為永久性的； ROLLBACK； 有可以使用ROLLBACK WORK，不過二者是等價的。回滾會結(jié)束用戶的事務(wù)，并撤銷正在進行的所有未提交的修改； SAVEPOINT identifier； SAVEPOINT允許在事務(wù)中創(chuàng)建一個保存點，一個事務(wù)中可以有多個SAVEPOINT； RELEASE SAVEPOINT identifier； 刪除一個事務(wù)的保存點，當(dāng)沒有指定的保存點時，執(zhí)行該語句會拋出一個異常； ROLLBACK TO identifier； 把事務(wù)回滾到標(biāo)記點； SET TRANSACTION； 用來設(shè)置事務(wù)的隔離級別。InnoDB存儲引擎提供事務(wù)的隔離級別有READ UNCOMMITTED、READ COMMITTED、REPEATABLE READ和SERIALIZABLE。? 用 BEGIN, ROLLBACK, COMMIT來實現(xiàn)
? BEGIN 開始一個事務(wù)
? ROLLBACK 事務(wù)回滾
? COMMIT 事務(wù)確認(rèn)
? 直接用 SET 來改變 MySQL 的自動提交模式:
? SET AUTOCOMMIT=0或者off 禁止自動提交
? SET AUTOCOMMIT=1或者on 開啟自動提交
?
?
?
?
六 慢查詢、執(zhí)行計劃、sql優(yōu)化
?
什么是慢查詢
慢查詢?nèi)罩?#xff0c;顧名思義，就是查詢慢的日志，是指mysql記錄所有執(zhí)行超過long_query_time參數(shù)設(shè)定的時間閾值的SQL語句的日志。該日志能為SQL語句的優(yōu)化帶來很好的幫助。默認(rèn)情況下，慢查詢?nèi)罩臼顷P(guān)閉的，要使用慢查詢?nèi)罩竟δ?#xff0c;首先要開啟慢查詢?nèi)罩竟δ堋?/p>
? 慢查詢基本配置
? slow_query_log?啟動停止技術(shù)慢查詢?nèi)罩?/p>
? slow_query_log_file?指定慢查詢?nèi)罩镜么鎯β窂郊拔募?#xff08;默認(rèn)和數(shù)據(jù)文件放一起）
? long_query_time?指定記錄慢查詢?nèi)罩維QL執(zhí)行時間得伐值（單位：秒，默認(rèn)10秒）
? log_queries_not_using_indexes ?是否記錄未使用索引的SQL
? log_output?日志存放的地方【TABLE】【FILE】【FILE,TABLE】
配置了慢查詢后，它會記錄符合條件的SQL
包括：
查詢語句
數(shù)據(jù)修改語句
已經(jīng)回滾得SQL
實操：
通過下面命令查看下上面的配置：
show VARIABLES like '%slow_query_log%'
show VARIABLES like '%slow_query_log_file%'
show VARIABLES like '%long_query_time%'
show VARIABLES like '%log_queries_not_using_indexes%'
show VARIABLES like 'log_output'
set global long_query_time=0; ??---默認(rèn)10秒，這里為了演示方便設(shè)置為0
set GLOBAL ?slow_query_log = 1; --開啟慢查詢?nèi)罩?/p>
set global log_output='FILE,TABLE' ?--項目開發(fā)中日志只能記錄在日志文件中，不能記表中
設(shè)置完成后，查詢一些列表可以發(fā)現(xiàn)慢查詢的日志文件里面有數(shù)據(jù)了。
?
? 慢查詢解讀
從慢查詢?nèi)罩纠锩嬲x一條慢查詢?nèi)罩?#xff0c;數(shù)據(jù)組成如下
?
第一行：用戶名?、用戶的IP信息、線程ID號
第二行：執(zhí)行花費的時間【單位：毫秒】
第三行：執(zhí)行獲得鎖的時間
第四行：獲得的結(jié)果行數(shù)
第五行：掃描的數(shù)據(jù)行數(shù)
第六行：這SQL執(zhí)行的具體時間
第七行：具體的SQL語句
?
執(zhí)行計劃（explain select...、explain extended select...）
?? 使用EXPLAIN關(guān)鍵字可以模擬優(yōu)化器執(zhí)行SQL查詢語句，從而知道MySQL是如何處理你的SQL語句的。分析你的查詢語句或是表結(jié)構(gòu)的性能瓶頸。
? 執(zhí)行計劃作用
? 表的讀取順序
?數(shù)據(jù)讀取操作的操作類型
? 哪些索引可以使用
? 哪些索引被實際使用
?表之間的引用
?每張表有多少行被優(yōu)化器查詢
執(zhí)行計劃的語法
執(zhí)行計劃的語法其實非常簡單：?在SQL查詢的前面加上EXPLAIN關(guān)鍵字就行。
比如：EXPLAIN?select * from table1
重點的就是EXPLAIN后面你要分析的SQL語句?
?
?
ID列
ID列：描述select查詢的序列號,包含一組數(shù)字，表示查詢中執(zhí)行select子句或操作表的順序
根據(jù)ID的數(shù)值結(jié)果可以分成一下三種情況
id相同：執(zhí)行順序由上至下
id不同：如果是子查詢，id的序號會遞增，id值越大優(yōu)先級越高，越先被執(zhí)行
id相同不同：同時存在
分別舉例來看
?
如上圖所示，ID列的值全為1，代表執(zhí)行的允許從t1開始加載，依次為t3與t2
EXPLAIN? select t2.* from t1,t2,t3 ?where t1.id = t2.id and t1.id = t3.id?and t1.other_column = '';
Id不同
?
如果是子查詢，id的序號會遞增，id值越大優(yōu)先級越高，越先被執(zhí)行
EXPLAIN?select t2.* from ?t2 where id = (
select id from t1 where id = ?(select t3.id from t3 where t3.other_column='')
);
? Id相同又不同
?
id如果相同，可以認(rèn)為是一組，從上往下順序執(zhí)行；
在所有組中，id值越大，優(yōu)先級越高，越先執(zhí)行
EXPLAIN?select t2.* from (select t3.id?from t3 where t3.other_column = '') s1 ,t2 where s1.id = t2.id;
? select_type列
Select_type:查詢的類型，要是用于區(qū)別:普通查詢、聯(lián)合查詢、子查詢等的復(fù)雜查詢
類型如下
?
SIMPLE
EXPLAIN select * from t1
簡單的?select?查詢,查詢中不包含子查詢或者UNION
?
PRIMARY與SUBQUERY
PRIMARY：查詢中若包含任何復(fù)雜的子部分，最外層查詢則被標(biāo)記為
SUBQUERY：在SELECT或WHERE列表中包含了子查詢
EXPLAIN?select t1.*,(select t2.id from t2 where t2.id = 1 ) from t1?
?
?
? DERIVED
在FROM列表中包含的子查詢被標(biāo)記為DERIVED(衍生)
MySQL會遞歸執(zhí)行這些子查詢,?把結(jié)果放在臨時表里。
?
.UNION RESULT?與UNION
UNION：若第二個SELECT出現(xiàn)在UNION之后，則被標(biāo)記為UNION；
UNION RESULT：從UNION表獲取結(jié)果的SELECT
#UNION RESULT ,UNION
EXPLAIN?select * from t1?UNION?select * from t2
?
? table列
顯示這一行的數(shù)據(jù)是關(guān)于哪張表的
?
Type列
type顯示的是訪問類型，是較為重要的一個指標(biāo)，結(jié)果值從最好到最壞依次是：
system > const > eq_ref > ref > fulltext > ref_or_null > index_merge > unique_subquery > index_subquery > range > index > ALL
需要記憶的
system>const>eq_ref>ref>range>index>ALL
一般來說，得保證查詢至少達到range級別，最好能達到ref。
? System與const
System：表只有一行記錄（等于系統(tǒng)表），這是const類型的特列，平時不會出現(xiàn)，這個也可以忽略不計
Const：表示通過索引一次就找到了
const用于比較primary key或者unique索引。因為只匹配一行數(shù)據(jù)，所以很快
如將主鍵置于where列表中，MySQL就能將該查詢轉(zhuǎn)換為一個常量
?
eq_ref
? 唯一性索引掃描，對于每個索引鍵，表中只有一條記錄與之匹配。常見于主鍵或唯一索引掃描
?
Ref
?非唯一性索引掃描，返回匹配某個單獨值的所有行.
本質(zhì)上也是一種索引訪問，它返回所有匹配某個單獨值的行，然而，它可能會找到多個符合條件的行，所以他應(yīng)該屬于查找和掃描的混合體
?
Range
只檢索給定范圍的行,使用一個索引來選擇行。key?列顯示使用了哪個索引
一般就是在你的where語句中出現(xiàn)了between、<、>、in等的查詢
這種范圍掃描索引掃描比全表掃描要好，因為它只需要開始于索引的某一點，而結(jié)束語另一點，不用掃描全部索引。
?
?
Index
當(dāng)查詢的結(jié)果全為索引列的時候，雖然也是全部掃描，但是只查詢的索引庫，而沒有去查詢數(shù)據(jù)。
?
All
Full Table Scan，將遍歷全表以找到匹配的行
?
?
possible_keys?與Key?
possible_keys:可能使用的key
Key:實際使用的索引。如果為NULL，則沒有使用索引
查詢中若使用了覆蓋索引，則該索引和查詢的select字段重疊
?
key_len列
Key_len表示索引中使用的字節(jié)數(shù)，可通過該列計算查詢中使用的索引的長度。在不損失精確性的情況下，長度越短越好
key_len顯示的值為索引字段的最大可能長度，并非實際使用長度，即key_len是根據(jù)表定義計算而得，不是通過表內(nèi)檢索出的
?
?
? key_len表示索引使用的字節(jié)數(shù)，
? 根據(jù)這個值，就可以判斷索引使用情況，特別是在組合索引的時候，判斷所有的索引字段是否都被查詢用到。
? char和varchar跟字符編碼也有密切的聯(lián)系,
? latin1占用1個字節(jié)，gbk占用2個字節(jié)，utf8占用3個字節(jié)。（不同字符編碼占用的存儲空間不同）
?
?
字符類型
?
字符類型-索引字段為char類型+不可為Null時
?
name這一列為char(10),字符集為utf-8占用3個字節(jié)Keylen=10*3
字符類型-索引字段為char類型+允許為Null時
?
name這一列為char(10),字符集為utf-8占用3個字節(jié),外加需要存入一個null值
Keylen=10*3+1(null)?結(jié)果為31
索引字段為varchar類型+不可為Null時
?
Keylen=varchar(n)變長字段+不允許Null=n*(utf8=3,gbk=2,latin1=1)+2
? 索引字段為varchar類型+允許為Null時
?
Keylen=varchar(n)變長字段+允許Null=n*(utf8=3,gbk=2,latin1=1)+1(NULL)+2
總結(jié)
字符類型
變長字段需要額外的2個字節(jié)（VARCHAR值保存時只保存需要的字符數(shù)，另加一個字節(jié)來記錄長度(如果列聲明的長度超過255，則使用兩個字節(jié))，所以VARCAHR索引長度計算時候要加2），固定長度字段不需要額外的字節(jié)。
而NULL都需要1個字節(jié)的額外空間,所以索引字段最好不要為NULL，因為NULL讓統(tǒng)計更加復(fù)雜并且需要額外的存儲空間。
復(fù)合索引有最左前綴的特性，如果復(fù)合索引能全部使用上，則是復(fù)合索引字段的索引長度之和，這也可以用來判定復(fù)合索引是否部分使用，還是全部使用。
整數(shù)/浮點數(shù)/時間類型的索引長度
NOT NULL=字段本身的字段長度
???????? NULL=字段本身的字段長度+1(因為需要有是否為空的標(biāo)記，這個標(biāo)記需要占用1個字節(jié))
datetime類型在5.6中字段長度是5個字節(jié)，datetime類型在5.5中字段長度是8個字節(jié)
?
Ref列
顯示索引的哪一列被使用了，如果可能的話，是一個常數(shù)。哪些列或常量被用于查找索引列上的值
?
由key_len可知t1表的idx_col1_col2被充分使用，col1匹配t2表的col1，col2匹配了一個常量，即?'ac'
其中?【shared.t2.col1】 為 【數(shù)據(jù)庫.表.列】
Rows列
根據(jù)表統(tǒng)計信息及索引選用情況，大致估算出找到所需的記錄所需要讀取的行數(shù)
?
Extra列
包含不適合在其他列中顯示但十分重要的額外信息。
?
Using filesort
說明mysql會對數(shù)據(jù)使用一個外部的索引排序，而不是按照表內(nèi)的索引順序進行讀取。MySQL中無法利用索引完成的排序操作稱為“文件排序”
當(dāng)發(fā)現(xiàn)有Using filesort?后，實際上就是發(fā)現(xiàn)了可以優(yōu)化的地方
?
上圖其實是一種索引失效的情況，后面會講，可以看出查詢中用到了個聯(lián)合索引，索引分別為col1,col2,col3
?
當(dāng)我排序新增了個col2，發(fā)現(xiàn)using filesort?就沒有了。
?
Using temporary
使了用臨時表保存中間結(jié)果,MySQL在對查詢結(jié)果排序時使用臨時表。常見于排序?order by?和分組查詢?group by。
?
?
尤其發(fā)現(xiàn)在執(zhí)行計劃里面有using filesort而且還有Using temporary的時候，特別需要注意
Using index
表示相應(yīng)的select操作中使用了覆蓋索引(Covering Index)，避免訪問了表的數(shù)據(jù)行，效率不錯！
如果同時出現(xiàn)using where，表明索引被用來執(zhí)行索引鍵值的查找;
?
如果沒有同時出現(xiàn)using where，表明索引用來讀取數(shù)據(jù)而非執(zhí)行查找動作
?
?
Using where?與?using join buffer
Using where
表明使用了where過濾
using join buffer
使用了連接緩存：
?
?impossible where
where子句的值總是false，不能用來獲取任何元組
?
? filtered列
使用explain extended時顯示，顯示針對表里符合某個條件（where子句或者聯(lián)結(jié)條件）的記錄數(shù)的百分比所做的一個悲觀估算，即mysql將要過濾行數(shù)的百分比。
sql優(yōu)化順口溜
? 全職匹配我最愛，最左前綴要遵守；
? 帶頭大哥不能死，中間兄弟不能斷；
? 索引列上少計算，范圍之后全失效；
? LIKE百分寫最右，覆蓋索引不寫*；
?
? 全職匹配我最愛？
?
當(dāng)建立了索引列后，能在where條件中使用索引的盡量所用。
?
最左前綴要遵守，帶頭大哥不能死，中間兄弟不能斷？
?
如果索引了多列，要遵守最左前綴法則。指的是查詢從索引的最左前列開始并且不跳過索引中的列。
?
七 OLTP與OLAP的介紹和對比
?
OLTP與OLAP的介紹
? ? 數(shù)據(jù)處理大致可以分成兩大類：聯(lián)機事務(wù)處理OLTP（on-line transaction processing）、聯(lián)機分析處理OLAP（On-Line Analytical Processing）。OLTP是傳統(tǒng)的關(guān)系型數(shù)據(jù)庫的主要應(yīng)用，主要是基本的、日常的事務(wù)處理，例如銀行交易。OLAP是數(shù)據(jù)倉庫系統(tǒng)的主要應(yīng)用，支持復(fù)雜的分析操作，側(cè)重決策支持，并且提供直觀易懂的查詢結(jié)果。?
OLTP?系統(tǒng)強調(diào)數(shù)據(jù)庫內(nèi)存效率，強調(diào)內(nèi)存各種指標(biāo)的命令率，強調(diào)綁定變量，強調(diào)并發(fā)操作；
OLAP?系統(tǒng)則強調(diào)數(shù)據(jù)分析，強調(diào)SQL執(zhí)行市場，強調(diào)磁盤I/O，強調(diào)分區(qū)等。?
OLTP與OLAP之間的比較： ??
OLTP，也叫聯(lián)機事務(wù)處理（Online Transaction Processing），表示事務(wù)性非常高的系統(tǒng)，一般都是高可用的在線系統(tǒng)，以小的事務(wù)以及小的查詢?yōu)橹?#xff0c;評估其系統(tǒng)的時候，一般看其每秒執(zhí)行的Transaction以及Execute SQL的數(shù)量。在這樣的系統(tǒng)中，單個數(shù)據(jù)庫每秒處理的Transaction往往超過幾百個，或者是幾千個，Select 語句的執(zhí)行量每秒幾千甚至幾萬個。典型的OLTP系統(tǒng)有電子商務(wù)系統(tǒng)、銀行、證券等，如美國eBay的業(yè)務(wù)數(shù)據(jù)庫，就是很典型的OLTP數(shù)據(jù)庫。
OLTP系統(tǒng)最容易出現(xiàn)瓶頸的地方就是CPU與磁盤子系統(tǒng)。
（1）CPU出現(xiàn)瓶頸常表現(xiàn)在邏輯讀總量與計算性函數(shù)或者是過程上，邏輯讀總量等于單個語句的邏輯讀乘以執(zhí)行次數(shù)，如果單個語句執(zhí)行速度雖然很快，但是執(zhí)行次數(shù)非常多，那么，也可能會導(dǎo)致很大的邏輯讀總量。設(shè)計的方法與優(yōu)化的方法就是減少單個語句的邏輯讀，或者是減少它們的執(zhí)行次數(shù)。另外，一些計算型的函數(shù)，如自定義函數(shù)、decode等的頻繁使用，也會消耗大量的CPU時間，造成系統(tǒng)的負(fù)載升高，正確的設(shè)計方法或者是優(yōu)化方法，需要盡量避免計算過程，如保存計算結(jié)果到統(tǒng)計表就是一個好的方法。
（2）磁盤子系統(tǒng)在OLTP環(huán)境中，它的承載能力一般取決于它的IOPS處理能力. 因為在OLTP環(huán)境中，磁盤物理讀一般都是db file sequential read，也就是單塊讀，但是這個讀的次數(shù)非常頻繁。如果頻繁到磁盤子系統(tǒng)都不能承載其IOPS的時候，就會出現(xiàn)大的性能問題。
? ? OLTP比較常用的設(shè)計與優(yōu)化方式為Cache技術(shù)與B-tree索引技術(shù)，Cache決定了很多語句不需要從磁盤子系統(tǒng)獲得數(shù)據(jù)，所以，Web cache與Oracle data buffer對OLTP系統(tǒng)是很重要的。另外，在索引使用方面，語句越簡單越好，這樣執(zhí)行計劃也穩(wěn)定，而且一定要使用綁定變量，減少語句解析，盡量減少表關(guān)聯(lián)，盡量減少分布式事務(wù)，基本不使用分區(qū)技術(shù)、MV技術(shù)、并行技術(shù)及位圖索引。因為并發(fā)量很高，批量更新時要分批快速提交，以避免阻塞的發(fā)生。?
OLTP 系統(tǒng)是一個數(shù)據(jù)塊變化非常頻繁，SQL 語句提交非常頻繁的系統(tǒng)。 對于數(shù)據(jù)塊來說，應(yīng)盡可能讓數(shù)據(jù)塊保存在內(nèi)存當(dāng)中，對于SQL來說，盡可能使用變量綁定技術(shù)來達到SQL重用，減少物理I/O 和重復(fù)的SQL 解析，從而極大的改善數(shù)據(jù)庫的性能。
? ? 這里影響性能除了綁定變量，還有可能是熱快（hot block）。 當(dāng)一個塊被多個用戶同時讀取時，Oracle 為了維護數(shù)據(jù)的一致性，需要使用Latch來串行化用戶的操作。當(dāng)一個用戶獲得了latch后，其他用戶就只能等待，獲取這個數(shù)據(jù)塊的用戶越多，等待就越明顯。 這就是熱快的問題。 這種熱快可能是數(shù)據(jù)塊，也可能是回滾端塊。 對于數(shù)據(jù)塊來講，通常是數(shù)據(jù)庫的數(shù)據(jù)分布不均勻?qū)е?#xff0c;如果是索引的數(shù)據(jù)塊，可以考慮創(chuàng)建反向索引來達到重新分布數(shù)據(jù)的目的，對于回滾段數(shù)據(jù)塊，可以適當(dāng)多增加幾個回滾段來避免這種爭用。?
OLAP，也叫聯(lián)機分析處理（Online Analytical Processing）系統(tǒng)，有的時候也叫DSS決策支持系統(tǒng)，就是我們說的數(shù)據(jù)倉庫。在這樣的系統(tǒng)中，語句的執(zhí)行量不是考核標(biāo)準(zhǔn)，因為一條語句的執(zhí)行時間可能會非常長，讀取的數(shù)據(jù)也非常多。所以，在這樣的系統(tǒng)中，考核的標(biāo)準(zhǔn)往往是磁盤子系統(tǒng)的吞吐量（帶寬），如能達到多少MB/s的流量。
? ? 磁盤子系統(tǒng)的吞吐量則往往取決于磁盤的個數(shù)，這個時候，Cache基本是沒有效果的，數(shù)據(jù)庫的讀寫類型基本上是db file scattered read與direct path read/write。應(yīng)盡量采用個數(shù)比較多的磁盤以及比較大的帶寬，如4Gb的光纖接口。
在OLAP系統(tǒng)中，常使用分區(qū)技術(shù)、并行技術(shù)。
? ? 分區(qū)技術(shù)在OLAP系統(tǒng)中的重要性主要體現(xiàn)在數(shù)據(jù)庫管理上，比如數(shù)據(jù)庫加載，可以通過分區(qū)交換的方式實現(xiàn)，備份可以通過備份分區(qū)表空間實現(xiàn)，刪除數(shù)據(jù)可以通過分區(qū)進行刪除，至于分區(qū)在性能上的影響，它可以使得一些大表的掃描變得很快（只掃描單個分區(qū)）。另外，如果分區(qū)結(jié)合并行的話，也可以使得整個表的掃描會變得很快。總之，分區(qū)主要的功能是管理上的方便性，它并不能絕對保證查詢性能的提高，有時候分區(qū)會帶來性能上的提高，有時候會降低。
? ? 并行技術(shù)除了與分區(qū)技術(shù)結(jié)合外，在Oracle 10g中，與RAC結(jié)合實現(xiàn)多節(jié)點的同時掃描，效果也非常不錯，可把一個任務(wù)，如select的全表掃描，平均地分派到多個RAC的節(jié)點上去。
? ? 在OLAP系統(tǒng)中，不需要使用綁定（BIND）變量，因為整個系統(tǒng)的執(zhí)行量很小，分析時間對于執(zhí)行時間來說，可以忽略，而且可避免出現(xiàn)錯誤的執(zhí)行計劃。但是OLAP中可以大量使用位圖索引，物化視圖，對于大的事務(wù)，盡量尋求速度上的優(yōu)化，沒有必要像OLTP要求快速提交，甚至要刻意減慢執(zhí)行的速度。
? ? 綁定變量真正的用途是在OLTP系統(tǒng)中，這個系統(tǒng)通常有這樣的特點，用戶并發(fā)數(shù)很大，用戶的請求十分密集，并且這些請求的SQL 大多數(shù)是可以重復(fù)使用的。
? ? 對于OLAP系統(tǒng)來說，絕大多數(shù)時候數(shù)據(jù)庫上運行著的是報表作業(yè)，執(zhí)行基本上是聚合類的SQL 操作，比如group by，這時候，把優(yōu)化器模式設(shè)置為all_rows是恰當(dāng)?shù)摹?而對于一些分頁操作比較多的網(wǎng)站類數(shù)據(jù)庫，設(shè)置為first_rows會更好一些。 但有時候?qū)τ贠LAP 系統(tǒng)，我們又有分頁的情況下，我們可以考慮在每條SQL 中用hint。 如：
? ? Select ?a.* from table a;
分開設(shè)計與優(yōu)化
在設(shè)計上要特別注意，如在高可用的OLTP環(huán)境中，不要盲目地把OLAP的技術(shù)拿過來用。
如分區(qū)技術(shù)，假設(shè)不是大范圍地使用分區(qū)關(guān)鍵字，而采用其它的字段作為where條件，那么，如果是本地索引，將不得不掃描多個索引，而性能變得更為低下。如果是全局索引，又失去分區(qū)的意義。
并行技術(shù)也是如此，一般在完成大型任務(wù)時才使用，如在實際生活中，翻譯一本書，可以先安排多個人，每個人翻譯不同的章節(jié)，這樣可以提高翻譯速度。如果只是翻譯一頁書，也去分配不同的人翻譯不同的行，再組合起來，就沒必要了，因為在分配工作的時間里，一個人或許早就翻譯完了。
位圖索引也是一樣，如果用在OLTP環(huán)境中，很容易造成阻塞與死鎖。但是，在OLAP環(huán)境中，可能會因為其特有的特性，提高OLAP的查詢速度。MV也是基本一樣，包括觸發(fā)器等，在DML頻繁的OLTP系統(tǒng)上，很容易成為瓶頸，甚至是Library Cache等待，而在OLAP環(huán)境上，則可能會因為使用恰當(dāng)而提高查詢速度。
對于OLAP系統(tǒng)，在內(nèi)存上可優(yōu)化的余地很小，增加CPU 處理速度和磁盤I/O 速度是最直接的提高數(shù)據(jù)庫性能的方法，當(dāng)然這也意味著系統(tǒng)成本的增加。 ? ? ?
比如我們要對幾億條或者幾十億條數(shù)據(jù)進行聚合處理，這種海量的數(shù)據(jù)，全部放在內(nèi)存中操作是很難的，同時也沒有必要，因為這些數(shù)據(jù)快很少重用，緩存起來也沒有實際意義，而且還會造成物理I/O相當(dāng)大。 所以這種系統(tǒng)的瓶頸往往是磁盤I/O上面的。
對于OLAP系統(tǒng)，SQL 的優(yōu)化非常重要，因為它的數(shù)據(jù)量很大，做全表掃描和索引對性能上來說差異是非常大的。
其他
? ?? Oracle 10g以前的版本建庫過程中可供選擇的模板有：
? ? ? ? Data Warehouse （數(shù)據(jù)倉庫）
? ? ? ? General Purpose ?（通用目的、一般用途）
? ? ? ? New Database
? ? ? ? Transaction Processing ?（事務(wù)處理）
? ?? Oracle 11g的版本建庫過程中可供選擇的模板有：
? ? ? ? 一般用途或事務(wù)處理
? ? ? ? 定制數(shù)據(jù)庫
? ? ? ? 數(shù)據(jù)倉庫
個人對這些模板的理解為：
? ? ? 聯(lián)機分析處理（OLAP,On-line Analytical Processing），數(shù)據(jù)量大，DML少。使用數(shù)據(jù)倉庫模板
? ? ? 聯(lián)機事務(wù)處理（OLTP,On-line Transaction Processing），數(shù)據(jù)量少，DML頻繁，并行事務(wù)處理多，但是一般都很短。使用一般用途或事務(wù)處理模板。
? ? ? 決策支持系統(tǒng)（DDS，Decision support system)，典型的操作是全表掃描，長查詢，長事務(wù)，但是一般事務(wù)的個數(shù)很少，往往是一個事務(wù)獨占系統(tǒng)。
?
?
八 autocommit測試
MySQL是默認(rèn)提交的，也就是說默認(rèn)保存到磁盤上的，但是如果我們將本次回話設(shè)置了set autocommit=0;取消了默認(rèn)提交的話，看一下效果：
可以通過查看“@@AUTOCOMMIT”變量來查看當(dāng)前自動提交狀態(tài)，查看此變量SELECT?@@AUTOCOMMIT。
mysql> use orm3; Database changed mysql> select * from app01_publish; +----+-----------------+--------+ | id | name | addr | +----+-----------------+--------+ | 1 | 西瓜出版社 | 北京 | | 2 | 人民出版社 | 天津 | | 3 | 清華出版社 | 北京 | | 4 | 南京出版社 | 南京 | | 5 | hah | xxxx | | 6 | 呵呵 | ssss | +----+-----------------+--------+ 6 rows in set (0.00 sec)mysql> set autocommit=0; Query OK, 0 rows affected (0.00 sec)mysql> insert into app01_publish values(7,'第七條','上海'); Query OK, 1 row affected (0.00 sec)mysql> select * from app01_publish; +----+-----------------+--------+ | id | name | addr | +----+-----------------+--------+ | 1 | 西瓜出版社 | 北京 | | 2 | 人民出版社 | 天津 | | 3 | 清華出版社 | 北京 | | 4 | 南京出版社 | 南京 | | 5 | hah | xxxx | | 6 | 呵呵 | ssss | | 7 | 第七條 | 上海 | +----+-----------------+--------+ 7 rows in set (0.00 sec)mysql> quit ByeC:\Users\zequan>mysql Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 3 Server version: 5.6.21 MySQL Community Server (GPL)Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved.Oracle is a registered trademark of Oracle Corporation and/or its affiliates. Other names may be trademarks of their respective owners.Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.mysql> use orm3; Database changed mysql> select * from app01_publish; #再進來發(fā)現(xiàn)新插入的數(shù)據(jù)沒有了 +----+-----------------+--------+ | id | name | addr | +----+-----------------+--------+ | 1 | 西瓜出版社 | 北京 | | 2 | 人民出版社 | 天津 | | 3 | 清華出版社 | 北京 | | 4 | 南京出版社 | 南京 | | 5 | hah | xxxx | | 6 | 呵呵 | ssss | +----+-----------------+--------+ 6 rows in set (0.00 sec)?
?
轉(zhuǎn)載于:https://www.cnblogs.com/yb-guanxin/p/10473371.html
創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎總結(jié)
以上是生活随笔為你收集整理的MySQL之锁、事务、优化、OLAP、OLTP的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 图片网站分享
- 下一篇： Redis 单例、主从模式、sentin