MySQL之锁、事务、优化、OLAP、OLTP
本節目錄
-
一 鎖的分類及特性
-
二 表級鎖定(MyISAM舉例)
-
三 行級鎖定
-
四 查看死鎖、解除鎖
-
五 事務
-
六 慢日志、執行計劃、sql優化
-
七 OLTP與OLAP的介紹和對比
-
八 關于autocommit的測試
?
一 鎖的分類及特性
數據庫鎖定機制簡單來說，就是數據庫為了保證數據的一致性，而使各種共享資源在被并發訪問變得有序所設計的一種規則。對于任何一種數據庫來說都需要有相應的鎖定機制，所以MySQL自然也不能例外。MySQL數據庫由于其自身架構的特點，存在多種數據存儲引擎，每種存儲引擎所針對的應用場景特點都不太一樣，為了滿足各自特定應用場景的需求，每種存儲引擎的鎖定機制都是為各自所面對的特定場景而優化設計，所以各存儲引擎的鎖定機制也有較大區別。MySQL各存儲引擎使用了三種類型（級別）的鎖定機制：表級鎖定，行級鎖定和頁級鎖定。
1.表級鎖定（table-level）
表級別的鎖定是MySQL各存儲引擎中最大顆粒度的鎖定機制。該鎖定機制最大的特點是實現邏輯非常簡單，帶來的系統負面影響最小。所以獲取鎖和釋放鎖的速度很快。由于表級鎖一次會將整個表鎖定，所以可以很好的避免困擾我們的死鎖問題。
當然，鎖定顆粒度大所帶來最大的負面影響就是出現鎖定資源爭用的概率也會最高，致使并大度大打折扣。
使用表級鎖定的主要是MyISAM，MEMORY，CSV等一些非事務性存儲引擎。
2.行級鎖定（row-level）
行級鎖定最大的特點就是鎖定對象的顆粒度很小，也是目前各大數據庫管理軟件所實現的鎖定顆粒度最小的。由于鎖定顆粒度很小，所以發生鎖定資源爭用的概率也最小，能夠給予應用程序盡可能大的并發處理能力而提高一些需要高并發應用系統的整體性能。
雖然能夠在并發處理能力上面有較大的優勢，但是行級鎖定也因此帶來了不少弊端。由于鎖定資源的顆粒度很小，所以每次獲取鎖和釋放鎖需要做的事情也更多，帶來的消耗自然也就更大了。此外，行級鎖定也最容易發生死鎖。
使用行級鎖定的主要是InnoDB存儲引擎。
3.頁級鎖定（page-level）
頁級鎖定是MySQL中比較獨特的一種鎖定級別，在其他數據庫管理軟件中也并不是太常見。頁級鎖定的特點是鎖定顆粒度介于行級鎖定與表級鎖之間，所以獲取鎖定所需要的資源開銷，以及所能提供的并發處理能力也同樣是介于上面二者之間。另外，頁級鎖定和行級鎖定一樣，會發生死鎖。
在數據庫實現資源鎖定的過程中，隨著鎖定資源顆粒度的減小，鎖定相同數據量的數據所需要消耗的內存數量是越來越多的，實現算法也會越來越復雜。不過，隨著鎖定資源顆粒度的減小，應用程序的訪問請求遇到鎖等待的可能性也會隨之降低，系統整體并發度也隨之提升。
使用頁級鎖定的主要是BerkeleyDB存儲引擎。
總的來說，MySQL這3種鎖的特性可大致歸納如下：
表級鎖：開銷小，加鎖快；不會出現死鎖；鎖定粒度大，發生鎖沖突的概率最高，并發度最低；
行級鎖：開銷大，加鎖慢；會出現死鎖；鎖定粒度最小，發生鎖沖突的概率最低，并發度也最高；????
頁面鎖：開銷和加鎖時間界于表鎖和行鎖之間；會出現死鎖；鎖定粒度界于表鎖和行鎖之間，并發度一般。
適用：從鎖的角度來說，表級鎖更適合于以查詢為主，只有少量按索引條件更新數據的應用，如Web應用；而行級鎖則更適合于有大量按索引條件并發更新少量不同數據，同時又有并發查詢的應用，如一些在線事務處理（OLTP）系統。
?
二 表級鎖定(MyISAM舉例)
由于MyISAM存儲引擎使用的鎖定機制完全是由MySQL提供的表級鎖定實現，所以下面我們將以MyISAM存儲引擎作為示例存儲引擎。
1.MySQL表級鎖的鎖模式
MySQL的表級鎖有兩種模式：表共享讀鎖（Table Read Lock）和表獨占寫鎖（Table Write Lock）。鎖模式的兼容性：
對MyISAM表的讀操作，不會阻塞其他用戶對同一表的讀請求，但會阻塞對同一表的寫請求；
對MyISAM表的寫操作，則會阻塞其他用戶對同一表的讀和寫操作；
MyISAM表的讀操作與寫操作之間，以及寫操作之間是串行的。當一個線程獲得對一個表的寫鎖后，只有持有鎖的線程可以對表進行更新操作。其他線程的讀、寫操作都會等待，直到鎖被釋放為止。
總結：表鎖，讀鎖會阻塞寫，不會阻塞讀。而寫鎖則會把讀寫都阻塞。
2.如何加表鎖
MyISAM在執行查詢語句（SELECT）前，會自動給涉及的所有表加讀鎖，在執行更新操作（UPDATE、DELETE、INSERT等）前，會自動給涉及的表加寫鎖，這個過程并不需要用戶干預，因此，用戶一般不需要直接用LOCK TABLE命令給MyISAM表顯式加鎖。
顯示加鎖：
共享讀鎖：lock table tableName read;
獨占寫鎖：lock table tableName write;
? ? ? ? ? ? ? ? ? ? ? 同時加多鎖：lock table t1 write,t2 read;
批量解鎖：unlock tables;
3.MyISAM表鎖優化建議
對于MyISAM存儲引擎，雖然使用表級鎖定在鎖定實現的過程中比實現行級鎖定或者頁級鎖所帶來的附加成本都要小，鎖定本身所消耗的資源也是最少。但是由于鎖定的顆粒度比較到，所以造成鎖定資源的爭用情況也會比其他的鎖定級別都要多，從而在較大程度上會降低并發處理能力。所以，在優化MyISAM存儲引擎鎖定問題的時候，最關鍵的就是如何讓其提高并發度。由于鎖定級別是不可能改變的了，所以我們首先需要盡可能讓鎖定的時間變短，然后就是讓可能并發進行的操作盡可能的并發。
（1）查詢表級鎖爭用情況
MySQL內部有兩組專門的狀態變量記錄系統內部鎖資源爭用情況：
?
這里有兩個狀態變量記錄MySQL內部表級鎖定的情況，兩個變量說明如下：
Table_locks_immediate：產生表級鎖定的次數；
Table_locks_waited：出現表級鎖定爭用而發生等待的次數；此值越高則說明存在著越嚴重的表級鎖爭用情況。此外，MyISAM的讀寫鎖調度是寫優先，這也是MyISAM不適合做寫為主表的存儲引擎。因為寫鎖后，其他線程不能做任何操作，大量的更新會使查詢很難得到鎖，從而造成永久阻塞。
兩個狀態值都是從系統啟動后開始記錄，出現一次對應的事件則數量加1。如果這里的Table_locks_waited狀態值比較高，那么說明系統中表級鎖定爭用現象比較嚴重，就需要進一步分析為什么會有較多的鎖定資源爭用了。
（2）縮短鎖定時間
如何讓鎖定時間盡可能的短呢？唯一的辦法就是讓我們的Query執行時間盡可能的短。
a)盡兩減少大的復雜Query，將復雜Query分拆成幾個小的Query分布進行；
b)盡可能的建立足夠高效的索引，讓數據檢索更迅速；
c)盡量讓MyISAM存儲引擎的表只存放必要的信息，控制字段類型；
d)利用合適的機會優化MyISAM表數據文件。
（3）分離能并行的操作
說到MyISAM的表鎖，而且是讀寫互相阻塞的表鎖，可能有些人會認為在MyISAM存儲引擎的表上就只能是完全的串行化，沒辦法再并行了。大家不要忘記了，MyISAM的存儲引擎還有一個非常有用的特性，那就是ConcurrentInsert（并發插入）的特性。
MyISAM存儲引擎有一個控制是否打開Concurrent Insert功能的參數選項：concurrent_insert，可以設置為0，1或者2。三個值的具體說明如下：
concurrent_insert=2，無論MyISAM表中有沒有空洞，都允許在表尾并發插入記錄；
concurrent_insert=1，如果MyISAM表中沒有空洞（即表的中間沒有被刪除的行），MyISAM允許在一個進程讀表的同時，另一個進程從表尾插入記錄。這也是MySQL的默認設置；
concurrent_insert=0，不允許并發插入。
可以利用MyISAM存儲引擎的并發插入特性，來解決應用中對同一表查詢和插入的鎖爭用。例如，將concurrent_insert系統變量設為2，總是允許并發插入；同時，通過定期在系統空閑時段執行OPTIMIZE TABLE語句來整理空間碎片，收回因刪除記錄而產生的中間空洞。
（4）合理利用讀寫優先級
MyISAM存儲引擎的是讀寫互相阻塞的，那么，一個進程請求某個MyISAM表的讀鎖，同時另一個進程也請求同一表的寫鎖，MySQL如何處理呢？
答案是寫進程先獲得鎖。不僅如此，即使讀請求先到鎖等待隊列，寫請求后到，寫鎖也會插到讀鎖請求之前。
這是因為MySQL的表級鎖定對于讀和寫是有不同優先級設定的，默認情況下是寫優先級要大于讀優先級。
所以，如果我們可以根據各自系統環境的差異決定讀與寫的優先級：
通過執行命令SET LOW_PRIORITY_UPDATES=1，使該連接讀比寫的優先級高。如果我們的系統是一個以讀為主，可以設置此參數，如果以寫為主，則不用設置；
通過指定INSERT、UPDATE、DELETE語句的LOW_PRIORITY屬性，降低該語句的優先級。
雖然上面方法都是要么更新優先，要么查詢優先的方法，但還是可以用其來解決查詢相對重要的應用（如用戶登錄系統）中，讀鎖等待嚴重的問題。
另外，MySQL也提供了一種折中的辦法來調節讀寫沖突，即給系統參數max_write_lock_count設置一個合適的值，當一個表的讀鎖達到這個值后，MySQL就暫時將寫請求的優先級降低，給讀進程一定獲得鎖的機會。
這里還要強調一點：一些需要長時間運行的查詢操作，也會使寫進程“餓死”，因此，應用中應盡量避免出現長時間運行的查詢操作，不要總想用一條SELECT語句來解決問題，因為這種看似巧妙的SQL語句，往往比較復雜，執行時間較長，在可能的情況下可以通過使用中間表等措施對SQL語句做一定的“分解”，使每一步查詢都能在較短時間完成，從而減少鎖沖突。如果復雜查詢不可避免，應盡量安排在數據庫空閑時段執行，比如一些定期統計可以安排在夜間執行。
?
InnoDB默認采用行鎖，在未使用索引字段查詢時升級為表鎖。MySQL這樣設計并不是給你挖坑。它有自己的設計目的。
即便你在條件中使用了索引字段，MySQL會根據自身的執行計劃，考慮是否使用索引(所以explain命令中會有possible_key 和 key)。如果MySQL認為全表掃描效率更高，它就不會使用索引，這種情況下InnoDB將使用表鎖，而不是行鎖。因此，在分析鎖沖突時，別忘了檢查SQL的執行計劃，以確認是否真正使用了索引。關于執行計劃
第一種情況：全表更新。事務需要更新大部分或全部數據，且表又比較大。若使用行鎖，會導致事務執行效率低，從而可能造成其他事務長時間鎖等待和更多的鎖沖突。
第二種情況：多表級聯。事務涉及多個表，比較復雜的關聯查詢，很可能引起死鎖，造成大量事務回滾。這種情況若能一次性鎖定事務涉及的表，從而可以避免死鎖、減少數據庫因事務回滾帶來的開銷。
?
?
三 行級鎖定
?
行級鎖定不是MySQL自己實現的鎖定方式，而是由其他存儲引擎自己所實現的，如廣為大家所知的InnoDB存儲引擎，以及MySQL的分布式存儲引擎NDBCluster等都是實現了行級鎖定。考慮到行級鎖定君由各個存儲引擎自行實現，而且具體實現也各有差別，而InnoDB是目前事務型存儲引擎中使用最為廣泛的存儲引擎，所以這里我們就主要分析一下InnoDB的鎖定特性。
1.InnoDB鎖定模式及實現機制
考慮到行級鎖定君由各個存儲引擎自行實現，而且具體實現也各有差別，而InnoDB是目前事務型存儲引擎中使用最為廣泛的存儲引擎，所以這里我們就主要分析一下InnoDB的鎖定特性。
總的來說，InnoDB的鎖定機制和Oracle數據庫有不少相似之處。InnoDB的行級鎖定同樣分為兩種類型，共享鎖和排他鎖，而在鎖定機制的實現過程中為了讓行級鎖定和表級鎖定共存，InnoDB也同樣使用了意向鎖（表級鎖定）的概念，也就有了意向共享鎖和意向排他鎖這兩種。
當一個事務需要給自己需要的某個資源加鎖的時候，如果遇到一個共享鎖正鎖定著自己需要的資源的時候，自己可以再加一個共享鎖，不過不能加排他鎖。但是，如果遇到自己需要鎖定的資源已經被一個排他鎖占有之后，則只能等待該鎖定釋放資源之后自己才能獲取鎖定資源并添加自己的鎖定。而意向鎖的作用就是當一個事務在需要獲取資源鎖定的時候，如果遇到自己需要的資源已經被排他鎖占用的時候，該事務可以需要鎖定行的表上面添加一個合適的意向鎖。如果自己需要一個共享鎖，那么就在表上面添加一個意向共享鎖。而如果自己需要的是某行（或者某些行）上面添加一個排他鎖的話，則先在表上面添加一個意向排他鎖。意向共享鎖可以同時并存多個，但是意向排他鎖同時只能有一個存在。所以，可以說InnoDB的鎖定模式實際上可以分為四種：共享鎖（S），排他鎖（X），意向共享鎖（IS）和意向排他鎖（IX），我們可以通過以下表格來總結上面這四種所的共存邏輯關系：
如果一個事務請求的鎖模式與當前的鎖兼容，InnoDB就將請求的鎖授予該事務；反之，如果兩者不兼容，該事務就要等待鎖釋放。
意向鎖是InnoDB自動加的，不需用戶干預。對于UPDATE、DELETE和INSERT語句，InnoDB會自動給涉及數據集加排他鎖（X)；對于普通SELECT語句，InnoDB不會加任何鎖；事務可以通過以下語句顯示給記錄集加共享鎖或排他鎖。
用SELECT ... IN SHARE MODE獲得共享鎖，主要用在需要數據依存關系時來確認某行記錄是否存在，并確保沒有人對這個記錄進行UPDATE或者DELETE操作。
但是如果當前事務也需要對該記錄進行更新操作，則很有可能造成死鎖，對于鎖定行記錄后需要進行更新操作的應用，應該使用SELECT... FOR UPDATE方式獲得排他鎖。
2.InnoDB行鎖實現方式
InnoDB行鎖是通過給索引上的索引項加鎖來實現的，只有通過索引條件檢索數據，InnoDB才使用行級鎖，否則，InnoDB將使用表鎖
在實際應用中，要特別注意InnoDB行鎖的這一特性，不然的話，可能導致大量的鎖沖突，從而影響并發性能。下面通過一些實際例子來加以說明。
（1）在不通過索引條件查詢的時候，InnoDB確實使用的是表鎖，而不是行鎖。
（2）由于MySQL的行鎖是針對索引加的鎖，不是針對記錄加的鎖，所以雖然是訪問不同行的記錄，但是如果是使用相同的索引鍵，是會出現鎖沖突的。
（3）當表有多個索引的時候，不同的事務可以使用不同的索引鎖定不同的行，另外，不論是使用主鍵索引、唯一索引或普通索引，InnoDB都會使用行鎖來對數據加鎖。
（4）即便在條件中使用了索引字段，但是否使用索引來檢索數據是由MySQL通過判斷不同執行計劃的代價來決定的，如果MySQL認為全表掃描效率更高，比如對一些很小的表，它就不會使用索引，這種情況下InnoDB將使用表鎖，而不是行鎖。因此，在分析鎖沖突時，別忘了檢查SQL的執行計劃，以確認是否真正使用了索引。
3.間隙鎖（Next-Key鎖）
當我們用范圍條件而不是相等條件檢索數據，并請求共享或排他鎖時，InnoDB會給符合條件的已有數據記錄的索引項加鎖；
對于鍵值在條件范圍內但并不存在的記錄，叫做“間隙（GAP)”，InnoDB也會對這個“間隙”加鎖，這種鎖機制就是所謂的間隙鎖（Next-Key鎖）。
例：
假如emp表中只有101條記錄，其empid的值分別是 1,2,...,100,101，下面的SQL：
是一個范圍條件的檢索，InnoDB不僅會對符合條件的empid值為101的記錄加鎖，也會對empid大于101（這些記錄并不存在）的“間隙”加鎖。
InnoDB使用間隙鎖的目的：
（1）防止幻讀，以滿足相關隔離級別的要求（關于事務的隔離級別）。對于上面的例子，要是不使用間隙鎖，如果其他事務插入了empid大于100的任何記錄，那么本事務如果再次執行上述語句，就會發生幻讀；
（2）為了滿足其恢復和復制的需要。
很顯然，在使用范圍條件檢索并鎖定記錄時，即使某些不存在的鍵值也會被無辜的鎖定，而造成在鎖定的時候無法插入鎖定鍵值范圍內的任何數據。在某些場景下這可能會對性能造成很大的危害。
除了間隙鎖給InnoDB帶來性能的負面影響之外，通過索引實現鎖定的方式還存在其他幾個較大的性能隱患：
（1）當Query無法利用索引的時候，InnoDB會放棄使用行級別鎖定而改用表級別的鎖定，造成并發性能的降低；
（2）當Query使用的索引并不包含所有過濾條件的時候，數據檢索使用到的索引鍵所只想的數據可能有部分并不屬于該Query的結果集的行列，但是也會被鎖定，因為間隙鎖鎖定的是一個范圍，而不是具體的索引鍵；
（3）當Query在使用索引定位數據的時候，如果使用的索引鍵一樣但訪問的數據行不同的時候（索引只是過濾條件的一部分），一樣會被鎖定。
因此，在實際應用開發中，尤其是并發插入比較多的應用，我們要盡量優化業務邏輯，盡量使用相等條件來訪問更新數據，避免使用范圍條件。
還要特別說明的是，InnoDB除了通過范圍條件加鎖時使用間隙鎖外，如果使用相等條件請求給一個不存在的記錄加鎖，InnoDB也會使用間隙鎖。
4.死鎖
上文講過，MyISAM表鎖是deadlock free的，這是因為MyISAM總是一次獲得所需的全部鎖，要么全部滿足，要么等待，因此不會出現死鎖。但在InnoDB中，除單個SQL組成的事務外，鎖是逐步獲得的，當兩個事務都需要獲得對方持有的排他鎖才能繼續完成事務，這種循環鎖等待就是典型的死鎖。
在InnoDB的事務管理和鎖定機制中，有專門檢測死鎖的機制，會在系統中產生死鎖之后的很短時間內就檢測到該死鎖的存在。當InnoDB檢測到系統中產生了死鎖之后，InnoDB會通過相應的判斷來選這產生死鎖的兩個事務中較小的事務來回滾，而讓另外一個較大的事務成功完成。
那InnoDB是以什么來為標準判定事務的大小的呢？MySQL官方手冊中也提到了這個問題，實際上在InnoDB發現死鎖之后，會計算出兩個事務各自插入、更新或者刪除的數據量來判定兩個事務的大小。也就是說哪個事務所改變的記錄條數越多，在死鎖中就越不會被回滾掉。
但是有一點需要注意的就是，當產生死鎖的場景中涉及到不止InnoDB存儲引擎的時候，InnoDB是沒辦法檢測到該死鎖的，這時候就只能通過鎖定超時限制參數InnoDB_lock_wait_timeout來解決。
需要說明的是，這個參數并不是只用來解決死鎖問題，在并發訪問比較高的情況下，如果大量事務因無法立即獲得所需的鎖而掛起，會占用大量計算機資源，造成嚴重性能問題，甚至拖跨數據庫。我們通過設置合適的鎖等待超時閾值，可以避免這種情況發生。
通常來說，死鎖都是應用設計的問題，通過調整業務流程、數據庫對象設計、事務大小，以及訪問數據庫的SQL語句，絕大部分死鎖都可以避免。下面就通過實例來介紹幾種避免死鎖的常用方法：
（1）在應用中，如果不同的程序會并發存取多個表，應盡量約定以相同的順序來訪問表，這樣可以大大降低產生死鎖的機會。
（2）在程序以批量方式處理數據的時候，如果事先對數據排序，保證每個線程按固定的順序來處理記錄，也可以大大降低出現死鎖的可能。
（3）在事務中，如果要更新記錄，應該直接申請足夠級別的鎖，即排他鎖，而不應先申請共享鎖，更新時再申請排他鎖，因為當用戶申請排他鎖時，其他事務可能又已經獲得了相同記錄的共享鎖，從而造成鎖沖突，甚至死鎖。
（4）在REPEATABLE-READ隔離級別下，如果兩個線程同時對相同條件記錄用SELECT...FOR UPDATE加排他鎖，在沒有符合該條件記錄情況下，兩個線程都會加鎖成功。程序發現記錄尚不存在，就試圖插入一條新記錄，如果兩個線程都這么做，就會出現死鎖。這種情況下，將隔離級別改成READ COMMITTED，就可避免問題。
（5）當隔離級別為READ COMMITTED時，如果兩個線程都先執行SELECT...FOR UPDATE，判斷是否存在符合條件的記錄，如果沒有，就插入記錄。此時，只有一個線程能插入成功，另一個線程會出現鎖等待，當第1個線程提交后，第2個線程會因主鍵重出錯，但雖然這個線程出錯了，卻會獲得一個排他鎖。這時如果有第3個線程又來申請排他鎖，也會出現死鎖。對于這種情況，可以直接做插入操作，然后再捕獲主鍵重異常，或者在遇到主鍵重錯誤時，總是執行ROLLBACK釋放獲得的排他鎖。
5.什么時候使用表鎖
對于InnoDB表，在絕大部分情況下都應該使用行級鎖，因為事務和行鎖往往是我們之所以選擇InnoDB表的理由。但在個別特殊事務中，也可以考慮使用表級鎖：
（1）事務需要更新大部分或全部數據，表又比較大，如果使用默認的行鎖，不僅這個事務執行效率低，而且可能造成其他事務長時間鎖等待和鎖沖突，這種情況下可以考慮使用表鎖來提高該事務的執行速度。
（2）事務涉及多個表，比較復雜，很可能引起死鎖，造成大量事務回滾。這種情況也可以考慮一次性鎖定事務涉及的表，從而避免死鎖、減少數據庫因事務回滾帶來的開銷。
當然，應用中這兩種事務不能太多，否則，就應該考慮使用MyISAM表了。
在InnoDB下，使用表鎖要注意以下兩點。
（1）使用LOCK TABLES雖然可以給InnoDB加表級鎖，但必須說明的是，表鎖不是由InnoDB存儲引擎層管理的，而是由其上一層──MySQL Server負責的，僅當autocommit=0（不自動提交，默認是自動提交的）、InnoDB_table_locks=1（默認設置）時，InnoDB層才能知道MySQL加的表鎖，MySQL Server也才能感知InnoDB加的行鎖，這種情況下，InnoDB才能自動識別涉及表級鎖的死鎖，否則，InnoDB將無法自動檢測并處理這種死鎖。
（2）在用 LOCK TABLES對InnoDB表加鎖時要注意，要將AUTOCOMMIT設為0，否則MySQL不會給表加鎖；事務結束前，不要用UNLOCK TABLES釋放表鎖，因為UNLOCK TABLES會隱含地提交事務；COMMIT或ROLLBACK并不能釋放用LOCK TABLES加的表級鎖，必須用UNLOCK TABLES釋放表鎖。正確的方式見如下語句：
例如，如果需要寫表t1并從表t讀，可以按如下做：
6.InnoDB行鎖優化建議
InnoDB存儲引擎由于實現了行級鎖定，雖然在鎖定機制的實現方面所帶來的性能損耗可能比表級鎖定會要更高一些，但是在整體并發處理能力方面要遠遠優于MyISAM的表級鎖定的。當系統并發量較高的時候，InnoDB的整體性能和MyISAM相比就會有比較明顯的優勢了。但是，InnoDB的行級鎖定同樣也有其脆弱的一面，當我們使用不當的時候，可能會讓InnoDB的整體性能表現不僅不能比MyISAM高，甚至可能會更差。
（1）要想合理利用InnoDB的行級鎖定，做到揚長避短，我們必須做好以下工作：
a)盡可能讓所有的數據檢索都通過索引來完成，從而避免InnoDB因為無法通過索引鍵加鎖而升級為表級鎖定；
b)合理設計索引，讓InnoDB在索引鍵上面加鎖的時候盡可能準確，盡可能的縮小鎖定范圍，避免造成不必要的鎖定而影響其他Query的執行；
c)盡可能減少基于范圍的數據檢索過濾條件，避免因為間隙鎖帶來的負面影響而鎖定了不該鎖定的記錄；
d)盡量控制事務的大小，減少鎖定的資源量和鎖定時間長度；
e)在業務環境允許的情況下，盡量使用較低級別的事務隔離，以減少MySQL因為實現事務隔離級別所帶來的附加成本。
（2）由于InnoDB的行級鎖定和事務性，所以肯定會產生死鎖，下面是一些比較常用的減少死鎖產生概率的小建議：
a)類似業務模塊中，盡可能按照相同的訪問順序來訪問，防止產生死鎖；
b)在同一個事務中，盡可能做到一次鎖定所需要的所有資源，減少死鎖產生概率；
c)對于非常容易產生死鎖的業務部分，可以嘗試使用升級鎖定顆粒度，通過表級鎖定來減少死鎖產生的概率。
（3）可以通過檢查InnoDB_row_lock狀態變量來分析系統上的行鎖的爭奪情況：
?
InnoDB 的行級鎖定狀態變量不僅記錄了鎖定等待次數，還記錄了鎖定總時長，每次平均時長，以及最大時長，此外還有一個非累積狀態量顯示了當前正在等待鎖定的等待數量。對各個狀態量的說明如下：
InnoDB_row_lock_current_waits：當前正在等待鎖定的數量；
InnoDB_row_lock_time：從系統啟動到現在鎖定總時間長度；
InnoDB_row_lock_time_avg：每次等待所花平均時間；
InnoDB_row_lock_time_max：從系統啟動到現在等待最常的一次所花的時間；
InnoDB_row_lock_waits：系統啟動后到現在總共等待的次數；
對于這5個狀態變量，比較重要的主要是InnoDB_row_lock_time_avg（等待平均時長），InnoDB_row_lock_waits（等待總次數）以及InnoDB_row_lock_time（等待總時長）這三項。尤其是當等待次數很高，而且每次等待時長也不小的時候，我們就需要分析系統中為什么會有如此多的等待，然后根據分析結果著手指定優化計劃。
如果發現鎖爭用比較嚴重，如InnoDB_row_lock_waits和InnoDB_row_lock_time_avg的值比較高，還可以通過設置InnoDB Monitors 來進一步觀察發生鎖沖突的表、數據行等，并分析鎖爭用的原因。
鎖沖突的表、數據行等，并分析鎖爭用的原因。具體方法如下：
然后就可以用下面的語句來進行查看：
mysql> show engine InnoDB status;監視器可以通過發出下列語句來停止查看：
mysql> drop table InnoDB_monitor;設置監視器后，會有詳細的當前鎖等待的信息，包括表名、鎖類型、鎖定記錄的情況等，便于進行進一步的分析和問題的確定。可能會有讀者朋友問為什么要先創建一個叫InnoDB_monitor的表呢？因為創建該表實際上就是告訴InnoDB我們開始要監控他的細節狀態了，然后InnoDB就會將比較詳細的事務以及鎖定信息記錄進入MySQL的errorlog中，以便我們后面做進一步分析使用。打開監視器以后，默認情況下每15秒會向日志中記錄監控的內容，如果長時間打開會導致.err文件變得非常的巨大，所以用戶在確認問題原因之后，要記得刪除監控表以關閉監視器，或者通過使用“--console”選項來啟動服務器以關閉寫日志文件。
?
四 查看死鎖、解除鎖
?
結合上面對表鎖和行鎖的分析情況，解除正在死鎖的狀態有兩種方法：
第一種：
1.查詢是否鎖表
show OPEN TABLES where In_use > 0;
2.查詢進程（如果您有SUPER權限，您可以看到所有線程。否則，您只能看到您自己的線程）
show processlist
3.殺死進程id（就是上面命令的id列）
kill id
第二種：
1.查看下在鎖的事務?
SELECT * FROM INFORMATION_SCHEMA.INNODB_TRX;
2.殺死進程id（就是上面命令的trx_mysql_thread_id列）
kill 線程ID
例子：
查出死鎖進程：SHOW PROCESSLIST
殺掉進程????????? KILL 420821;
其它關于查看死鎖的命令：
1：查看當前的事務
SELECT * FROM INFORMATION_SCHEMA.INNODB_TRX;
2：查看當前鎖定的事務
SELECT * FROM INFORMATION_SCHEMA.INNODB_LOCKS;
3：查看當前等鎖的事務
SELECT * FROM INFORMATION_SCHEMA.INNODB_LOCK_WAITS;
?
五 事務
1.MySQL 事務屬性
事務是由一組SQL語句組成的邏輯處理單元，事務具有ACID屬性。
原子性（Atomicity）：事務是一個原子操作單元。在當時原子是不可分割的最小元素，其對數據的修改，要么全部成功，要么全部都不成功。
一致性（Consistent）：事務開始到結束的時間段內，數據都必須保持一致狀態。
隔離性（Isolation）：數據庫系統提供一定的隔離機制，保證事務在不受外部并發操作影響的"獨立"環境執行。
持久性（Durable）：事務完成后，它對于數據的修改是永久性的，即使出現系統故障也能夠保持。
2.事務常見問題
更新丟失（Lost Update）
原因：當多個事務選擇同一行操作，并且都是基于最初選定的值，由于每個事務都不知道其他事務的存在，就會發生更新覆蓋的問題。類比github提交沖突。
臟讀（Dirty Reads）
原因：事務A讀取了事務B已經修改但尚未提交的數據。若事務B回滾數據，事務A的數據存在不一致性的問題。
不可重復讀（Non-Repeatable Reads）
原因：事務A第一次讀取最初數據，第二次讀取事務B已經提交的修改或刪除數據。導致兩次讀取數據不一致。不符合事務的隔離性。
幻讀（Phantom Reads）
原因：事務A根據相同條件第二次查詢到事務B提交的新增數據，兩次數據結果集不一致。不符合事務的隔離性。
幻讀和臟讀有點類似
臟讀是事務B里面修改了數據，
幻讀是事務B里面新增了數據。
3.事務的隔離級別
數據庫的事務隔離越嚴格，并發副作用越小，但付出的代價也就越大。這是因為事務隔離實質上是將事務在一定程度上"串行"進行，這顯然與"并發"是矛盾的。根據自己的業務邏輯，權衡能接受的最大副作用。從而平衡了"隔離" 和 "并發"的問題。MySQL默認隔離級別是可重復讀。
臟讀，不可重復讀，幻讀，其實都是數據庫讀一致性問題，必須由數據庫提供一定的事務隔離機制來解決。
查看當前數據庫的事務隔離級別：show variables like 'tx_isolation';
mysql> show variables like 'tx_isolation'; +---------------+-----------------+ | Variable_name | Value | +---------------+-----------------+ | tx_isolation | REPEATABLE-READ | +---------------+-----------------+4.事務級別的設置
1.未提交讀（READ UNCOMMITED） 解決的障礙：無； 引入的問題：臟讀set SESSION TRANSACTION ISOLATION LEVEL READ UNCOMMITTED;2.已提交讀 （READ COMMITED） 解決的障礙：臟讀； 引入的問題：不可重復讀set SESSION TRANSACTION ISOLATION LEVEL read committed;3.可重復讀（REPEATABLE READ）解決的障礙：不可重復讀； 引入的問題：set SESSION TRANSACTION ISOLATION LEVEL repeatable read;4.可串行化（SERIALIZABLE）解決的障礙：可重復讀； 引入的問題：鎖全表，性能低下set SESSION TRANSACTION ISOLATION LEVEL repeatable read;?
總結：
事務隔離級別為可重復讀時，如果有索引（包括主鍵索引）的時候，以索引列為條件更新數據，會存在間隙鎖間、行鎖、頁鎖的問題，從而鎖住一些行；如果沒有索引，更新數據時會鎖住整張表
事務隔離級別為串行化時，讀寫數據都會鎖住整張表
隔離級別越高，越能保證數據的完整性和一致性，但是對并發性能的影響也越大，對于多數應用程序，可以優先考慮把數據庫系統的隔離級別設為Read Committed，它能夠避免臟讀取，而且具有較好的并發性能。
?5.事務保存點，實現部分回滾
我們可以在mysql事務處理過程中定義保存點(SAVEPOINT)，然后回滾到指定的保存點前的狀態。
定義保存點，以及回滾到指定保存點前狀態的語法如下。
1.定義保存點---SAVEPOINT 保存點名;
2.回滾到指定保存點---ROLLBACK TO SAVEPOINT 保存點名:
1、查看user表中的數據mysql> select * from user; +-----+----------+-----+------+ | mid | name | scx | word | +-----+----------+-----+------+ | 1 | zhangsan | 0 | NULL | | 2 | wangwu | 1 | NULL | +-----+----------+-----+------+ 2 rows in set (0.05 sec) 2、mysql事務開始mysql> BEGIN; -- 或者start transaction； Query OK, 0 rows affected (0.00 sec) 3、向表user中插入2條數據mysql> INSERT INTO user VALUES ('3','one','0',''); Query OK, 1 row affected (0.08 sec) mysql> INSERT INTO user VALUES ('4,'two','0',''); Query OK, 1 row affected (0.00 sec) mysql> select * from user; +-----+----------+-----+------+ | mid | name | scx | word | +-----+----------+-----+------+ | 1 | zhangsan | 0 | NULL | | 2 | wangwu | 1 | NULL | | 3 | one | 0 | | | 4 | two | 0 | | +-----+----------+-----+------+ 4 rows in set (0.00 sec) 4、指定保存點，保存點名為testmysql> SAVEPOINT test; Query OK, 0 rows affected (0.00 sec) 5、向表user中插入第3條數據mysql> INSERT INTO user VALUES ('5','three','0',''); Query OK, 1 row affected (0.00 sec) mysql> select * from user; +-----+----------+-----+------+ | mid | name | scx | word | +-----+----------+-----+------+ | 1 | zhangsan | 0 | NULL | | 2 | wangwu | 1 | NULL | | 3 | one | 0 | | | 4 | two | 0 | | | 5 | three | 0 | | +-----+----------+-----+------+ 5 rows in set (0.02 sec) 6、回滾到保存點testmysql> ROLLBACK TO SAVEPOINT test; Query OK, 0 rows affected (0.31 sec) mysql> select * from user; +-----+----------+-----+------+ | mid | name | scx | word | +-----+----------+-----+------+ | 1 | zhangsan | 0 | NULL | | 2 | wangwu | 1 | NULL | | 3 | one | 0 | | | 4 | two | 0 | | +-----+----------+-----+------+ 4 rows in set (0.00 sec)我們可以看到保存點test以后插入的記錄沒有顯示了，即成功團滾到了定義保存點test前的狀態。利用保存點可以實現只提交事務中部分處理的功能。
? 6 事務控制語句
BEGIN或START TRANSACTION；顯式地開啟一個事務； COMMIT； 也可以使用COMMIT WORK，不過二者是等價的。COMMIT會提交事務，并使已對數據庫進行的所有修改成為永久性的； ROLLBACK； 有可以使用ROLLBACK WORK，不過二者是等價的。回滾會結束用戶的事務，并撤銷正在進行的所有未提交的修改； SAVEPOINT identifier； SAVEPOINT允許在事務中創建一個保存點，一個事務中可以有多個SAVEPOINT； RELEASE SAVEPOINT identifier； 刪除一個事務的保存點，當沒有指定的保存點時，執行該語句會拋出一個異常； ROLLBACK TO identifier； 把事務回滾到標記點； SET TRANSACTION； 用來設置事務的隔離級別。InnoDB存儲引擎提供事務的隔離級別有READ UNCOMMITTED、READ COMMITTED、REPEATABLE READ和SERIALIZABLE。? 用 BEGIN, ROLLBACK, COMMIT來實現
? BEGIN 開始一個事務
? ROLLBACK 事務回滾
? COMMIT 事務確認
? 直接用 SET 來改變 MySQL 的自動提交模式:
? SET AUTOCOMMIT=0或者off 禁止自動提交
? SET AUTOCOMMIT=1或者on 開啟自動提交
?
?
?
?
六 慢查詢、執行計劃、sql優化
?
什么是慢查詢
慢查詢日志，顧名思義，就是查詢慢的日志，是指mysql記錄所有執行超過long_query_time參數設定的時間閾值的SQL語句的日志。該日志能為SQL語句的優化帶來很好的幫助。默認情況下，慢查詢日志是關閉的，要使用慢查詢日志功能，首先要開啟慢查詢日志功能。
? 慢查詢基本配置
? slow_query_log?啟動停止技術慢查詢日志
? slow_query_log_file?指定慢查詢日志得存儲路徑及文件（默認和數據文件放一起）
? long_query_time?指定記錄慢查詢日志SQL執行時間得伐值（單位：秒，默認10秒）
? log_queries_not_using_indexes ?是否記錄未使用索引的SQL
? log_output?日志存放的地方【TABLE】【FILE】【FILE,TABLE】
配置了慢查詢后，它會記錄符合條件的SQL
包括：
查詢語句
數據修改語句
已經回滾得SQL
實操：
通過下面命令查看下上面的配置：
show VARIABLES like '%slow_query_log%'
show VARIABLES like '%slow_query_log_file%'
show VARIABLES like '%long_query_time%'
show VARIABLES like '%log_queries_not_using_indexes%'
show VARIABLES like 'log_output'
set global long_query_time=0; ??---默認10秒，這里為了演示方便設置為0
set GLOBAL ?slow_query_log = 1; --開啟慢查詢日志
set global log_output='FILE,TABLE' ?--項目開發中日志只能記錄在日志文件中，不能記表中
設置完成后，查詢一些列表可以發現慢查詢的日志文件里面有數據了。
?
? 慢查詢解讀
從慢查詢日志里面摘選一條慢查詢日志，數據組成如下
?
第一行：用戶名?、用戶的IP信息、線程ID號
第二行：執行花費的時間【單位：毫秒】
第三行：執行獲得鎖的時間
第四行：獲得的結果行數
第五行：掃描的數據行數
第六行：這SQL執行的具體時間
第七行：具體的SQL語句
?
執行計劃（explain select...、explain extended select...）
?? 使用EXPLAIN關鍵字可以模擬優化器執行SQL查詢語句，從而知道MySQL是如何處理你的SQL語句的。分析你的查詢語句或是表結構的性能瓶頸。
? 執行計劃作用
? 表的讀取順序
?數據讀取操作的操作類型
? 哪些索引可以使用
? 哪些索引被實際使用
?表之間的引用
?每張表有多少行被優化器查詢
執行計劃的語法
執行計劃的語法其實非常簡單：?在SQL查詢的前面加上EXPLAIN關鍵字就行。
比如：EXPLAIN?select * from table1
重點的就是EXPLAIN后面你要分析的SQL語句?
?
?
ID列
ID列：描述select查詢的序列號,包含一組數字，表示查詢中執行select子句或操作表的順序
根據ID的數值結果可以分成一下三種情況
id相同：執行順序由上至下
id不同：如果是子查詢，id的序號會遞增，id值越大優先級越高，越先被執行
id相同不同：同時存在
分別舉例來看
?
如上圖所示，ID列的值全為1，代表執行的允許從t1開始加載，依次為t3與t2
EXPLAIN? select t2.* from t1,t2,t3 ?where t1.id = t2.id and t1.id = t3.id?and t1.other_column = '';
Id不同
?
如果是子查詢，id的序號會遞增，id值越大優先級越高，越先被執行
EXPLAIN?select t2.* from ?t2 where id = (
select id from t1 where id = ?(select t3.id from t3 where t3.other_column='')
);
? Id相同又不同
?
id如果相同，可以認為是一組，從上往下順序執行；
在所有組中，id值越大，優先級越高，越先執行
EXPLAIN?select t2.* from (select t3.id?from t3 where t3.other_column = '') s1 ,t2 where s1.id = t2.id;
? select_type列
Select_type:查詢的類型，要是用于區別:普通查詢、聯合查詢、子查詢等的復雜查詢
類型如下
?
SIMPLE
EXPLAIN select * from t1
簡單的?select?查詢,查詢中不包含子查詢或者UNION
?
PRIMARY與SUBQUERY
PRIMARY：查詢中若包含任何復雜的子部分，最外層查詢則被標記為
SUBQUERY：在SELECT或WHERE列表中包含了子查詢
EXPLAIN?select t1.*,(select t2.id from t2 where t2.id = 1 ) from t1?
?
?
? DERIVED
在FROM列表中包含的子查詢被標記為DERIVED(衍生)
MySQL會遞歸執行這些子查詢,?把結果放在臨時表里。
?
.UNION RESULT?與UNION
UNION：若第二個SELECT出現在UNION之后，則被標記為UNION；
UNION RESULT：從UNION表獲取結果的SELECT
#UNION RESULT ,UNION
EXPLAIN?select * from t1?UNION?select * from t2
?
? table列
顯示這一行的數據是關于哪張表的
?
Type列
type顯示的是訪問類型，是較為重要的一個指標，結果值從最好到最壞依次是：
system > const > eq_ref > ref > fulltext > ref_or_null > index_merge > unique_subquery > index_subquery > range > index > ALL
需要記憶的
system>const>eq_ref>ref>range>index>ALL
一般來說，得保證查詢至少達到range級別，最好能達到ref。
? System與const
System：表只有一行記錄（等于系統表），這是const類型的特列，平時不會出現，這個也可以忽略不計
Const：表示通過索引一次就找到了
const用于比較primary key或者unique索引。因為只匹配一行數據，所以很快
如將主鍵置于where列表中，MySQL就能將該查詢轉換為一個常量
?
eq_ref
? 唯一性索引掃描，對于每個索引鍵，表中只有一條記錄與之匹配。常見于主鍵或唯一索引掃描
?
Ref
?非唯一性索引掃描，返回匹配某個單獨值的所有行.
本質上也是一種索引訪問，它返回所有匹配某個單獨值的行，然而，它可能會找到多個符合條件的行，所以他應該屬于查找和掃描的混合體
?
Range
只檢索給定范圍的行,使用一個索引來選擇行。key?列顯示使用了哪個索引
一般就是在你的where語句中出現了between、<、>、in等的查詢
這種范圍掃描索引掃描比全表掃描要好，因為它只需要開始于索引的某一點，而結束語另一點，不用掃描全部索引。
?
?
Index
當查詢的結果全為索引列的時候，雖然也是全部掃描，但是只查詢的索引庫，而沒有去查詢數據。
?
All
Full Table Scan，將遍歷全表以找到匹配的行
?
?
possible_keys?與Key?
possible_keys:可能使用的key
Key:實際使用的索引。如果為NULL，則沒有使用索引
查詢中若使用了覆蓋索引，則該索引和查詢的select字段重疊
?
key_len列
Key_len表示索引中使用的字節數，可通過該列計算查詢中使用的索引的長度。在不損失精確性的情況下，長度越短越好
key_len顯示的值為索引字段的最大可能長度，并非實際使用長度，即key_len是根據表定義計算而得，不是通過表內檢索出的
?
?
? key_len表示索引使用的字節數，
? 根據這個值，就可以判斷索引使用情況，特別是在組合索引的時候，判斷所有的索引字段是否都被查詢用到。
? char和varchar跟字符編碼也有密切的聯系,
? latin1占用1個字節，gbk占用2個字節，utf8占用3個字節。（不同字符編碼占用的存儲空間不同）
?
?
字符類型
?
字符類型-索引字段為char類型+不可為Null時
?
name這一列為char(10),字符集為utf-8占用3個字節Keylen=10*3
字符類型-索引字段為char類型+允許為Null時
?
name這一列為char(10),字符集為utf-8占用3個字節,外加需要存入一個null值
Keylen=10*3+1(null)?結果為31
索引字段為varchar類型+不可為Null時
?
Keylen=varchar(n)變長字段+不允許Null=n*(utf8=3,gbk=2,latin1=1)+2
? 索引字段為varchar類型+允許為Null時
?
Keylen=varchar(n)變長字段+允許Null=n*(utf8=3,gbk=2,latin1=1)+1(NULL)+2
總結
字符類型
變長字段需要額外的2個字節（VARCHAR值保存時只保存需要的字符數，另加一個字節來記錄長度(如果列聲明的長度超過255，則使用兩個字節)，所以VARCAHR索引長度計算時候要加2），固定長度字段不需要額外的字節。
而NULL都需要1個字節的額外空間,所以索引字段最好不要為NULL，因為NULL讓統計更加復雜并且需要額外的存儲空間。
復合索引有最左前綴的特性，如果復合索引能全部使用上，則是復合索引字段的索引長度之和，這也可以用來判定復合索引是否部分使用，還是全部使用。
整數/浮點數/時間類型的索引長度
NOT NULL=字段本身的字段長度
???????? NULL=字段本身的字段長度+1(因為需要有是否為空的標記，這個標記需要占用1個字節)
datetime類型在5.6中字段長度是5個字節，datetime類型在5.5中字段長度是8個字節
?
Ref列
顯示索引的哪一列被使用了，如果可能的話，是一個常數。哪些列或常量被用于查找索引列上的值
?
由key_len可知t1表的idx_col1_col2被充分使用，col1匹配t2表的col1，col2匹配了一個常量，即?'ac'
其中?【shared.t2.col1】 為 【數據庫.表.列】
Rows列
根據表統計信息及索引選用情況，大致估算出找到所需的記錄所需要讀取的行數
?
Extra列
包含不適合在其他列中顯示但十分重要的額外信息。
?
Using filesort
說明mysql會對數據使用一個外部的索引排序，而不是按照表內的索引順序進行讀取。MySQL中無法利用索引完成的排序操作稱為“文件排序”
當發現有Using filesort?后，實際上就是發現了可以優化的地方
?
上圖其實是一種索引失效的情況，后面會講，可以看出查詢中用到了個聯合索引，索引分別為col1,col2,col3
?
當我排序新增了個col2，發現using filesort?就沒有了。
?
Using temporary
使了用臨時表保存中間結果,MySQL在對查詢結果排序時使用臨時表。常見于排序?order by?和分組查詢?group by。
?
?
尤其發現在執行計劃里面有using filesort而且還有Using temporary的時候，特別需要注意
Using index
表示相應的select操作中使用了覆蓋索引(Covering Index)，避免訪問了表的數據行，效率不錯！
如果同時出現using where，表明索引被用來執行索引鍵值的查找;
?
如果沒有同時出現using where，表明索引用來讀取數據而非執行查找動作
?
?
Using where?與?using join buffer
Using where
表明使用了where過濾
using join buffer
使用了連接緩存：
?
?impossible where
where子句的值總是false，不能用來獲取任何元組
?
? filtered列
使用explain extended時顯示，顯示針對表里符合某個條件（where子句或者聯結條件）的記錄數的百分比所做的一個悲觀估算，即mysql將要過濾行數的百分比。
sql優化順口溜
? 全職匹配我最愛，最左前綴要遵守；
? 帶頭大哥不能死，中間兄弟不能斷；
? 索引列上少計算，范圍之后全失效；
? LIKE百分寫最右，覆蓋索引不寫*；
?
? 全職匹配我最愛？
?
當建立了索引列后，能在where條件中使用索引的盡量所用。
?
最左前綴要遵守，帶頭大哥不能死，中間兄弟不能斷？
?
如果索引了多列，要遵守最左前綴法則。指的是查詢從索引的最左前列開始并且不跳過索引中的列。
?
七 OLTP與OLAP的介紹和對比
?
OLTP與OLAP的介紹
? ? 數據處理大致可以分成兩大類：聯機事務處理OLTP（on-line transaction processing）、聯機分析處理OLAP（On-Line Analytical Processing）。OLTP是傳統的關系型數據庫的主要應用，主要是基本的、日常的事務處理，例如銀行交易。OLAP是數據倉庫系統的主要應用，支持復雜的分析操作，側重決策支持，并且提供直觀易懂的查詢結果。?
OLTP?系統強調數據庫內存效率，強調內存各種指標的命令率，強調綁定變量，強調并發操作；
OLAP?系統則強調數據分析，強調SQL執行市場，強調磁盤I/O，強調分區等。?
OLTP與OLAP之間的比較： ??
OLTP，也叫聯機事務處理（Online Transaction Processing），表示事務性非常高的系統，一般都是高可用的在線系統，以小的事務以及小的查詢為主，評估其系統的時候，一般看其每秒執行的Transaction以及Execute SQL的數量。在這樣的系統中，單個數據庫每秒處理的Transaction往往超過幾百個，或者是幾千個，Select 語句的執行量每秒幾千甚至幾萬個。典型的OLTP系統有電子商務系統、銀行、證券等，如美國eBay的業務數據庫，就是很典型的OLTP數據庫。
OLTP系統最容易出現瓶頸的地方就是CPU與磁盤子系統。
（1）CPU出現瓶頸常表現在邏輯讀總量與計算性函數或者是過程上，邏輯讀總量等于單個語句的邏輯讀乘以執行次數，如果單個語句執行速度雖然很快，但是執行次數非常多，那么，也可能會導致很大的邏輯讀總量。設計的方法與優化的方法就是減少單個語句的邏輯讀，或者是減少它們的執行次數。另外，一些計算型的函數，如自定義函數、decode等的頻繁使用，也會消耗大量的CPU時間，造成系統的負載升高，正確的設計方法或者是優化方法，需要盡量避免計算過程，如保存計算結果到統計表就是一個好的方法。
（2）磁盤子系統在OLTP環境中，它的承載能力一般取決于它的IOPS處理能力. 因為在OLTP環境中，磁盤物理讀一般都是db file sequential read，也就是單塊讀，但是這個讀的次數非常頻繁。如果頻繁到磁盤子系統都不能承載其IOPS的時候，就會出現大的性能問題。
? ? OLTP比較常用的設計與優化方式為Cache技術與B-tree索引技術，Cache決定了很多語句不需要從磁盤子系統獲得數據，所以，Web cache與Oracle data buffer對OLTP系統是很重要的。另外，在索引使用方面，語句越簡單越好，這樣執行計劃也穩定，而且一定要使用綁定變量，減少語句解析，盡量減少表關聯，盡量減少分布式事務，基本不使用分區技術、MV技術、并行技術及位圖索引。因為并發量很高，批量更新時要分批快速提交，以避免阻塞的發生。?
OLTP 系統是一個數據塊變化非常頻繁，SQL 語句提交非常頻繁的系統。 對于數據塊來說，應盡可能讓數據塊保存在內存當中，對于SQL來說，盡可能使用變量綁定技術來達到SQL重用，減少物理I/O 和重復的SQL 解析，從而極大的改善數據庫的性能。
? ? 這里影響性能除了綁定變量，還有可能是熱快（hot block）。 當一個塊被多個用戶同時讀取時，Oracle 為了維護數據的一致性，需要使用Latch來串行化用戶的操作。當一個用戶獲得了latch后，其他用戶就只能等待，獲取這個數據塊的用戶越多，等待就越明顯。 這就是熱快的問題。 這種熱快可能是數據塊，也可能是回滾端塊。 對于數據塊來講，通常是數據庫的數據分布不均勻導致，如果是索引的數據塊，可以考慮創建反向索引來達到重新分布數據的目的，對于回滾段數據塊，可以適當多增加幾個回滾段來避免這種爭用。?
OLAP，也叫聯機分析處理（Online Analytical Processing）系統，有的時候也叫DSS決策支持系統，就是我們說的數據倉庫。在這樣的系統中，語句的執行量不是考核標準，因為一條語句的執行時間可能會非常長，讀取的數據也非常多。所以，在這樣的系統中，考核的標準往往是磁盤子系統的吞吐量（帶寬），如能達到多少MB/s的流量。
? ? 磁盤子系統的吞吐量則往往取決于磁盤的個數，這個時候，Cache基本是沒有效果的，數據庫的讀寫類型基本上是db file scattered read與direct path read/write。應盡量采用個數比較多的磁盤以及比較大的帶寬，如4Gb的光纖接口。
在OLAP系統中，常使用分區技術、并行技術。
? ? 分區技術在OLAP系統中的重要性主要體現在數據庫管理上，比如數據庫加載，可以通過分區交換的方式實現，備份可以通過備份分區表空間實現，刪除數據可以通過分區進行刪除，至于分區在性能上的影響，它可以使得一些大表的掃描變得很快（只掃描單個分區）。另外，如果分區結合并行的話，也可以使得整個表的掃描會變得很快。總之，分區主要的功能是管理上的方便性，它并不能絕對保證查詢性能的提高，有時候分區會帶來性能上的提高，有時候會降低。
? ? 并行技術除了與分區技術結合外，在Oracle 10g中，與RAC結合實現多節點的同時掃描，效果也非常不錯，可把一個任務，如select的全表掃描，平均地分派到多個RAC的節點上去。
? ? 在OLAP系統中，不需要使用綁定（BIND）變量，因為整個系統的執行量很小，分析時間對于執行時間來說，可以忽略，而且可避免出現錯誤的執行計劃。但是OLAP中可以大量使用位圖索引，物化視圖，對于大的事務，盡量尋求速度上的優化，沒有必要像OLTP要求快速提交，甚至要刻意減慢執行的速度。
? ? 綁定變量真正的用途是在OLTP系統中，這個系統通常有這樣的特點，用戶并發數很大，用戶的請求十分密集，并且這些請求的SQL 大多數是可以重復使用的。
? ? 對于OLAP系統來說，絕大多數時候數據庫上運行著的是報表作業，執行基本上是聚合類的SQL 操作，比如group by，這時候，把優化器模式設置為all_rows是恰當的。 而對于一些分頁操作比較多的網站類數據庫，設置為first_rows會更好一些。 但有時候對于OLAP 系統，我們又有分頁的情況下，我們可以考慮在每條SQL 中用hint。 如：
? ? Select ?a.* from table a;
分開設計與優化
在設計上要特別注意，如在高可用的OLTP環境中，不要盲目地把OLAP的技術拿過來用。
如分區技術，假設不是大范圍地使用分區關鍵字，而采用其它的字段作為where條件，那么，如果是本地索引，將不得不掃描多個索引，而性能變得更為低下。如果是全局索引，又失去分區的意義。
并行技術也是如此，一般在完成大型任務時才使用，如在實際生活中，翻譯一本書，可以先安排多個人，每個人翻譯不同的章節，這樣可以提高翻譯速度。如果只是翻譯一頁書，也去分配不同的人翻譯不同的行，再組合起來，就沒必要了，因為在分配工作的時間里，一個人或許早就翻譯完了。
位圖索引也是一樣，如果用在OLTP環境中，很容易造成阻塞與死鎖。但是，在OLAP環境中，可能會因為其特有的特性，提高OLAP的查詢速度。MV也是基本一樣，包括觸發器等，在DML頻繁的OLTP系統上，很容易成為瓶頸，甚至是Library Cache等待，而在OLAP環境上，則可能會因為使用恰當而提高查詢速度。
對于OLAP系統，在內存上可優化的余地很小，增加CPU 處理速度和磁盤I/O 速度是最直接的提高數據庫性能的方法，當然這也意味著系統成本的增加。 ? ? ?
比如我們要對幾億條或者幾十億條數據進行聚合處理，這種海量的數據，全部放在內存中操作是很難的，同時也沒有必要，因為這些數據快很少重用，緩存起來也沒有實際意義，而且還會造成物理I/O相當大。 所以這種系統的瓶頸往往是磁盤I/O上面的。
對于OLAP系統，SQL 的優化非常重要，因為它的數據量很大，做全表掃描和索引對性能上來說差異是非常大的。
其他
? ?? Oracle 10g以前的版本建庫過程中可供選擇的模板有：
? ? ? ? Data Warehouse （數據倉庫）
? ? ? ? General Purpose ?（通用目的、一般用途）
? ? ? ? New Database
? ? ? ? Transaction Processing ?（事務處理）
? ?? Oracle 11g的版本建庫過程中可供選擇的模板有：
? ? ? ? 一般用途或事務處理
? ? ? ? 定制數據庫
? ? ? ? 數據倉庫
個人對這些模板的理解為：
? ? ? 聯機分析處理（OLAP,On-line Analytical Processing），數據量大，DML少。使用數據倉庫模板
? ? ? 聯機事務處理（OLTP,On-line Transaction Processing），數據量少，DML頻繁，并行事務處理多，但是一般都很短。使用一般用途或事務處理模板。
? ? ? 決策支持系統（DDS，Decision support system)，典型的操作是全表掃描，長查詢，長事務，但是一般事務的個數很少，往往是一個事務獨占系統。
?
?
八 autocommit測試
MySQL是默認提交的，也就是說默認保存到磁盤上的，但是如果我們將本次回話設置了set autocommit=0;取消了默認提交的話，看一下效果：
可以通過查看“@@AUTOCOMMIT”變量來查看當前自動提交狀態，查看此變量SELECT?@@AUTOCOMMIT。
mysql> use orm3; Database changed mysql> select * from app01_publish; +----+-----------------+--------+ | id | name | addr | +----+-----------------+--------+ | 1 | 西瓜出版社 | 北京 | | 2 | 人民出版社 | 天津 | | 3 | 清華出版社 | 北京 | | 4 | 南京出版社 | 南京 | | 5 | hah | xxxx | | 6 | 呵呵 | ssss | +----+-----------------+--------+ 6 rows in set (0.00 sec)mysql> set autocommit=0; Query OK, 0 rows affected (0.00 sec)mysql> insert into app01_publish values(7,'第七條','上海'); Query OK, 1 row affected (0.00 sec)mysql> select * from app01_publish; +----+-----------------+--------+ | id | name | addr | +----+-----------------+--------+ | 1 | 西瓜出版社 | 北京 | | 2 | 人民出版社 | 天津 | | 3 | 清華出版社 | 北京 | | 4 | 南京出版社 | 南京 | | 5 | hah | xxxx | | 6 | 呵呵 | ssss | | 7 | 第七條 | 上海 | +----+-----------------+--------+ 7 rows in set (0.00 sec)mysql> quit ByeC:\Users\zequan>mysql Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 3 Server version: 5.6.21 MySQL Community Server (GPL)Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved.Oracle is a registered trademark of Oracle Corporation and/or its affiliates. Other names may be trademarks of their respective owners.Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.mysql> use orm3; Database changed mysql> select * from app01_publish; #再進來發現新插入的數據沒有了 +----+-----------------+--------+ | id | name | addr | +----+-----------------+--------+ | 1 | 西瓜出版社 | 北京 | | 2 | 人民出版社 | 天津 | | 3 | 清華出版社 | 北京 | | 4 | 南京出版社 | 南京 | | 5 | hah | xxxx | | 6 | 呵呵 | ssss | +----+-----------------+--------+ 6 rows in set (0.00 sec)?
?
轉載于:https://www.cnblogs.com/yb-guanxin/p/10473371.html
創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎總結
以上是生活随笔為你收集整理的MySQL之锁、事务、优化、OLAP、OLTP的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 图片网站分享
- 下一篇： Redis 单例、主从模式、sentin