第17章 其他數據庫日志

• 前言
• 推薦
• 第17章 其他數據庫日志
• • 1.MySQL支持的日志
  • • 1.1日志類型
    • 1.2日志的弊端
  • 2.慢查詢日志(slow query log)
  • 3.通用查詢日志
  • • 3.1問題場景
    • 3.2 查看當前狀態
    • 3.3 啟動日志
    • 3.4 查看日志
    • 3.5 停止日志
    • 3.6 刪除\刷新日志
  • 4. 錯誤日志(error log)
  • • 4.1 啟動日志
    • 4.2 查看日志
    • 4.3 刪除\刷新日志
    • 4.4 MySQL8.0新特性
  • 5. 二進制日志(bin log)
  • • 5.1 查看默認情況
    • 5.2 日志參數設置
    • 5.3 查看日志
    • 5.4 使用日志恢復數據
    • 5.5 刪除二進制日志
    • 5.6 其它場景
  • 6. 再談二進制日志(binlog)
  • • 6.1 寫入機制
    • 6.2 binlog與redolog對比
    • 6.3 兩階段提交
  • 7. 中繼日志(relay log)
  • • 7.1 介紹
    • 7.2 查看中繼日志
    • 7.3 恢復的典型錯誤
• 最后

前言

---

2022/8/13 12:51

---

暑假學習ing

---

推薦

【MySQL數據庫教程天花板，mysql安裝到mysql高級，強！硬！-嗶哩嗶哩】

尚硅谷MySQL學習筆記

MySQL筆記：第17章_其他數據庫日志

第17章 其他數據庫日志

我們在講解數據庫事務時，講過兩種日志:重做日志、回滾日志。

對于線上數據庫應用系統，突然遭遇數據庫宕機怎么辦?在這種情況下，定位宕機的原因就非常關鍵。可以查看數據庫的錯誤日志。因為日志中記錄了數據庫運行中的診斷信息，包括了錯誤、警告和注釋等信息。比如:從日志中發現某個連接中的SQL操作發生了死循環，導致內存不足，被系統強行終止了。明確了原因，處理起來也就輕松了，系統很快就恢復了運行。

除了發現錯誤，日志在數據復制、數據恢復、操作審計，以及確保數據的永久性和一致性等方面，都有著不可替代的作用。

千萬不要小看日志。很多看似奇怪的問題，答案往往就藏在日志里。很多情況下，只有通過查看日志才能發現問題的原因，真正解決問題。所以，一定要學會查看日志，養成檢查日志的習慣，對提升你的數據庫應用開發能力至關重要。

MySQL8.0官網日志地址:https://dev.mysql.com/doc/refman/8.0/en/server-logs.html

1.MySQL支持的日志

1.1日志類型

MySQL有不同類型的日志文件，用來存儲不同類型的日志，分為二進制日志、錯誤日志、通用查詢日志和慢查詢日志，這也是常用的4種。MySQL 8又新增兩種支持的日志:中繼日志和數據定義語句日志。使用這些日志文件，可以查看MySQL內部發生的事情。

這6類日志分別為:

• 慢查詢日志:記錄所有執行時間超過long_query_time的所有查詢，方便對查詢進行優化。

• 通用查詢日志:記錄所有連接的起始時間和終止時間，以及連接發送給數據庫服務器的所有指令，對復原操作的實際場景、發現問題，甚至是對數據庫操作的審計都有很大的幫助。

• 錯誤日志:記錄MySQL服務的啟動、運行或停止MySQL服務時出現的問題，方便我們了解服務器的狀態，從而從而對服務器進行維護。
  二進制日志:記錄所有更改數據的語句，可以用于主從服務器之間的數據同步，以及服務器遇到故障時數據的無損失恢復。

• 中繼日志:用于主從服務器架構中，從服務器用來存放主服務器二進制日志內容的一個中間文件。從服務器通過讀取中繼日志的內容，來同步主服務器上的操作。

• 數據定義語句日志:記錄數據定義語句執行的元數據操作。除二進制日志外，其他日志都是文本文件。默認情況下，所有日志創建于MySQL數據目錄中。

除二進制日志外，其他日志都是文本文件。默認情況下，所有日志創建于MySQL數據目錄中。

1.2日志的弊端

• 日志功能會降低MySQL數據庫的性能。例如，在查詢非常頻繁的MySQL數據庫系統中，如果開啟了通用查詢日志和慢查詢日志，MySQL數據庫會花費很多時間記錄日志。
• 日志會占用大量的磁盤空間。對于用戶量非常大、操作非常頻繁的數據庫，日志文件需要的存儲空間設置比數據庫文件需要的存儲空間還要大。

2.慢查詢日志(slow query log)

前面章節《第09章 性能分析工具的使用》已經詳細講述
第09章 性能分析工具的使用【2.索引及調優篇】【MySQL高級】

3.通用查詢日志

通用查詢日志用來記錄用戶的所有操作，包括啟動和關閉IMysQL服務、所有用戶的連接開始時間和截止時間、發給MysQL數據庫服務器的所有SQL指令等。當我們的數據發生異常時**，查看通用查詢日志，還原操作時的具體場景**，可以幫助我們準確定位問題。

3.1問題場景

在電商系統中，購買商品并且使用微信支付完成以后，卻發現支付中心的記錄并沒有新增，此時用戶再次使用支付寶支付，就會出現重復支付的問題。但是當去數據庫中查詢數據的時候，會發現只有一條記錄存在。那么此時給到的現象就是只有一條支付記錄，但是用戶卻支付了兩次。

對系統進行了仔細檢查，沒有發現數據問題，因為用戶編號和訂單編號以及第三方流水號都是對的。可是用戶確實支付了兩次，這個時候，我們想到了檢查通用查詢日志，看看當天到底發生了什么。

查看之后，發現: 1月1日下午2點，用戶使用微信支付完以后，但是由于網絡故障，支付中心沒有及時收到微信支付的回調通知，導致當時沒有寫入數據。1月1日下午2點30，用戶又使用支付寶支付，此時記錄更新到支付中心。1月1日晚上9點，微信的回調通知過來了，但是支付中心已經存在了支付寶的記錄，所以只能覆蓋記錄了。

由于網絡的原因導致了重復支付。至于解決問題的方案就很多了，這里省略。

可以看到通用查詢日志可以幫助我們了解操作發生的具體時間和操作的細節，對找出異常發生的原因極其關鍵。

3.2 查看當前狀態

mysql> SHOW VARIABLES LIKE '%general%'; +------------------+------------------------------------+ | Variable_name | Value | +------------------+------------------------------------+ | general_log | OFF | | general_log_file | /var/lib/mysql/centos7-mysql-1.log | +------------------+------------------------------------+ 2 rows in set (0.01 sec)

說明1∶系統變量general_log的值是OFF，即通用查詢日志處于關閉狀態。在MySQL中，這個參數的默認值是關閉的。因為一旦開啟記錄通用查詢日志，MySQL 會記錄所有的連接起止和相關的SQL操作，這樣會消耗系統資源并且占用磁盤空間。我們可以通過手動修改變量的值，在要的時候開啟日志。

說明2:通用查詢日志文件的名稱是主機.log(centos7-mysql-1.log)。存儲路徑是/var/lib/mysql/，默認也是數據路徑。這樣我們就知道在哪里可以查看通用查詢日志的內容了

3.3 啟動日志

方式1：永久性方式

修改my.cnf或者my.ini配置文件來設置。在[mysqld]組下加入log選項，并重啟MySQL服務。格式如下：

[mysqld] general_log=ON general_log_file=[path[filename]] #日志文件所在目錄路徑，filename為日志文件名

如果不指定目錄和文件名，通用查詢日志將默認存儲在MySQL數據目錄中的hostname.log文件中，hostname表示主機名。

方式2：臨時性方式

使用SET語句停止MySQL通用查詢日志功能:

SET GLOBAL general_log=on; # 開啟通用查詢日志 SET GLOBAL general_log_file='path/filename'; # 設置日志文件保存位置

對應的，關閉操作SQL命令如下：

SET GLOBAL general_log=off; # 關閉通用查詢日志

查看設置后情況：

SHOW VARIABLES LIKE 'general_log%';

3.4 查看日志

通用查詢日志是以文本文件 的形式存儲在文件系統中的，可以使用文本編輯器 直接打開日志文件。每臺MySQL服務器的通用查詢日志內容是不同的。

• 在Windows操作系統中，使用文本文件查看器；
• 在Linux系統中，可以使用vi工具或者gedit工具查看；
• 在Mac OSX系統中，可以使用文本文件查看器或者vi等工具查看。

從SHOW VARIABLES LIKE ‘general_log%’; 結果中可以看到通用查詢日志的位置。

[root@centos7-mysql-1 mysql]# vim centos7-mysql-1.log /usr/sbin/mysqld, Version: 8.0.25 (MySQL Community Server - GPL). started with: Tcp port: 3306 Unix socket: /var/lib/mysql/mysql.sock Time Id Command Argument 2022-08-13T07:53:20.553426Z 8 Query SHOW VARIABLES LIKE '%general%' ~ /usr/sbin/mysqld, Version: 8.0.25 (MySQL Community Server - GPL). started with: Tcp port: 3306 Unix socket: /var/lib/mysql/mysql.sock Time Id Command Argument 2022-08-13T07:53:20.553426Z 8 Query SHOW VARIABLES LIKE '%general%' 2022-08-13T07:55:54.890076Z 8 Query SELECT DATABASE() 2022-08-13T07:55:54.890884Z 8 Init DB atguigudb3 2022-08-13T07:55:54.891761Z 8 Query show databases 2022-08-13T07:55:54.894469Z 8 Query show tables 2022-08-13T07:55:54.896959Z 8 Field List account 2022-08-13T07:55:54.901109Z 8 Field List class_comment 2022-08-13T07:55:54.905027Z 8 Field List class_comment1 2022-08-13T07:55:54.905935Z 8 Field List mylock 2022-08-13T07:55:54.907762Z 8 Field List student 2022-08-13T07:55:54.909025Z 8 Field List t1 2022-08-13T07:55:54.910411Z 8 Field List t2 2022-08-13T07:55:54.911197Z 8 Field List teacher 2022-08-13T07:55:54.911984Z 8 Field List test1 2022-08-13T07:55:54.912690Z 8 Field List test2 2022-08-13T07:55:54.913851Z 8 Field List test_load 2022-08-13T07:55:54.914996Z 8 Field List user1 2022-08-13T07:55:54.916575Z 8 Field List user3 2022-08-13T07:56:01.513469Z 8 Query show tables 2022-08-13T07:56:12.609141Z 8 Query select * from account

在通用查詢日志里面，我們可以清楚地看到，什么時候開啟了新的客戶端登陸數據庫，登錄之后做了什么 SQL 操作，針對的是哪個數據表等信息。

3.5 停止日志

方式1：永久性方式
修改 my.cnf 或者 my.ini 文件，把[mysqld]組下的 general_log 值設置為 OFF 或者把general_log一項注釋掉。修改保存后，再 重啟MySQL服務 ，即可生效。

舉例1：

[mysqld] general_log=OFF

舉例2：

[mysqld] #general_log=ON

方式2：臨時性方式
使用SET語句停止MySQL通用查詢日志功能：

SET GLOBAL general_log=off;

查詢通用日志功能：

SHOW VARIABLES LIKE 'general_log%';

3.6 刪除\刷新日志

如果數據的使用非常頻繁，那么通用查詢日志會占用服務器非常大的磁盤空間。數據管理員可以刪除很長時間之前的查詢日志，以保證MySQL服務器上的硬盤空間。

手動刪除文件

SHOW VARIABLES LIKE 'general_log%';

可以看出，通用查詢日志的目錄默認為MySQL數據目錄。在該目錄下手動刪除通用查詢日志atguigu01.log。

使用如下命令重新生成查詢日志文件，具體命令如下。刷新MySQL數據目錄，發現創建了新的日志文件。前提一定要開啟通用日志。

mysqladmin -uroot -p flush-logs

如果希望備份舊的通用查詢日志，就必須先將舊的日志文件復制出來或者改名，然后執行上面的mysqladmin命令。正確流程如下

cd mysql-data-directory #輸入自己的通用日志文件所在目錄 mv mysql.general.log mysql.general.log.old #指名就的文件名 以及新的文件名 mysqladmin -uroot -p flush-logs

4. 錯誤日志(error log)

錯誤日志記錄了MySQL服務器啟動、停止運行的時間，以及系統啟動、運行和停止過程中的診斷信息，包括錯誤、警告和提示等。

通過錯誤日志可以查看系統的運行狀態，便于即時發現故障、修復故障。如果MysQL服務出現異常，錯誤日志是發現問題、解決故障的首選。

4.1 啟動日志

在MySQL數據庫中，錯誤日志功能是 默認開啟 的。而且，錯誤日志 無法被禁止 。

默認情況下，錯誤日志存儲在MySQL數據庫的數據文件夾下，名稱默認為 mysqld.log （Linux系統）或 hostname.err （mac系統）。如果需要制定文件名，則需要在my.cnf或者my.ini中做如下配置：

[mysqld] log-error=[path/[filename]] #path為日志文件所在的目錄路徑，filename為日志文件名

修改配置項后，需要重啟MySQL服務以生效。

4.2 查看日志

MySQL錯誤日志是以文本文件形式存儲的，可以使用文本編輯器直接查看。

查詢錯誤日志的存儲路徑：

mysql> SHOW VARIABLES LIKE 'log_err%'; +----------------------------+----------------------------------------+ | Variable_name | Value | +----------------------------+----------------------------------------+ | log_error | /var/log/mysqld.log | | log_error_services | log_filter_internal; log_sink_internal | | log_error_suppression_list | | | log_error_verbosity | 2 | +----------------------------+----------------------------------------+ 4 rows in set (0.00 sec)

執行結果中可以看到錯誤日志文件是mysqld.log，位于MySQL默認的數據目錄下。

下面我們查看一下錯誤日志的內容。

2022-07-25T11:53:45.116777Z 0 [System] [MY-013169] [Server] /usr/sbin/mysqld (mysqld 8.0.25) initializing of server in progress as process 4260 2022-07-25T11:53:45.132158Z 1 [System] [MY-013576] [InnoDB] InnoDB initialization has started. 2022-07-25T11:53:45.508294Z 1 [System] [MY-013577] [InnoDB] InnoDB initialization has ended. 2022-07-25T11:53:46.377629Z 6 [Note] [MY-010454] [Server] A temporary password is generated for root@localhost: j:hz2hS7Y0XY 2022-07-25T12:02:59.829953Z 0 [System] [MY-010116] [Server] /usr/sbin/mysqld (mysqld 8.0.25) starting as process 4559 2022-07-25T12:02:59.844264Z 1 [System] [MY-013576] [InnoDB] InnoDB initialization has started. 2022-07-25T12:02:59.982942Z 1 [System] [MY-013577] [InnoDB] InnoDB initialization has ended. 2022-07-25T12:03:00.100569Z 0 [System] [MY-011323] [Server] X Plugin ready for connections. Bind-address: '::' port: 33060, socket: /var/run/mysqld/mysqlx.sock 2022-07-25T12:03:00.292710Z 0 [Warning] [MY-010068] [Server] CA certificate ca.pem is self signed. 2022-07-25T12:03:00.293057Z 0 [System] [MY-013602] [Server] Channel mysql_main configured to support TLS. Encrypted connections are now supported for this channel. 2022-07-25T12:03:00.326433Z 0 [System] [MY-010931] [Server] /usr/sbin/mysqld: ready for connections. Version: '8.0.25' socket: '/var/lib/mysql/mysql.sock' port: 3306 MySQL Community Server - GPL.

可以看到，錯誤日志文件中記錄了服務器啟動的時間，以及存儲引擎InnoDB啟動和停止等，我們在做初始化時候生成的數據庫初始密碼也是記錄在error.log中。

4.3 刪除\刷新日志

對于很久以前的錯誤日志，數據庫管理員查看這些錯誤日志的可能性不大，可以將這些錯誤日志刪除，以保證MySQL服務器上的 硬盤空間 。MySQL的錯誤日志是以文本文件的形式存儲在文件系統中的，可以直接刪除。

• 第1步(方式1)︰刪除操作

rm -f /var/lib/mysql/mysqld. log

在運行狀態下刪除錯誤日志文件后，MySQL并不會自動創建日志文件。

• 第1步(方式2)︰重命名文件

mv /var/log/mysqld.log /var /log/mysqld.log.old

• 第2步：重建日志

mysqladmin -uroot -p flush-logs

可能報錯

[root@atguigu01 log]# mysqladmin -uroot -p flush-logs Enter password: mysqladmin: refresh failed; error: 'Could not open file '/var/log/mysqld.log' for error logging.'

官網提示：

補充操作：

install -omysql -gmysql -m0644 /dev/null /var/log/mysqld.log

flush-logs指令操作:

• MySQL 5.5.7以前的版本，flush-logs將錯誤日志文件重命名為filename.err_old，并創建新的日志文件。
• 從MySQL 5.5.7開始，flush-logs只是重新打開日志文件，并不做日志備份和創建的操作。
• 如果日志文件不存在，MySQL啟動或者執行flush-logs時會自動創建新的日志文件。重新創建錯誤日志，大小為0字節。

4.4 MySQL8.0新特性

MySQL8.0里對錯誤日志的改進。MySQL8.o的錯誤日志可以理解為一個全新的日志，在這個版本里，接受了來自社區的廣泛批評意見，在這些意見和建議的基礎上生成了新的日志。

下面這些是來自社區的意見:

• 默認情況下內容過于冗長
• 遺漏了有用的信息
• 難以過濾某些信息
• 沒有標識錯誤信息的子系統源
• 沒有錯誤代碼，解析消息需要識別錯誤
• 引導消息可能會丟失
• 固定格式

針對這些意見，MySQL做了如下改變:

• 采用組件架構，通過不同的組件執行日志的寫入和過濾功能
• 寫入錯誤日志的全部信息都具有唯一的錯誤代碼從10000開始
• 增加了一個新的消息分類《system》用于在錯誤日志中始終可見的非錯誤但服務器狀態更改事件的消息。增加了額外的附加信息，例如關機時的版本信息，誰發起的關機等等
• 兩種過濾方式，Internal和Dragnet
• 三種寫入形式，經典、JSON和syseventlog

小結:
通常情況下，管理員不需要查看錯誤日志。但是，MySQL服務器發生異常時，管理員可以從錯誤日志中找到發生異常的時間、原因，然后根據這些信息來解決異常。

5. 二進制日志(bin log)

binlog可以說是MySQL中比較 重要 的日志了，在日常開發及運維過程中，經常會遇到。

binlog即binary log，二進制日志文件，也叫作變更日志（update log）。它記錄了數據庫所有執行的DDL 和 DML 等數據庫更新事件的語句，但是不包含沒有修改任何數據的語句（如數據查詢語句select、show等）。

它以事件形式記錄并保存在二進制文件中。通過這些信息，我們可以再現數據更新操作的全過程。

如果想要記錄所有語句（例如，為了識別有問題的查詢)，需要使用通用查詢日志。

binlog主要應用場景:

• 一是用于數據恢復，如果MySQL數據庫意外停止，可以通過二進制日志文件來查看用戶執行了哪些操作，對數據庫服務器文件做了哪些修改，然后根據二進制日志文件中的記錄來恢復數據庫服務器。
• 二是用于數據復制，由于日志的延續性和時效性，master把它的二進制日志傳遞給slaves來達到master-slave數據—致的目的。

可以說MySQL數據庫的數據備份、主備、主主、主從都離不開binlog，需要依靠binlog來同步數據，保證數據—致性。

5.1 查看默認情況

查看記錄二進制日志是否開啟：在MySQL8中默認情況下，二進制文件是開啟的。

mysql> show variables like '%log_bin%'; +---------------------------------+-----------------------------+ | Variable_name | Value | +---------------------------------+-----------------------------+ | log_bin | ON | | log_bin_basename | /var/lib/mysql/binlog | | log_bin_index | /var/lib/mysql/binlog.index | | log_bin_trust_function_creators | OFF | | log_bin_use_v1_row_events | OFF | | sql_log_bin | ON | +---------------------------------+-----------------------------+ 6 rows in set (0.00 sec)

log_bin_basename : 是binlog日志的基本文件名，后面會追加標識來表示每一個文件

log_bin_index:是binlog文件的索引文件，這個文件管理了所有的binlog文件的目錄

log_bin_trust_function_creators: 限制存儲過程，前面我們已經講過了，這是因為二進制日志的一個重要功能是用于主從復制，而存儲函數有可能導致主從的數據不一致。所以當開啟二進制日志后，需要限制存儲函數的創建、修改、調用

log_bin_use_v1_row_events 此只讀系統變量已棄用。ON表示使用版本1二進制日志行，OFF表示使用版本2二進制日志行(MysQL 5.6的默認值為2)。

每次服務重啟，都會新創建一個binlog

5.2 日志參數設置

方式1：永久性方式

修改MySQL的 my.cnf 或 my.ini 文件可以設置二進制日志的相關參數：

[mysqld] #啟用二進制日志 log-bin=atguigu-bin binlog_expire_logs_seconds=600 max_binlog_size=100M

提示:

log-bin=mysql-bin #打開日志(主機需要打開)，這個mysql-bin也可以自定義，這里也可以加上路徑，如: /home/www/mysql_bin_log/mysql-bin

binlog_expire_logs_seconds:此參數控制二進制日志文件保留的時長，單位是秒，默認2592000 3(天-- 14400 4小時; 86400 1天; 259200 3天;

max_binlog_size:控制單個二進制日志大小，當前日志文件大小超過此變量時，執行切換動作。此參數的最大和默認值是1GB，該設置并不能嚴格控制Binlog的大小，尤其是Binlo
g比較靠近最大值而又遇到一個比較大事務時，為了保證事務的完整性，可能不做切換日志的動作，只能將該事務的所有SQL都記錄進當前日志，直到事務結束。一般情況下可采取默認值

重新啟動MySQL服務，查詢二進制日志的信息，執行結果：

mysql> show variables like '%log_bin%'; +---------------------------------+----------------------------------+ | Variable_name | Value | +---------------------------------+----------------------------------+ | log_bin | ON | | log_bin_basename | /var/lib/mysql/atguigu-bin | | log_bin_index | /var/lib/mysql/atguigu-bin.index | | log_bin_trust_function_creators | OFF | | log_bin_use_v1_row_events | OFF | | sql_log_bin | ON | +---------------------------------+----------------------------------+ 6 rows in set (0.00 sec)

設置帶文件夾的bin-log日志存放目錄

如果想改變日志文件的目錄和名稱，可以對my.cnf或my.ini中的log_bin參數修改如下：

[mysqld] log-bin="/var/lib/mysql/binlog/atguigu-bin"

注意：新建的文件夾需要使用mysql用戶，使用下面的命令即可。

chown -R -v mysql:mysql binlog

重啟MySQL服務之后，新的二進制日志文件將出現在/var/lib/mysql/binlog/文件夾下面:

mysql> show variables like '%log_bin%'; +---------------------------------+----------------------------------+ | Variable_name | Value | +---------------------------------+----------------------------------+ | log_bin | ON | | log_bin_basename | /var/lib/mysql/atguigu-bin | | log_bin_index | /var/lib/mysql/atguigu-bin.index | | log_bin_trust_function_creators | OFF | | log_bin_use_v1_row_events | OFF | | sql_log_bin | ON | +---------------------------------+----------------------------------+ 6 rows in set (0.00 sec)

提示
數據庫文件最好不要與日志文件放在同一個磁盤上! 這樣，當數據庫文件所在的磁盤發生故障時，可以使用日志文件恢復數據。

方式2：臨時性方式

如果不希望通過修改配置文件并重啟的方式設置二進制日志的話，還可以使用如下指令，需要注意的是在mysql8中只有 會話級別 的設置，沒有了global級別的設置。

# global 級別 set global sql_log_bin=0; #ERROR 1228 (HY000): Variable 'sql_log_bin' is a SESSION variable and can`t be used with SET GLOBAL# session級別 SET sql_log_bin=0; #Query OK, 0 rows affected (0.01 秒)

5.3 查看日志

當MySQL創建二進制日志文件時，先創建一個以“filename”為名稱、以“.index”為后綴的文件，再創建一個以“filename”為名稱、以“.000001”為后綴的文件。

MySQL服務 重新啟動一次 ，以“.000001”為后綴的文件就會增加一個，并且后綴名按1遞增。即日志文件的個數與MySQL服務啟動的次數相同；如果日志長度超過了 max_binlog_size 的上限（默認是1GB），就會創建一個新的日志文件。

查看當前的二進制日志文件列表及大小。指令如下：

SHOW BINARY LOGS; /* + -------------------- + ----------- +----------- + | Log_name | File_size | Encrypted | + -------------------- + ----------- +----------- + | atguigu-bin.000001 | 156 | No | + -------------------- + ----------- +----------- + 1 行于數據集 (0.02 秒) */

所有對數據庫的修改都會記錄在binglog中。但binlog是二進制文件，無法直接查看，想要更直觀的觀測它就要借助mysqlbinlog命令工具了。指令如下:在查看執行，先執行一條SQL語句，如下

update student set name= '張三_back ' where id=1 ;

開始查看binlog

mysqlbinlog "/var/lib/mysql/binlog/atguigu-bin.008802" #220105I9:16:37 server id 1 end_log_pos 324 CRC32 0x6b31978b Querythread_id=18exec_time=0error_code=0 SET TIMESTAMP=1641345397/*!*/ ; SET @@session.pseudo_thread_id=10/*!*/ ; SET @@session.foreign_key_checks=1，@@session.sql_auto_is_null=0，@@session.unique_checks=1,@@session.autocommit=1/*!*/; SET @@session .sql_mode=1168113696/*!*/ ; SET @@session.auto_increment_increment=1，@@session.auto_increment_offset=1/*!*/;/* ! \C utf8mb3 *//*!*/ ; SET @session.character_set_client=33,C@session.collation_connection=33,@@session.collation_server=255/* !*/; SET @@session . lc_time_names=0/*!*/ ; SET @@session.collation_database=DEFAULT/*!*/; /*!80011 SET @session.default_collation_for_utf8mb4=255*//* !*/ ;BEGIN /*!*/; #at 324 #22010509:16:37 server id 1 end_log_pos 391 CRC32 0x74f89890 Table_map :'atguigu14`.`student' mapped to number 85 #at 391 #220105 9:16:37 server id 1 end_log_pos 470 CRC32 0xc9920491 Update_rows: table id 85 flags; STMT_END_FBINLOG ' dfHUYRMBAAAAQwAAAIcBAAAAAFUAAAAAAAEACWF6Z3VpZ3UxNAAHc3R1ZGVudAADAw8PBDwAHgAGAQEAAgEhkJj4dA== dfHUYR8BAAAATWAANYBAAAAAFUAAAAAAAEAAgAD//8AAQAAAAblvKDkuIkG5LiA54+tAAEAAAAL5byg5LiJX2JhY2sG5LiA54+tkQSSyQ== '/*!*/;#at 478 #220105 9:16:37 server id 1 end_log_pos 501 CRC320xca01d30f Xid = 15

執行結果可以看到，這是一個簡單的日志文件，日志中記錄了用戶的一些操作，這里并沒有出現具體的SQL語句，這是因為binlog關鍵字后面的內容是經過編碼后的二進制日志。

這里一個update語句包含如下事件

• Query事件負責開始一個事務(BEGIN)
• Table_map事件負責映射需要的表.
• Update_rows事件負責寫入數據
• Xid事件負責結束事務

下面命令將行事件以 偽SQL的形式 表現出來

mysqlbinlog -v "/var/lib/mysql/binlog/atguigu-bin.000002" #220105 9:16:37 server id 1 end_log_pos 324 CRC32 0x6b31978b Query thread_id=10 exec_time=0 error_code=0 SET TIMESTAMP=1641345397/*!*/; SET @@session.pseudo_thread_id=10/*!*/; SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/; SET @@session.sql_mode=1168113696/*!*/; SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/; /*!\C utf8mb3 *//*!*/; SET @@session.character_set_client=33,@@session.collation_connection=33,@@session.collatio n_server=255/*!*/; SET @@session.lc_time_names=0/*!*/; SET @@session.collation_database=DEFAULT/*!*/; /*!80011 SET @@session.default_collation_for_utf8mb4=255*//*!*/; BEGIN /*!*/; # at 324 #220105 9:16:37 server id 1 end_log_pos 391 CRC32 0x74f89890 Table_map: `atguigu14`.`student` mapped to number 85 # at 391 #220105 9:16:37 server id 1 end_log_pos 470 CRC32 0xc9920491 Update_rows: table id 85 flags: STMT_END_F BINLOG ' dfHUYRMBAAAAQwAAAIcBAAAAAFUAAAAAAAEACWF0Z3VpZ3UxNAAHc3R1ZGVudAADAw8PBDwAHgAG AQEAAgEhkJj4dA== dfHUYR8BAAAATwAAANYBAAAAAFUAAAAAAAEAAgAD//8AAQAAAAblvKDkuIkG5LiA54+tAAEAAAAL 5byg5LiJX2JhY2sG5LiA54+tkQSSyQ== '/*!*/; ### UPDATE `atguigu`.`student` ### WHERE ### @1=1 ### @2='張三' ### @3='一班' ### SET ### @1=1 ### @2='張三_back' ### @3='一班' # at 470 #220105 9:16:37 server id 1 end_log_pos 501 CRC32 0xca01d30f Xid = 15 COMMIT/*!*/;

前面的命令同時顯示binlog格式的語句，使用如下命令不顯示它

mysqlbinlog -v --base64-output=DECODE-ROWS "/var/lib/mysql/binlog/atguigu-bin.000002" #220105 9:16:37 server id 1 end_log_pos 324 CRC32 0x6b31978b Query thread_id=10 exec_time=0 error_code=0 SET TIMESTAMP=1641345397/*!*/; SET @@session.pseudo_thread_id=10/*!*/; SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/; SET @@session.sql_mode=1168113696/*!*/; SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/; /*!\C utf8mb3 *//*!*/; SET @@session.character_set_client=33,@@session.collation_connection=33,@@session.collatio n_server=255/*!*/; SET @@session.lc_time_names=0/*!*/; SET @@session.collation_database=DEFAULT/*!*/; /*!80011 SET @@session.default_collation_for_utf8mb4=255*//*!*/; BEGIN /*!*/; # at 324 #220105 9:16:37 server id 1 end_log_pos 391 CRC32 0x74f89890 Table_map: `atguigu14`.`student` mapped to number 85 # at 391 #220105 9:16:37 server id 1 end_log_pos 470 CRC32 0xc9920491 Update_rows: table id 85 flags: STMT_END_F ### UPDATE `atguigu14`.`student` ### WHERE ### @1=1 ### @2='張三' ### @3='一班' ### SET ### @1=1 ### @2='張三_back' ### @3='一班' # at 470 #220105 9:16:37 server id 1 end_log_pos 501 CRC32 0xca01d30f Xid = 15

關于mysqlbinlog工具的使用技巧還有很多，例如只解析對某個庫的操作或者某個時間段內的操作等。簡單分享幾個常用的語句，更多操作可以參考官方文檔。

# 可查看參數幫助 mysqlbinlog --no-defaults --help # 查看最后100行 mysqlbinlog --no-defaults --base64-output=decode-rows -vv atguigu-bin.000002 |tail -100# 根據position查找 mysqlbinlog --no-defaults --base64-output=decode-rows -vv atguigu-bin.000002 |grep -A 20 '4939002'

上面這種辦法讀取出binlog日志的全文內容比較多，不容易分辨查看到pos點信息，下面介紹一種更為方便的查詢命令：

show binlog events [IN 'log_name'] [FROM pos] [LIMIT [offset,] row_count];

• IN ‘log_name’ ：指定要查詢的binlog文件名（不指定就是第一個binlog文件）
• FROM pos ：指定從哪個pos起始點開始查起（不指定就是從整個文件首個pos點開始算）
• LIMIT [offset]：偏移量(不指定就是0)
• row_count :查詢總條數（不指定就是所有行）

show binlog events in 'atguigu-bin.000002'; /* +-------------------- +----- +---------------- +----------- +------------- + --------------- -------------------------------------------------------------- + | Log_name | Pos | Event_type | Server_id | End_log_pos | Info| +-------------------- +----- +---------------- +----------- +------------- + --------------- -------------------------------------------------------------- + | atguigu-bin.000002 | 4 | Format_desc | 1 | 125 | Server ver: 8.0.26, Binlog ver: 4 | | atguigu-bin.000002 | 125 | Previous_gtids | 1 | 156 | | | atguigu-bin.000002 | 156 | Anonymous_Gtid | 1 | 235 | SET @@SESSION.GTID_NEXT= 'ANONYMOUS' | | atguigu-bin.000002 | 235 | Query | 1 | 324 | BEGIN| | atguigu-bin.000002 | 324 | Table_map | 1 | 391 | table_id: 85 (atguigu14.student) | | atguigu-bin.000002 | 391 | Update_rows | 1 | 470 | table_id: 85 flags: STMT_END_F | | atguigu-bin.000002 | 470 | Xid | 1 | 501 | COMMIT /* xid=15 */ | | atguigu-bin.000002 | 501 | Anonymous_Gtid | 1 | 578 | SET @@SESSION.GTID_NEXT= 'ANONYMOUS' | | atguigu-bin.000002 | 578 | Query | 1 | 721 | use `atguigu14`; create table test(id int, title varchar(100)) /* xid=19 */ | | atguigu-bin.000002 | 721 | Anonymous_Gtid | 1 | 800 | SET @@SESSION.GTID_NEXT= 'ANONYMOUS' | | atguigu-bin.000002 | 800 | Query | 1 | 880 | BEGIN| | atguigu-bin.000002 | 880 | Table_map | 1 | 943 | table_id: 89 (atguigu14.test) | | atguigu-bin.000002 | 943 | Write_rows | 1 | 992 | table_id: 89 flags: STMT_END_F | | atguigu-bin.000002 | 992 | Xid | 1 | 1023 | COMMIT /* xid=21 */ | +-------------------- -----+ ----------------+ -----------+ + -------------+--------------- -------------------------------------------------------------- + 14 行于數據集 (0.02 秒) */

上面這條語句可以將指定的binlog日志文件，分成有效事件行的方式返回，并可使用limit指定pos點的起始偏移，查詢條數。其它舉例:

#a、查詢第一個最早的binlog日志: show binlog events\G ;#b、指定查詢mysql-bin.088002這個文件 show binlog events in 'atguigu-bin.000002'\G;#c、指定查詢mysql-bin.0888日2這個文件，從pos點:391開始查起: show binlog events in 'atguigu-bin . 088882' from 391\G;#d、指定查詢mysql-bin.000002這個文件，從pos點:391開始查起，查詢5條（即5條語句 show binlog events in 'atguigu-bin.080802' from 391 limit 5\G;#e、指定查詢 mysql-bin.000002這個文件，從pos點:391開始查起，偏移2行〈即中間跳過2個）查詢5條（即5條語句)。 show binlog events in 'atguigu-bin.088002 ' from 391 limit 2,5\G;

上面我們講了這么多都是基于binlog的默認格式，binlog格式查看

show variables like 'binlog_format'; /*+ ---------------+------- + | Variable_name | Value |+ ---------------+------- + | binlog_format | ROW |+ ---------------+------- + 1 行于數據集 (0.02秒) */

除此之外，binlog還有2種格式，分別是Statement和Mixed

• Statement

每一條會修改數據的sql都會記錄在binlog中。

優點：不需要記錄每一行的變化，減少了binlog日志量，節約了IO，提高性能。

• Row
  5.1.5版本的MySQL才開始支持row level 的復制，它不記錄sql語句上下文相關信息，僅保存哪條記錄被修改。

優點：row level 的日志內容會非常清楚的記錄下每一行數據修改的細節。而且不會出現某些特定情況下的存儲過程，或function，以及trigger的調用和觸發無法被正確復制的問題。

• Mixed

從5.1.8版本開始，MySQL提供了Mixed格式，實際上就是Statement與Row的結合。

詳細情況，下章講解。

演示

mysql> SHOW BINARY LOGS; +---------------+-----------+-----------+ | Log_name | File_size | Encrypted | +---------------+-----------+-----------+ | binlog.000001 | 498 | No | | binlog.000002 | 1400 | No | | binlog.000003 | 7004 | No | | binlog.000004 | 647264652 | No | | binlog.000005 | 3583532 | No | | binlog.000006 | 517896094 | No | | binlog.000007 | 139656 | No | | binlog.000008 | 34024458 | No | | binlog.000009 | 7276 | No | | binlog.000010 | 156 | No | +---------------+-----------+-----------+ 10 rows in set (0.02 sec)mysql> use atguigudb33; Reading table information for completion of table and column names You can turn off this feature to get a quicker startup with -ADatabase changed mysql> select * from student; +----+---------+--------+ | id | name | class | +----+---------+--------+ | 1 | 張三3 | 一班 | | 3 | 李四1 | 一班 | | 6 | jerry | 一班 | | 8 | 王五 | 二班 | | 11 | Tim | 一班 | | 15 | 趙六 | 二班 | | 17 | tom | 三班 | | 20 | 錢七 | 三班 | +----+---------+--------+ 8 rows in set (0.00 sec)mysql> insert into student(id,name,class) values(18,'Jerry','四班'); Query OK, 1 row affected (0.00 sec)mysql> update student set name ='Tom1' where id=17; Query OK, 1 row affected (0.00 sec) Rows matched: 1 Changed: 1 Warnings: 0mysql> mysql> SHOW BINARY LOGS; +---------------+-----------+-----------+ | Log_name | File_size | Encrypted | +---------------+-----------+-----------+ | binlog.000001 | 498 | No | | binlog.000002 | 1400 | No | | binlog.000003 | 7004 | No | | binlog.000004 | 647264652 | No | | binlog.000005 | 3583532 | No | | binlog.000006 | 517896094 | No | | binlog.000007 | 139656 | No | | binlog.000008 | 34024458 | No | | binlog.000009 | 7276 | No | | binlog.000010 | 809 | No | #156->809 +---------------+-----------+-----------+ 10 rows in set (0.00 sec)

演示-查看binlog文件

[root@centos7-mysql-1 mysql]# mysqlbinlog "/var/lib/mysql/binlog.000010" /*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/; /*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/; DELIMITER /*!*/; # at 4 #220813 15:49:16 server id 1 end_log_pos 125 CRC32 0xb8b54d0b Start: binlog v 4, server v 8.0.25 created 220813 15:49:16 at startup # Warning: this binlog is either in use or was not closed properly. ROLLBACK/*!*/; BINLOG ' fFf3Yg8BAAAAeQAAAH0AAAABAAQAOC4wLjI1AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA AAAAAAAAAAAAAAAAAAB8V/diEwANAAgAAAAABAAEAAAAYQAEGggAAAAICAgCAAAACgoKKioAEjQA CigBC021uA== '/*!*/; # at 125 #220813 15:49:16 server id 1 end_log_pos 156 CRC32 0xec56ebcc Previous-GTIDs # [empty] # at 156 #220813 16:51:31 server id 1 end_log_pos 235 CRC32 0xd9671797 Anonymous_GTID last_committed=0 sequence_number=1 rbr_only=yes original_committed_timestamp=1660380691404597 immediate_commit_timestamp=1660380691404597 transaction_length=314 /*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*//*!*/; # original_commit_timestamp=1660380691404597 (2022-08-13 16:51:31.404597 CST) # immediate_commit_timestamp=1660380691404597 (2022-08-13 16:51:31.404597 CST) /*!80001 SET @@session.original_commit_timestamp=1660380691404597*//*!*/; /*!80014 SET @@session.original_server_version=80025*//*!*/; /*!80014 SET @@session.immediate_server_version=80025*//*!*/; SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/; # at 235 #220813 16:51:31 server id 1 end_log_pos 317 CRC32 0xade91e8f Query thread_id=8 exec_time=0 error_code=0 SET TIMESTAMP=1660380691/*!*/; SET @@session.pseudo_thread_id=8/*!*/; SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/; SET @@session.sql_mode=1168113696/*!*/; SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/; /*!\C utf8mb4 *//*!*/; SET @@session.character_set_client=255,@@session.collation_connection=255,@@session.collation_server=255/*!*/; SET @@session.lc_time_names=0/*!*/; SET @@session.collation_database=DEFAULT/*!*/; /*!80011 SET @@session.default_collation_for_utf8mb4=255*//*!*/; BEGIN /*!*/; # at 317 #220813 16:51:31 server id 1 end_log_pos 386 CRC32 0x755bfbc8 Table_map: `atguigudb33`.`student` mapped to number 105 # at 386 #220813 16:51:31 server id 1 end_log_pos 439 CRC32 0x16df2352 Write_rows: table id 105 flags: STMT_END_FBINLOG ' E2b3YhMBAAAARQAAAIIBAAAAAGkAAAAAAAEAC2F0Z3VpZ3VkYjMzAAdzdHVkZW50AAMDDw8EPAAe AAYBAQACASHI+1t1 E2b3Yh4BAAAANQAAALcBAAAAAGkAAAAAAAEAAgAD/wASAAAABUplcnJ5BuWbm+ePrVIj3xY= '/*!*/; # at 439 #220813 16:51:31 server id 1 end_log_pos 470 CRC32 0x8082e98a Xid = 36 COMMIT/*!*/; # at 470 #220813 16:52:03 server id 1 end_log_pos 549 CRC32 0xd24aceb2 Anonymous_GTID last_committed=1 sequence_number=2 rbr_only=yes original_committed_timestamp=1660380723139128 immediate_commit_timestamp=1660380723139128 transaction_length=339 /*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*//*!*/; # original_commit_timestamp=1660380723139128 (2022-08-13 16:52:03.139128 CST) # immediate_commit_timestamp=1660380723139128 (2022-08-13 16:52:03.139128 CST) /*!80001 SET @@session.original_commit_timestamp=1660380723139128*//*!*/; /*!80014 SET @@session.original_server_version=80025*//*!*/; /*!80014 SET @@session.immediate_server_version=80025*//*!*/; SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/; # at 549 #220813 16:52:03 server id 1 end_log_pos 640 CRC32 0x36b0b76c Query thread_id=8 exec_time=0 error_code=0 SET TIMESTAMP=1660380723/*!*/; BEGIN /*!*/; # at 640 #220813 16:52:03 server id 1 end_log_pos 709 CRC32 0x58a56350 Table_map: `atguigudb33`.`student` mapped to number 105 # at 709 #220813 16:52:03 server id 1 end_log_pos 778 CRC32 0x1d659187 Update_rows: table id 105 flags: STMT_END_FBINLOG ' M2b3YhMBAAAARQAAAMUCAAAAAGkAAAAAAAEAC2F0Z3VpZ3VkYjMzAAdzdHVkZW50AAMDDw8EPAAe AAYBAQACASFQY6VY M2b3Yh8BAAAARQAAAAoDAAAAAGkAAAAAAAEAAgAD//8AEQAAAAN0b20G5LiJ54+tABEAAAAEVG9t MQbkuInnj62HkWUd '/*!*/; # at 778 #220813 16:52:03 server id 1 end_log_pos 809 CRC32 0xaf15e2a4 Xid = 37 COMMIT/*!*/; SET @@SESSION.GTID_NEXT= 'AUTOMATIC' /* added by mysqlbinlog */ /*!*/; DELIMITER ; # End of log file /*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/; /*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/; [root@centos7-mysql-1 mysql]#

演示-v查看

[root@centos7-mysql-1 mysql]# mysqlbinlog -v "/var/lib/mysql/binlog.000010" /*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/; /*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/; DELIMITER /*!*/; # at 4 #220813 15:49:16 server id 1 end_log_pos 125 CRC32 0xb8b54d0b Start: binlog v 4, server v 8.0.25 created 220813 15:49:16 at startup # Warning: this binlog is either in use or was not closed properly. ROLLBACK/*!*/; BINLOG ' fFf3Yg8BAAAAeQAAAH0AAAABAAQAOC4wLjI1AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA AAAAAAAAAAAAAAAAAAB8V/diEwANAAgAAAAABAAEAAAAYQAEGggAAAAICAgCAAAACgoKKioAEjQA CigBC021uA== '/*!*/; # at 125 #220813 15:49:16 server id 1 end_log_pos 156 CRC32 0xec56ebcc Previous-GTIDs # [empty] # at 156 #220813 16:51:31 server id 1 end_log_pos 235 CRC32 0xd9671797 Anonymous_GTID last_committed=0 sequence_number=1 rbr_only=yes original_committed_timestamp=1660380691404597 immediate_commit_timestamp=1660380691404597 transaction_length=314 /*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*//*!*/; # original_commit_timestamp=1660380691404597 (2022-08-13 16:51:31.404597 CST) # immediate_commit_timestamp=1660380691404597 (2022-08-13 16:51:31.404597 CST) /*!80001 SET @@session.original_commit_timestamp=1660380691404597*//*!*/; /*!80014 SET @@session.original_server_version=80025*//*!*/; /*!80014 SET @@session.immediate_server_version=80025*//*!*/; SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/; # at 235 #220813 16:51:31 server id 1 end_log_pos 317 CRC32 0xade91e8f Query thread_id=8 exec_time=0 error_code=0 SET TIMESTAMP=1660380691/*!*/; SET @@session.pseudo_thread_id=8/*!*/; SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/; SET @@session.sql_mode=1168113696/*!*/; SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/; /*!\C utf8mb4 *//*!*/; SET @@session.character_set_client=255,@@session.collation_connection=255,@@session.collation_server=255/*!*/; SET @@session.lc_time_names=0/*!*/; SET @@session.collation_database=DEFAULT/*!*/; /*!80011 SET @@session.default_collation_for_utf8mb4=255*//*!*/; BEGIN /*!*/; # at 317 #220813 16:51:31 server id 1 end_log_pos 386 CRC32 0x755bfbc8 Table_map: `atguigudb33`.`student` mapped to number 105 # at 386 #220813 16:51:31 server id 1 end_log_pos 439 CRC32 0x16df2352 Write_rows: table id 105 flags: STMT_END_FBINLOG ' E2b3YhMBAAAARQAAAIIBAAAAAGkAAAAAAAEAC2F0Z3VpZ3VkYjMzAAdzdHVkZW50AAMDDw8EPAAe AAYBAQACASHI+1t1 E2b3Yh4BAAAANQAAALcBAAAAAGkAAAAAAAEAAgAD/wASAAAABUplcnJ5BuWbm+ePrVIj3xY= '/*!*/; ### INSERT INTO `atguigudb33`.`student` ### SET ### @1=18 ### @2='Jerry' ### @3='四班' # at 439 #220813 16:51:31 server id 1 end_log_pos 470 CRC32 0x8082e98a Xid = 36 COMMIT/*!*/; # at 470 #220813 16:52:03 server id 1 end_log_pos 549 CRC32 0xd24aceb2 Anonymous_GTID last_committed=1 sequence_number=2 rbr_only=yes original_committed_timestamp=1660380723139128 immediate_commit_timestamp=1660380723139128 transaction_length=339 /*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*//*!*/; # original_commit_timestamp=1660380723139128 (2022-08-13 16:52:03.139128 CST) # immediate_commit_timestamp=1660380723139128 (2022-08-13 16:52:03.139128 CST) /*!80001 SET @@session.original_commit_timestamp=1660380723139128*//*!*/; /*!80014 SET @@session.original_server_version=80025*//*!*/; /*!80014 SET @@session.immediate_server_version=80025*//*!*/; SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/; # at 549 #220813 16:52:03 server id 1 end_log_pos 640 CRC32 0x36b0b76c Query thread_id=8 exec_time=0 error_code=0 SET TIMESTAMP=1660380723/*!*/; BEGIN /*!*/; # at 640 #220813 16:52:03 server id 1 end_log_pos 709 CRC32 0x58a56350 Table_map: `atguigudb33`.`student` mapped to number 105 # at 709 #220813 16:52:03 server id 1 end_log_pos 778 CRC32 0x1d659187 Update_rows: table id 105 flags: STMT_END_FBINLOG ' M2b3YhMBAAAARQAAAMUCAAAAAGkAAAAAAAEAC2F0Z3VpZ3VkYjMzAAdzdHVkZW50AAMDDw8EPAAe AAYBAQACASFQY6VY M2b3Yh8BAAAARQAAAAoDAAAAAGkAAAAAAAEAAgAD//8AEQAAAAN0b20G5LiJ54+tABEAAAAEVG9t MQbkuInnj62HkWUd '/*!*/; ### UPDATE `atguigudb33`.`student` ### WHERE ### @1=17 ### @2='tom' ### @3='三班' ### SET ### @1=17 ### @2='Tom1' ### @3='三班' # at 778 #220813 16:52:03 server id 1 end_log_pos 809 CRC32 0xaf15e2a4 Xid = 37 COMMIT/*!*/; SET @@SESSION.GTID_NEXT= 'AUTOMATIC' /* added by mysqlbinlog */ /*!*/; DELIMITER ; # End of log file /*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/; /*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/; [root@centos7-mysql-1 mysql]#

演示–base64-output=DECODE-ROWS

[root@centos7-mysql-1 mysql]# mysqlbinlog -v --base64-output=DECODE-ROWS "/var/lib/mysql/binlog.000010" /*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/; /*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/; DELIMITER /*!*/; # at 4 #220813 15:49:16 server id 1 end_log_pos 125 CRC32 0xb8b54d0b Start: binlog v 4, server v 8.0.25 created 220813 15:49:16 at startup # Warning: this binlog is either in use or was not closed properly. ROLLBACK/*!*/; # at 125 #220813 15:49:16 server id 1 end_log_pos 156 CRC32 0xec56ebcc Previous-GTIDs # [empty] # at 156 #220813 16:51:31 server id 1 end_log_pos 235 CRC32 0xd9671797 Anonymous_GTID last_committed=0 sequence_number=1 rbr_only=yes original_committed_timestamp=1660380691404597 immediate_commit_timestamp=1660380691404597 transaction_length=314 /*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*//*!*/; # original_commit_timestamp=1660380691404597 (2022-08-13 16:51:31.404597 CST) # immediate_commit_timestamp=1660380691404597 (2022-08-13 16:51:31.404597 CST) /*!80001 SET @@session.original_commit_timestamp=1660380691404597*//*!*/; /*!80014 SET @@session.original_server_version=80025*//*!*/; /*!80014 SET @@session.immediate_server_version=80025*//*!*/; SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/; # at 235 #220813 16:51:31 server id 1 end_log_pos 317 CRC32 0xade91e8f Query thread_id=8 exec_time=0 error_code=0 SET TIMESTAMP=1660380691/*!*/; SET @@session.pseudo_thread_id=8/*!*/; SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/; SET @@session.sql_mode=1168113696/*!*/; SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/; /*!\C utf8mb4 *//*!*/; SET @@session.character_set_client=255,@@session.collation_connection=255,@@session.collation_server=255/*!*/; SET @@session.lc_time_names=0/*!*/; SET @@session.collation_database=DEFAULT/*!*/; /*!80011 SET @@session.default_collation_for_utf8mb4=255*//*!*/; BEGIN /*!*/; # at 317 #220813 16:51:31 server id 1 end_log_pos 386 CRC32 0x755bfbc8 Table_map: `atguigudb33`.`student` mapped to number 105 # at 386 #220813 16:51:31 server id 1 end_log_pos 439 CRC32 0x16df2352 Write_rows: table id 105 flags: STMT_END_F ### INSERT INTO `atguigudb33`.`student` ### SET ### @1=18 ### @2='Jerry' ### @3='四班' # at 439 #220813 16:51:31 server id 1 end_log_pos 470 CRC32 0x8082e98a Xid = 36 COMMIT/*!*/; # at 470 #220813 16:52:03 server id 1 end_log_pos 549 CRC32 0xd24aceb2 Anonymous_GTID last_committed=1 sequence_number=2 rbr_only=yes original_committed_timestamp=1660380723139128 immediate_commit_timestamp=1660380723139128 transaction_length=339 /*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*//*!*/; # original_commit_timestamp=1660380723139128 (2022-08-13 16:52:03.139128 CST) # immediate_commit_timestamp=1660380723139128 (2022-08-13 16:52:03.139128 CST) /*!80001 SET @@session.original_commit_timestamp=1660380723139128*//*!*/; /*!80014 SET @@session.original_server_version=80025*//*!*/; /*!80014 SET @@session.immediate_server_version=80025*//*!*/; SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/; # at 549 #220813 16:52:03 server id 1 end_log_pos 640 CRC32 0x36b0b76c Query thread_id=8 exec_time=0 error_code=0 SET TIMESTAMP=1660380723/*!*/; BEGIN /*!*/; # at 640 #220813 16:52:03 server id 1 end_log_pos 709 CRC32 0x58a56350 Table_map: `atguigudb33`.`student` mapped to number 105 # at 709 #220813 16:52:03 server id 1 end_log_pos 778 CRC32 0x1d659187 Update_rows: table id 105 flags: STMT_END_F ### UPDATE `atguigudb33`.`student` ### WHERE ### @1=17 ### @2='tom' ### @3='三班' ### SET ### @1=17 ### @2='Tom1' ### @3='三班' # at 778 #220813 16:52:03 server id 1 end_log_pos 809 CRC32 0xaf15e2a4 Xid = 37 COMMIT/*!*/; SET @@SESSION.GTID_NEXT= 'AUTOMATIC' /* added by mysqlbinlog */ /*!*/; DELIMITER ; # End of log file /*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/; /*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/; [root@centos7-mysql-1 mysql]#

演示-show binlog events in …;

mysql> show binlog events in 'binlog.000010'; +---------------+-----+----------------+-----------+-------------+--------------------------------------+ | Log_name | Pos | Event_type | Server_id | End_log_pos | Info | +---------------+-----+----------------+-----------+-------------+--------------------------------------+ | binlog.000010 | 4 | Format_desc | 1 | 125 | Server ver: 8.0.25, Binlog ver: 4 | | binlog.000010 | 125 | Previous_gtids | 1 | 156 | | | binlog.000010 | 156 | Anonymous_Gtid | 1 | 235 | SET @@SESSION.GTID_NEXT= 'ANONYMOUS' | | binlog.000010 | 235 | Query | 1 | 317 | BEGIN | | binlog.000010 | 317 | Table_map | 1 | 386 | table_id: 105 (atguigudb33.student) | | binlog.000010 | 386 | Write_rows | 1 | 439 | table_id: 105 flags: STMT_END_F | | binlog.000010 | 439 | Xid | 1 | 470 | COMMIT /* xid=36 */ | | binlog.000010 | 470 | Anonymous_Gtid | 1 | 549 | SET @@SESSION.GTID_NEXT= 'ANONYMOUS' | | binlog.000010 | 549 | Query | 1 | 640 | BEGIN | | binlog.000010 | 640 | Table_map | 1 | 709 | table_id: 105 (atguigudb33.student) | | binlog.000010 | 709 | Update_rows | 1 | 778 | table_id: 105 flags: STMT_END_F | | binlog.000010 | 778 | Xid | 1 | 809 | COMMIT /* xid=37 */ | +---------------+-----+----------------+-----------+-------------+--------------------------------------+ 12 rows in set (0.00 sec)

演示-from

mysql> show binlog events in 'binlog.000010' from 470; +---------------+-----+----------------+-----------+-------------+--------------------------------------+ | Log_name | Pos | Event_type | Server_id | End_log_pos | Info | +---------------+-----+----------------+-----------+-------------+--------------------------------------+ | binlog.000010 | 470 | Anonymous_Gtid | 1 | 549 | SET @@SESSION.GTID_NEXT= 'ANONYMOUS' | | binlog.000010 | 549 | Query | 1 | 640 | BEGIN | | binlog.000010 | 640 | Table_map | 1 | 709 | table_id: 105 (atguigudb33.student) | | binlog.000010 | 709 | Update_rows | 1 | 778 | table_id: 105 flags: STMT_END_F | | binlog.000010 | 778 | Xid | 1 | 809 | COMMIT /* xid=37 */ | +---------------+-----+----------------+-----------+-------------+--------------------------------------+ 5 rows in set (0.00 sec)mysql>

演示-limit

mysql> show binlog events in 'binlog.000010' from 470 limit 0,2; +---------------+-----+----------------+-----------+-------------+--------------------------------------+ | Log_name | Pos | Event_type | Server_id | End_log_pos | Info | +---------------+-----+----------------+-----------+-------------+--------------------------------------+ | binlog.000010 | 470 | Anonymous_Gtid | 1 | 549 | SET @@SESSION.GTID_NEXT= 'ANONYMOUS' | | binlog.000010 | 549 | Query | 1 | 640 | BEGIN | +---------------+-----+----------------+-----------+-------------+--------------------------------------+ 2 rows in set (0.00 sec)mysql>

5.4 使用日志恢復數據

如果MySQL服務器啟用了二進制日志，在數據庫出現意外丟失數據時，可以使用MySQLbinlog工具從指定的時間點開始（例如，最后一次備份）直到現在或另一個指定的時間點的日志中恢復數據。

mysqlbinlog恢復數據的語法如下：

mysqlbinlog [option] filename|mysql –uuser -ppass;

這個命令可以這樣理解：使用mysqlbinlog命令來讀取filename中的內容，然后使用mysql命令將這些內容恢復到數據庫中。

• filename ：是日志文件名。
• option ：可選項，比較重要的兩對option參數是–start-date、–stop-date 和–start-position、-- stop-position。
  • –start-date 和 --stop-date ：可以指定恢復數據庫的起始時間點和結束時間點。
  • –start-position和–stop-position ：可以指定恢復數據的開始位置和結束位置。

注意：使用mysqlbinlog命令進行恢復操作時，必須是編號小的先恢復，例如atguigu-bin.000001必須在atguigu-bin.000002之前恢復。

案例

現在對student表有以下操作

mysql> use atgiugudb33; ERROR 1049 (42000): Unknown database 'atgiugudb33' mysql> use atguigudb33; Database changed mysql> select * from student; +----+---------+--------+ | id | name | class | +----+---------+--------+ | 1 | 張三3 | 一班 | | 3 | 李四1 | 一班 | | 6 | jerry | 一班 | | 8 | 王五 | 二班 | | 11 | Tim | 一班 | | 15 | 趙六 | 二班 | | 17 | Tom1 | 三班 | | 18 | Jerry | 四班 | | 20 | 錢七 | 三班 | +----+---------+--------+ 9 rows in set (0.00 sec)#插入數據 mysql> insert into student(id,name,class) values(21,'aaa','No.1'); Query OK, 1 row affected (0.00 sec)mysql> insert into student(id,name,class) values(22,'aaa','No.1'); Query OK, 1 row affected (0.00 sec)mysql> insert into student(id,name,class) values(23,'aaa','No.1'); Query OK, 1 row affected (0.00 sec)mysql> select * from student; +----+---------+--------+ | id | name | class | +----+---------+--------+ | 1 | 張三3 | 一班 | | 3 | 李四1 | 一班 | | 6 | jerry | 一班 | | 8 | 王五 | 二班 | | 11 | Tim | 一班 | | 15 | 趙六 | 二班 | | 17 | Tom1 | 三班 | | 18 | Jerry | 四班 | | 20 | 錢七 | 三班 | | 21 | aaa | No.1 | | 22 | aaa | No.1 | | 23 | aaa | No.1 | +----+---------+--------+ 12 rows in set (0.00 sec)#刪除數據 mysql> delete from student where id =21; Query OK, 1 row affected (0.00 sec)mysql> select * from student; +----+---------+--------+ | id | name | class | +----+---------+--------+ | 1 | 張三3 | 一班 | | 3 | 李四1 | 一班 | | 6 | jerry | 一班 | | 8 | 王五 | 二班 | | 11 | Tim | 一班 | | 15 | 趙六 | 二班 | | 17 | Tom1 | 三班 | | 18 | Jerry | 四班 | | 20 | 錢七 | 三班 | | 22 | aaa | No.1 | | 23 | aaa | No.1 | +----+---------+--------+ 11 rows in set (0.00 sec)#更新數據 mysql> update student set name='bbb' where id=22; Query OK, 1 row affected (0.01 sec) Rows matched: 1 Changed: 1 Warnings: 0mysql> select * from student; +----+---------+--------+ | id | name | class | +----+---------+--------+ | 1 | 張三3 | 一班 | | 3 | 李四1 | 一班 | | 6 | jerry | 一班 | | 8 | 王五 | 二班 | | 11 | Tim | 一班 | | 15 | 趙六 | 二班 | | 17 | Tom1 | 三班 | | 18 | Jerry | 四班 | | 20 | 錢七 | 三班 | | 22 | bbb | No.1 | | 23 | aaa | No.1 | +----+---------+--------+ 11 rows in set (0.00 sec)mysql>

誤操作

mysql> delete from student where id > 21; Query OK, 2 rows affected (0.01 sec)mysql> select * from student; +----+---------+--------+ | id | name | class | +----+---------+--------+ | 1 | 張三3 | 一班 | | 3 | 李四1 | 一班 | | 6 | jerry | 一班 | | 8 | 王五 | 二班 | | 11 | Tim | 一班 | | 15 | 趙六 | 二班 | | 17 | Tom1 | 三班 | | 18 | Jerry | 四班 | | 20 | 錢七 | 三班 | +----+---------+--------+ 9 rows in set (0.00 sec)mysql>

嘗試恢復

mysql> show binary logs; +---------------+-----------+-----------+ | Log_name | File_size | Encrypted | +---------------+-----------+-----------+ | binlog.000001 | 498 | No | | binlog.000002 | 1400 | No | | binlog.000003 | 7004 | No | | binlog.000004 | 647264652 | No | | binlog.000005 | 3583532 | No | | binlog.000006 | 517896094 | No | | binlog.000007 | 139656 | No | | binlog.000008 | 34024458 | No | | binlog.000009 | 7276 | No | | binlog.000010 | 2707 | No | +---------------+-----------+-----------+ 10 rows in set (0.00 sec)mysql>

新增binlog

mysql> flush logs; Query OK, 0 rows affected (0.03 sec)mysql> show binary logs; +---------------+-----------+-----------+ | Log_name | File_size | Encrypted | +---------------+-----------+-----------+ | binlog.000001 | 498 | No | | binlog.000002 | 1400 | No | | binlog.000003 | 7004 | No | | binlog.000004 | 647264652 | No | | binlog.000005 | 3583532 | No | | binlog.000006 | 517896094 | No | | binlog.000007 | 139656 | No | | binlog.000008 | 34024458 | No | | binlog.000009 | 7276 | No | | binlog.000010 | 2751 | No | | binlog.000011 | 156 | No | +---------------+-----------+-----------+ 11 rows in set (0.01 sec)

時間恢復mysqlbinlog 和位置恢復show binlog events in

mysql> show binlog events in 'binlog.000010' ; +---------------+------+----------------+-----------+-------------+--------------------------------------+ | Log_name | Pos | Event_type | Server_id | End_log_pos | Info | +---------------+------+----------------+-----------+-------------+--------------------------------------+ | binlog.000010 | 4 | Format_desc | 1 | 125 | Server ver: 8.0.25, Binlog ver: 4 | | binlog.000010 | 125 | Previous_gtids | 1 | 156 | | | binlog.000010 | 156 | Anonymous_Gtid | 1 | 235 | SET @@SESSION.GTID_NEXT= 'ANONYMOUS' | | binlog.000010 | 235 | Query | 1 | 317 | BEGIN | | binlog.000010 | 317 | Table_map | 1 | 386 | table_id: 105 (atguigudb33.student) | | binlog.000010 | 386 | Write_rows | 1 | 439 | table_id: 105 flags: STMT_END_F | | binlog.000010 | 439 | Xid | 1 | 470 | COMMIT /* xid=36 */ | | binlog.000010 | 470 | Anonymous_Gtid | 1 | 549 | SET @@SESSION.GTID_NEXT= 'ANONYMOUS' | | binlog.000010 | 549 | Query | 1 | 640 | BEGIN | | binlog.000010 | 640 | Table_map | 1 | 709 | table_id: 105 (atguigudb33.student) | | binlog.000010 | 709 | Update_rows | 1 | 778 | table_id: 105 flags: STMT_END_F | | binlog.000010 | 778 | Xid | 1 | 809 | COMMIT /* xid=37 */ | | binlog.000010 | 809 | Anonymous_Gtid | 1 | 888 | SET @@SESSION.GTID_NEXT= 'ANONYMOUS' | | binlog.000010 | 888 | Query | 1 | 970 | BEGIN | | binlog.000010 | 970 | Table_map | 1 | 1039 | table_id: 105 (atguigudb33.student) | | binlog.000010 | 1039 | Write_rows | 1 | 1088 | table_id: 105 flags: STMT_END_F | | binlog.000010 | 1088 | Xid | 1 | 1119 | COMMIT /* xid=49 */ | | binlog.000010 | 1119 | Anonymous_Gtid | 1 | 1198 | SET @@SESSION.GTID_NEXT= 'ANONYMOUS' | | binlog.000010 | 1198 | Query | 1 | 1280 | BEGIN | | binlog.000010 | 1280 | Table_map | 1 | 1349 | table_id: 105 (atguigudb33.student) | | binlog.000010 | 1349 | Write_rows | 1 | 1398 | table_id: 105 flags: STMT_END_F | | binlog.000010 | 1398 | Xid | 1 | 1429 | COMMIT /* xid=50 */ | | binlog.000010 | 1429 | Anonymous_Gtid | 1 | 1508 | SET @@SESSION.GTID_NEXT= 'ANONYMOUS' | | binlog.000010 | 1508 | Query | 1 | 1590 | BEGIN | | binlog.000010 | 1590 | Table_map | 1 | 1659 | table_id: 105 (atguigudb33.student) | | binlog.000010 | 1659 | Write_rows | 1 | 1708 | table_id: 105 flags: STMT_END_F | | binlog.000010 | 1708 | Xid | 1 | 1739 | COMMIT /* xid=51 */ | | binlog.000010 | 1739 | Anonymous_Gtid | 1 | 1818 | SET @@SESSION.GTID_NEXT= 'ANONYMOUS' | | binlog.000010 | 1818 | Query | 1 | 1900 | BEGIN | | binlog.000010 | 1900 | Table_map | 1 | 1969 | table_id: 105 (atguigudb33.student) | | binlog.000010 | 1969 | Delete_rows | 1 | 2018 | table_id: 105 flags: STMT_END_F | | binlog.000010 | 2018 | Xid | 1 | 2049 | COMMIT /* xid=53 */ | | binlog.000010 | 2049 | Anonymous_Gtid | 1 | 2128 | SET @@SESSION.GTID_NEXT= 'ANONYMOUS' | | binlog.000010 | 2128 | Query | 1 | 2219 | BEGIN | | binlog.000010 | 2219 | Table_map | 1 | 2288 | table_id: 105 (atguigudb33.student) | | binlog.000010 | 2288 | Update_rows | 1 | 2352 | table_id: 105 flags: STMT_END_F | | binlog.000010 | 2352 | Xid | 1 | 2383 | COMMIT /* xid=55 */ | | binlog.000010 | 2383 | Anonymous_Gtid | 1 | 2462 | SET @@SESSION.GTID_NEXT= 'ANONYMOUS' | | binlog.000010 | 2462 | Query | 1 | 2544 | BEGIN | | binlog.000010 | 2544 | Table_map | 1 | 2613 | table_id: 105 (atguigudb33.student) | | binlog.000010 | 2613 | Delete_rows | 1 | 2676 | table_id: 105 flags: STMT_END_F | | binlog.000010 | 2676 | Xid | 1 | 2707 | COMMIT /* xid=57 */ | | binlog.000010 | 2707 | Rotate | 1 | 2751 | binlog.000011;pos=4 | +---------------+------+----------------+-----------+-------------+--------------------------------------+ 43 rows in set (0.00 sec)

思路：先恢復3個insert49 50 51，再恢復delete 53，最后update55

查看日志發現，在備份數據后首先執行的是插入數據操作，在Info信息中xid的值分別是49、50、51

步驟1:恢復插入的數據

插入的操作在三個事務中，而且三個事務是連在一起的，所以我們可以直接恢復三個事務，開始pos是888，結束pos是1739

[root@centos7-mysql-1 mysql]# /usr/bin/mysqlbinlog --start-position=初位置 --stop-position=初位置 --database=數據庫名 /var/lib/mysql/日志文件 | /usr/bin/mysql -uroot -p密碼 -v 數據庫名 [root@centos7-mysql-1 mysql]# /usr/bin/mysqlbinlog --start-position=888 --stop-position=1739 --database=atguigudb33 /var/lib/mysql/binlog.000010 | /usr/bin/mysql -uroot -p123456 -v atguigudb33 mysql: [Warning] Using a password on the command line interface can be insecure. -------------- /*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/ ---------------------------- /*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/ ---------------------------- ROLLBACK ---------------------------- BINLOG ' fFf3Yg8BAAAAeQAAAH0AAAAAAAQAOC4wLjI1AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA AAAAAAAAAAAAAAAAAAB8V/diEwANAAgAAAAABAAEAAAAYQAEGggAAAAICAgCAAAACgoKKioAEjQA CigBC021uA== ' ---------------------------- SET TIMESTAMP=1660382438 ---------------------------- SET @@session.pseudo_thread_id=8 ---------------------------- SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1 ---------------------------- SET @@session.sql_mode=1168113696 ---------------------------- SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1 ---------------------------- /*!*/ ---------------------------- SET @@session.character_set_client=255,@@session.collation_connection=255,@@session.collation_server=255 ---------------------------- SET @@session.lc_time_names=0 ---------------------------- SET @@session.collation_database=DEFAULT ---------------------------- /*!80011 SET @@session.default_collation_for_utf8mb4=255*/ ---------------------------- BEGIN ---------------------------- BINLOG ' 5mz3YhMBAAAARQAAAA8EAAAAAGkAAAAAAAEAC2F0Z3VpZ3VkYjMzAAdzdHVkZW50AAMDDw8EPAAe AAYBAQACASF++w+W 5mz3Yh4BAAAAMQAAAEAEAAAAAGkAAAAAAAEAAgAD/wAVAAAAA2FhYQROby4xpdPUJw== ' ---------------------------- COMMIT ---------------------------- /*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*/ ---------------------------- /*!80001 SET @@session.original_commit_timestamp=1660382450601605*/ ---------------------------- /*!80014 SET @@session.original_server_version=80025*/ ---------------------------- /*!80014 SET @@session.immediate_server_version=80025*/ ---------------------------- SET @@SESSION.GTID_NEXT= 'ANONYMOUS' ---------------------------- SET TIMESTAMP=1660382450 ---------------------------- BEGIN ---------------------------- BINLOG ' 8mz3YhMBAAAARQAAAEUFAAAAAGkAAAAAAAEAC2F0Z3VpZ3VkYjMzAAdzdHVkZW50AAMDDw8EPAAe AAYBAQACASE/IGTT 8mz3Yh4BAAAAMQAAAHYFAAAAAGkAAAAAAAEAAgAD/wAWAAAAA2FhYQROby4xA/taIA== ' ---------------------------- COMMIT ---------------------------- /*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*/ ---------------------------- /*!80001 SET @@session.original_commit_timestamp=1660382453574396*/ ---------------------------- /*!80014 SET @@session.original_server_version=80025*/ ---------------------------- /*!80014 SET @@session.immediate_server_version=80025*/ ---------------------------- SET @@SESSION.GTID_NEXT= 'ANONYMOUS' ---------------------------- SET TIMESTAMP=1660382453 ---------------------------- BEGIN ---------------------------- BINLOG ' 9Wz3YhMBAAAARQAAAHsGAAAAAGkAAAAAAAEAC2F0Z3VpZ3VkYjMzAAdzdHVkZW50AAMDDw8EPAAe AAYBAQACASHBAPJL 9Wz3Yh4BAAAAMQAAAKwGAAAAAGkAAAAAAAEAAgAD/wAXAAAAA2FhYQROby4x11XCaw== ' ---------------------------- COMMIT ---------------------------- SET @@SESSION.GTID_NEXT= 'AUTOMATIC' ---------------------------- /*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/ ---------------------------- /*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/ --------------[root@centos7-mysql-1 mysql]#

結果如下

mysql> select * from student; +----+---------+--------+ | id | name | class | +----+---------+--------+ | 1 | 張三3 | 一班 | | 3 | 李四1 | 一班 | | 6 | jerry | 一班 | | 8 | 王五 | 二班 | | 11 | Tim | 一班 | | 15 | 趙六 | 二班 | | 17 | Tom1 | 三班 | | 18 | Jerry | 四班 | | 20 | 錢七 | 三班 | | 21 | aaa | No.1 | | 22 | aaa | No.1 | | 23 | aaa | No.1 | +----+---------+--------+ 12 rows in set (0.00 sec)mysql>

步驟2:恢復刪除的數據

恢復

[root@centos7-mysql-1 mysql]# /usr/bin/mysqlbinlog --start-position=1818 --stop-position=2049 --database=atguigudb33 /var/lib/mysql/binlog.000010 | /usr/bin/mysql -uroot -p123456 -v atguigudb33

結果

mysql> select * from student; +----+---------+--------+ | id | name | class | +----+---------+--------+ | 1 | 張三3 | 一班 | | 3 | 李四1 | 一班 | | 6 | jerry | 一班 | | 8 | 王五 | 二班 | | 11 | Tim | 一班 | | 15 | 趙六 | 二班 | | 17 | Tom1 | 三班 | | 18 | Jerry | 四班 | | 20 | 錢七 | 三班 | | 22 | aaa | No.1 | | 23 | aaa | No.1 | +----+---------+--------+ 11 rows in set (0.00 sec)mysql>

步驟3:恢復更新的數據

恢復

[root@centos7-mysql-1 mysql]# /usr/bin/mysqlbinlog --start-position=2128 --stop-position=2383 --database=atguigudb33 /var/lib/mysql/binlog.000010 | /usr/bin/mysql -uroot -p123456 -v atguigudb33

結果

mysql> select * from student; +----+---------+--------+ | id | name | class | +----+---------+--------+ | 1 | 張三3 | 一班 | | 3 | 李四1 | 一班 | | 6 | jerry | 一班 | | 8 | 王五 | 二班 | | 11 | Tim | 一班 | | 15 | 趙六 | 二班 | | 17 | Tom1 | 三班 | | 18 | Jerry | 四班 | | 20 | 錢七 | 三班 | | 22 | bbb | No.1 | | 23 | aaa | No.1 | +----+---------+--------+ 11 rows in set (0.00 sec)mysql>

可以看到最終結果和刪除數據之前的結果一樣，利用binlog實現了數據恢復。

當然也可以使用日期恢復，命令格式如下:

/usr/bin/mysqlbinlog --start-datetime="2022-01-05 15:39:22” --stop-datetime="2022-01-05 15:40:19 " --database=atguigu14 /var/lib/mysql/binlog/atguigu-bin.000005 | /usr/bin/mysql -uroot -pabc123 -v atguigu14

日期可以根據binlog日志詳情查看，如下所示。可能出現一個事務執行時間過短，那么就是同樣的時間，幾秒內執行完成，此時我們找到下一個事務的開始時間即可，多計算一些時間就可以了。本次事務的開始時間是22010515:39:22，結束時間設置為220105 15:40:19

# at 2462 #220813 17:23:30 server id 1 end_log_pos 2544 CRC32 0x7f2a50e7 Query thread_id=8 exec_time=0 error_code=0 SET TIMESTAMP=1660382610/*!*/; BEGIN /*!*/; # at 2544 #220813 17:23:30 server id 1 end_log_pos 2613 CRC32 0xe57d4c09 Table_map: `atguigudb33`.`student` mapped to number 105 # at 2613 #220813 17:23:30 server id 1 end_log_pos 2676 CRC32 0x45a08932 Delete_rows: table id 105 flags: STMT_END_FBINLOG ' km33YhMBAAAARQAAADUKAAAAAGkAAAAAAAEAC2F0Z3VpZ3VkYjMzAAdzdHVkZW50AAMDDw8EPAAe AAYBAQACASEJTH3l km33YiABAAAAPwAAAHQKAAAAAGkAAAAAAAEAAgAD/wAWAAAAA2JiYgROby4xABcAAAADYWFhBE5v LjEyiaBF '/*!*/; ### DELETE FROM `atguigudb33`.`student` ### WHERE ### @1=22 ### @2='bbb' ### @3='No.1' ### DELETE FROM `atguigudb33`.`student` ### WHERE ### @1=23 ### @2='aaa' ### @3='No.1' # at 2676 #220813 17:23:30 server id 1 end_log_pos 2707 CRC32 0x122b6021 Xid = 57 COMMIT/*!*/;

mysqlbinlog命令對于意外操作非常有效，比如因操作不當誤刪了數據表。

5.5 刪除二進制日志

MySQL的二進制文件可以配置自動刪除，同時MySQL也提供了安全的手動刪除二進制文件的方法。PURGE MASTER LOGS只刪除指定部分的二進制日志文件， RESET MASTER刪除所有的二進制日志文件。具體如下：

1. PURGE MASTER LOGS：刪除指定日志文件

PURGE MASTER LOGS語法如下：

PURGE {MASTER | BINARY} LOGS TO '指定日志文件名' PURGE {MASTER | BINARY} LOGS BEFORE '指定日期'

舉例:使用PURGE MASTER LOGS語句刪除創建時間比binlog.000005早的所有日志

(1）多次重新啟動MySQL服務，便于生成多個日志文件。然后用SHOW語句顯示二進制日志文件列表

SHOW BINARY LOGS;

(2）執行PURGE MASTER LOGS語句刪除創建時間比binlog.oo0005早的所有日志

PURGE MASTER LoGS TO "binlog.000005";

(3）顯示二進制日志文件列表

SHOW BINARY LOGS ;

比binlog.000005早的所有日志文件都已經被刪除了。

舉例:使用PURGE MASTER LOGS語句刪除2020年10月25號前創建的所有日志文件。具體步驟如下:
(1）顯示二進制日志文件列表

SHOW BINARY LOGS;

(2）執行mysqlbinlog命令查看二進制日志文件binlog.000005的內容

mysqlbinlog --no-defaults "/var/lib/mysql/binlog/atguigu-bin.000005"

結果可以看出20220105為日志創建的時間，即2022年1月05日。

(3）使用PURGE MASTER LOGs語句刪除2022年1月05日前創建的所有日志文件

PURGE MASTER LoGS before "20220105";

(4）顯示二進制日志文件列表

SHOW BINARY LOGS ;

2022年01月05號之前的二進制日志文件都已經被刪除，最后一個沒有刪除，是因為當前在用，還未記錄最后的時間，所以未被刪除。

2.RESET MASTER:刪除所有二進制日志文件

使用RESET MASTER語句，清空所有的binlog日志。MySQL會重新創建二進制文件，新的日志文件擴展名將重新從o00001開始編號。慎用!

舉例:使用RESET MASTER語句刪除所有日志文件。

(1）重啟MySQL服務若干次，執行SHOW語句顯示二進制日志文件列表。

SHOW BINARY LOGS;

(2)執行RESET MASTER語句，刪除所有日志文件

RESET MASTER;

執行完該語句后，原來的所有二進制日志已經全部被刪除。

5.6 其它場景

二進制日志可以通過數據庫的全量備份和二進制日志中保存的增量信息 ，完成數據庫的無損失恢復 。但是，如果遇到數據量大、數據庫和數據表很多（比如分庫分表的應用）的場景，用二進制日志進行數據恢復，是很有挑戰性的，因為起止位置不容易管理。

在這種情況下，一個有效的解決辦法是配置主從數據庫服務器 ，甚至是一主多從 的架構，把二進制日志文件的內容通過中繼日志，同步到從數據庫服務器中，這樣就可以有效避免數據庫故障導致的數據異常等問題。

6. 再談二進制日志(binlog)

6.1 寫入機制

binlog的寫入時機也非常簡單，事務執行過程中，先把日志寫到 binlog cache ，事務提交的時候，再把binlog cache寫到binlog文件中。因為一個事務的binlog不能被拆開，無論這個事務多大，也要確保一次性寫入，所以系統會給每個線程分配一個塊內存作為binlog cache。

我們可以通過binlog_cache_size參數控制單個線程binlog cache大小，如果存儲內容超過了這個參數，就要暫存到磁盤(Swap)。binlog日志刷盤流程如下:

• 上圖的write，是指把日志寫入到文件系統的page cache，并沒有把數據持久化到磁盤，所以速度比較快
• 上圖的 fsync，才是將數據持久化到磁盤的操作

write和fsync的時機，可以由參數 sync_binlog 控制，默認是 0 。為0的時候，表示每次提交事務都只write，由系統自行判斷什么時候執行fsync。雖然性能得到提升，但是機器宕機，page cache里面的 binglog 會丟失。如下圖：

為了安全起見，可以設置為 1 ，表示每次提交事務都會執行fsync，就如同redo log 刷盤流程一樣。

最后還有一種折中方式，可以設置為N(N>1)，表示每次提交事務都write，但累積N個事務后才fsync。

在出現IO瓶頸的場景里，將sync_binlog設置成一個比較大的值，可以提升性能。同樣的，如果機器宕機，會丟失最近N個事務的binlog日志。

6.2 binlog與redolog對比

• redo log 它是 物理日志 ，記錄內容是“在某個數據頁上做了什么修改”，屬于 InnoDB 存儲引擎層產生的。

• 而 binlog 是邏輯日志 ，記錄內容是語句的原始邏輯，類似于“給 ID=2 這一行的 c 字段加 1”，屬于 MySQL Server層。

• 雖然它們都屬于持久化的保證，但是側重點不同。

  • redo log讓InnoDB存儲引擎擁有了崩潰恢復能力
  • binlog 保證了MySQL集群架構的數據一致性。

6.3 兩階段提交

在執行更新語句過程，會記錄redo log與binlog兩塊日志，以基本的事務為單位，redo log在事務執行過程中可以不斷寫入，而binlog只有在提交事務時才寫入，所以redo log與binlog的 寫入時機 不一樣

redo log與binlog兩份日志之間的邏輯不一致，會出現什么問題？

以update語句為例，假設id=2的記錄，字段c值是0，把字段c值更新成1，SQL語句為update T set c=1 where id=2。

假設執行過程中寫完redo log日志后，binlog日志寫期間發生了異常，會出現什么情況呢?

由于binlog沒寫完就異常，這時候binlog里面沒有對應的修改記錄。因此，之后用binlog日志恢復數據時，就會少這一次更新，恢復出來的這一行c值是0，而原庫因為redo log日志恢復，這一行c值是1，最終數據不一致。

為了解決兩份日志之間的邏輯一致問題，InnoDB存儲引擎使用兩階段提交方案。原理很簡單，將redo log的寫入拆成了兩個步驟prepare和commit，這就是兩階段提交。

使用兩階段提交后，寫入binlog時發生異常也不會有影響，因為MySQL根據redo log日志恢復數據時，發現redolog還處于prepare階段，并且沒有對應binlog日志，就會回滾該事務。

另一個場景，redo log設置commit階段發生異常，那會不會回滾事務呢？

并不會回滾事務，它會執行上圖框住的邏輯，雖然redo log是處于prepare階段，但是能通過事務id找到對應的binlog日志，所以MySQL認為是完整的，就會提交事務恢復數據。

7. 中繼日志(relay log)

7.1 介紹

中繼日志只在主從服務器架構的從服務器上存在。從服務器為了與主服務器保持一致，要從主服務器讀取二進制日志的內容，并且把讀取到的信息寫入本地的日志文件中，這個從服務器本地的日志文件就叫中繼日志。然后，從服務器讀取中繼日志，并根據中繼日志的內容對從服務器的數據進行更新，完成主從服務器的數據同步。

搭建好主從服務器之后，中繼日志默認會保存在從服務器的數據目錄下。

文件名的格式是： 從服務器名 -relay-bin.序號 。中繼日志還有一個索引文件： 從服務器名 -relay-bin.index ，用來定位當前正在使用的中繼日志。

7.2 查看中繼日志

中繼日志與二進制日志的格式相同，可以用 mysqlbinlog 工具進行查看。下面是中繼日志的一個片段：

SET TIMESTAMP=1618558728/*!*/; BEGIN /* /*!*/; # at 950 #210416 15:38:48 server id 1 end_log_pos 832 CRC32 0xcc16d651 Table_map: `atguigu`.`test` mapped to number 91 # at 1000 #210416 15:38:48 server id 1 end_log_pos 872 CRC32 0x07e4047c Delete_rows: table id 91 flags: STMT_END_F -- server id 1 是主服務器，意思是主服務器刪了一行數據 BINLOG ' CD95YBMBAAAAMgAAAEADAAAAAFsAAAAAAAEABGRlbW8ABHRlc3QAAQMAAQEBAFHWFsw= CD95YCABAAAAKAAAAGgDAAAAAFsAAAAAAAEAAgAB/wABAAAAfATkBw== '/*!*/; # at 1040 */

這一段的意思是，主服務器（“server id 1”）對表 atguigu.test 進行了 2 步操作：

定位到表 atguigu.test 編號是 91 的記錄，日志位置是 832;刪除編號是 91 的記錄，日志位置是 872。

7.3 恢復的典型錯誤

如果從服務器宕機，有的時候為了系統恢復，要重裝操作系統，這樣就可能會導致你的服務器名稱與之前不同 。而中繼日志里是 包含從服務器名 的。在這種情況下，就可能導致你恢復從服務器的時候，無法從宕機前的中繼日志里讀取數據，以為是日志文件損壞了，其實是名稱不對了。

解決的方法也很簡單，把從服務器的名稱改回之前的名稱。

最后

---

2022/8/13 20:14

---

p187~p191

---

Markdown 54124 字數 2049 行數
HTML 51700 字數 1388 段落

---

總結

以上是生活随笔為你收集整理的第17章 其他数据库日志【4.日志与备份篇】【MySQL高级】的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。