關于MySQL安全相關的監控和優化，以及數據運營。

5.5以后的版本添加了審計功能(類似于general_log，但是記錄更詳細)，時時的審計會消耗一定的性能，因此離線分析也必不可少。

登錄日志

創建登錄日志表：

CREATE TABLE test.t_access_log (

id INT(11) NOT NULL PRIMARY KEY AUTO_INCREMENT,

connection_id INT(11) NOT NULL,

localname VARCHAR(30),

matchname VARCHAR(30)

login_time TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP,

) ENGINE=MEMORY DEFAULT CHARSET=UTF8;

編輯my.cnf，加入以下行后重啟mysqld：

init-connect='INSERT INTO test.t_access_log(connection_id,localname,matchname) VALUES(CONNECTION_ID(),USER(),CURRENT_USER());

注意 USER() 和 CURRENT_USER() 的區別

USER()：當前連接的用戶名和客戶端地址

CURRENT_USER()：當前認證的服務端用戶名和host，對應mysql.user表中的記錄

根據登錄日志可查詢頻繁登錄的用戶或IP

SELECT SUBSTR(localname,1,LOCATE('@',localname)-1) user,SUBSTR(localname,LOCATE('@',localname)+1) host,COUNT(1) c FROM t_access_log WHERE login_time>NOW()-INTERVAL 1 DAY GROUP BY 1,2 ORDER BY 3 DESC LIMIT 10;

可通過在連接側使用連接池，或者設置系統 TIME_WAIT狀態的保持時間來優化：

sysctl -w net.ipv4.tcp_fin_timeout=100

grep net.ipv4.tcp_fin_timeout /etc/sysctl.conf

binlog 解析

隨機選取一個時段的binlog文件，或者選取所有binlog做解析：

ls mysql-bin.0* | sort -R | head -1

然后通過mysqlbinlog工具解析：

mysqlbinlog --set-charset=UTF8 --base64-output=decode-rows -vv mysql-bin.XX

最后統計出執行量最大的一些SQL：

# 過濾單行SQL，對于大事務或跨多行的SQL暫未解析

egrep -i '^(update|delete|replace|insert)'\

# 過濾空格，替換實際數據為“?”

| sed -re "s/\\\['\"]//g" -e "s/'[^']*'/?/g" -e 's/"[^"]*"/?/g' -e 's/\t/ /g' -e 's/ +/ /g' -e 's/ ?([!=+,<>*(]) ?/\1/g' -e 's/([=,])?-?[0-9]+(,)?/\1?\2/g' -e 's/[A-Z]/\l&/g' -e 's/`//g'\

# 替換NULL、NOW()等值，保留IFNULL()函數

-e 's/ifnull/IFNULL/g' -e 's/null|now\(\)/?/g' -e 's/\?[,.]\?/?/g' -e 's/\?[,.]\?/?/g' -e 's/\?[,.]\?/?/g' -e 's/,\(\?\)//g'\

# 由于sed的正則引擎不支持反復替換，所以臨時用perl

| perl -pe "s/'[^']*'/?/g"\

# 排序取最大前十個SQL

| sort | uniq -c | sort -rnk1 | head -10

統計結果如下：

統計庫表使用空間

SELECT table_schema '庫名',table_name '表名',engine '引擎',IF(data_length>1024*1024*1024,CONCAT(CAST(data_length/1024/1024/1024 AS DECIMAL(8,2)),' G'),CONCAT(CAST(data_length/1024/1024 AS DECIMAL(8,2)),' M')) '數據大小',IF(index_length>1024*1024*1024,CONCAT(CAST(index_length/1024/1024/1024 AS DECIMAL(8,2)),' G'),CONCAT(CAST(index_length/1024/1024 AS DECIMAL(8,2)),' M')) '索引大小' FROM tables WHERE table_schema NOT IN ('information_schema','performance_schema','mysql') ORDER BY data_length DESC,index_length DESC LIMIT 10

結果集包含如下字段：

庫名

表名

引擎

數據大小

索引大小

可以直接用mysql命令導出郵件或csv格式輸出：

mysql --default-character-set=UTF8 information_schema -He "$SQL"

slow-query統計

需要借助percona的工具箱來完成

/usr/local/percona-toolkit/bin/pt-query-digest --history localhost -D test --order-by Query_time:sum --limit 10 --no-report slow_query.log

--history：保存結果到表中，默認是 query_review_history，“-D”指定寫入數據庫

--order-by：結果排序。語法是：字段名:統計方式(包含sum、min、max、cnt)

--no-report：不在終端顯示結果

--limit：結果數量

再通過SQL查詢導出結果集

SELECT sample 'SQL',ts_min '首次執行時間',ts_max '最后執行時間',ts_cnt '總次數',Query_time_sum '總耗時',Query_time_min '最小耗時',Query_time_max '最大耗時',Query_time_pct_95 '95% 耗時',Query_time_median '平均耗時',Lock_time_sum '總鎖時間',Lock_time_min '最小鎖時間',Lock_time_max '最大鎖時間',Lock_time_pct_95 '95% 鎖時間',Lock_time_median '平均鎖時間',Rows_sent_sum '總查詢行數',Rows_sent_min '最小查詢行數',Rows_sent_max '最大查詢行數',Rows_sent_pct_95 '95% 查詢行數',Rows_sent_median '平均查詢行數',Rows_examined_sum '總檢索行數',Rows_examined_min '最小檢索行數',Rows_examined_max '最大檢索行數',Rows_examined_pct_95 '95% 檢索行數',Rows_examined_median '平均檢索行數' FROM test.query_history ORDER BY ts_cnt DESC,Query_time_sum DESC LIMIT 10

結果集包含如下字段：

SQL

首次執行時間

最后執行時間

總次數

總耗時

最小耗時

最大耗時

95% 耗時

平均耗時

總鎖時間

最小鎖時間

最大鎖時間

95% 鎖時間

平均鎖時間

總查詢行數

最小查詢行數

最大查詢行數

95% 查詢行數

平均查詢行數

總檢索行數

最小檢索行數

最大檢索行數

95% 檢索行數

平均檢索行數

mysql也可直接將慢查詢日志寫入表?mysql.slow_log，但是結果不夠齊全

啟用命令如下：

SET GLOBAL log_output='TABLE';

字符集檢測

使用不符合規范的字符集的庫表：

SELECT TABLE_COLLATION,GROUP_CONCAT(DISTINCT TABLE_SCHEMA) dbs,GROUP_CONCAT(DISTINCT TABLE_NAME) tbs FROM TABLES WHERE TABLE_TYPE='BASE TABLE' GROUP BY TABLE_COLLATION\G

結果如下：

索引預警

查詢未添加索引(包含主鍵)的表，所有表最好都定義顯示主鍵或索引：

SELECT a.TABLE_SCHEMA,a.TABLE_NAME FROM information_schema.TABLES a LEFT JOIN information_schema.STATISTICS b ON a.TABLE_SCHEMA=b.TABLE_SCHEMA AND a.TABLE_NAME=b.TABLE_NAME WHERE TABLE_TYPE='BASE TABLE' AND (INDEX_NAME IS NULL OR INDEX_NAME='');

引擎分布

檢測各類引擎的表數量，根據用途來判斷引擎是否合理：

SELECT ENGINE,GROUP_CONCAT(DISTINCT TABLE_SCHEMA) dbs,GROUP_CONCAT(DISTINCT TABLE_NAME) tbs,COUNT(1) c FROM TABLES WHERE TABLE_TYPE='BASE TABLE' AND TABLE_SCHEMA NOT IN ('mysql','information_schema','performance_schema','test') GROUP BY ENGINE\G

弱密碼檢測

密碼為空或者是簡單密碼，通常會有一個弱密碼表，用于比對：

SELECT IFNULL(GROUP_CONCAT(CONCAT(user,'@',host) SEPARATOR ', '),'') FROM mysql.user WHERE PASSWORD(user) IN (password,PASSWORD(CONCAT(user,' ')),PASSWORD('123')) AND user!='';

注意5.6之后的版本password字段改成了authentication_string。

連接數監控

連接數使用率較高時，需要預警和優化：

SELECT COUNT(IF(COMMAND NOT IN ('Sleep','Binlog Dump','Connect','Binlog Dump GTID') AND TIME>1,1,NULL)) '執行超過1秒的SQL數',COUNT(1) '當前連接數' FROM information_schema.PROCESSLIST;

SELECT SUM(c) '連接最多的IP數',m '最大連接數',ip '連接最多的IP',c '當前連接數' FROM (SELECT COUNT(1) c,@@max_connections m,SUBSTR(HOST,1,LOCATE(':',HOST)-1) ip FROM information_schema.PROCESSLIST GROUP BY 3 ORDER BY 1 DESC) X;

EOF.

總結

以上是生活随笔為你收集整理的mysql 安全扫描_MySQL 安全和监控 - Can't Wait Any Longer - OSCHINA - 中文开源技术交流社区...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。