RDS最佳实践(三)—如何制定相关的流程来规范RDS的使用
上一篇文章中,我們介紹了如何快速的把本地自建的數(shù)據(jù)庫遷移入云,那是不是把數(shù)據(jù)庫遷移到RDS后,用戶就什么都不需要做了?比如RDS幫你的數(shù)據(jù)庫做到了高可用,在主庫出現(xiàn)down機(jī)后能夠快速切換到備庫,立刻恢復(fù)應(yīng)用;每天會(huì)定時(shí)的備份數(shù)據(jù)和日志,如果出現(xiàn)誤操作能夠幫你恢復(fù)到任意時(shí)間點(diǎn);如果擔(dān)心黑客攻擊或者sql注入漏洞,RDS能夠幫助你進(jìn)行sql注入的攔截;當(dāng)數(shù)據(jù)庫使用中出現(xiàn)bug時(shí),后端有專業(yè)的源碼和DBA團(tuán)隊(duì)幫助用戶實(shí)例打上patch,讓用戶無后顧之憂;當(dāng)實(shí)例的性能出現(xiàn)瓶頸的時(shí)候,可以進(jìn)行快速的彈性升級,保證服務(wù)的正常運(yùn)行等等。
可以看到RDS已經(jīng)具備相當(dāng)豐富的自動(dòng)化數(shù)據(jù)庫運(yùn)維的功能,用戶不用太關(guān)心后端數(shù)據(jù)庫的運(yùn)維,以前這些非常專業(yè)的DBA工作完完全全可以交由RDS系統(tǒng)來完成,那么還需要用戶做什么,是不是不需要用戶干預(yù)了?答案是需要的,在日常的工單問題發(fā)現(xiàn):
一. 經(jīng)常會(huì)發(fā)現(xiàn)由于自己的開發(fā)人員誤操作導(dǎo)致用戶數(shù)據(jù)被誤刪除,雖然RDS支持恢復(fù)到任意時(shí)間點(diǎn),但畢竟需要時(shí)間去恢復(fù),會(huì)造成對用戶的影響;所以線上的操作務(wù)必謹(jǐn)慎,必須在測試環(huán)境中完全驗(yàn)證后才能到線上執(zhí)行,同時(shí)需要必要的數(shù)據(jù)備份;
二.開發(fā)人員發(fā)布了一個(gè)新功能,但是新功能中的一條sql語句沒有添加索引,導(dǎo)致了全表掃描,RDS的CPU,IO達(dá)到100%,影響了整個(gè)應(yīng)用的響應(yīng)時(shí)間;所以新發(fā)布的任何sql都必須進(jìn)過嚴(yán)格的審核,添加上必要的索引;
三. 開發(fā)人員在業(yè)務(wù)高峰期對表進(jìn)行一個(gè)表添加索引或者添加字段的操作(刪除數(shù)據(jù)),導(dǎo)致該表的其他訪問堵塞,影響前端應(yīng)用;所以任何的線上操作都需要在業(yè)務(wù)的低峰期進(jìn)行,生產(chǎn)變更必須嚴(yán)格控制在可允許的變更窗口內(nèi);
四.RDS實(shí)例由于時(shí)間到期后沒有及時(shí)進(jìn)行處理,導(dǎo)致實(shí)例被鎖定或者釋放,雖然最終數(shù)據(jù)可以恢復(fù)回來,但這種故障的發(fā)生往往令人心驚膽寒;
所以需要用戶制定出合理的流程規(guī)范來使用RDS,比如設(shè)計(jì)開發(fā)過程中的數(shù)據(jù)庫流程規(guī)范,線下測試環(huán)境與線上生產(chǎn)環(huán)境數(shù)據(jù)的導(dǎo)入導(dǎo)出流程規(guī)范,線上數(shù)據(jù)訂正的流程規(guī)范,線上數(shù)據(jù)庫操作(添加字段,添加索引)的流程規(guī)范,數(shù)據(jù)庫上線下線的流程規(guī)范。
在阿里巴巴數(shù)據(jù)庫技術(shù)團(tuán)隊(duì),即使有了非常自動(dòng)化的運(yùn)維平臺(tái),上述的這些流程制定也是開發(fā),測試,DBA都必須遵守的,就是因?yàn)橛辛松鲜龅倪@些流程才避免了很多不必要的故障發(fā)生,大大提高了整個(gè)平臺(tái)的穩(wěn)定性,除此之外還制定了運(yùn)維紅線:
一.禁止在非變更窗口執(zhí)行變更:
.所有的變更必須提前4小時(shí)提交申請,進(jìn)過審批后才能執(zhí)行操作;
.全網(wǎng)變更必須經(jīng)過線下測試,線上小規(guī)模驗(yàn)證后,才能全網(wǎng)推送;
.重大變更(數(shù)據(jù)庫停機(jī),擴(kuò)容,遷移)必須團(tuán)隊(duì)review;
.數(shù)據(jù)訂正和數(shù)據(jù)提取必須經(jīng)過團(tuán)隊(duì)leader審核通過后才能進(jìn)行操作;
二.安全保密:
.禁止未經(jīng)正式審批進(jìn)行查閱,變更,傳播,移動(dòng)線上數(shù)據(jù);
.禁止對無關(guān)人員提供系統(tǒng)登錄和發(fā)布權(quán)限;
數(shù)據(jù)庫開發(fā)規(guī)范:趕集網(wǎng)(國內(nèi)互聯(lián)網(wǎng)公司)的DBA 吳詩展把自己多年的數(shù)據(jù)庫mysql運(yùn)維開發(fā)檢驗(yàn)總結(jié)了—MySQL數(shù)據(jù)庫開發(fā)的三十六條軍,對于很多的RDS用戶來說同樣是很受用的,包括了:基本軍規(guī),字段軍規(guī),索引軍規(guī),SQL類軍規(guī),約定類軍規(guī),在此也很感謝他能夠把多年來的經(jīng)驗(yàn)總結(jié)分享給眾多的數(shù)據(jù)庫用戶,在這里也在著重強(qiáng)調(diào)一些比較重要的規(guī)范:
一.表主鍵的設(shè)置:自增主鍵是你的最佳選擇
.在設(shè)計(jì)表的時(shí)候默認(rèn)都添加一列無業(yè)務(wù)意義的自增id的主鍵:id bigint not null auto_increment;
.自增型主鍵以利于插入性能的提高
.自增型主鍵設(shè)計(jì)(int,bigint)可以降低二級索引的空間,提升二級索引的內(nèi)存命中率;
.自增型的主鍵可以減小page的碎片,提升空間和內(nèi)存的使用;
.無主鍵的表刪除,更新在row模式的主從架構(gòu),會(huì)導(dǎo)致備庫hang住;
可參考:mysql主鍵的缺少導(dǎo)致備庫hang
二.引擎選擇:INNODB 引擎是你的最佳選擇
使用INNODB存儲(chǔ)引擎還是Myisam存儲(chǔ)引擎?
.RDS的內(nèi)存配置innodb的innodb_buffer_pool_size,Myisam的key_cache配置32k;
.主機(jī)斷電,crash后Myisam表容易出現(xiàn)索引壞葉,需要手工repair修復(fù)索引;
.Myisam存儲(chǔ)引擎的表備份時(shí)候會(huì)被全局鎖住,導(dǎo)致無法寫入數(shù)據(jù);
案例一:下面的這幅圖片就是myisam引擎的表由于一個(gè)大查詢堵塞了該表的其他更新:
案例二:.FEDERATED 存儲(chǔ)引擎使用存在bug,會(huì)導(dǎo)致備份失敗
三.索引設(shè)計(jì)誤區(qū):
誤區(qū)案例一:對查詢條件的每個(gè)字段建立單列索引
SQL查詢:
SELECT count(*) FROM order o? WHERE?? is_send=0? AND
?o.order_status in (0,1) AND o.shipping_status = 0 AND
??????? o.is_separate > 0? and o.is_yushou=0 and o.sd_id=23
?and o.add_time>= ‘1370246433’ and o.add_time<= ‘1370332842’
?and o.jhd_id=0 group by o.order_id;
KEY:該表有近30個(gè)索引
索引設(shè)計(jì)誤區(qū)二:對查詢的所有字段建立組合索引
09:44:03> show table status like ‘order’\G; *************************** 1. row ***************************Name: orderEngine: InnoDBVersion: 10Row_format: CompactRows: 5708209Avg_row_length: 357Data_length: 2042626048Max_data_length: 0Index_length: 9014607872Data_free: 5242880Auto_increment: NULLCreate_time: 2013-04-09 22:56:57Update_time: NULLCheck_time: NULLCollation: utf8_binChecksum: NULLCreate_options:omment: 訂單表該表的數(shù)據(jù)只有2G,但是索引卻占用了9個(gè)G:
KEY `idx_plt_taobao_order_dp_id`(`dp_id`,`customerno`,`created`,`endtime`,`pay_time`,`modified`,`consign_time`,`payment`,`status`,`type`,`total_fee`,`refund_fee`,`num`,`received_payment`,`trade_from`,`ccms_order_status`)KEY `idx_plt_taobao_order_created` (`created`,`customerno`,`endtime`,`pay_time`,`modified`,`consign_time`,`payment`,`status`,`type`,`total_fee`,`refund_fee`,`num`,`received_payment`,`trade_from`,`dp_id`,`ccms_order_status`)KEY `idx_plt_taobao_order_endtime` (`endtime`,`customerno`,`created`,`pay_time`,`modified`,`consign_time`,`payment`,`status`,`type`,`total_fee`,`refund_fee`,`num`,`received_payment`,`trade_from`,`dp_id`,`ccms_order_status`)KEY `idx_plt_taobao_order_pay_time` (`pay_time`,`customerno`,`created`,`endtime`,`modified`,`consign_time`,`payment`
希望這篇blog能夠?qū)δ闶褂肦DS有所幫助.
總結(jié)
以上是生活随笔為你收集整理的RDS最佳实践(三)—如何制定相关的流程来规范RDS的使用的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Android开发之单例模式
- 下一篇: (J2EE学习笔记)解决Hibernat