日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當(dāng)前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

RDS最佳实践(三)—如何制定相关的流程来规范RDS的使用

發(fā)布時(shí)間:2025/3/21 编程问答 26 豆豆
生活随笔 收集整理的這篇文章主要介紹了 RDS最佳实践(三)—如何制定相关的流程来规范RDS的使用 小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

上一篇文章中,我們介紹了如何快速的把本地自建的數(shù)據(jù)庫遷移入云,那是不是把數(shù)據(jù)庫遷移到RDS后,用戶就什么都不需要做了?比如RDS幫你的數(shù)據(jù)庫做到了高可用,在主庫出現(xiàn)down機(jī)后能夠快速切換到備庫,立刻恢復(fù)應(yīng)用;每天會(huì)定時(shí)的備份數(shù)據(jù)和日志,如果出現(xiàn)誤操作能夠幫你恢復(fù)到任意時(shí)間點(diǎn);如果擔(dān)心黑客攻擊或者sql注入漏洞,RDS能夠幫助你進(jìn)行sql注入的攔截;當(dāng)數(shù)據(jù)庫使用中出現(xiàn)bug時(shí),后端有專業(yè)的源碼和DBA團(tuán)隊(duì)幫助用戶實(shí)例打上patch,讓用戶無后顧之憂;當(dāng)實(shí)例的性能出現(xiàn)瓶頸的時(shí)候,可以進(jìn)行快速的彈性升級,保證服務(wù)的正常運(yùn)行等等。

可以看到RDS已經(jīng)具備相當(dāng)豐富的自動(dòng)化數(shù)據(jù)庫運(yùn)維的功能,用戶不用太關(guān)心后端數(shù)據(jù)庫的運(yùn)維,以前這些非常專業(yè)的DBA工作完完全全可以交由RDS系統(tǒng)來完成,那么還需要用戶做什么,是不是不需要用戶干預(yù)了?答案是需要的,在日常的工單問題發(fā)現(xiàn):

一. 經(jīng)常會(huì)發(fā)現(xiàn)由于自己的開發(fā)人員誤操作導(dǎo)致用戶數(shù)據(jù)被誤刪除,雖然RDS支持恢復(fù)到任意時(shí)間點(diǎn),但畢竟需要時(shí)間去恢復(fù),會(huì)造成對用戶的影響;所以線上的操作務(wù)必謹(jǐn)慎,必須在測試環(huán)境中完全驗(yàn)證后才能到線上執(zhí)行,同時(shí)需要必要的數(shù)據(jù)備份;

二.開發(fā)人員發(fā)布了一個(gè)新功能,但是新功能中的一條sql語句沒有添加索引,導(dǎo)致了全表掃描,RDS的CPU,IO達(dá)到100%,影響了整個(gè)應(yīng)用的響應(yīng)時(shí)間;所以新發(fā)布的任何sql都必須進(jìn)過嚴(yán)格的審核,添加上必要的索引;

三. 開發(fā)人員在業(yè)務(wù)高峰期對表進(jìn)行一個(gè)表添加索引或者添加字段的操作(刪除數(shù)據(jù)),導(dǎo)致該表的其他訪問堵塞,影響前端應(yīng)用;所以任何的線上操作都需要在業(yè)務(wù)的低峰期進(jìn)行,生產(chǎn)變更必須嚴(yán)格控制在可允許的變更窗口內(nèi);

四.RDS實(shí)例由于時(shí)間到期后沒有及時(shí)進(jìn)行處理,導(dǎo)致實(shí)例被鎖定或者釋放,雖然最終數(shù)據(jù)可以恢復(fù)回來,但這種故障的發(fā)生往往令人心驚膽寒;

所以需要用戶制定出合理的流程規(guī)范來使用RDS,比如設(shè)計(jì)開發(fā)過程中的數(shù)據(jù)庫流程規(guī)范,線下測試環(huán)境與線上生產(chǎn)環(huán)境數(shù)據(jù)的導(dǎo)入導(dǎo)出流程規(guī)范,線上數(shù)據(jù)訂正的流程規(guī)范,線上數(shù)據(jù)庫操作(添加字段,添加索引)的流程規(guī)范,數(shù)據(jù)庫上線下線的流程規(guī)范。

在阿里巴巴數(shù)據(jù)庫技術(shù)團(tuán)隊(duì),即使有了非常自動(dòng)化的運(yùn)維平臺(tái),上述的這些流程制定也是開發(fā),測試,DBA都必須遵守的,就是因?yàn)橛辛松鲜龅倪@些流程才避免了很多不必要的故障發(fā)生,大大提高了整個(gè)平臺(tái)的穩(wěn)定性,除此之外還制定了運(yùn)維紅線:

一.禁止在非變更窗口執(zhí)行變更:

.所有的變更必須提前4小時(shí)提交申請,進(jìn)過審批后才能執(zhí)行操作;

.全網(wǎng)變更必須經(jīng)過線下測試,線上小規(guī)模驗(yàn)證后,才能全網(wǎng)推送;

.重大變更(數(shù)據(jù)庫停機(jī),擴(kuò)容,遷移)必須團(tuán)隊(duì)review;

.數(shù)據(jù)訂正和數(shù)據(jù)提取必須經(jīng)過團(tuán)隊(duì)leader審核通過后才能進(jìn)行操作;

二.安全保密:

.禁止未經(jīng)正式審批進(jìn)行查閱,變更,傳播,移動(dòng)線上數(shù)據(jù);

.禁止對無關(guān)人員提供系統(tǒng)登錄和發(fā)布權(quán)限;

數(shù)據(jù)庫開發(fā)規(guī)范:趕集網(wǎng)(國內(nèi)互聯(lián)網(wǎng)公司)的DBA 吳詩展把自己多年的數(shù)據(jù)庫mysql運(yùn)維開發(fā)檢驗(yàn)總結(jié)了—MySQL數(shù)據(jù)庫開發(fā)的三十六條軍,對于很多的RDS用戶來說同樣是很受用的,包括了:基本軍規(guī),字段軍規(guī),索引軍規(guī),SQL類軍規(guī),約定類軍規(guī),在此也很感謝他能夠把多年來的經(jīng)驗(yàn)總結(jié)分享給眾多的數(shù)據(jù)庫用戶,在這里也在著重強(qiáng)調(diào)一些比較重要的規(guī)范:

一.表主鍵的設(shè)置:自增主鍵是你的最佳選擇

.在設(shè)計(jì)表的時(shí)候默認(rèn)都添加一列無業(yè)務(wù)意義的自增id的主鍵:id bigint not null auto_increment;

.自增型主鍵以利于插入性能的提高

.自增型主鍵設(shè)計(jì)(int,bigint)可以降低二級索引的空間,提升二級索引的內(nèi)存命中率;

.自增型的主鍵可以減小page的碎片,提升空間和內(nèi)存的使用;

.無主鍵的表刪除,更新在row模式的主從架構(gòu),會(huì)導(dǎo)致備庫hang住;

可參考:mysql主鍵的缺少導(dǎo)致備庫hang

二.引擎選擇:INNODB 引擎是你的最佳選擇

使用INNODB存儲(chǔ)引擎還是Myisam存儲(chǔ)引擎?

.RDS的內(nèi)存配置innodb的innodb_buffer_pool_size,Myisam的key_cache配置32k;

.主機(jī)斷電,crash后Myisam表容易出現(xiàn)索引壞葉,需要手工repair修復(fù)索引;

.Myisam存儲(chǔ)引擎的表備份時(shí)候會(huì)被全局鎖住,導(dǎo)致無法寫入數(shù)據(jù);

案例一:下面的這幅圖片就是myisam引擎的表由于一個(gè)大查詢堵塞了該表的其他更新:

案例二:.FEDERATED 存儲(chǔ)引擎使用存在bug,會(huì)導(dǎo)致備份失敗

error log:>> log scanned up to (867972807)130616 00:00:58 innobackupex-1.5.1: Continuing after ibbackup has suspended130616 00:00:58 innobackupex-1.5.1: Starting mysql with options:–defaults-file=’/etc/my3015.cnf’ –password=xxxxxxxx –user=’Xtrabak’ –host=’127.0.0.1′ –port=’3015′ –unbuffered —130616 00:00:58 innobackupex-1.5.1: Connected to database with mysql child process (pid=31437)130616 00:01:00 innobackupex-1.5.1: Starting to lock all tables…>> log scanned up to (867972807)innobackupex-1.5.1: Error: mysql child process has died: ERROR 1160 (08S01) at line 7: Got an error writing communicationpackets while waiting for reply to MySQL request: ‘FLUSH TABLES WITH READ LOCK;’ at /usr/bin/innobackupex-1.5.1 line 381.2013-06-16 00:01:06 [info]: Xtrabackup error,you can get detail from Logfile.2013-06-16 00:01:06 [info]: ====================================== All backup finished .

三.索引設(shè)計(jì)誤區(qū):

誤區(qū)案例一:對查詢條件的每個(gè)字段建立單列索引

SQL查詢:

SELECT count(*) FROM order o? WHERE?? is_send=0? AND

?o.order_status in (0,1) AND o.shipping_status = 0 AND

??????? o.is_separate > 0? and o.is_yushou=0 and o.sd_id=23

?and o.add_time>= ‘1370246433’ and o.add_time<= ‘1370332842’

?and o.jhd_id=0 group by o.order_id;

KEY:該表有近30個(gè)索引

PRIMARY KEY (order_id),UNIQUE KEY order_sn (order_sn),UNIQUE KEY deal_code (deal_code),KEY ind_user_id (user_id),KEY ind_shipping_id (shipping_id),KEY ind_pay_id (pay_id),KEY ind_agency_id (agency_id),KEY ind_extension_id (extension_id) ,KEY ind_order_id (order_id),KEY ind_delivery_time (delivery_time) ,KEY ind_invoice_no (invoice_no),KEY ind_user_nick (user_nick),KEY idx_cz_shipping_fee (cz_shipping_fee),KEY ind_mobile (mobile),KEY ind_order_info_sd (sd_id,is_send,add_time),KEY ind_order_info_status (shipping_status),KEY ind_order_pay_status (pay_status),KEY ind_order_is_yushou (is_yushou),KEY ind_order_dist_type (dist_type),KEY ind_order_jhd_id (jhd_id),KEY ind_order_is_send (is_send),KEY ind_order_ck_id(ck_id ),KEY ind_order_is_separate(is_separate),KEY ind_consignee (consignee),KEY ind_order_info_lylx (lylx,order_status,is_send);
索引設(shè)計(jì)誤區(qū)二:對查詢的所有字段建立組合索引
09:44:03> show table status like ‘order’\G; *************************** 1. row ***************************Name: orderEngine: InnoDBVersion: 10Row_format: CompactRows: 5708209Avg_row_length: 357Data_length: 2042626048Max_data_length: 0Index_length: 9014607872Data_free: 5242880Auto_increment: NULLCreate_time: 2013-04-09 22:56:57Update_time: NULLCheck_time: NULLCollation: utf8_binChecksum: NULLCreate_options:omment: 訂單表該表的數(shù)據(jù)只有2G,但是索引卻占用了9個(gè)G:

KEY `idx_plt_taobao_order_dp_id`(`dp_id`,`customerno`,`created`,`endtime`,`pay_time`,`modified`,`consign_time`,`payment`,`status`,`type`,`total_fee`,`refund_fee`,`num`,`received_payment`,`trade_from`,`ccms_order_status`)KEY `idx_plt_taobao_order_created` (`created`,`customerno`,`endtime`,`pay_time`,`modified`,`consign_time`,`payment`,`status`,`type`,`total_fee`,`refund_fee`,`num`,`received_payment`,`trade_from`,`dp_id`,`ccms_order_status`)KEY `idx_plt_taobao_order_endtime` (`endtime`,`customerno`,`created`,`pay_time`,`modified`,`consign_time`,`payment`,`status`,`type`,`total_fee`,`refund_fee`,`num`,`received_payment`,`trade_from`,`dp_id`,`ccms_order_status`)KEY `idx_plt_taobao_order_pay_time` (`pay_time`,`customerno`,`created`,`endtime`,`modified`,`consign_time`,`payment`

希望這篇blog能夠?qū)δ闶褂肦DS有所幫助.

總結(jié)

以上是生活随笔為你收集整理的RDS最佳实践(三)—如何制定相关的流程来规范RDS的使用的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。