春节前夕华为云遭连续偷袭!密谋3个月 专挑凌晨断网
“把上海、廣州兩個站點網絡全斷掉!”
“趁他們晚飯不注意的時候,注入攻擊!”
“還要在凌晨3點大家睡覺的時候,再攻擊一波!”
……
這是華為云最近破獲的一次“陰謀”,時間就在春節前夕。
之所以這波攻擊不容小覷,是因為如果陰謀一旦得逞,華為云內部系統的運行將面臨嚴重的后果。
攻擊者的計劃,在3個月前就已經開始。
經過密謀協商,他們決定在春節前后“干票大的”,近1個月來發動組合攻擊20余次。
動機很簡單:春節期間,各種短視頻、社交媒體,包括自拍軟件等應用流量激增,理論上是多數云服務廠商流量最高、最易出故障的時候。
一旦攻擊成功,就會有大量互聯網服務出現不穩定、甚至影響更大的情況。
尤其像除夕搶紅包這類活動,8點到凌晨1點正是流量峰值期,故障多一秒鐘用戶都無法忍受。
所幸,這次攻擊結果并未達到目的。
華為云反應非常迅速,將排查問題的時間限制在3分鐘內、并利用5分鐘進行修復,最終在8分鐘內就處理好了系統故障,全程沒有影響到云上業務的運行。
不免讓人好奇,為何華為云會任由這些攻擊反復發動?
畢竟對于華為云來說,這群攻擊者已經不是“初次來犯”。
手段從人為攻擊到利用系統“自動”攻擊,類型從斷網、故障注入到各種最新的攻擊“武器”,都被他們嘗試過。
但即使面對未知攻擊,華為云卻依舊能迅速處理。
不止這類春節前夕的攻擊,面對各種類型的攻擊,他們都能及時察覺系統異常、迅速定位并解決問題,將整個過程壓縮到10分鐘內。
而這又是為何?
隨時待命的“特戰隊”
原來,這個秘密謀劃三個月、攻擊華為云上千次的攻擊者團隊,竟是華為云內部的一支“秘密團隊”,名曰“藍軍”。
他們不停地設計最新的攻擊彈藥,隨時對華為云系統進行突襲。
至于作為防御方的紅軍團隊,則是隨時處于待命狀態,一旦察覺藍軍攻擊便第一時間進行修復。
兩個團隊之間沒有任何溝通,什么時候觸發攻擊也不可知。
除了人為攻擊,藍軍甚至還用上了混沌工程,系統會隨機、自動地去攻擊紅軍維護的系統,近一年攻擊總數多達2000+次。
而在這類攻擊背后,所有的動作都只有一個目的——
提升華為云系統的穩定性和應急能力。
即使在春節,系統的維護和防御也不會停止:華為云專門成立了一支“特戰隊”。
“特戰隊”的規模上百人,都是已經應對過無數次攻擊、“身經百戰”的全棧工程師。
從現在一直到元宵節,“特戰隊”隊員們按三班倒的形式,7 x 24小時全職投入春節運維保障。
華為云,春節保障紀實!今年春節,#華為云 投入2000多名工程師,21年11月就開始籌備,打響了一場數字世界的“春節保衛戰”;“在線”,是我們的責任!#共建智能世界云底 #華為#春節 #運維視頻號
這樣一來,即使攻擊者想“趁虛而入”,從流程上來說也不會太過輕松。
但這還僅僅是解答了第一個疑問。
為何華為云面臨攻擊,能迅速穩定地處理整個流程?
可以說,這次藍軍的攻擊,正好撞在了早有準備的紅軍“槍口”上。
早在三個月前也就是11月5日,紅軍就已經開始排查系統風險,并通過流量預估來進一步降低故障發生率。
事實上,這已經不是傳統意義上的運維團隊了。
無論是日常排除風險故障、維持系統穩定的紅軍,還是春節值守的“特戰隊”,都來自華為云內部一只“訓練有素”的團隊——SRE。
SRE這個概念,最早定義是“用軟件工程的方法從事運維活動”。在華為云這里還要更精細一點,誕生出了“確定性”的方法論,來達成“高可用”的目標。
一言以蔽之,就是在設計產品時就考慮高可用的架構、并將風險控制做到動態清零、再加上智能化運維平臺,來控制不確定性的風險,達成確定性的風控質量。
SRE團隊自主研發了一個智能運維平臺,用數據驅動的方法,將運維過程變得標準化、自動化。具體而言,這個平臺不僅能實時記錄運維數據,還能度量全流程各個環節的質量,真正做到縮短問題發現、故障定位和修復的時間。
如今,平臺的監控指標數量已經達到160億/小時,運維系統用戶數達到10000+,變更頻率每分鐘2次,兼顧智能運維和日志記錄等功能。
在智能運維平臺以外,SRE團隊還會借助流量預估等工作,來進一步提升系統的可用性,降低風險發生的概率。
具體來說,是通過特定的算法模型,結合指標對資源使用情況進行預估。
在華為云背后,有一個博士軍團,其中有專門的算法創新實驗室,研究人員會協助流量預估人員進行算法調優,像近期實驗室一篇關于用強化學習求解虛擬機調度問題的論文,已經被頂級期刊Pattern Recognition接收。
同時,還會借助云操作系統和全域調度等技術,高效“壓榨”并分配有限的流量資源,包括采用“瑤光”智慧云腦,負責整個云的資源分配、部署、調動和供給,以及結合全域調度等技術,進一步精細化資源的利用效率等。
目前,華為云系統的故障發生率也被壓制在0.01%以下,即一年故障發生的時間保持在53分鐘以內。
事實上,華為云今年投入春節保衛戰的人力,前后已經接近1000人。
其中整個SRE團隊幾百人,更是一直處于“全員在線”的備戰狀態。
某種程度上,他們與傳統行業里的員工一樣,是保障我們生活便利的春節值守人。
只不過維度從線下的物理世界轉變到了線上的數字世界。
在運維行業干了20多年的張智認為,春節的味道其實并沒有變,只是換了個地方過年。
以前春節主要是在物理世界,但現在數字世界的春節可能比物理世界更熱鬧。現在我在數字世界上,也可以跟朋友一起過春節、搶紅包、刷視頻。
見證過不少同行災難發生的他,認為這份值守不可或缺:
你不知道風險什么時候會發生。但SRE可以真正降低遇到風險的可能性。
從其他崗位轉到SRE的石勝兵,雖然調侃了一下這個身份在春節中的特殊性:
SRE算是華為云背后的角色。我們其實很少在像春節這樣的節日中“露面”,因為真出現的時候,往往都“不是一些好事”。
但這份工作卻讓他感受到“新的春天”:
我在華為工作了二十年,來這個團隊一年半。原以為上個崗位就是職業生涯的最后一個,現在感覺新的春天到來。
一方面體現在SRE本身,它是華為云最年輕的團隊。
另一方面,隨著行業快速成長,年輕的SRE正成為云服務質量保障的中堅力量。
其實這種對數字生活的保障,也并非孤例。
平時出行的電子公交卡、一鍵打車,吃飯時的數字支付、生病時的在線預約,再到網購和線上游戲聚會,回想起來我們已經離不開數字化的生活。
而若再往前看一些,從最早提出的“智慧地球”,到后來AI發展帶起的“全真互聯網”,再到現在的“元宇宙”,行業熱詞一直與數字世界息息相關。
具體到技術上,包括這幾年“數字人”的爆發、隨著AI發展再度被帶起來的XR設備也在說明,我們的生活確實正不知不覺地與數字世界發生融合。
在數字世界中,云服務反而從一種新興的技術,成為了不可或缺的基礎設施。
換而言之,我們的一切互聯網服務和數字產品,最終都由云帶來,并運行在云上,甚至我們在成為數字虛擬世界的一份子時,本身也會被加載到云中。
傳統物理世界的水電、橋路和房子,被還原到數字世界中去后,也不過是存儲在云上的一些數據。
在這種趨勢之下,云服務的穩定性就變得和數字世界中的基建穩定性一樣重要,反映到春節中則更是如此。
如今的特殊時期,我們反而比以往更依賴于數字春節的保障。
而這一次,華為云的攻防演練和紅藍對抗披露,不僅是一次先進經驗和機制的分享,更提醒我們關注日益依賴的「數字世界的基礎設施」。
總結
以上是生活随笔為你收集整理的春节前夕华为云遭连续偷袭!密谋3个月 专挑凌晨断网的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 因头疼就诊 28岁小伙头部“挖”出埋20
- 下一篇: 吴京晒《流浪地球2》剧照:首次用上中兴手