作者 | 悟鵬
來源 | 阿里巴巴云原生公眾號(hào)

Kubernetes 在生產(chǎn)環(huán)境中的采用率越來越高，復(fù)雜度越來越高，由此帶來的穩(wěn)定性保障的挑戰(zhàn)越來越大。

對(duì)于基于 Kubernetes 的云產(chǎn)品，穩(wěn)定性保障已成為基本訴求，穩(wěn)定性缺陷會(huì)給產(chǎn)品帶來巨大的損失，如用戶流失、用戶信心下降、產(chǎn)品迭代速度變慢等。

雖然基于 Kubernetes 的穩(wěn)定性保障很重要，但業(yè)界缺少基于實(shí)踐的標(biāo)準(zhǔn)化穩(wěn)定性保障方案，導(dǎo)致同樣的問題在同一產(chǎn)品或不同的產(chǎn)品中重復(fù)出現(xiàn)，最佳實(shí)踐不能應(yīng)用在更多相同技術(shù)棧的產(chǎn)品中，不同產(chǎn)品形成的穩(wěn)定性保障最佳實(shí)踐也不能互補(bǔ)。

為此，基于過去的開發(fā)實(shí)踐以及基于 Kubernetes 的穩(wěn)定性保障經(jīng)驗(yàn)，嘗試形成《Kuberentes 穩(wěn)定性保障手冊(cè)》，將穩(wěn)定性保障最佳實(shí)踐進(jìn)行沉淀，使得人人對(duì) Kubenretes 穩(wěn)定性保障的理論形成全面的理解，相應(yīng)的工具和服務(wù)成為基礎(chǔ)設(shè)施，復(fù)用在類似技術(shù)棧的產(chǎn)品中，加速穩(wěn)定性保障最佳實(shí)踐的傳播、迭代和應(yīng)用。

本篇文章作為《Kubernetes 穩(wěn)定性保障手冊(cè)》第一篇文章，抽象穩(wěn)定性保障中的核心內(nèi)容，作為穩(wěn)定性保障最簡使用手冊(cè)。

極簡手冊(cè)目標(biāo)

• 1min 理解穩(wěn)定性保障目標(biāo)
• 3min 把握穩(wěn)定性保障全局視圖
• 一站查找穩(wěn)定性保障推薦工具或服務(wù)

穩(wěn)定性保障目標(biāo)

• 滿足服務(wù)或產(chǎn)品對(duì)穩(wěn)定性的訴求
• 加速服務(wù)或產(chǎn)品的迭代

穩(wěn)定性保障檢查項(xiàng)

穩(wěn)定性保障級(jí)別

實(shí)踐

方法論

全局視圖

實(shí)踐流程：

整理運(yùn)行鏈路圖，標(biāo)記鏈路是否是關(guān)鍵鏈路

基于運(yùn)行鏈路圖，進(jìn)行可觀測(cè)性配置

基于鏈路重要程度，進(jìn)行可控性治理

為了降低實(shí)踐的成本，需要把握云產(chǎn)品中的元素及交互關(guān)系，從基礎(chǔ)的元素和交互方面解構(gòu)復(fù)雜系統(tǒng)：

• 元素 (2 類)

  • 云產(chǎn)品組件
  • 云產(chǎn)品

• 交互 (2 類，共 3 種場(chǎng)景)

  • 云產(chǎn)品內(nèi)部
    • 組件自身
    • 組件與組件之間
  • 云產(chǎn)品之間
    • 云產(chǎn)品與云產(chǎn)品之間

如下圖：

隨著元素?cái)?shù)量和交互關(guān)系的增多，系統(tǒng)會(huì)逐步變得復(fù)雜，穩(wěn)定性保障面臨的挑戰(zhàn)也會(huì)越來越大，要避免引入非必要的復(fù)雜性。

因此，需要先梳理清楚當(dāng)前的運(yùn)行鏈路圖，進(jìn)行鏈路重要性分析，并整理組件大圖，判斷組件的爆炸半徑。在此基礎(chǔ)上，還需要進(jìn)行參與人員的 review，避免在人員的投入方面存在單點(diǎn)風(fēng)險(xiǎn)。

運(yùn)行鏈路圖示例：

鏈路重要性示例：

云產(chǎn)品間交互示例：

基于上述對(duì)系統(tǒng)復(fù)雜度、運(yùn)行鏈路的分析，面對(duì)穩(wěn)定性保障的問題域，可以有效提出、落地解決方案。

問題處理

實(shí)踐流程：

長期維護(hù)角色列表、功能流程圖、運(yùn)行鏈路圖

在多個(gè)分級(jí)的「告警群」中感知問題的發(fā)生和恢復(fù)

在唯一的「問題處理群」中處理問題和復(fù)盤問題

對(duì)于復(fù)雜的系統(tǒng)，通常會(huì)有如下的角色關(guān)系：

梳理清楚每層的角色，并使得參與同學(xué)可以方便查找目標(biāo)同學(xué)，會(huì)縮短問題處理時(shí)間。

問題域

概述

推薦

后續(xù)

對(duì)于《Kubernetes 穩(wěn)定性保障手冊(cè)》，接下來會(huì)進(jìn)行如下的章節(jié)細(xì)化，分別從方法論和工具/服務(wù)的角度進(jìn)行總結(jié)，形成初版后與大家分享，進(jìn)行共建：

總結(jié)

以上是生活随笔為你收集整理的Kubernetes 稳定性保障手册 -- 极简版的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。