作者 | 云希
來源|阿里巴巴云原生公眾號

一個時代的變革往往始于一個微小的創(chuàng)新。

1956 年，對航運一竅不通的卡車大亨麥克萊恩第一次將集裝箱用于貨物運輸時，恐怕連他自己也想象不到，一個普通的鐵箱子將會引發(fā)一場全球的巨大變革。

集裝箱尺寸一致，運輸流程標(biāo)準(zhǔn)、系統(tǒng)。每個箱子只裝一件貨物，能在港口、火車、輪船間自由裝卸。它大大提升效率的同時，也讓運輸成本降低了 90%，從實質(zhì)上打破了各個國家、港口之間的物流壁壘。

這個箱子將世界就變成了一座大工廠，促使了全球分工和資源流通——蘋果找到中國的富士康，豐田公司創(chuàng)造出“及時生產(chǎn)”，美國人吃到了巴西的牛肉……一個微不足道的創(chuàng)新讓世界的經(jīng)濟和政治格局都為之改變。

在 IT 屆，這個箱子被稱為“容器”。

和集裝箱一樣，容器將應(yīng)用封裝好后，便可以在任意環(huán)境之下自由裝卸、敏捷運行，提高研發(fā)效率的同時，大大降低了運維成本，從而掀起科技圈的新浪潮。

自 2013 年 Docker 出現(xiàn)以來，“容器”便成為云計算領(lǐng)域炙手可熱的關(guān)鍵詞。2019 年公開信息顯示，Docker 開源版的下載次數(shù)超過 800 億次，有約有三分之一的財富 100 強和五分之一的全球 500 強公司都使用 Docker 企業(yè)版。權(quán)威機構(gòu) Gartner 預(yù)測，2022 年將有 75% 的企業(yè)使用容器。

不同于以往追隨硅谷的姿態(tài)， 國內(nèi)的容器化實踐早在 10 年前便已拉開帷幕。

性能危機

這其中，布局最早的是阿里。

2011 年，隨著云計算的普及，阿里巴巴走過物理機時代，全面邁向虛擬機。

如果說物理機是家里的電腦，那虛擬機則是在電腦上模擬出的許多臺小電腦，它擁有完整的軟硬件功能，使用體驗就跟電腦一致。但“虛擬化”有性能損耗。如果一臺 100 個 CPU 的物理機能虛擬出來 100 臺小電腦，那么只有 90 臺真正干活，另外 10 臺要額外做管理工作，損耗由此形成。

規(guī)模小時損耗無傷大雅，但阿里數(shù)萬集群，光是虛擬化過程中耗損的算力就抵得過一家中型互聯(lián)網(wǎng)公司。

2011 年，為了緩解巨大的虛擬化損耗，淘寶的第一個程序員蔡景現(xiàn)（花名：多隆）和第一代架構(gòu)師林昊（花名：畢玄）在無心插柳中研發(fā)出了阿里第一代容器——T4。

T4 同樣基于物理機而來。普通虛擬機將整個操作系統(tǒng)運行在虛擬的硬件平臺上,進而提供運行環(huán)境供應(yīng)用程序運行，而 T4 則直接在宿主平臺上加載運行應(yīng)用程序。

所以 T4 使用體驗和虛擬機一致，卻能減少性能損耗，一經(jīng)推出便大受歡迎，并逐漸取代虛擬機，承擔(dān)了集團整個交易系統(tǒng)的計算資源。

但它依然無法解決阿里高企的運維成本。

彼時，為了維系龐大集群的穩(wěn)定，阿里運維團隊超過 300 人，24 小時輪班，依然追不上逐年攀升的業(yè)務(wù)量。“雙11” 期間，用戶暴漲，應(yīng)用激增，數(shù)以百計的工程師更要手動擴容，用人肉筑起堤壩才不至于被流量洪峰沖倒。

也是在這一年，大洋彼岸一家名不見經(jīng)傳的 Dotcloud 公司開源了其容器創(chuàng)建技術(shù) Docker。

容器并不是 Dotcloud 公司的創(chuàng)新，但他們開源的 Docker 為容器引入了鏡像機制。

鏡像，簡而言之是一個壓縮包， 里面包含應(yīng)用代碼和所依賴的所有文件和目錄。將鏡像打包上傳到鏡像庫后，無論在何種環(huán)境，工程師只需到庫里下載鏡像，便能重新創(chuàng)造出跟之前一摸一樣的容器，無縫操作。

有了它，工程師就像擁有魔法，能在任意環(huán)境中，快速構(gòu)建出需要的容器。

它完美地解決了傳統(tǒng) IT 流程下的兩大難題——發(fā)布成功率低和運維壓力。

傳統(tǒng)的 IT 流程下， 業(yè)務(wù)、研發(fā)、運維職責(zé)不明晰，運維要一次次調(diào)整參數(shù)來保障應(yīng)用運行穩(wěn)定。

但用了 Docker，情況便大為不同。研發(fā)工程師在寫應(yīng)用代碼的同時，便會交代清楚運行所依賴的環(huán)境，應(yīng)用發(fā)布成功率自然能提高，也減小了運維壓力。這也形成了一種 DevOps （研發(fā)運維一體化）的工作模式。

Docker 扇動翅膀，科技圈出現(xiàn)容器風(fēng)暴。擁有了鏡像后的容器，成為了 IT 屆的“集裝箱”，與之配套的技術(shù)、標(biāo)準(zhǔn)也紛紛上線。

微軟、谷歌、亞馬遜等巨頭公司熱烈擁抱，先前瀕臨淘汰的小公司 Dotcloud 成為炙手可熱的新星，而后還直接將公司名字改成了大功臣 Docker，并利用 Docker 著手商業(yè)化。

大洋彼岸的阿里不遑多讓。2015 年，林昊招募林軒加入團隊，持續(xù)完善 T4。后者敏銳地捕捉到了這股容器化熱浪。他和林昊、蔡景現(xiàn)一致決定將 T4 鏡像化升級，以保持技術(shù)先進性。

在林軒的搖旗吶喊下， 楊育兵（花名：沈陵）、張振（花名：守辰）、一嘯等人先后加入，成為最早的容器小分隊。大半年后，他們成功將 T4 升級為 Alidocker。

一盆涼水

容器團隊期望將 T4 全部替換成 Alidocker。原想一鳴驚人，沒承想等來的卻是冷板凳。

如先前所說，容器，作為封裝業(yè)務(wù)應(yīng)用的集裝箱，如若替換便會帶來一整條研發(fā)、運維鏈路的改變。而阿里的技術(shù)體系之復(fù)雜世所罕見，一個參數(shù)的改變都有可能引發(fā)故障，故而甚少業(yè)務(wù)部門愿意拿身家性命冒險。

但容器團隊有自己的考慮。在技術(shù)迭代頻仍的科技圈，即便是具有壟斷地位的產(chǎn)品、技術(shù)和公司，也會驟然被時間的浪潮打翻，

危機感是科技公司的達摩克利斯之劍。

2015 年，Docker 正式成為了容器屆的標(biāo)準(zhǔn)，但阿里卻還在使用 T4。

不能再等了！容器團隊夾著 PPT，奔走宣揚，為了讓業(yè)務(wù)團隊留下深刻印象，林軒介紹楊育兵“這是我們?nèi)萜餍⊥踝印?#xff0c;而張振是“鏡像小王子”，他還在內(nèi)網(wǎng)寫下長帖疾呼《阿里人請用 Alidocker ！》

一番操作下，大家記住了 Alidocker 和兩位王子，依然無動于衷。有主動找上門的，問的都是 T4，也有禁不住熱情的，送上幾個沒有名字的邊緣應(yīng)用。

轉(zhuǎn)眼來到 2016 年 6 月，團隊只接到 30 多個應(yīng)用。此時各業(yè)務(wù)已開始籌備 雙11，說服其用 Alidocker 更是難上加難。

林軒急了，在一次會議中舌戰(zhàn)百人，痛陳鏡像化的必要性：“弓馬再嫻熟，遲早要換成火槍大炮原子彈。不接受先進的文明，總有一天像大清朝一樣完蛋！”

事情陷入僵局，時任阿里集團 CTO 張建鋒（花名：行癲）站了出來，“我支持 Alidocker，在線應(yīng)用要 100% 容器化！”

張建鋒

對于容器化，張建鋒有完整的布局。容器的優(yōu)勢有目共睹，阿里業(yè)務(wù)逐年爆發(fā)，容器規(guī)模化后，跑在云服務(wù)器上是必然趨勢。

阿里云的飛天操作系統(tǒng)已經(jīng)可以成熟調(diào)度數(shù)萬臺物理機，但因為虛擬化損耗，容器依然只跑在物理機上，無法享受到上云便利。

為了給容器打造最合適的底座，在 2016 年 雙11 復(fù)盤會上，張建鋒點將張獻濤（花名：旭卿）為首的彈性計算團隊，打造神龍服務(wù)器，攻克云計算十?dāng)?shù)年的難題——將虛擬化損耗降低為零。

從上層的容器到下層的資源底座神龍，如此，阿里便能構(gòu)建敏捷、高效的業(yè)務(wù)運行體系。

在張建鋒的支持下，阿里容器化的進程按下“加速鍵”， 一場橫跨了 5 個事業(yè)部，9 個團隊，11 個業(yè)務(wù)域的容器化改革拉開帷幕。

初露鋒芒

容器掀起的風(fēng)暴繼續(xù)在科技圈狂吹，若想將 Docker 進行大規(guī)模應(yīng)用，編排、調(diào)度就顯得尤為重要。

2015 年，谷歌的 K8s、Docker 的 Swarm、以及開源社區(qū)的 Mesos 在容器編排市場呈“三足鼎力”之勢。

為了避免 Docker 一家獨大，谷歌（Google）、紅帽（RedHat）等開源玩家們，共同成立了一個名為 CNCF（Cloud Native Computing Foundation）的基金會，它本質(zhì)上是以 K8s 為核心的開源社區(qū)。

容器編排市場進入長達兩年的混戰(zhàn)。期間，阿里容器化進程也如火如荼。

Alidocker 起初表現(xiàn)不穩(wěn)定，發(fā)布卡單、響應(yīng)延時、鏡像下載慢、擴容難……每一個 Bug 的出現(xiàn)，都會帶來一次業(yè)務(wù)方的跳腳。容器團隊 7 乘 24 小時輪班值守，為了與不同的業(yè)務(wù)高度匹配，他們每周迭代十幾個版本，楊育兵專門寫了《Alidocker 的 1000 個細節(jié)》來答疑解惑。

2016 年 9 月，雙11 進入全鏈路壓測，容器團隊一舉一動都在聚光燈下。

第一次壓測，Alidocker 因為發(fā)布鏈路慢，導(dǎo)致壓測失利。為了解決問題，楊育兵把上下游相關(guān)系統(tǒng)全摸了一遍；張振做鏡像到吐，直到 雙11 所有交易業(yè)務(wù)都能跑通。

時間逼近，連阿里集團 CEO 逍遙子都忍不住過問：“畢玄，你覺得今年上 Alidocker 靠不靠譜？”

開弓沒有回頭箭，雙11 如約而至。零點，大屏幕數(shù)字飛速翻滾。容器團隊緊緊盯著屏幕。

17.5 萬筆/秒，訂單創(chuàng)建峰值再破記錄。數(shù)百應(yīng)用、20 萬容器、100% 核心流量，Alidocker 成功扛住，數(shù)據(jù)處理能力提升 5 倍。

萬重大山落地，容器團隊露出久違的笑容。

突破瓶頸

容器編排市場的國際戰(zhàn)局也逐漸清晰。

K8s 在開源社區(qū) Github 上的各項指標(biāo)一騎絕塵，將 Docker 原配 Swarm 遠遠甩在身后，2017 年底，隨著 Docker 宣布支持 K8s。K8s 最終勝出，成為容器編排平臺的標(biāo)準(zhǔn)。?有了 K8s 這個護城河，CNCF 社區(qū)迅速推出了一系列容器生態(tài)的知名工具和項目。大量的公司和創(chuàng)業(yè)團隊開始圍繞 CNCF 而非 Docker 制定容器化策略。社區(qū)日益繁榮，號召力貫徹中外。

AWS、Azure、阿里云、谷歌云和 IBM 云等前五大云廠商都已經(jīng)成為了 CNCF 會員，并在自己的云平臺中提供了 K8s 服務(wù)——國外媒體稱“他們確認(rèn)了云原生和容器是企業(yè)計算的未來”。

珠玉在前，國內(nèi)公司也紛紛加快了容器化的步伐。華為從 2017 年開始，在內(nèi)部支撐華為終端云服務(wù)等核心業(yè)務(wù)容器化。一年后， 騰訊自研業(yè)務(wù)開始上云，并計劃完成云原生技術(shù)的改造。

阿里步子更大，在線業(yè)務(wù)于 2017 年實現(xiàn)全面容器化（Alidocker 正式更名為 PouchContainer），容器數(shù)量上升至百萬。

帶領(lǐng)團隊完成這項工程的，正是丁宇（花名：叔同）。2017 年初，丁宇接手容器團隊，阿里備戰(zhàn) 雙11 的制勝法寶——全鏈路壓測，也是他的手筆。

丁宇

碼頭上的集裝箱僅僅憑借箱子本身，并不能實現(xiàn)如此巨大的變革。麥克萊恩的偉大之處在于，圍繞著集裝箱提出了全新的貨運體系，包括管理者、港口、貨船、起重機、卡車和全新的交付流程等。

IT 行業(yè)同樣如此，容器只是集裝箱和簡單吊裝，背后的編排、調(diào)度等配套設(shè)施同樣不可或缺。

為了讓容器實現(xiàn)最佳性能，團隊將 PouchContainer 融合整套設(shè)施，升級為 ASI 容器服務(wù)（Alibaba Serverless Infrastructure）。

使用 ASI 容器服務(wù)后，用戶只需關(guān)心容器中的應(yīng)用即可，至于容器的創(chuàng)建、調(diào)度、運維管控等一系列瑣事，交給容器廠商即可。

為了能讓阿里集團、阿里云及外部用戶都享受到同樣的容器服務(wù)，ASI 勢必要兼容通用標(biāo)準(zhǔn) K8s 和 Docker，但難度極大。

“你得保證幾百萬個容器遷移到 ASI 時運行穩(wěn)定，不掉鏈子”，ASI 項目負責(zé)人黃濤（花名：智清）說，“這就像給一個百米沖刺的人移植心臟。”

而且 K8s 有一個致命弱點，當(dāng)集群達到萬級規(guī)模，便會出現(xiàn)延遲和拒絕訪問，無法適應(yīng)動輒上萬的集群，這也是業(yè)界難以突破的瓶頸。

Docker 同樣有弱點，創(chuàng)建容器時鏡像下載慢，無法實現(xiàn)快速擴容。

黃濤不敢掉以輕心，選出3人組成突擊隊，為大部隊探路。花了 2 個月時間，試遍了所有方法，依然想不出萬全之策。

林昊遠赴海外，請來張瓅玶（花名：谷樸）和李響。張瓅玶曾在谷歌管理著云原生資源池。李響則是 ETCD 分布式存儲系統(tǒng)的作者，ETCD 一經(jīng)問世，就成為了業(yè)界標(biāo)準(zhǔn)。2019 年，李響成為 CNCF 9 位委員之一，也是委員會有史以來首位中國委員。

引發(fā) ASI 的性能瓶頸的重要原因之一，便是管理節(jié)點中的存儲瓶頸。為了突破存儲性能，阿里技術(shù)團隊改進 ETCD 底層存儲引擎的分配算法，將存儲空間從原本的 2GB 提升為 100GB，且沒有延時。除了存儲，團隊還通過提前加載節(jié)點所需數(shù)據(jù)，減少同步事件等方式，拓展了管理節(jié)點的各項性能。

與此同時，PouchContainer 也迎來喜訊。之前創(chuàng)建容器時，必須完整地拉取鏡像，一旦遇到大規(guī)模的業(yè)務(wù)量，擴容速度甚至?xí)j升至 10 分鐘。而團隊研發(fā)出了秒級鏡像技術(shù)，讓鏡像能夠按需加載，實現(xiàn)了秒級下載擴容。

前排左一：黃濤，右二：張振? ；后排左四：楊育兵，右三：林昊，右二：林軒

突破兩大瓶頸，ASI 打破業(yè)界難題，實現(xiàn)超萬級節(jié)點穩(wěn)定運行。阿里內(nèi)外越來越多的業(yè)務(wù)方接入。

血的教訓(xùn)

現(xiàn)實總是在不經(jīng)意間給予痛擊。

“一個基礎(chǔ)技術(shù)團隊，在推動技術(shù)變革期間，萬眾矚目下，捅出一個大簍子……”。回憶起曾經(jīng)的一個大故障，總裁直接技術(shù)負責(zé)人打電話，團隊成員們心有余悸。

那次事故后，原打算接入的業(yè)務(wù)方陸續(xù)退出，ASI 團隊士氣低落，有人頂不住壓力離開。

痛定思痛后，丁宇在內(nèi)網(wǎng)發(fā)帖，如此自省：“基礎(chǔ)不牢，地動山搖。這一年跑得太快了，不停接入新業(yè)務(wù)，忽略了團隊的承受能力，希望大家記住這個血的教訓(xùn)，引以為戒。”

不夠成熟的調(diào)度，就像一個擁有“關(guān)鍵按鈕”的頑皮孩子，后果不堪設(shè)想。有一次，調(diào)度系統(tǒng)誤判，直接抹掉了一整個機房的容器，一秒鐘，幾萬個容器不見了，“就像天塌了一樣”。

黃濤不得不開始考慮最極端情況下的保障措施，比如阿里集群都掛了，容器如何恢復(fù)；又或者調(diào)度系統(tǒng)崩潰了，如何讓業(yè)務(wù)不受影響…

為了打造一個固若金湯的“集裝箱”，?他們苦修內(nèi)功。

沖上云霄

與此同時，阿里集團開始了轟轟烈烈的上云之路。

2019 年初，時任阿里集團 CTO 兼阿里云智能總裁的張建鋒召集阿里的技術(shù)骨干開會，“今年開始，阿里巴巴不再采購物理機，所有新增計算都上公共云。”

阿里終于迎來沖向云霄的時機。ASI 團隊決定將讓所有容器搭載在阿里自研的神龍服務(wù)器上，完成最關(guān)鍵的一步——上云。

神龍服務(wù)器將虛擬化損耗降低至幾乎不計，可以讓計算成本下降 50%，容器性能提升 30%，這是真正為容器而生的云服務(wù)器。

但 PouchContainer 下搭載著阿里用了十多年的物理機，運行著上萬應(yīng)用，?要從云下搬遷至云上，僅靠 ASI 團隊，難以面面俱到。為了爭取業(yè)務(wù)方的配合，丁宇帶著所有人到一線技術(shù)團隊宣講如何上云。

與此同時，為了真正讓阿里云、阿里集團內(nèi)部以及開源社區(qū)享受到同樣的容器服務(wù)，實現(xiàn)“三位一體”。李響帶領(lǐng)團隊與云產(chǎn)品 ACK（阿里云對外的容器服務(wù)產(chǎn)品）融合。團隊熟讀 ACK 代碼，在阿里云飛天園區(qū)閉關(guān)數(shù)周，“做不出來不回西溪！”

歷時近一年，這場集結(jié)了阿里 5 萬名工程師的浩大工程，在 2019 年 雙11 禁受住了全球最高流量洪峰的考驗。阿里正式宣布，其核心系統(tǒng)已 100% 跑在阿里云上。

ASI 也成功實現(xiàn)了與云產(chǎn)品 ACK 的會師。如今的云產(chǎn)品 ACK，既保留了云上的各種能力，也能成功應(yīng)對阿里集團復(fù)雜的業(yè)務(wù)環(huán)境。

少為人知的是，這同時是全球最大規(guī)模的云原生實踐。

所謂云原生，便是以“天生就在云上”的理念打造的一整套 IT 體系，自容器開始，云原生中間件、數(shù)據(jù)庫、服務(wù)器等基礎(chǔ)系統(tǒng)也陸續(xù)出爐，共同構(gòu)建出幅員遼闊的云原生版圖。

正如集裝箱的出現(xiàn)締造了全新的航運體系，容器的出現(xiàn)也開啟了云計算的新時代。

集裝箱的威力

2019 和 2020 年，在云計算史上注定是兩個熱鬧的年份。

谷歌推出了以 K8s 為核心的混合云/多云管理平臺 Anthos；微軟推出了開源的云原生服務(wù)網(wǎng)絡(luò) Open Service Mesh；華為云發(fā)布了第二代零損耗裸金屬容器；阿里繼 2019 年之后，在 2020 年實現(xiàn)了更徹底的最大規(guī)模云原生實踐……

阿里集團 CTO 程立（花名：魯肅）表示：阿里核心系統(tǒng)實現(xiàn)了全面云原生化，每萬筆峰值交易的 IT 成本較四年前下降了 80%，規(guī)模化應(yīng)用交付效率提升了一倍之多，可在 1 小時內(nèi)擴展超百萬容器，彈性伸縮性能提升 10 倍以上。

云原生大潮奔騰而來。

權(quán)威機構(gòu) Gartner 預(yù)測，到 2020 年，將有 50% 的傳統(tǒng)老舊應(yīng)用被以云原生化的方式改造，到 2022 年，將有 75% 的全球化企業(yè)將在生產(chǎn)中使用云原生的容器化應(yīng)用。

沒有人再懷疑——“云原生就是未來”。?2020 年 9 月的云棲大會上，阿里巴巴成立云原生技術(shù)委員會 ，負責(zé)人蔣江偉（花名：小邪）稱將對外賦能數(shù)百萬家企業(yè)進行云原生改造，提升 30% 研發(fā)效率的同時降低 30% IT 成本。

蔣江偉

云原生拓展商業(yè)邊界，并將這股浪潮滲透到人類活動的每個角落。

• 中國移動使用容器取代虛擬機；網(wǎng)商銀行已將 400 多個應(yīng)用程序調(diào)整為云原生架構(gòu)。

• 京東云也在進行微服務(wù)和容器化改造。

• 疫情爆發(fā)期，釘釘基于阿里云容器解決方案，在 2 小時內(nèi)擴容一萬臺主機支撐 2 億上班族線上工作。

• 申通快遞將核心系統(tǒng)搬到云上，大規(guī)模部署阿里云容器，億級包裹過境，系統(tǒng)穩(wěn)如泰山，IT 成本還降低了 30%。

• 阿里自研云原生技術(shù) Virtual Cluster、 Open kruise，在社區(qū)開源后，已經(jīng)被領(lǐng)英、蘋果等公司采用。

如果是 5 年前，你會看到“Docker 基礎(chǔ)介紹”和“云原生是什么？”而今天，當(dāng)你再次搜索時，“云原生”已是行業(yè)公認(rèn)的“云計算的下一個時代”。

而這一切，都始于那個“箱子”。

總結(jié)

以上是生活随笔為你收集整理的一个改变世界的“箱子”的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。