作者：
王旭 螞蟻金服資深技術專家，kata containers 架構委員會成員
劉獎 阿里云操作系統資深技術專家

本文根據云棲大會容器專場演講內容整理，關注阿里巴巴云原生公眾號，回復“安全”獲得本文 PPT

大家中午好，感謝大家在饑腸轆轆的中午不離不棄地來到我們的會場，我們帶給大家的這段相聲是關于安全容器技術的。我是王旭，半年前剛剛結束一段創業，和團隊一起加入了螞蟻金服，創業期間，2017 年，我們在德州奧斯汀，和 Intel OTC 一起發布了 Kata Containers 安全容器項目，是這個項目的創始人之一；和我一起的是阿里云智能的獎哥，他是阿里云容器服務 ECI 的臺柱子，也是 rust-vmm 開源項目的積極維護者。

（圖左為螞蟻金服資深技術專家 王旭，圖右為阿里云操作系統資深技術專家 劉獎）

我們見證了容器安全和安全容器技術在爭議中的發展，今天想要結合社區里和阿里云上安全容器的沿革，談談對安全容器技術未來發展的思考。 這次的分享分為四個部分：

• 當前容器技術應用和安全問題的現狀
• 阿里云內外的安全容器技術發展的歷程
• 阿里云服務中的安全容器
• 我們乃至整個社區正在做的技術努力

當前容器技術應用和安全問題的現狀

眾所周知，容器化、微服務化、云原生化是當前 IT 系統演進的趨勢。根據 Portworks 和 Aqua Security 的調查報告顯示，被調查的大多數企業都不是正在使用容器，就是考慮使用容器。 上午過來時和剛才演講的 Chris 聊天的時候，他也提到，今年年底 San Diego 的 KubeCon 預計會有一萬兩千人來參會，他還特別提到一點：云原生化不僅是改變已有應用的架構，更是促進了更豐富的服務的開發，IT 系統的服務規模是在加速提升的。 不過，盡管容器技術炙手可熱，但挑戰還是存在的。這里需要引用一個 tripwire 調查報告，來源鏈接在這里。

可以看到，大概有半數的企業，尤其是運行了 100 個以上容器的企業，認為他們的容器是有安全漏洞的，當然，還有很大比例的人表示并不確認他們的容器是否有安全漏洞。我們都知道，安全不僅是個技術問題，也是個信心問題，粉紅色字的這段就是這個意思，因為對容器安全的擔心，42% 的受訪者是無法全身心地擁抱容器生態的。 當然，我得說，關心安全問題是個好的信號，因為只有當你準備把一項技術真正用于生產環境的時候，才會從安全角度去認真審視它。和其他領域差不多，容器安全也是一項端到端的技術，從容器鏡像本身的安全性和完整性，到運行容器的軟硬件平臺的基礎設施安全性，再到容器運行時引擎的安全性都需要被照顧到，哪個都可能成為最短的那根板子。

阿里云內外的安全容器技術發展歷程

說到容器的安全，我們可以回到容器的春秋戰國時期了，不談遙遠的 FreeBSD Jail 和 Solaris Zone，我們從最終進入 Linux Kernel 的這組 Namespaces 和 cGroups 來看，這套容器技術實際上同樣是從進程調度的角度入手，對內核進行的功能擴展，優勢上來說，操作界面很 Linux、很方便，開銷也很低，可以被用來無負擔地套在已有應用外面來構建隔離的環境，并且它是純軟件方案，不和其他層面的物理機、虛擬機相沖突。

然而，它的問題也在于它仍然是 Linux Kernel 的一個部分，已有的 Linux 的隔離問題無法根除，甚至可能因為新加入功能而被放大。所以，2015 年西雅圖的 LinuxCon 上，Linus 在 Keynote 上接受訪問的時候，就直接說出，Bug 是沒有辦法的，要安全必須要有隔離層。（原文為: The only real **solution to security **is to admit that bugs happen, and then mitigate them by having multiple layers）

隔離層，這里所謂隔離層就是讓應用容器運行在自己的內核之上，不和其他容器共享。這里面最簡單的方案就是把容器放在虛擬機里跑（左1），這種方式不需要對軟件棧做改動，只是讓同一個用戶的容器跑在自己的虛擬機里，但這樣帶來的問題，除了額外的開銷之外，還有兩層的維護復雜度。 另一種源遠流長的獨立內核的方案是 unikernel（右1），讓應用自己帶上自己的內核，這種方式的好處是最簡化的 LibOS 不僅可以有更小的開銷，也可以有更小的攻擊面，但阻止它被更廣泛應用的問題在于它往往需要修改應用，兼容性永遠是平臺技術被采納的最大障礙。

所以，針對未修改的應用的安全容器方案就落在了中間兩種方案——MicroVM 和進程虛擬化上，前者是使用了輕量級虛機和裁剪過的 Linux 內核，在保證兼容性的前提下盡量降低運行時和維護的開銷，而后者則是使用一個特定的內核來提供 Linux ABI，直接虛擬化進程的運行環境，為 Linux 應用盡量提供最大兼容性。 Kata Containers 就是這樣一個 MicroVM 的安全容器方案，首先，對應用來說，這是一個兼容 runC 的容器運行時引擎，可以被 Kubernetes 通過 containerd/CRI-O 調用，可以直接運行任何 Docker Image 或 OCI Image。但與 runC 不同它使用了硬件虛擬化能力，直接面對用戶應用的不再是宿主機的內核，而是一個獨立的裝在虛擬機里的內核，即使有未知的安全漏洞導致這個內核被攻擊，攻擊者仍然無法輕易突破虛擬化技術構建的沙箱。

Kata Containers 項目由我們和 Intel 一起在 2017 年開源，去年 4 月份成為 OpenStack 基金會旗下的七年來第一個頂級開放基礎設施項目。作為一個社區化項目，這個項目還有很多阿里云和螞蟻以外的開發者，目前項目正在討論 2.0 版本的路線圖，也歡迎大家為項目貢獻代碼和需求。 從技術上說，在 Kubernetes 生態里，Kata Containers 可以和 runC 一樣對接 containerd 和 CRI-O 這樣的 CRI Daemon，目前我們推薦的接口是去年暑假在 containerd 社區首先引入的 Shim V2 API，這個 API 目前也被 CRI-O 所支持，Kata 是第一個正式支持這個新接口的容器引擎，通過這個接口，每個 Pod 的額外 Kata 輔助進程只有一個，不論 Pod 里面有多少容器，這對宿主機調度器也是比較友好的。

Shim 會通過 vsock 控制 MicroVM 里面的 agent 來管理 Pod 里面的 OCI 容器，這里，社區版本的 Kata 支持的 VMM 包括了 Qemu 和 AWS 開源的 FireCracker，前者功能更豐富、兼容性更好，后者更輕小，根據我們阿里巴巴的“既要、又要、還要”的精神，你不需要舍棄哪一個，用上 Kubernetes 的 RuntimeClass，你可以為每個 Pod 指定要用的 VMM。具體的 How to 類的細節，你可以看我們 GitHub 上的文檔也可以在 Slack channel 里討論，遇到問題別忘了開 issue，這也是對社區的巨大支持，不是只有寫代碼才算貢獻開源的。

類似的基于 MicroVM 類技術的容器方案實際還有不少，耳熟能詳的還有微軟的 Hyper-V Container 和最近在 Windows 里集成的 WSL2，從數量上說，這類方案是目前的主流，最重要的原因就是對一般 Docker Image 的完美兼容性，而這種方案里最正統的開源方案當然就是我們 Kata 了。當然基于進程虛擬化的方案有很多亮點的，其中最大的亮點當然是 Google 開源的 gVisor 了，因為它開源的時候的 Google 的項目技術 Leader 就是現在我的老板，何征宇。

阿里云安全沙箱的歷史、現狀以及未來

從 2013 年到 2019 年的 6 年時間里，容器技術及生態每年都往前邁進一大步，經歷了從提出技術理念、構建合作生態到商業落地應用的飛速發展周期，到達了論壇開篇演講中所提到的“拐點已至”的階段。 讓我們一起簡要回顧一下阿里云安全容器與安全沙箱技術的發展歷史。

• Docker 理念被提出一年多之后，2015 年產業界開始共同推進容器技術及生態。阿里云、Hyper.sh 和 Intel 等都意識到 runC 的局限性，開始基于虛擬機技術構建容器的安全運行環境。

• 經過一年的研發期，2016 年安全容器技術開始進入生產環境。阿里云研發的 vLinux 技術在 MaxCompute 場景落地應用，Hyper.sh 也基于 runV 對外提供容器服務。這一年還發生一個非常重要的事情：K8s 定義了 CRI 接口規范，用于對接多種形態的容器運行環境，從而為安全容器和 K8s 生態的融合提供堅實的基礎。

• 2017 年微軟開放了 ACI 容器服務，阿里云也研發了基于虛擬機的容器服務。

• 2017 年 12 月，Hyper.sh runV 項目和 Intel Clear Container 項目宣布合并成立 Kata Container 項目，共同推進基于硬件虛擬化的安全容器運行環境，實現“虛擬機的安全，容器的速度”。

• 2018 年阿里云開放基于虛擬機的容器服務，同時開始研發基于 MicroVM 路線的安全沙箱技術。這一年 Google 開源了 gVisor，AWS 開源了 firecracker。

• 2019 年，阿里云安全沙箱技術商用上線，支持 ECI、ACK、SAE 邊緣計算等多種業務。Intel 創立了 Cloud Hypervisor 項目，致力于為云原生場景打造專用的 hypervisor。
  

從 2017 年底開始，Kata、gVisor、Firecracker、Nabla、Cloud Hypervisor 等開源安全容器技術不斷涌現，技術進入井噴期。非常高興的是 Hyper 團隊今年加盟阿里數字經濟體，一起為我們的客戶打造安全可靠的容器運行環境。 剛才介紹中提到了不同的容器 runtime 技術，可能大家心中會有個疑問，這些技術的關系和區別是什么呢？

我以生活中的常見租房為例來打個比方，方便大家理解容器 runtime 的區別。

• 首先聊聊 Fircracker，Firecracker 并不是一個 container runtime，而是一個輕量化的 VMM
  
• runC 就類似群租房，裝修簡單、利用率高，但是隔音、安全和入住體驗稍差
  
• 使用 containerd/CRI-O 接入 Kubernetes 的 Kata 1.x/gVisor 就類似合租房，每個租戶都有自己獨立的臥室，但是客廳、廚房、衛生間還是共享的
  
• 阿里云安全沙箱類似酒店式公寓，提供全功能的、標準化、帶客房服務的入住體驗
  
• VM containerd 則類似租普通住房，公攤面積大，還可能需要自己裝修
  

阿里云安全沙箱就是致力于打造酒店式公寓，為客戶提供拎包入住式的容器服務。

我們乃至整個社區正在做的技術努力

正如大家所了解的，阿里巴巴既有像淘寶、天貓、高德等眾多面向個人消費領域的業務，也有阿里云、釘釘等面向企業服務的業務。作為底層基礎技術的安全沙箱技術，需要支持多種應用場景。綜合各種業務場景，大致能歸納出三種典型的應用模式：

• 第一種是面向公共云服務的容器服務。這種應用場景下，我們既需要保證基礎設施的安全性，也需要嚴格保證客戶的數據安全以及租戶之間的隔離性。我們需要提供酒店式公寓而不是群租房或合租房。

• 第二種是需要在一臺服務器上同時執行可信代碼和不可信代碼的場景。比如，需要執行用戶上傳的代碼、無源代碼的可執行文件或未經審計的開源代碼的情況。這是安全沙箱的最典型用法，通過安全沙箱構建一個帶安全邊界的執行環境，把不可信代碼限定在這個受限的執行環境中，從而保護系統中的其它組件。

• 第三種是多種業務混合部署的場景。為了提高資源利用率，主流技術思路之一是把在線業務和離線業務混合部署在相同的服務器上，利用在線服務的剩余資源來為離線任務服務。這是相當挑戰的一個任務，傳統做法是通過為在線任務預留足夠的資源來保證在線服務的服務體驗。那么，混部的情況下如何保證在線任務的服務體驗呢？思路也很簡單，給予在線業務較高的優先級。但是這還不足夠，由于共享內核，內存分配、IO 調度方面，離線任務還是會經常干擾在線任務。所以把離線任務放入獨立的安全沙箱，實現資源隔離、故障隔離、環境隔離。

基于以上的業務需求，我們研發了阿里云安全沙箱技術，立足于阿里云成熟穩定的基礎設施、基于 MicroVM 技術路線，為業務構建安全、可靠、輕量、生態兼容的容器 runtime。 阿里云安全沙箱是基于 MicroVM 構建的安全容器 runtime。首先它是一個基于硬件虛擬化技術的 MicroVM，采用了深度定制優化 hypervisor，極簡的虛擬機設備模型，VMM 基本上不訪問 guest memory。其次阿里云安全沙箱也是一個容器 runtime，提供鏡像分發、鏡像管理、容器網絡、容器存儲，完全兼容 OCI 和 CRI 規范。

阿里云安全沙箱的安全來源于新型安全系統語言、極小而可控的源代碼、極簡的設備模型、深度定制的 Hypervisor以及安全加固的阿里云 Linux for Sandbox 系統。 那么，阿里云安全沙箱能給客戶帶來什么價值呢？除了安全可靠外，阿里云安全沙箱還會給客戶帶來極速啟動、極致彈性和低資源開銷。實際測試數據表明，去掉下載容器鏡像的時間，阿里云安全沙箱啟動容器實例耗時小于500毫秒，在 96CPU 的系統上每秒啟動實例數量大于 200 個，平均每個 microvm 的內存資源好用小于 2.5M。 那么安全容器的下一步挑戰是什么呢？用戶理想中的容器運行 runtime 是什么樣的呢？

• 超越虛擬機的安全性
• 像本機運行一樣的性能
• 像 runC 一樣的兼容性和易用性

在過去，螞蟻金服和阿里云就是安全容器的積極貢獻者，在接下來的時間里，我們仍然會繼續和開源社區緊密合作。我們會開放地和社區共同制定 Kata Containers 2.0 的路線圖，把我們在容器和云服務領域的最佳實踐反饋給社區，將通用性的技術貢獻到 Kata Contaienrs 和 Rust-VMM 社區，保證阿里巴巴 CloudSandbox 和社區的一致性，和業界一起為廣大用戶打造一個安全、可靠、高效和兼容生態的容器 runtime。

---

**作者簡介：**王旭，螞蟻金服系統部容器和云原生基礎設施方向的資深技術專家，OpenStack 基金會頂級項目 Kata Containers 的架構委員會創始成員。劉獎，現任職阿里云操作系統部資深技術專家，負責云原生底層系統架構設計與實現，長期致力于操作系統技術研發，是國內Linux、OpenSolaris 內核主要貢獻者之一。

“ 阿里巴巴云原生微信公眾號（ID：Alicloudnative）關注微服務、Serverless、容器、Service Mesh等技術領域、聚焦云原生流行技術趨勢、云原生大規模的落地實踐，做最懂云原生開發者的技術公眾號。”

總結

以上是生活随笔為你收集整理的安全容器的发展与思考的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。