作者 | 湯志敏、謝瑤瑤

會(huì)議完整視頻回顧：https://www.bilibili.com/video/av88668762

2 月 12 日，阿里云和 CNCF 聯(lián)合舉辦了線上研討會(huì)，首次完整介紹了阿里云對(duì) Kubernetes 社區(qū)的布局，包括了 10 個(gè)類別，20 多個(gè)開源項(xiàng)目，提供了完整的 Kubernetes 生命周期管理。本文匯集了此次會(huì)議完整視頻回顧及資料下載，并整理了會(huì)議上未能及時(shí)回答的問題，希望能夠?qū)Υ蠹矣兴鶐椭鷡

關(guān)注“阿里巴巴云原生”公眾號(hào)，后臺(tái)回復(fù)?“會(huì)議”?即可下載 PPT。

什么是 SIG Cloud Provider

隨著時(shí)間的發(fā)展，越來(lái)越多的企業(yè)在生產(chǎn)環(huán)境使用 Kubernetes。Kubernetes 被廣為接受，離不開其良好的設(shè)計(jì)和繁榮的社區(qū)。目前圍繞著 Kubernetes 已經(jīng)有 20 個(gè)左右的興趣小組（SIG），SIG Cloud Provider 則是 Kubernetes 的重要興趣小組之一，致力于推動(dòng)所有云廠商以標(biāo)準(zhǔn)的能力提供 Kubernetes 服務(wù)。

SIG-Cloud-Provider-Alibaba 是 SIG Cloud Provider 在國(guó)內(nèi)唯一的子項(xiàng)目。

Cloud Provider SIG 是 Kubernetes 的云廠商興趣小組，致力于讓 Kubernetes 的生態(tài)系統(tǒng)往廠商中立的方向演進(jìn)，他會(huì)負(fù)責(zé)協(xié)調(diào)不同廠商盡可能以統(tǒng)一的標(biāo)準(zhǔn)來(lái)滿足開發(fā)者的需求。目前加入 Cloud Provider SIG 包括了 7 家云廠商，包括 AWS、GCP、阿里云、IBMCloud 等。

為什么阿里云要加入 SIG Cloud Provider

1.和全球云廠商共同推動(dòng)多云的標(biāo)準(zhǔn)，將阿里云的優(yōu)秀實(shí)踐反哺社區(qū)

在全面上云的時(shí)代，云已經(jīng)重塑了企業(yè)IT架構(gòu)。云原生計(jì)算就是一組最佳實(shí)踐和方法論，如何在公共云、專有云、多云環(huán)境中，構(gòu)建可伸縮、健壯、松耦合的應(yīng)用，可以更快速的創(chuàng)新和低成本的試錯(cuò)。

阿里云作為國(guó)際有影響力的云廠商，也希望能夠推動(dòng)Kubernetes的進(jìn)一步標(biāo)準(zhǔn)化，并進(jìn)一步和橫向云廠商如AWS、Google、Azure進(jìn)行技術(shù)協(xié)同，優(yōu)化云和Kubernetes連接，并統(tǒng)一不同組件的模塊化和標(biāo)準(zhǔn)化協(xié)議。

2.對(duì)阿里云的 Kubernetes 開發(fā)者帶來(lái)透明可控、共建協(xié)同、平滑演進(jìn)的能力

對(duì)于 Kubernetes 的開發(fā)者和用戶，我們希望基于阿里云打造 Kubernetes 的最佳運(yùn)行環(huán)境，并將圍繞在?Kubernetes 的阿里云插件開源出來(lái)。而阿里云容器服務(wù) ACK 也會(huì)盡量復(fù)用這些組件。

• 透明可控：對(duì)于研究性質(zhì)的開發(fā)者，可以基于這些插件自行搭建 Kubernetes 集群；對(duì)于容器服務(wù) ACK 的用戶，也可以更加透明的了解相關(guān)實(shí)現(xiàn)；
• 共建協(xié)同：如果對(duì)阿里云上使用 Kubernetes 的計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)等領(lǐng)域有需求的開發(fā)者，可以提 Issue 或參與到開源組件開發(fā)中一起貢獻(xiàn)，并參與 RoadMap 的制定；
• 平滑演進(jìn)：阿里云 Kubernetes 開源插件提供了 Day 1 的部署能力，但是對(duì)企業(yè)的運(yùn)維、升級(jí)、穩(wěn)定性掌控等提出了更高的要求。如果需要 Day 2 的持續(xù)升級(jí)、高可用保障、糾錯(cuò)推薦等專家服務(wù)，可以平滑演進(jìn)到容器服務(wù) ACK。

SIG Cloud Provider Alibaba的運(yùn)作機(jī)制

• Slack
• 雙月度會(huì)議
• 會(huì)議內(nèi)容紀(jì)要：
  Google Docs、
  YouTube
• 會(huì)議語(yǔ)言：中文、英文

阿里云 Kubernetes 產(chǎn)品家族簡(jiǎn)介

阿里云 Kubernetes 開源套件 全家福

Kubernetes 作為云原生時(shí)代的應(yīng)用操作系統(tǒng)，已經(jīng)成為事實(shí)上的標(biāo)準(zhǔn)。阿里云在 Kubernetes 實(shí)踐的過程中開源了眾多的項(xiàng)目，如位于底層的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、安全等相關(guān)的 5 個(gè)大的類別和上層領(lǐng)域相關(guān)的 AI、應(yīng)用管理、遷移、Serveless 等 5 個(gè)大的類別，為用戶應(yīng)用提供全棧式生命周期管理。

SIG-Cloud-Provider-Alibaba 為 K8s 在阿里云上的云原生最佳實(shí)踐提供一個(gè)溝通的橋梁，通過興趣小組的方式讓所有參與的個(gè)人、組織理解 CloudProvider 的原理并運(yùn)用到生產(chǎn)實(shí)踐中，實(shí)現(xiàn)其業(yè)務(wù)價(jià)值。

詳見下文。

CloudController

• Cloud-provider
• Cluster-api

網(wǎng)絡(luò)

• Terway（CNI）
• Flannel（CNI）
• ingress
• External-dns

存儲(chǔ)

• CSI
• FlexVolume
• auto-provision

彈性

• Cron HPA
• cluster-autoscaler

安全

• KMS provider
• Kube2ram
• RAM Authenticator
• SGX device plugin

遷移

• Derrick
• Velero
• Image Builer

AI

• Arena
• GPU share

ServiceBroker

• ServiceBroker

Serverless

• Virtual-kubelet

應(yīng)用管理

• Kube-eventer
• metrics-adapter
• log-pilot
• openKruise
• OAM

部分開源組件簡(jiǎn)介

CloudController

CloudController 指 K8s 的 cloud-controller-manager 組件(簡(jiǎn)稱 CCM)， 提供 Kubernetes 與各個(gè)云廠商基礎(chǔ)服務(wù)的對(duì)接能力（包含網(wǎng)絡(luò)負(fù)載均衡，VPC 路由，ECS，DNS 等)。主要由 NodeController、ServiceController、RouteController、PVLController 四大控制器實(shí)現(xiàn)。

**NodeController?**實(shí)現(xiàn)了計(jì)算節(jié)點(diǎn)的管理，例如 ECS 節(jié)點(diǎn)生命周期管理，給節(jié)點(diǎn)打上可用區(qū)、Region、hostname 等標(biāo)識(shí)，為編排系統(tǒng)在計(jì)算池上調(diào)度工作負(fù)載提供全方位的信息。同時(shí)定期輪詢 ECS 的 IP 地址及檢測(cè) ECS 資源狀態(tài)（是否被釋放）等，動(dòng)態(tài)更新節(jié)點(diǎn)信息，確保編排系統(tǒng)及時(shí)響應(yīng)計(jì)算節(jié)點(diǎn)事件。

**ServiceController?**實(shí)現(xiàn)了應(yīng)用負(fù)載均衡管理，通過監(jiān)視 Kubernetes Service 對(duì)象的變化，自動(dòng)的為應(yīng)用配置并管理云上負(fù)載均衡服務(wù)（SLB 配置，監(jiān)聽配置，虛擬服務(wù)器組配置），根據(jù)應(yīng)用副本變化動(dòng)態(tài)的調(diào)整負(fù)載均衡的后端服務(wù)器組，無(wú)需人工干預(yù)。在此基礎(chǔ)上，我們定義了一組豐富的 Annotation，用以自定義應(yīng)用負(fù)載均衡的配置，同時(shí)我們同社區(qū)積極合作，共同推進(jìn)配置的標(biāo)準(zhǔn)化，同時(shí)在 K8s 原因的服務(wù)發(fā)現(xiàn)模型上擴(kuò)展了彈性網(wǎng)卡直通模式，減少了服務(wù)發(fā)現(xiàn)的網(wǎng)絡(luò)層級(jí)，整體提升了 10% 的應(yīng)用網(wǎng)絡(luò)性能。

高性能網(wǎng)絡(luò)組件 Terway

Terway 實(shí)現(xiàn)了 Kubernetes CNI 規(guī)范，專為阿里云環(huán)境優(yōu)化，并支持豐富的企業(yè)特性，支持 VPC 路由模式，ENI 模式、ENI 多 IP 等多種模式等，性能優(yōu)秀，ENI 模式相比原生 VPC 提升 10% 左右。

Terway 和阿里云底層 IAAS 網(wǎng)絡(luò)深度整合，讓 Pod 作為云網(wǎng)絡(luò)一等公民無(wú)縫使用 CEN、SLB 等網(wǎng)絡(luò)產(chǎn)品，使用彈性網(wǎng)卡讓網(wǎng)絡(luò)性能 0 損失，使容器化的過程沒有體驗(yàn)和性能的降級(jí)。同時(shí)支持 Kubernetes 網(wǎng)絡(luò)策略，Qos 流控等高級(jí)功能。

高性能容器存儲(chǔ) CSI

阿里云 CSI 插件實(shí)現(xiàn)了在 Kubernetes 中對(duì)容器存儲(chǔ)卷的生命周期管理，支持動(dòng)態(tài)創(chuàng)建、掛載、使用云數(shù)據(jù)卷。 當(dāng)前的 CSI 實(shí)現(xiàn)基于 K8S 1.14 以上的版本；支持的阿里云存儲(chǔ)：云盤、NAS、CPFS、OSS、LVM 等。

高性能日志采集 LogPilot

Log-Pilot?是一個(gè)高效的智能容器日志采集工具，其不僅能夠便捷地采集容器的標(biāo)準(zhǔn)輸出日志，同時(shí)還能夠動(dòng)態(tài)地發(fā)現(xiàn)采集容器內(nèi)部的日志文件；其完全采用聲明式的配置方式，能夠自動(dòng)地感知集群中容器的狀態(tài)來(lái)動(dòng)態(tài)地配置容器日志采集，同時(shí)其還具備很多高級(jí)特性，諸如日志的自動(dòng)?CheckPoint?及句柄保持機(jī)制、支持自動(dòng)日志數(shù)據(jù)打標(biāo)以及自定義 Tag 等機(jī)制，可靈活地將日志數(shù)據(jù)采集到多種不同的日志存儲(chǔ)后端，比如 ElasticSearch、Kafka、Logstash、Redis，Graylog 等。

機(jī)器學(xué)習(xí)輕量級(jí)解決方案 Arena

Arena 是基于 Kubernetes 的機(jī)器學(xué)習(xí)輕量級(jí)解決方案，支持?jǐn)?shù)據(jù)準(zhǔn)備，模型開發(fā)，模型訓(xùn)練，模型預(yù)測(cè)的完整生命周期，提升數(shù)據(jù)科學(xué)家工作效率。方便數(shù)據(jù)科學(xué)家和算法工程師快速開始利用阿里云的資源（包括 ECS 云服務(wù)器、GPU 云服務(wù)器、分布式存儲(chǔ) NAS、CPFS、 對(duì)象存儲(chǔ) OSS、Elastic MapReduce、負(fù)載均衡等服務(wù)）執(zhí)行數(shù)據(jù)準(zhǔn)備、模型開發(fā)、模型訓(xùn)練、評(píng)估和預(yù)測(cè)等任務(wù)。并能夠方便地將深度學(xué)習(xí)能力轉(zhuǎn)化為服務(wù) API，加速與業(yè)務(wù)應(yīng)用的集成。在提升數(shù)據(jù)科學(xué)家效率的同時(shí)，通過 GPU 資源的可視化管理和設(shè)備的共享調(diào)度提升集群 GPU 資源的利用率。

歡迎大家參加 SIG Cloud Provider

本次線上研討會(huì)首次介紹了阿里云在 Kubernetes 的社區(qū)布局。受限于時(shí)間和篇幅，并不能介紹完所有開源組件的詳細(xì)信息，而希望可以授之以漁，讓對(duì) Kubernetes 感興趣的開發(fā)者找到對(duì)應(yīng)的開源項(xiàng)目。我們歡迎更多的開發(fā)者一起來(lái)參與共建，無(wú)論是提 PR 或 Issue，還是對(duì) Roadmap 提出建議。后續(xù)，SIG Cloug Provider Alibaba 也會(huì)針對(duì)具體的組件分享原理、最佳實(shí)踐。

Q & A

Q1：阿里云 K8s 的 Cloud Provider 能否針對(duì)每個(gè)功能點(diǎn)添加參數(shù)來(lái)開關(guān)嗎？

A1：可以通過配置annotation實(shí)現(xiàn)具體功能點(diǎn)，具體可以參考文檔。

Q2：如果我們要在阿里 CCM上的基礎(chǔ)上修改的話，是不是有 K8s 的版本問題，因?yàn)槲覀兿胗米约旱?Kubernetes 特定版本。

A2：可以，CCM 不依賴于 K8s 版本。

Q3：阿里云各個(gè)基于 Kubernetes 的容器服務(wù)是否直接使用的開源 CCM？ 如果是，內(nèi)部在上線前做了哪些調(diào)整？另外，provider_id 格式具體是什么？

A3：是的，完全基于開源版本的 CCM。provider_id 格式為?$regionid.${nodeid}。

Q4：CCM 必須要 K8s 的 nodename 和阿里云的實(shí)例 id 一樣嗎？之前運(yùn)維說必須一樣，但這樣沒有意義的 nodename 用起來(lái)很惡心。
A4：不需要。目前只需要配置?providerid 參數(shù)即可。

Q5：terway 底層如何加速？kernel level 還是 dpdk？

A5：terway 分為不同的網(wǎng)絡(luò)模式，不同模式的網(wǎng)絡(luò)配置不通。

• 獨(dú)占 ENI 的模式直接使用 IAAS 層的網(wǎng)卡作為 Pod 的網(wǎng)卡，host 上不涉及虛擬化，用戶 Pod 中可以使用 DPDK來(lái)加速應(yīng)用網(wǎng)絡(luò)。節(jié)點(diǎn)外依賴于阿里云自研的高性能 IAAS 網(wǎng)絡(luò)；
• 共享 ENI 模式中使用 Ipvlan 的輕量級(jí)虛擬化方案作為節(jié)點(diǎn)內(nèi)虛擬化的手段，性能相對(duì) Host 網(wǎng)絡(luò)性能損失極低。

Q6：POD 底層的內(nèi)核參數(shù)允許 namespace 化么？

A6：POD 底層的內(nèi)核參數(shù)是否允許 namespace 化依賴于內(nèi)核的支持情況，一般在較新的內(nèi)核上比如 Aliyun Linux2 中的 4.19 的內(nèi)核，大部分內(nèi)核參數(shù)都允許在 Pod 上指定和修改的。

Q7：在安全容器方面，阿里現(xiàn)在有什么產(chǎn)品？

A7：目前阿里云的容器服務(wù)已經(jīng)提供了安全沙箱作為用戶的可選容器引擎，并且部分阿里云 Serverless 形態(tài)的產(chǎn)品如 SAE、ECI 也是構(gòu)建在安全容器之上。

Q8：Arena 支持多租戶和虛擬 GPU 嗎？

A8：Arena 重用 Kubernetes 的現(xiàn)有用戶授權(quán)和多租戶工作機(jī)制，不同用戶可以分配不同的 kubeconfig，并利用其進(jìn)行認(rèn)證，同時(shí)通過 namespace?進(jìn)行資源隔離和共享。而站在 Arena 的角度，用戶只能看到本 namespace 的訓(xùn)練和推理任務(wù)，其他 namespace 下的任務(wù)并不可見。

這里的虛擬 GPU，指的是英偉達(dá)的虛擬 GPU 技術(shù)，目前針對(duì)于阿里云上已經(jīng)支持 P4 的虛擬 GPU，并且已經(jīng)和阿里云容器服務(wù) Kubernetes 完成了集成，在阿里云的容器服務(wù)上就能體驗(yàn)。而在 Arena 的角度來(lái)說虛擬 GPU 并不是特殊的 GPU 資源，是可以實(shí)現(xiàn)對(duì)于該資源的調(diào)度和編排的。

Q9：多容器共享 GPU 方案支持資源隔離嗎？能限制住顯存嗎？

A9：首先感謝您關(guān)注我們的 GPU 共享方案，阿里云容器服務(wù)貢獻(xiàn)了業(yè)界目前唯一的開源 GPU 共享方案。目前我們的方案還是在調(diào)度層面實(shí)現(xiàn)多容器的 GPU 共享，并且可以和 TensorFlow 等框架相結(jié)合實(shí)現(xiàn)應(yīng)用層面的 GPU 資源限制。可以通過我們的文檔了解目前的使用方式。

但是我們也在和阿里云的底層團(tuán)隊(duì)研發(fā)安全和高性能的 GPU 隔離方案，相信在不久的未來(lái)，大家能夠體驗(yàn)到從 GPU 共享調(diào)度到隔離的完整方案。

Q10：ExternalDNS 目前支持 alicloud 的 DNS 服務(wù)嗎，支持程度如何？

A10：目前是支持 alicloud 的 DNS 服務(wù) privatezone 的，支持同步 K8s 集群的服務(wù) / Pod 等解析到 DNS 服務(wù)中，降低集群內(nèi)部署的 coredns 造成的損耗。

Q11：阿里版本的 nginx ingress 與社區(qū)官方版的主要區(qū)別是什么呢？

A11：阿里云在社區(qū)的基礎(chǔ)上實(shí)現(xiàn)了更加高級(jí)的功能，諸如?NGINX Server?配置的動(dòng)態(tài)更新，支持基于 Header、Cookie 和請(qǐng)求參數(shù)以及權(quán)重的混合灰度發(fā)布策略等。

Q12：阿里云 Kubernetes 以及這些開發(fā)的套件的發(fā)布周期是什么樣的?

A12：對(duì)于 K8s 大版本的支持力度是半年更新一個(gè)穩(wěn)定版本。同時(shí)會(huì)不定期做 Bugfix 和安全修復(fù)。

Q13：問問邊緣版 ACK@Edge 商用穩(wěn)定版本已經(jīng)發(fā)布了么，有相關(guān)用戶在用么

A13：ACK@Edge 已經(jīng)可以用于生產(chǎn)環(huán)境，目前已經(jīng)有在線教育、視頻、IoT、CDN 等領(lǐng)域和行業(yè)的用戶在使用，商業(yè)版預(yù)計(jì) 2020.6 月前推出。

Q14：宿主 WORKER 節(jié)點(diǎn)是否遇到過 cGroup 內(nèi)存泄漏， 導(dǎo)致 POD cannot allocatie memory 的問題？ 如果有如何解決的？

A15：容器服務(wù)采用的 cgroup driver 是 systemd cgroup driver，目前沒有遇到這個(gè)問題。

Q15：POD 的CPU 內(nèi)存資源是否和宿主是隔離的？如何隔離的？

A15：可以通過 kubelet 為宿主機(jī)預(yù)留資源的方式，這樣 Pod 的資源就會(huì)被限制在剩余的資源空間內(nèi)來(lái)實(shí)現(xiàn)隔離。

Q16：aws 有 eckctl，aliyun 有對(duì)應(yīng)的工具嗎？叫 ackctl ?

A16：可以參見文檔。

Q17：請(qǐng)問阿里云對(duì) Windows 容器的支持程度如何？

A17：目前支持 Window 1809，即將支持 1903。并支持 Linux 集群添加 Windows 節(jié)點(diǎn)。

Q18：可以單獨(dú)使用某一個(gè)開放組件集成到現(xiàn)有的 K8s 集群?jiǎn)?#xff1f;

A18： 可以。現(xiàn)有的 K8s 集群完全是滿足 K8s Conformance 測(cè)試的。

“阿里巴巴云原生關(guān)注微服務(wù)、Serverless、容器、Service Mesh 等技術(shù)領(lǐng)域、聚焦云原生流行技術(shù)趨勢(shì)、云原生大規(guī)模的落地實(shí)踐，做最懂云原生開發(fā)者的技術(shù)圈。”

總結(jié)

以上是生活随笔為你收集整理的回顾 | Kubernetes SIG-Cloud-Provider-Alibaba 首次网研会（含 PPT 下载）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。