日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪(fǎng)問(wèn) 生活随笔!

生活随笔

當(dāng)前位置: 首頁(yè) > 编程资源 > 编程问答 >内容正文

编程问答

KubeEdge vs K3S:Kubernetes在边缘计算场景的探索

發(fā)布時(shí)間:2025/3/21 编程问答 66 豆豆
生活随笔 收集整理的這篇文章主要介紹了 KubeEdge vs K3S:Kubernetes在边缘计算场景的探索 小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

作者 | Edge Captain

近期兩個(gè)?Kubernetes?相關(guān)的軟件?KubeEdge?和?K3S?分別開(kāi)源,Kubernetes?開(kāi)始在邊緣計(jì)算場(chǎng)景探索應(yīng)用。

KubeEdge?是華為捐獻(xiàn)給?CNCF?的第一個(gè)開(kāi)源項(xiàng)目,也是全球首個(gè)基于?Kubernetes?擴(kuò)展的,提供云邊協(xié)同能力的開(kāi)放式邊緣計(jì)算平臺(tái)。KubeEdge?的名字來(lái)源于?Kube?+?Edge,顧名思義就是依托?Kubernetes?的容器編排和調(diào)度能力,實(shí)現(xiàn)云邊協(xié)同、計(jì)算下沉、海量設(shè)備接入等。

K3S?是?Rancher?開(kāi)源的一個(gè)自己裁剪的?Kubernetes?發(fā)行版,K3S?名字來(lái)源于?K8s?–?5,這里的“5”指的是?K3S?比?Kubernetes?更輕量使得它能更好地適配?CI,ARM,邊緣技術(shù),物聯(lián)網(wǎng)和測(cè)試這?5?個(gè)場(chǎng)景。

同樣是基于?Kubernetes,同樣是致力于解決邊緣場(chǎng)景問(wèn)題的開(kāi)源軟件,這兩個(gè)項(xiàng)目不免經(jīng)常被人拿來(lái)比較。本文將以邊緣計(jì)算的實(shí)際場(chǎng)景和挑戰(zhàn)為出發(fā)點(diǎn),為您剖析?Kubernetes?能夠在邊緣計(jì)算領(lǐng)域的發(fā)力點(diǎn),最后全方位對(duì)比?KubeEdge?和?K3S。

邊緣計(jì)算場(chǎng)景分類(lèi)與挑戰(zhàn)

這里要討論的“邊緣”特指計(jì)算資源在地理分布上更加靠近設(shè)備,而遠(yuǎn)離云數(shù)據(jù)中心的資源節(jié)點(diǎn)。典型的邊緣計(jì)算分為物聯(lián)網(wǎng)(例如:下一代工業(yè)自動(dòng)化,智慧城市,智能家居,大型商超等)和非物聯(lián)網(wǎng)(例如:游戲,CDN?等)場(chǎng)景。

在現(xiàn)實(shí)世界中,邊緣計(jì)算無(wú)法單獨(dú)存在,它必定要和遠(yuǎn)程數(shù)據(jù)中心?/?云打通(具體原因見(jiàn)下文)。以?IoT(Internet?of?Things,物聯(lián)網(wǎng))為例,邊緣設(shè)備除了擁有傳感器收集周邊環(huán)境的數(shù)據(jù)外,還會(huì)從云端接收控制指令。邊緣設(shè)備與云連接一般有兩種模式:直連和通過(guò)中繼邊緣節(jié)點(diǎn)連接,如下圖所示:

邊緣設(shè)備能否直連云端?/?數(shù)據(jù)中心取決于是否有全球唯一可路由的?IP,例如:手機(jī)、平板電腦等。不過(guò),大部分的設(shè)備通過(guò)近場(chǎng)通信協(xié)議與邊緣節(jié)點(diǎn)通信,進(jìn)而和云端?/?數(shù)據(jù)中心連接的。邊緣節(jié)點(diǎn)是設(shè)備的匯聚點(diǎn),有分配?IP?地址,扮演了邊緣網(wǎng)關(guān)的作用。邊緣節(jié)點(diǎn)為普通的設(shè)備提供?IP?地址,也可以運(yùn)行容器。

我們注意到,邊緣節(jié)點(diǎn)也是有不同層級(jí)的,而劃分的標(biāo)準(zhǔn)之一就是資源(計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)帶寬等)的大小。如上所示,我們將?edge?分為“Device?Edge”和“Infrastructure?Edge”。Device?Edge(設(shè)備邊緣)是指那些并不被認(rèn)為是?IT?基礎(chǔ)設(shè)施組成部分的邊緣節(jié)點(diǎn),例如:火車(chē)、油田、工廠(chǎng)和家庭等。通常它們沒(méi)什么計(jì)算能力,被用于解決最后“一公里”接入的問(wèn)題,一個(gè)典型的例子就是智能路由器,它一端通過(guò)紅外信號(hào)控制家中電器,另一端通過(guò)網(wǎng)絡(luò)和云數(shù)據(jù)中心相連。由于設(shè)備邊緣網(wǎng)絡(luò)穩(wěn)定性較差,因此必須要考慮它們會(huì)較長(zhǎng)時(shí)間離線(xiàn)的情況(例如火車(chē)過(guò)隧道)。

注:日常生活中很多設(shè)備我們可以看成是?device+device?edge?的結(jié)合體,例如智能手機(jī)。

Infrastructure?Edge(基礎(chǔ)設(shè)施邊緣)相對(duì)于?Device?Edge?計(jì)算和存儲(chǔ)能力都更強(qiáng),而且通常通過(guò)骨干網(wǎng)與數(shù)據(jù)中心連接,因此具有更大的網(wǎng)絡(luò)帶寬和更加可靠的網(wǎng)絡(luò)連接,例如:CDN,游戲服務(wù)器等?;A(chǔ)設(shè)施邊緣除了能運(yùn)行容器外,有些甚至還有足夠資源運(yùn)行完整的?Kubernetes。

對(duì)邊緣節(jié)點(diǎn)進(jìn)行分類(lèi)的意義在于,針對(duì)不同層級(jí)的邊緣需要有針對(duì)性的部署模型,并且平臺(tái)要為邊緣節(jié)點(diǎn)提供通信能力。

最后,我們總結(jié)一下當(dāng)前邊緣計(jì)算領(lǐng)域面臨的幾個(gè)挑戰(zhàn):

  • 云邊協(xié)同:AI/?安全等業(yè)務(wù)在云和邊的智能協(xié)同、彈性遷移;

  • 網(wǎng)絡(luò):邊緣網(wǎng)絡(luò)的可靠性和帶寬限制;

  • 管理:邊緣節(jié)點(diǎn)的資源管理與邊緣應(yīng)用生命周期管理;

  • 擴(kuò)展:高度分布和大規(guī)模的可擴(kuò)展性;

  • 異構(gòu):邊緣異構(gòu)硬件和通信協(xié)議。

其中,云邊協(xié)是當(dāng)前面臨最大的技術(shù)挑戰(zhàn)!

為什么我們需要云邊協(xié)同

邊緣計(jì)算和云計(jì)算不是兩種互斥的技術(shù),它們是相輔相成的關(guān)系。而且從場(chǎng)景需求上看,IoT/Edge?與云數(shù)據(jù)中心有一些相似之處,例如:

  • 邊緣也有管理節(jié)點(diǎn)的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等資源的需求;

  • 邊緣應(yīng)用也想容器化和微服務(wù)化;

  • 邊緣計(jì)算希望能有標(biāo)準(zhǔn)的?API?和工具鏈;

  • 安全,數(shù)據(jù)?/?信道加密和認(rèn)證授權(quán)。

因此,將云數(shù)據(jù)中心的現(xiàn)有架構(gòu)和能力順勢(shì)延伸到邊緣就變得水到渠成了。下面列舉了一些需要云邊協(xié)同的場(chǎng)景:

  • AI?云上訓(xùn)練,邊緣執(zhí)行。即充分發(fā)揮云計(jì)算海量資源的優(yōu)勢(shì),將?AI?模型的訓(xùn)練放在云端,而?AI?的執(zhí)行則貼近設(shè)備側(cè);

  • 微服務(wù),DevOps。微服務(wù)和?DevOps?不僅僅是云上開(kāi)發(fā)的專(zhuān)利,將它們引入邊緣將會(huì)顯著加速嵌入式設(shè)備、機(jī)器人等?IoT?軟件的迭代周期,提升部署和運(yùn)維效率;

  • 數(shù)據(jù)備份轉(zhuǎn)儲(chǔ)。例如,海量的工業(yè)數(shù)據(jù)(加密后)存儲(chǔ)在云端;

  • 遠(yuǎn)距離控制。云端遠(yuǎn)程下發(fā)對(duì)邊緣設(shè)備的控制信號(hào);

  • 自動(dòng)擴(kuò)展。由于邊緣節(jié)點(diǎn)不如云具備良好的自動(dòng)擴(kuò)展能力,因此可以選擇在峰值時(shí)將邊緣的負(fù)載彈性擴(kuò)容到云上。

我們已經(jīng)積累了足夠的管理云上資源的經(jīng)驗(yàn),現(xiàn)在下一步的挑戰(zhàn)就是如何構(gòu)建一個(gè)邊緣云平臺(tái),把對(duì)云上資源的管理方法延伸到邊緣,讓我們能夠無(wú)縫地管理邊緣的資源和設(shè)備。邊緣云平臺(tái)將重點(diǎn)解決以下問(wèn)題:

  • 大規(guī)模?/?異構(gòu)的設(shè)備,網(wǎng)關(guān)和邊緣節(jié)點(diǎn)的接入;

  • 大量遙測(cè)數(shù)據(jù)匯聚、處理后提供給云端應(yīng)用使用;

  • 設(shè)備安全和識(shí)別服務(wù);

  • 支持遠(yuǎn)程下達(dá)對(duì)設(shè)備的指令;

  • 自動(dòng)創(chuàng)建和管理邊緣節(jié)點(diǎn)和設(shè)備;

  • 實(shí)現(xiàn)云端對(duì)邊緣應(yīng)用的編排、部署和配置;

  • 為邊緣應(yīng)用的開(kāi)發(fā)提供數(shù)據(jù)存儲(chǔ)、事件管理、API?管理和數(shù)據(jù)分析等能力。

Kubernetes 的優(yōu)勢(shì)與挑戰(zhàn)

Kubernetes?已經(jīng)成為云原生的標(biāo)準(zhǔn),并且能夠在任何基礎(chǔ)設(shè)施上提供一致的云上體驗(yàn)。我們經(jīng)常能夠看到“容器?+?Kubernetes”的組合在?DevOps?發(fā)揮?10X?效率,最近也有越來(lái)越多?Kubernetes?運(yùn)行在數(shù)據(jù)中心外(邊緣)的需求。

如果要在邊緣部署較復(fù)雜的應(yīng)用,那么?Kubernetes?是個(gè)理想的選擇:

  • 容器的輕量化和可移植性非常適合邊緣計(jì)算的場(chǎng)景;

  • Kubernetes?已經(jīng)被證明具備良好的可擴(kuò)展性;

  • 能夠跨底層基礎(chǔ)設(shè)施提供一致的體驗(yàn);

  • 同時(shí)支持集群和單機(jī)運(yùn)維模式;

  • Workload?抽象,例如:Deployment?和?Job?等;

  • 應(yīng)用的滾動(dòng)升級(jí)和回滾;

  • 圍繞?Kubernetes?已經(jīng)形成了一個(gè)強(qiáng)大的云原生技術(shù)生態(tài)圈,諸如:監(jiān)控、日志、CI、存儲(chǔ)、網(wǎng)絡(luò)都能找到現(xiàn)成的工具鏈;

  • 支持異構(gòu)的硬件配置(存儲(chǔ)、CPU、GPU?等);

  • 用戶(hù)可以使用熟悉的?kubectl?或者?helm?chart?把?IoT?應(yīng)用從云端推到邊緣;

  • 邊緣節(jié)點(diǎn)可以直接映射成?Kubernetes?的?Node?資源,而?Kubernetes?的擴(kuò)展API(CRD)可以實(shí)現(xiàn)對(duì)邊緣設(shè)備的抽象。

然而?Kubernetes?畢竟是為云數(shù)據(jù)中心設(shè)計(jì)的,要想在邊緣使用?Kubernetes?的能力,Kubernetes?或其擴(kuò)展需要解決以下問(wèn)題:

  • ARM?的低功耗和多核的特點(diǎn)又使得其在?IoT/Edge?領(lǐng)域的應(yīng)用非常廣泛,然而大部分的?Kubernetes?發(fā)行版并不支持?ARM?架構(gòu);

  • 很多設(shè)備邊緣的資源規(guī)格有限,特別是?CPU?處理能力較弱,因此無(wú)法部署完整的?Kubernetes;

  • Kubernetes?非常依賴(lài)?list/watch?機(jī)制,不支持離線(xiàn)運(yùn)行,而邊緣節(jié)點(diǎn)的離線(xiàn)又是常態(tài),例如:設(shè)備休眠重啟;

  • Kubernetes?的運(yùn)維相對(duì)于邊緣場(chǎng)景用到的功能子集還是太復(fù)雜了;

  • 特殊的網(wǎng)絡(luò)協(xié)議和拓?fù)湟蟆TO(shè)備接入?yún)f(xié)議往往非?TCP/IP?協(xié)議,例如,工業(yè)物聯(lián)網(wǎng)的?Modbus?和?OPC?UA,消費(fèi)物聯(lián)網(wǎng)的?Bluetooth?和?ZigBee?等;

  • 設(shè)備多租。

關(guān)于如何在邊緣使用?Kubernetes,Kubernetes?IoT/Edge?WG?組織的一個(gè)調(diào)查顯示,30%?的用戶(hù)希望在邊緣部署完整的?Kubernetes?集群,而?70%?的用戶(hù)希望在云端部署?Kubernetes?的管理面并且在邊緣節(jié)點(diǎn)上只部署?Kubernetes?的?agent。

把?Kubernetes?從云端延伸到邊緣,有兩個(gè)開(kāi)源項(xiàng)目做得不錯(cuò),分別是?KubeEdge?和?K3S,下面我們將詳解這兩個(gè)項(xiàng)目,并做全方位的對(duì)比。

KubeEdge 架構(gòu)分析

KubeEdge?是首個(gè)基于?Kubernetes?擴(kuò)展的,提供云邊協(xié)同能力的開(kāi)放式智能邊緣平臺(tái),也是?CNCF?在智能邊緣領(lǐng)域的首個(gè)正式項(xiàng)目。KubeEdge?重點(diǎn)要解決的問(wèn)題是:

  • 云邊協(xié)同

  • 資源異構(gòu)

  • 大規(guī)模

  • 輕量化

  • 一致的設(shè)備管理和接入體驗(yàn)

KubeEdge?的架構(gòu)如下所示:KubeEdge?架構(gòu)上清晰地分為三層,分別是:云端、邊緣和設(shè)備層,這是一個(gè)從云到邊緣再到設(shè)備的完整開(kāi)源邊緣云平臺(tái),消除了用戶(hù)廠(chǎng)商綁定的顧慮。

KubeEdge?的邊緣進(jìn)程包含以下?5?個(gè)組件:

  • edged?是個(gè)重新開(kāi)發(fā)的輕量化?Kubelet,實(shí)現(xiàn)?Pod,Volume,Node?等?Kubernetes?資源對(duì)象的生命周期管理;

  • metamanager?負(fù)責(zé)本地元數(shù)據(jù)的持久化,是邊緣節(jié)點(diǎn)自治能力的關(guān)鍵;

  • edgehub?是多路復(fù)用的消息通道,提供可靠和高效的云邊信息同步;

  • devicetwin?用于抽象物理設(shè)備并在云端生成一個(gè)設(shè)備狀態(tài)的映射;

  • eventbus?訂閱來(lái)自于?MQTT?Broker?的設(shè)備數(shù)據(jù)。

KubeEdge?的云端進(jìn)程包含以下?2?個(gè)組件:

  • cloudhub?部署在云端,接收?edgehub?同步到云端的信息;

  • edgecontroller?部署在云端,用于控制?Kubernetes?API?Server?與邊緣的節(jié)點(diǎn)、應(yīng)用和配置的狀態(tài)同步。

Kubernetes?maser?運(yùn)行在云端,用戶(hù)可以直接通過(guò)?kubectl?命令行在云端管理邊緣節(jié)點(diǎn)、設(shè)備和應(yīng)用,使用習(xí)慣與?Kubernetes?原生的完全一致,無(wú)需重新適應(yīng)。

K3S 架構(gòu)分析

K3S?是?CNCF?官方認(rèn)證的?Kubernetes?發(fā)行版,開(kāi)源時(shí)間較?KubeEdge?稍晚。K3S?專(zhuān)為在資源有限的環(huán)境中運(yùn)行?Kubernetes?的研發(fā)和運(yùn)維人員設(shè)計(jì),目的是為了在?x86、ARM64?和?ARMv7D?架構(gòu)的邊緣節(jié)點(diǎn)上運(yùn)行小型的?Kubernetes?集群。K3S?的整體架構(gòu)如下所示:

事實(shí)上,K3S?就是基于一個(gè)特定版本?Kubernetes(例如:1.13)直接做了代碼修改。K3S?分?Server?和?Agent,Server?就是?Kubernetes?管理面組件?+?SQLite?和?Tunnel?Proxy,Agent?即?Kubernetes?的數(shù)據(jù)面?+?Tunnel?Proxy。

為了減少運(yùn)行?Kubernetes?所需的資源,K3S?對(duì)原生?Kubernetes?代碼做了以下幾個(gè)方面的修改:

  • 刪除舊的、非必須的代碼。K3S?不包括任何非默認(rèn)的、Alpha?或者過(guò)時(shí)的?Kubernetes?功能。除此之外,K3S?還刪除了所有非默認(rèn)的?Admission?Controller,in-tree?的?cloud?provider?和存儲(chǔ)插件;

  • 整合打包進(jìn)程。為了節(jié)省內(nèi)存,K3S?將原本以多進(jìn)程方式運(yùn)行的?Kubernetes?管理面和數(shù)據(jù)面的多個(gè)進(jìn)程分別合并成一個(gè)來(lái)運(yùn)行;

  • 使用?containderd?替換?Docker,顯著減少運(yùn)行時(shí)占用空間;

  • 引入?SQLite?代替?etcd?作為管理面數(shù)據(jù)存儲(chǔ),并用?SQLite?實(shí)現(xiàn)了?list/watch?接口,即?Tunnel?Proxy;

  • 加了一個(gè)簡(jiǎn)單的安裝程序。

K3S?的所有組件(包括?Server?和?Agent)都運(yùn)行在邊緣,因此不涉及云邊協(xié)同。如果?K3S?要落到生產(chǎn),在?K3S?之上應(yīng)該還有一個(gè)集群管理方案負(fù)責(zé)跨集群的應(yīng)用管理、監(jiān)控、告警、日志、安全和策略等,遺憾的是?Rancher?尚未開(kāi)源這部分能力。

KubeEdge 與 K3S 全方位對(duì)比

部署模型

KubeEdge?遵循的是以下部署模型:

KubeEdge?是一種完全去中心化的部署模式,管理面部署在云端,邊緣節(jié)點(diǎn)無(wú)需太多資源就能運(yùn)行?Kubernetes?的?agent,云邊通過(guò)消息協(xié)同。從?Kubernetes?的角度看,邊緣節(jié)點(diǎn)?+?云端才是一個(gè)完整的?Kubernetes?集群。這種部署模型能夠同時(shí)滿(mǎn)足“設(shè)備邊緣”和“基礎(chǔ)設(shè)施邊緣”場(chǎng)景的部署要求。

K3S?的部署模型如下所示:

K3S?會(huì)在邊緣運(yùn)行完整的?Kubernetes?集群,這意味著?K3S?并不是一個(gè)去中心化的部署模型,每個(gè)邊緣都需要額外部署?Kubernetes?管理面。這種部署模型帶來(lái)的問(wèn)題有:

  • 在邊緣安裝?Kubernetes?管理面將消耗較多資源,因此該部署模型只適合資源充足的“基礎(chǔ)設(shè)施邊緣”場(chǎng)景,并不適用于資源較少的“設(shè)備邊緣”的場(chǎng)景;

  • 集群之間網(wǎng)絡(luò)需要打通;

  • 為了管理邊緣?Kubernetes?集群還需要在上面疊加一層多集群管理組件(遺憾的是該組件未開(kāi)源)。

云邊協(xié)同

云邊協(xié)同是?KubeEdge?的一大亮點(diǎn)。KubeEdge?通過(guò)?Kubernetes?標(biāo)準(zhǔn)?API?在云端管理邊緣節(jié)點(diǎn)、設(shè)備和工作負(fù)載的增刪改查。邊緣節(jié)點(diǎn)的系統(tǒng)升級(jí)和應(yīng)用程序更新都可以直接從云端下發(fā),提升邊緣的運(yùn)維效率。另外,KubeEdge?底層優(yōu)化的多路復(fù)用消息通道相對(duì)于?Kubernetes?基于?HTTP?長(zhǎng)連接的?list/watch?機(jī)制擴(kuò)展性更好,允許海量邊緣節(jié)點(diǎn)和設(shè)備的接入。KubeEdge?云端組件完全開(kāi)源,用戶(hù)可以在任何公有云?/?私有云上部署?KubeEdge?而不用擔(dān)心廠(chǎng)商鎖定,并且自由集成公有云的其他服務(wù)。K3S?并不提供云邊協(xié)同的能力。

邊緣節(jié)點(diǎn)離線(xiàn)自治

與?Kubernetes?集群的節(jié)點(diǎn)不同,邊緣節(jié)點(diǎn)需要在完全斷開(kāi)連接的模式下自主工作,并不會(huì)定期進(jìn)行狀態(tài)同步,只有在重連時(shí)才會(huì)與控制面通信。此模式與?Kubernetes?管理面和工作節(jié)點(diǎn)通過(guò)心跳和?list/watch?保持狀態(tài)更新的原始設(shè)計(jì)非常不同。

KubeEdge?通過(guò)消息總線(xiàn)和元數(shù)據(jù)本地存儲(chǔ)實(shí)現(xiàn)了節(jié)點(diǎn)的離線(xiàn)自治。用戶(hù)期望的控制面配置和設(shè)備實(shí)時(shí)狀態(tài)更新都通過(guò)消息同步到本地存儲(chǔ),這樣節(jié)點(diǎn)在離線(xiàn)情況下即使重啟也不會(huì)丟失管理元數(shù)據(jù),并保持對(duì)本節(jié)點(diǎn)設(shè)備和應(yīng)用的管理能力。

K3S?也不涉及這方面能力。

設(shè)備管理

KubeEdge?提供了可插拔式的設(shè)備統(tǒng)一管理框架,允許用戶(hù)在此框架上根據(jù)不同的協(xié)議或?qū)嶋H需求開(kāi)發(fā)設(shè)備接入驅(qū)動(dòng)。當(dāng)前已經(jīng)支持和計(jì)劃支持的協(xié)議有:MQTT,BlueTooth,OPC?UA,Modbus?等,隨著越來(lái)越多社區(qū)合作伙伴的加入,KubeEdge?未來(lái)會(huì)支持更多的設(shè)備通信協(xié)議。KubeEdge?通過(guò)?device?twins/digital?twins?實(shí)現(xiàn)設(shè)備狀態(tài)的更新和同步,并在云端提供?Kubernetes?的擴(kuò)展?API?抽象設(shè)備對(duì)象,用戶(hù)可以在云端使用?kubectl?操作?Kubernetes?資源對(duì)象的方式管理邊緣設(shè)備。

K3S?并不涉及這方面能力。

輕量化

為了將?Kubernetes?部署在邊緣,KubeEdge?和?K3S?都進(jìn)行了輕量化的改造。區(qū)別在于?K3S?的方向是基于社區(qū)版?Kubernetes?不斷做減法(包括管理面和控制面),而?KubeEdge?則是保留了?Kubernetes?管理面,重新開(kāi)發(fā)了節(jié)點(diǎn)?agent。

需要注意的是,K3S?在裁剪?Kubernetes?的過(guò)程中導(dǎo)致部分管理面能力的缺失,例如:一些?Admission?Controller。而?KubeEdge?則完整地保留了?Kubernetes?管理面,沒(méi)有修改過(guò)一行代碼。

下面我們將從二進(jìn)制大小、內(nèi)存和?CPU?三個(gè)維度對(duì)比?KubeEdge?和?K3S?的資源消耗情況。由于?KubeEdge?的管理面部署在云端,用戶(hù)不太關(guān)心云端資源的消耗,而?K3S?的?server?和?agent?均運(yùn)行在邊緣,因此下面將對(duì)比?KubeEdge?agent,K3S?agent?和?K3S?server?這三個(gè)不同的進(jìn)程的?CPU?和內(nèi)存的資源消耗。

測(cè)試機(jī)規(guī)格為?4?vCPU,8GB?RAM。

?內(nèi)存消耗對(duì)比

分別用?KubeEdge?和?K3S?部署?0~100?個(gè)應(yīng)用,分別觀(guān)測(cè)兩者的內(nèi)存消耗,對(duì)比如下所示:從上圖可以看出,內(nèi)存消耗:KubeEdge?agent?<?K3S?agent?<?K3S?Server。有意思的是,K3S?agent?即使不運(yùn)行應(yīng)用也消耗?100+MB?的內(nèi)存,而?K3S?server?在空跑的情況下內(nèi)存消耗也在?300MB?左右。

?CPU 使用對(duì)比

分別用?KubeEdge?和?K3S?部署?0~100?個(gè)應(yīng)用,分別觀(guān)測(cè)兩者的?CPU?使用情況,對(duì)比如下所示:

從上圖可以看出,KubeEdge?agent?CPU?消耗要比?K3S?agent?和?server?都要少。

?二進(jìn)制大小

KubeEdge?agent?二進(jìn)制大小為?62MB,K3S?二進(jìn)制大小為?36MB。

大規(guī)模

Kubernetes?原生的可擴(kuò)展性受制于?list/watch?的長(zhǎng)連接消耗,生產(chǎn)環(huán)境能夠穩(wěn)定支持的節(jié)點(diǎn)規(guī)模是?1000?左右。KubeEdge?作為華為云智能邊緣服務(wù)?IEF?的內(nèi)核,通過(guò)多路復(fù)用的消息通道優(yōu)化了云邊的通信的性能,壓測(cè)發(fā)現(xiàn)可以輕松支持?5000+?節(jié)點(diǎn)。而?K3S?的集群管理技術(shù)尚未開(kāi)源,因?yàn)闊o(wú)法得知?K3S?管理大規(guī)模集群的能力。

? ?小結(jié)??

K3S?最讓人印象深刻的創(chuàng)新在于其對(duì)?Kubernetes?小型化做的嘗試,通過(guò)剪裁了?Kubernetes?一些不常用功能并且合并多個(gè)組件到一個(gè)進(jìn)程運(yùn)行的方式,使得一些資源較充足的邊緣節(jié)點(diǎn)上能夠運(yùn)行?Kubernetes,讓邊緣場(chǎng)景下的用戶(hù)也能獲得一致的?Kubernetes?體驗(yàn)。然而通過(guò)上面的性能對(duì)比數(shù)據(jù)發(fā)現(xiàn),K3S?的資源消耗還是比?KubeEdge?要高出好幾倍,而且動(dòng)輒幾百?MB?的內(nèi)存也不是大多數(shù)設(shè)備邊緣節(jié)點(diǎn)所能提供的。最重要的是,Kubernetes?最初是為云數(shù)據(jù)中心而設(shè)計(jì)的,很多邊緣計(jì)算場(chǎng)景特殊的問(wèn)題原生?Kubernetes?無(wú)法很好地解決,?K3S?直接修改?Kubernetes?的代碼甚至基礎(chǔ)實(shí)現(xiàn)機(jī)制(例如,使用?SQLite?替換?etcd)的做法仍值得商榷。關(guān)于什么能改,什么不能改以及怎么改?每個(gè)用戶(hù)根據(jù)自己的實(shí)際需求有各自的觀(guān)點(diǎn),而且也很難達(dá)成一致。另外,?K3S?這種侵入式的修改能否持續(xù)跟進(jìn)?Kubernetes?上游的發(fā)展也是一個(gè)未知數(shù)。

KubeEdge?和?K3S?走的是另一條道路,KubeEdge?是一個(gè)從云到邊緣再到設(shè)備的完整邊緣云平臺(tái),它與?Kubernetes?的耦合僅僅是?100%?兼容?Kubernetes?原生?API。KubeEdge?提供了?K3S?所不具備的云邊協(xié)同能力,開(kāi)發(fā)了更輕量的邊緣容器管理?agent,解決了原生?Kubernetes?在邊緣場(chǎng)景下的離線(xiàn)自治問(wèn)題,并且支持海量異構(gòu)邊緣設(shè)備的接入等。KubeEdge?最近捐獻(xiàn)給?CNCF,成為?CNCF?邊緣計(jì)算領(lǐng)域的第一個(gè)正式項(xiàng)目,就是為了和社區(qū)合作伙伴一起制定云和邊緣計(jì)算協(xié)同的標(biāo)準(zhǔn),結(jié)束邊緣計(jì)算沒(méi)有統(tǒng)一標(biāo)準(zhǔn)和參考架構(gòu)的混沌狀態(tài),共同推動(dòng)邊緣計(jì)算的產(chǎn)業(yè)發(fā)展。

最后,邊緣計(jì)算還有廣闊的發(fā)展前景,KubeEdge?和?K3S?都是非常年輕的優(yōu)秀開(kāi)源項(xiàng)目,我相信未來(lái)他們會(huì)在相互學(xué)習(xí)的過(guò)程中共同進(jìn)步,更好地解決邊緣計(jì)算用戶(hù)的需求。

總結(jié)

以上是生活随笔為你收集整理的KubeEdge vs K3S:Kubernetes在边缘计算场景的探索的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。

日韩免费看视频 | 亚洲国产网址 | 色中文字幕在线观看 | av福利第一导航 | 国产高清免费av | 国产福利在线免费观看 | 成人国产电影在线观看 | 精品一二三区 | 精品国产一区二区三区不卡 | 久久久久久久久久电影 | 人人草在线视频 | 成人黄色小说视频 | 国产精品美女久久久久久 | 夜夜躁日日躁狠狠久久88av | 人成午夜视频 | 99久久99久久综合 | 成人精品久久 | 国产群p | 91精品国产福利在线观看 | 亚洲天堂精品视频在线观看 | 欧美黄污视频 | 亚洲精品视频在线观看网站 | 97超碰资源总站 | 精品久久1| 色吊丝在线永久观看最新版本 | 成人黄色片在线播放 | 8x成人在线 | 国产一区二区精品91 | 欧美在线观看视频一区二区 | 国产精品自产拍在线观看桃花 | 久久久久久久免费观看 | 久久精品久久精品久久 | 在线视频久久 | 欧美在线aa| 五月花丁香婷婷 | 麻豆果冻剧传媒在线播放 | 欧美韩日视频 | 在线观看国产v片 | 日韩av中文 | 国产成人无码AⅤ片在线观 日韩av不卡在线 | 中文字字幕在线 | 深夜福利视频在线观看 | 国产成人免费精品 | 五月开心六月伊人色婷婷 | 午夜精品99久久免费 | 欧美日韩免费观看一区=区三区 | 免费看黄在线看 | 日本在线观看中文字幕 | 中文字幕在线观看完整版电影 | 97在线免费观看 | 欧美成人69av | 国产女人免费看a级丨片 | 婷婷久久久 | 国产免费亚洲高清 | 亚洲激情 在线 | 成人电影毛片 | 91香蕉国产在线观看软件 | 午夜 免费 | 中文字幕乱在线伦视频中文字幕乱码在线 | 一区二区免费不卡在线 | 在线亚洲人成电影网站色www | 国产精品在线看 | 97国产超碰 | .精品久久久麻豆国产精品 亚洲va欧美 | 久久久久久久久久久久影院 | 天天狠狠 | 成人免费观看a | 怡红院成人在线 | 麻豆视屏| 黄色三几片 | 麻豆91视频 | 日韩色综合网 | 亚洲欧美激情精品一区二区 | 久久久久久久久久毛片 | 视频在线在亚洲 | 久久久久欧美精品999 | av先锋影音少妇 | 国产精品久久久久999 | 综合伊人av| 不卡视频在线 | 91中文字幕一区 | 亚洲精品视频在线免费播放 | 日本福利视频在线 | 久久久精品国产免费观看一区二区 | 青青河边草观看完整版高清 | 久草在线视频精品 | 97在线观看免费观看高清 | 久久理伦片| 夜夜操天天干 | 91在线www| 国产一区免费观看 | 日韩av有码在线 | 中文字幕av播放 | 免费国产一区二区视频 | 日韩网站在线看片你懂的 | 国产人成看黄久久久久久久久 | 欧美一区二区三区免费看 | 午夜色婷婷 | 亚洲高清不卡av | av字幕在线 | av免费在线观看网站 | 狠狠色丁香婷综合久久 | 中文十次啦 | 五月香婷 | 亚洲精品色 | 亚洲精品激情 | 波多野结衣综合网 | 色亚洲激情 | 99国产高清| 日韩欧美视频免费看 | 久久视频这里有久久精品视频11 | 日日操网| 在线性视频日韩欧美 | 成人av免费网站 | 久久久久久久久免费视频 | 五月开心六月婷婷 | 亚洲国产日韩一区 | 久久草草热国产精品直播 | 亚洲精品国产精品国产 | 久久这里只有精品视频首页 | 中文字幕二区三区 | 中文字幕在线资源 | 少妇bbbb搡bbbb搡bbbb | 91九色网站| 黄色av网站在线观看免费 | 国产在线观看你懂得 | 狠狠躁日日躁狂躁夜夜躁av | 人人爱夜夜操 | 日韩亚洲国产精品 | 国产精品一区二区精品视频免费看 | 亚洲资源网 | 精品久久久成人 | 十八岁以下禁止观看的1000个网站 | 麻豆视频国产精品 | 91视视频在线直接观看在线看网页在线看 | 欧美精品久久99 | 免费看色网站 | 久久国语| 又黄又刺激的网站 | 国产精品一二三 | 久久伊人婷婷 | 久草在线资源观看 | 日韩不卡高清视频 | 久久久久久网站 | 日b黄色片 | 欧美在线视频第一页 | 成人播放器 | 日韩免费久久 | av看片在线观看 | 伊人亚洲综合网 | 欧美日韩国产欧美 | 国产手机视频在线 | 日韩激情视频在线 | 日韩在线视频播放 | 亚洲欧美成人综合 | 五月天久久久久久 | 欧美激情精品久久久久久免费 | 国产日产精品久久久久快鸭 | 欧美午夜精品久久久久久孕妇 | 国产一级一片免费播放放 | 国产精品视频 | 日日综合网 | 福利av影院 | 激情五月婷婷网 | 久久精品久久久久久久 | 日韩精品视频在线免费观看 | 超碰在线人人97 | 国产欧美精品xxxx另类 | 日韩r级电影在线观看 | 午夜av网站 | 97超在线视频 | 婷香五月 | 99精品国产免费久久久久久下载 | 亚洲精品国产精品乱码在线观看 | 三级黄色在线 | 亚洲精品视频网 | 伊甸园永久入口www 99热 精品在线 | 黄色网址a | 婷婷色视频 | 国产裸体永久免费视频网站 | 超碰在线成人 | 国产免费叼嘿网站免费 | av免费在线看网站 | 久久久久久看片 | 五月婷婷丁香激情 | 亚洲综合射 | 在线影院 国内精品 | 国产精品大全 | 欧美成人h版在线观看 | 亚洲精品五月 | 在线观看一级视频 | 亚洲国产精品电影在线观看 | 久久一区二区免费视频 | 99在线视频免费观看 | 一级黄色片在线播放 | 久久图 | 97超级碰碰碰视频在线观看 | 亚洲一区精品二人人爽久久 | 免费在线播放视频 | 美女久久99 | 欧美在线视频一区二区三区 | 91桃色在线播放 | 在线免费观看黄网站 | 在线观看你懂的网站 | 欧美黄色软件 | 丁香婷婷久久久综合精品国产 | 9999精品免费视频 | 日韩有码网站 | 中文字幕在线影院 | 久久精国产| 天天摸日日操 | 久草精品视频 | 久久精品三级 | 日韩成人在线一区二区 | a视频在线观看免费 | 国产成人av免费在线观看 | 天天综合狠狠精品 | 五月婷婷丁香综合 | 99精品视频免费观看视频 | 欧洲一区精品 | 精品国产视频在线观看 | 亚洲精品乱码白浆高清久久久久久 | 久久久久中文 | 免费福利片2019潦草影视午夜 | 精精国产xxxx视频在线播放 | 国产在线观看,日本 | 97超在线视频| 激情综合色播五月 | 天天夜操| 国产最新91 | 久久综合欧美精品亚洲一区 | 亚洲精品网址在线观看 | 日韩毛片在线免费观看 | 午夜在线看片 | 免费久草视频 | 六月婷操 | 婷婷色在线 | 青青草国产精品视频 | 国产亚洲精品久久久久秋 | 国产美女精品人人做人人爽 | 人人爱天天操 | 欧美日韩国产一区二区三区在线观看 | 国产精品露脸在线 | 九九久久影视 | 日韩黄色影院 | 国产精品黄色影片导航在线观看 | 欧美少妇xxx| 伊人影院在线观看 | 国产黄色片网站 | 伊人色综合久久天天 | 91视视频在线直接观看在线看网页在线看 | 91高清免费 | 国产精品久久久一区二区三区网站 | 波多野结衣资源 | 中文字幕在线看视频国产中文版 | 99热精品国产一区二区在线观看 | 国产精品久久久久永久免费 | 欧美了一区在线观看 | 日韩在线视频线视频免费网站 | 美国av大片 | 91成人免费看 | 免费 在线 中文 日本 | 亚洲欧美在线综合 | 精品国产一区二区三区久久久蜜臀 | 毛片www| av网站大全免费 | 色无五月| 国产一区二区在线免费观看 | 91在线入口 | 在线观看免费色 | 日韩成人黄色av | 一区二区 不卡 | 91精品视频播放 | 婷婷激情在线观看 | 亚洲一区不卡视频 | 国产精品观看 | 国产成人av一区二区三区在线观看 | 亚洲国产黄色片 | 91九色视频国产 | 国产一二区视频 | 国产专区日韩专区 | 免费视频色 | 91麻豆看国产在线紧急地址 | 欧美精品九九99久久 | 国产精品久久久久久影院 | 韩国一区二区三区视频 | 97香蕉久久超级碰碰高清版 | 国产亚洲精品女人久久久久久 | 在线亚洲成人 | 在线观看免费一级片 | 欧美亚洲一区二区在线 | 国产精品美女免费看 | 亚洲国产精品小视频 | 国产综合久久 | 国产丝袜一区二区三区 | 免费午夜av| 最近中文字幕在线 | 亚洲年轻女教师毛茸茸 | 国产99久久精品一区二区永久免费 | 不卡av电影在线观看 | 狠狠色伊人亚洲综合成人 | 在线观看黄色 | 久久无码精品一区二区三区 | 一区二区在线电影 | 911国产精品 | 色偷偷男人的天堂av | 五月av在线 | 狠狠操狠狠操 | 天天躁天天躁天天躁婷 | 亚洲午夜精品一区二区三区电影院 | 欧美最猛性xxxxx免费 | 欧美少妇bbwhd | 国产精品字幕 | 国产视频手机在线 | 深夜免费小视频 | 九九免费精品视频在线观看 | 国产精品成人a免费观看 | 国产精品久久久久久久久久新婚 | 五月天丁香综合 | 岛国精品一区二区 | 视频在线99 | 在线国产能看的 | 一区二区三区四区久久 | 免费在线观看成人 | 天天拍夜夜拍 | 国产一级免费在线观看 | 国产成人精品一区二区三区在线 | 91成人蝌蚪 | 久久在线观看视频 | wwwww.国产 | 福利视频第一页 | 狠狠狠色丁香婷婷综合激情 | 欧美日韩国产精品一区 | 色婷婷国产精品一区在线观看 | 国产香蕉97碰碰久久人人 | 成人h在线 | 国产一级片免费视频 | 99色在线观看视频 | 久久不见久久见免费影院 | 国产成人精品久久久久 | 麻豆一二 | 成人国产一区二区 | 国产精品白虎 | 一区二区 不卡 | 天天干天天干天天 | 亚洲天堂网站视频 | 欧美一级爽 | 国色综合 | 久久9视频 | 免费观看91视频 | 国产黄在线观看 | 97碰在线| 成人黄色中文字幕 | 中文字幕之中文字幕 | 亚洲精品国偷自产在线91正片 | 中文字幕视频 | 日韩精品久久一区二区 | 99在线视频精品 | 一级黄色片在线播放 | a黄色 | 97电影在线观看 | 亚洲欧美日韩中文在线 | 亚洲综合色网站 | 欧美国产亚洲精品久久久8v | 久久艹国产 | 91av视频免费在线观看 | 久久久99国产精品免费 | 久久艹99| 亚洲天堂自拍视频 | 免费污片| 黄色成人小视频 | 视频二区在线 | a级国产乱理论片在线观看 伊人宗合网 | 国产成人三级在线 | 天天爱天天射天天干天天 | 狠狠色狠狠色终合网 | 天天躁天天操 | 欧美一级淫片videoshd | 欧美99精品 | 91传媒免费在线观看 | 91大神电影| 久久精品99视频 | 97av视频在线观看 | 国产美女无遮挡永久免费 | 欧美久久久久久 | 中文字幕免费一区 | 精品国偷自产国产一区 | 国产探花 | 九九亚洲视频 | 国产精成人品免费观看 | 操操操人人人 | 欧美日韩国产一区二区三区在线观看 | 亚洲精品午夜aaa久久久 | 麻豆影视网 | 国产精品成人品 | www亚洲精品 | 成人国产精品久久久久久亚洲 | 成人黄色视 | 国产拍揄自揄精品视频麻豆 | 亚洲激色| 激情综合网在线观看 | 欧美一级片免费观看 | 国产精品热视频 | 91精品久久久久久综合乱菊 | 国产成人一区二区精品非洲 | 日本久久久影视 | 亚洲精品美女在线观看播放 | 午夜精品99久久免费 | 丁香婷婷色综合亚洲电影 | 成人一级免费视频 | 久久久麻豆 | 一区二区三区三区在线 | 成人免费视频网站在线观看 | 日本精品一区二区三区在线观看 | 国产成人一区二区啪在线观看 | 黄色在线网站噜噜噜 | 成年人免费在线播放 | 最近的中文字幕大全免费版 | 欧美日本高清视频 | av成人在线看 | 在线电影av | 99精品视频在线观看视频 | 91在线精品视频 | 久久精品国产精品亚洲精品 | 国产免费一区二区三区最新 | 国产免费观看久久黄 | 日本中文在线观看 | av亚洲产国偷v产偷v自拍小说 | 亚洲黄色app | 精品国产免费一区二区三区五区 | 久草久草在线 | 欧美一级片在线播放 | 黄色av成人在线观看 | 久久伦理| 日韩在线免费视频 | 在线a亚洲视频播放在线观看 | 91亚色在线观看 | 欧美日韩视频一区二区三区 | 婷婷综合 | se视频网址| 天天摸日日摸人人看 | 日韩三级视频 | 日韩理论电影网 | 精品婷婷 | se婷婷| av在线播放不卡 | 午夜电影久久 | 欧洲亚洲精品 | 国产精品三级视频 | 九九热视频在线 | www.天天综合 | 黄色大全免费观看 | 四虎成人精品永久免费av | 国产午夜免费视频 | 久久久久视 | 免费在线观看亚洲视频 | 欧美日韩国产一区二区在线观看 | 97在线资源| 天天天干天天射天天天操 | 正在播放 国产精品 | 探花视频在线观看 | 亚洲精品视频在线观看免费 | 五月婷婷天堂 | 中文字幕色网站 | 日日射天天射 | 国内精品久久久久久久 | 亚洲在线资源 | 伊人五月天综合 | 久久歪歪 | 欧美做受69 | 欧美一级xxxx| 久久亚洲热 | 国产免费观看av | 久久夜夜操 | 国产精品日韩久久久久 | 亚洲v精品 | 色婷婷电影 | 丁香花在线视频观看免费 | 69国产精品视频免费观看 | 色偷偷男人的天堂av | 五月天亚洲综合 | 欧美一区免费观看 | 午夜电影久久 | 国产18精品乱码免费看 | 一区二区精 | 久久精品一区二区三区视频 | 精品欧美一区二区精品久久 | 精品99在线视频 | 日韩视频中文字幕在线观看 | 国产中文 | 久艹视频在线观看 | 88av色| 99精品影视 | 国产精品男女视频 | 日韩av影视| 久久午夜电影院 | 国产精品久久久久久妇 | av亚洲产国偷v产偷v自拍小说 | 国产视频在线看 | 亚洲黄色高清 | 亚洲精品在线国产 | 国产精品免费久久久久影院仙踪林 | 最新日韩中文字幕 | 免费在线观看的av网站 | 日韩电影中文 | 97超碰人人澡 | 热久久视久久精品18亚洲精品 | 欧美最猛性xxxxx免费 | 在线观看中文字幕视频 | 日韩中文字幕免费在线观看 | 欧洲一区二区在线观看 | 九九九九精品九九九九 | 欧美性做爰猛烈叫床潮 | 国产在线一区二区三区播放 | 久久久久久久久久久高潮一区二区 | 手机av观看 | 在线观看中文字幕一区 | 91色国产在线 | 日韩激情影院 | 一区二区三区四区在线免费观看 | 在线电影91 | 日本最新高清不卡中文字幕 | 久久se视频 | 国产亚洲精品久久19p | 天天视频亚洲 | 国产精品黄色在线观看 | 亚洲精品资源在线观看 | 国产精品无av码在线观看 | 婷婷在线视频 | 黄色大片免费网站 | 国产精品久久久久久久免费观看 | 亚洲涩涩网 | 伊人色综合久久天天网 | 国产精品福利久久久 | 国产亚洲字幕 | 亚洲黄色一级视频 | 国产麻豆视频在线观看 | 亚洲视频,欧洲视频 | 日韩精品视频久久 | 国产一区精品在线观看 | 日韩av三区 | 国产精品久久久久久久久久久久冷 | 超碰资源在线 | 天天躁天天躁天天躁婷 | 三上悠亚在线免费 | 在线观看亚洲成人 | 欧美一区二视频在线免费观看 | 99资源网 | 色无五月 | 夜夜夜夜猛噜噜噜噜噜初音未来 | 亚洲成人欧美 | 成人免费xxxxxx视频 | 国外调教视频网站 | a在线v| 特级毛片网站 | 一区二区三区在线免费观看视频 | 亚洲最新av在线 | 精品亚洲成人 | 狠狠色丁香婷婷综合视频 | 在线视频 成人 | 久久久www成人免费精品 | 白丝av免费观看 | 九九在线视频免费观看 | 国产一级视屏 | 热久久免费视频 | 国产99一区视频免费 | 99re在线视频观看 | 亚洲激情久久 | 人人爱在线视频 | 中文字幕一二 | av高清免费在线 | 中文字幕乱在线伦视频中文字幕乱码在线 | 中文字幕在线观看第一区 | 成人av网址大全 | 国产精品嫩草影院9 | 久久婷婷久久 | 国产精品不卡一区 | www.天天干 | 国产精品一区在线播放 | 人人揉人人揉人人揉人人揉97 | 天天干天天看 | 免费黄在线观看 | 97偷拍在线视频 | 国产人成精品一区二区三 | 精品久久久久久亚洲 | 视频国产区 | 久久97久久97精品免视看 | 一区二区视频在线播放 | 色婷婷综合视频在线观看 | 午夜天使 | 在线观看视频在线 | 狠狠躁夜夜躁人人爽超碰91 | 久久系列 | av电影免费在线看 | 久久爽久久爽久久av东京爽 | 久久婷婷综合激情 | 亚洲国产mv | 国产精品一区二区白浆 | 国产专区在线播放 | 人人擦| 九九视频在线播放 | 狠狠干天天射 | 日韩在线观看你懂得 | 精品一区欧美 | 久久国产美女 | 国产精品久久一区二区无卡 | 欧美aaa视频 | 中文字幕一区二区三区四区久久 | 午夜12点| 日韩免费视频网站 | 国产一区二区三区免费观看视频 | 久久在线精品视频 | 日本中文字幕网 | 天堂成人在线 | 中文国产在线观看 | 黄网站色视频免费观看 | 91久久奴性调教 | 国产精品 国产精品 | 日韩精品中文字幕在线播放 | 久99视频 | 久久亚洲综合色 | 最新精品视频在线 | a级黄色片视频 | 国产精品自产拍在线观看中文 | 亚洲成人xxx | 亚洲天堂在线观看完整版 | 久久国产精品99久久久久久老狼 | 亚洲精品午夜久久久 | 国产精品区一区 | 中文字幕在线免费观看 | 亚洲无吗视频在线 | 亚洲天堂网在线视频观看 | 国产女v资源在线观看 | av电影在线免费观看 | 亚洲男模gay裸体gay | 成av人电影 | 黄色小说免费在线观看 | 婷婷色狠狠 | 天天看天天干 | 日韩欧美在线一区二区 | 人人射av | 麻豆播放 | 日韩二区三区在线观看 | 色婷婷在线视频 | 亚洲精品欧美专区 | 国产丝袜| 一级成人在线 | 天天操夜操视频 | 日韩乱色精品一区二区 | 美女视频a美女大全免费下载蜜臀 | 国产一区二区久久久久 | 日韩免费网站 | 国产精品综合av一区二区国产馆 | 日韩久久网站 | 欧美性精品 | 国产成人av在线影院 | 欧美一区二区免费在线观看 | 免费观看第二部31集 | 在线观看视频一区二区三区 | 欧美小视频在线观看 | 免费aa大片| 精品久久久免费视频 | 在线观看91精品国产网站 | 久久久久免费电影 | 国产精品99免费看 | 中文字幕在线免费看线人 | 九九视频免费观看视频精品 | 999久久久国产精品 高清av免费观看 | 在线看国产一区 | 日韩精品视频免费专区在线播放 | 婷婷去俺也去六月色 | 亚洲不卡av一区二区三区 | 国产精品男女啪啪 | 日韩电影精品一区 | 婷婷综合网 | 日日干夜夜干 | av一级网站| 婷婷丁香在线视频 | 国产第一二区 | 亚洲精品在线观看视频 | 国产精品第十页 | 黄色网址a| 四虎在线观看视频 | 亚洲欧美日韩国产精品一区午夜 | 欧美日韩国产综合网 | 久久久www免费电影网 | 国内视频1区 | 五月婷婷视频在线 | 日韩网站免费观看 | 久久艹综合 | 天天曰天天曰 | 日韩www在线 | 色婷婷亚洲 | 三级黄色在线 | 99久久999久久久精玫瑰 | 欧美日韩在线免费观看 | 永久免费的啪啪网站免费观看浪潮 | 超碰在线9 | 国产美女在线免费观看 | 天天射色综合 | 久久中文网 | 午夜av影院 | 精品自拍sae8—视频 | 一级性av| 亚洲综合激情小说 | 狠狠色狠狠色综合系列 | 欧美伦理一区二区三区 | 日韩亚洲在线视频 | 999在线精品 | 国产在线观看高清视频 | 日韩av视屏在线观看 | 亚洲国产日韩一区 | 黄网站app在线观看免费视频 | 欧美日韩在线观看一区二区 | 精品国产伦一区二区三区观看体验 | 欧美二区三区91 | 蜜臀av性久久久久蜜臀aⅴ流畅 | 日本天天操| 手机在线看a | 亚洲国产精品一区二区久久hs | 中文字幕在线观看免费高清完整版 | 97免费视频在线播放 | 一区二区三区韩国免费中文网站 | 香蕉手机在线 | 欧美有色 | 中文字幕亚洲精品在线观看 | 99久久99视频只有精品 | 亚洲欧洲久久久 | 中文字幕在线看片 | 国产精品永久在线 | 超级碰视频 | 视频一区二区在线观看 | 欧美视屏一区二区 | 国产中文欧美日韩在线 | 91精品国产亚洲 | 国产黄色网 | 久草在线视频看看 | 国产在线久久久 | 国产精品九九久久久久久久 | 激情五月婷婷 | 日韩av在线小说 | 美女性爽视频国产免费app | 麻豆 videos | 射久久久| 国产日产高清dvd碟片 | 中文字幕亚洲精品日韩 | 国产精品久久久久av | 国产精品美女久久久久久免费 | 麻豆传媒电影在线观看 | 在线看的毛片 | 久久99国产精品 | 国产精品自产拍在线观看 | 国产一二三四在线观看视频 | 亚洲国产中文在线 | 国产精品久久久久久电影 | 日韩精品一区二区电影 | 四虎最新域名 | 亚洲永久字幕 | 一区二区精品在线视频 | 亚洲韩国一区二区三区 | 99久久影视 | 最新国产在线视频 | 日本性高潮视频 | 国产精品手机在线 | 超碰在线最新地址 | 欧美综合在线视频 | 91精品视频一区 | 深爱激情五月综合 | 成人av电影免费在线播放 | 在线亚洲小视频 | 日韩国产精品一区 | 天天操天天射天天插 | 国产亚洲字幕 | 人人爽人人爽人人 | 欧美日韩精品免费观看 | 国产亚洲精品电影 | 天天干 天天摸 天天操 | 欧美在线观看视频一区二区 | 色综合天天在线 | 在线超碰av | 在线亚州 | 久久免费国产电影 | 99精品视频在线观看免费 | 美女视频黄色免费 | 蜜桃av久久久亚洲精品 | 婷婷视频| 99热这里有精品 | 91欧美在线| 国产精品99精品 | 婷婷国产v亚洲v欧美久久 | 人人添人人澡 | 日韩精选在线 | 亚洲狠狠| 国产精品久久久久久久久久免费 | 国产精品久久久久久久免费观看 | 日韩免费看视频 | 有码中文字幕在线观看 | 婷婷六月天天 | 偷拍精偷拍精品欧洲亚洲网站 | 超碰国产在线 | 免费在线观看av的网站 | 日韩在线网 | 亚洲少妇天堂 | 在线观看日韩av | 日韩啪啪小视频 | 人人爽人人澡人人添人人人人 | 国产一区二区在线免费播放 | 97在线精品视频 | 在线观看日韩中文字幕 | 亚洲精品国产拍在线 | 日韩激情视频在线观看 | 粉嫩高清一区二区三区 | 毛片99| 久久综合导航 | 天天色官网| 天堂网一区二区三区 | 亚洲成人精品av | 亚洲视频播放 | 五月婷婷色丁香 | 伊人影院99 | 黄色软件在线观看视频 | 精品国产伦一区二区三区观看方式 | 久久黄色小说视频 | 91精品在线视频观看 | 在线天堂亚洲 | 亚洲精品久久久蜜臀下载官网 | 激情开心网站 | 国产成人精品不卡 | 亚洲高清色综合 | 天天干天天操天天干 | 五月天久久综合 | 亚洲视频播放 | 精品自拍sae8—视频 | 91超级碰碰| 亚洲精品在线免费播放 | 久久精品免费看 | 91麻豆国产福利在线观看 | 欧美日韩一级视频 | 日韩激情在线视频 | 日韩二区在线播放 | 最近中文字幕免费大全 | 亚洲污视频 | a在线免费观看视频 | 久福利| 美女黄濒| 久久最新 | 日韩视频中文字幕在线观看 | 婷婷精品国产一区二区三区日韩 | 麻豆国产网站入口 | 激情久久综合网 | 午夜精品久久久久久久99婷婷 | 午夜精品一区二区三区免费视频 | 国产又粗又猛又爽又黄的视频免费 | 最新av网站在线观看 | 日韩在线电影观看 | 国产精品嫩草69影院 | 少妇啪啪av入口 | 九七视频在线观看 | 日韩有码中文字幕在线 | 天天做夜夜做 | 在线亚洲观看 | 国产午夜精品免费一区二区三区视频 | 国产视频一区在线免费观看 | 久久精品成人欧美大片古装 | www麻豆视频 | 国产精品毛片久久久久久 | 国产综合精品一区二区三区 | 四虎永久精品在线 | 国产精品二区在线观看 | 色婷婷亚洲婷婷 | 久久综合九色综合欧美就去吻 | 亚洲欧洲一级 | 伊人影院在线观看 | 91视频高清完整版 | 天天操天天射天天舔 | 亚洲激情视频在线 | 久久久久 免费视频 | 黄色毛片一级片 | 欧美在线视频一区二区三区 | 六月丁香婷婷久久 | av千婊在线免费观看 | 精品国自产在线观看 | 在线视频一区观看 | 国产第一页福利影院 | 久久视频国产精品免费视频在线 | 在线观看视频免费播放 | 国产精品毛片久久久久久久 | 国产色婷婷精品综合在线手机播放 | 久久露脸国产精品 | 色干干 | 日韩毛片在线一区二区毛片 | 色综合久久综合 | 在线播放视频一区 | 国产精品久久久久久久久久白浆 | 欧美日韩在线观看一区二区三区 | 精品视频免费久久久看 | 视频国产精品 | 国产精品久久久久久久av大片 | 九九精品久久 | 五月婷婷丁香 | 这里有精品在线视频 | 中国一级片视频 | 国产成人精品一区二区在线 | 日韩免费在线 | 天天干 夜夜操 | 日日碰狠狠躁久久躁综合网 | 成人av一级片 | 亚洲 欧美 精品 | 国产在线免费 | 99产精品成人啪免费网站 | 久爱综合| 国产黄色av影视 | 久久久精品高清 | 国产免费高清 | 久久精品精品电影网 | 蜜臀av性久久久久蜜臀aⅴ流畅 | 国产在线自 | www178ccom视频在线 | 国产精品18久久久久久久网站 | 国产成人黄色片 | 91污污视频在线观看 | 蜜臀aⅴ国产精品久久久国产 | 色偷偷88欧美精品久久久 | 日韩激情小视频 | 国产一区二区播放 | 一区二区中文字幕在线播放 | 偷拍福利视频一区二区三区 | 欧美影片 | 日韩影视在线观看 | 99久久99久久精品国产片 | 在线免费日韩 | 色婷婷狠狠五月综合天色拍 | 免费午夜视频在线观看 | 久久这里只有精品23 | 久久中文欧美 | 亚洲播播| 成人在线免费小视频 | 99在线观看 | 国产精品成人一区 | 国产亚洲视频在线免费观看 | 亚洲电影一级黄 | 成人在线播放视频 | 国产成人61精品免费看片 | 亚洲欧美日韩精品久久久 | 一级α片 | www.久久久精品 | 国产黄色av网站 | 国产精品综合在线 | 国产一区二区三精品久久久无广告 | 久久久久成人免费 | 日日夜夜干 | 日韩视频在线不卡 | 色干综合 | 一区二区三区在线观看中文字幕 | av一级网站 | 欧美精彩视频在线观看 | 国产原创中文在线 | 日韩有码中文字幕在线 | 99热精品在线观看 | 草久草久| www.操.com | 在线免费三级 | 91九色国产视频 | 97超碰国产精品 | 欧美精品少妇xxxxx喷水 | 三日本三级少妇三级99 | 精品成人国产 | 韩国av电影在线观看 | 中文字幕色播 | 国产1级毛片 | 69av视频在线 | 中文字幕有码在线观看 | 97在线免费视频观看 | 国产精品99免费看 | 粉嫩一二三区 | 中文字幕a在线 | 亚洲精品日韩一区二区电影 | 亚洲一级免费电影 | 免费精品在线 | 黄色三级免费 | 久草精品在线观看 | 色诱亚洲精品久久久久久 | 亚洲撸撸 | 91| 久草在线一免费新视频 | 亚洲精品中文在线观看 | 综合色狠狠 | 国产一区福利在线 | 久久五月天色综合 | 97av色 | 三级av在线播放 | 亚洲免费在线观看视频 | 久久好看 | 久久久久久久久久毛片 | 久久综合丁香 | 超碰在线亚洲 | 日韩字幕在线 | 国产精成人品免费观看 |