日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問(wèn) 生活随笔!

生活随笔

當(dāng)前位置: 首頁(yè) > 编程资源 > 编程问答 >内容正文

编程问答

共享经济模式下的边缘计算——PPIO边缘云 laaS技术实践分享

發(fā)布時(shí)間:2024/4/11 编程问答 54 豆豆
生活随笔 收集整理的這篇文章主要介紹了 共享经济模式下的边缘计算——PPIO边缘云 laaS技术实践分享 小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

點(diǎn)擊上方“LiveVideoStack”關(guān)注我們

邊緣云計(jì)算,簡(jiǎn)稱邊緣云,是基于云計(jì)算的核心技術(shù)和邊緣賦予的能力,構(gòu)筑在邊緣基礎(chǔ)設(shè)施之上的云計(jì)算平臺(tái),為“萬(wàn)物互聯(lián)”的應(yīng)用場(chǎng)景提供低時(shí)延、自組織、可定義、可調(diào)度、高安全、標(biāo)準(zhǔn)開(kāi)放的分布式云服務(wù)。而共享經(jīng)濟(jì)是一種優(yōu)化資源配置、高效社會(huì)治理的新經(jīng)濟(jì)模式,是最新態(tài)勢(shì)以及未來(lái)發(fā)展趨勢(shì)。在此次LiveVideoStackCon 2021 音視頻技術(shù)大會(huì) 北京站,我們邀請(qǐng)到了PPIO邊緣云 CEO&聯(lián)合創(chuàng)始人王聞?dòng)?#xff0c;由他來(lái)向我們講述共享經(jīng)濟(jì)模式下的邊緣計(jì)算。

文?| 王聞?dòng)?br />

整理 | LiveVideoStack

大家好,我是王聞?dòng)睢7浅8兄xLiveVideoStack的邀請(qǐng),也非常榮幸今天能和大家一起分享交流。

首先我做一個(gè)簡(jiǎn)單的自我介紹。早在2004年大學(xué)期間,我就開(kāi)始從事音視頻行業(yè),和姚欣一起開(kāi)發(fā)了當(dāng)時(shí)很知名的P2P 網(wǎng)絡(luò)電視軟件PPLive,后來(lái)改名為PPTV。在校期間,我一直在鉆研這個(gè)軟件,統(tǒng)籌主導(dǎo)PPTV的流媒體、P2P、點(diǎn)播、直播、編解碼等核心技術(shù),并擔(dān)任PPTV首席架構(gòu)師。2004年的網(wǎng)絡(luò)條件比現(xiàn)在要落后很多很多,當(dāng)時(shí)我們僅靠10Mb的發(fā)布帶寬,就穩(wěn)定支持了20多萬(wàn)人的同時(shí)直播在線觀看。當(dāng)然QoS 和今天的直播比還是有所差距,17年前國(guó)內(nèi)上網(wǎng)環(huán)境大多還是512k的ADSL,和今天的光纖完全不一樣。而當(dāng)時(shí)我們已經(jīng)取得了在512k ADSL下能穩(wěn)定支持450k視頻流暢播放的驕人成績(jī)。我深耕音視頻行業(yè)近二十載,2018年,在5G時(shí)代的萌芽階段,我看到了邊緣云計(jì)算未來(lái)不可估量的發(fā)展趨勢(shì),我認(rèn)為十年之后邊緣云所帶來(lái)的市場(chǎng)比當(dāng)時(shí)的中心云加起來(lái)還要大,懷著激動(dòng)的心情,我堅(jiān)定了我的信念,匯聚全球計(jì)算資源,并為全人類服務(wù),這也是我和姚欣一起創(chuàng)辦PPIO邊緣云的初衷。

那么如何匯聚全球計(jì)算資源呢?這就是我今天要和大家分享交流的話題:PPIO邊緣云是怎么用共享經(jīng)濟(jì)的思路做邊緣計(jì)算節(jié)點(diǎn)的?首先我要給大家解釋為什么我們要走共享經(jīng)濟(jì)的路線,其次在共享經(jīng)濟(jì)的路線之下,我們擁有哪些核心技術(shù),最后對(duì)PPIO邊緣云的解決方案做一個(gè)詳細(xì)的介紹。

1. 為什么選擇共享經(jīng)濟(jì)?

邊緣計(jì)算的使用場(chǎng)景更為多元化,其中包括直播流、邊緣AI、云游戲、AR/VR和其他低延遲的一些服務(wù),包括最近社交大火的Metaverse也因?yàn)槌脱舆t需要把算力部署在邊緣節(jié)點(diǎn)。PPIO邊緣云為什么要用共享經(jīng)濟(jì)的方式做邊緣計(jì)算?

1.1 邊緣的定義

說(shuō)到邊緣,到底什么是邊緣?上圖剛好是整個(gè)邊緣的一張譜圖,這個(gè)圖指的是站在運(yùn)營(yíng)商的角度來(lái)看邊緣。越往左越接近中心,越往右就越靠近用戶。而除了公有云DC以外,后邊的環(huán)節(jié)都可以認(rèn)為它是邊緣的一部分,其中主要有三類,一類是現(xiàn)在的大廠特別是幾大云公司,比如阿里云、騰訊云以及華為云,他們的邊緣節(jié)點(diǎn),主要部署在了骨干網(wǎng)邊緣,其本質(zhì)是對(duì)中心云架構(gòu)做了簡(jiǎn)化,成了“省級(jí)中心云”。第二類是把邊緣覆在了端側(cè),例如盒子、路由器等。第三類是PPIO邊緣云的優(yōu)勢(shì)所在,我們差異化地彌補(bǔ)了“省級(jí)中心云”與“端側(cè)”所形成的邊緣覆蓋鴻溝,在城域網(wǎng)部署網(wǎng)絡(luò)節(jié)點(diǎn),同時(shí)在接入網(wǎng)匯聚網(wǎng)絡(luò)資源,為客戶提供成本更為經(jīng)濟(jì)、質(zhì)量更加上乘的服務(wù)。

1.2 邊緣節(jié)點(diǎn)畫像

我們來(lái)看一下PPIO共享經(jīng)濟(jì)邊緣節(jié)點(diǎn)畫像,有三四線城市的IDC,有市縣級(jí)運(yùn)營(yíng)商城域網(wǎng)機(jī)房,有小區(qū)接入機(jī)房、企業(yè)的閑置機(jī)房等,還有一些曾經(jīng)是數(shù)字貨幣作為存儲(chǔ)挖礦的企業(yè)最后“棄暗投明”選擇為邊緣計(jì)算做貢獻(xiàn),提供更有價(jià)值的服務(wù)。

1.3 邊緣云和中心云的差異

基于這樣的邊緣,它和中心云之間存在多個(gè)維度的區(qū)別,既有服務(wù)器部署位置的維度,也有硬件配置、網(wǎng)絡(luò)接入以及資源利用率的不同。如果用類似云公司的方式來(lái)做邊緣,從做幾萬(wàn)甚至十幾萬(wàn)的節(jié)點(diǎn)角度去看,要重復(fù)投入大量的資本去購(gòu)買寬帶自建,時(shí)間周期也非常漫長(zhǎng)。在這樣的背景下,PPIO邊緣云采用了新的建設(shè)方式:不再靠自己部署的方式去建設(shè),而是借鑒共享經(jīng)濟(jì)的一些理念,建立一套共享經(jīng)濟(jì)的開(kāi)拓機(jī)制,在全國(guó)范圍內(nèi)開(kāi)發(fā)這樣的邊緣節(jié)點(diǎn),將閑置資源利用起來(lái)。?

1.4 共享經(jīng)濟(jì)模式的邊緣云架構(gòu)

PPIO共享經(jīng)濟(jì)模式的邊緣云架構(gòu),建立了一個(gè)縱橫交織的邊緣云平臺(tái)。縱向上,通過(guò)獨(dú)有技術(shù)將異構(gòu)資源進(jìn)行整合,為客戶提供穩(wěn)定、安全、可靠的服務(wù);橫向上,通過(guò)靠近用戶端的邊緣節(jié)點(diǎn)能力,以及與云廠商的聯(lián)動(dòng),打造了端到端的性能保障體系。

1.5面臨的挑戰(zhàn)

但是,基于共享經(jīng)濟(jì)模式建設(shè)邊緣云面臨諸多挑戰(zhàn):比如,在平臺(tái)上注冊(cè)上線的節(jié)點(diǎn),存在作弊的現(xiàn)象。這與網(wǎng)約車剛興起時(shí)所存在的,個(gè)別司機(jī)進(jìn)行虛擬交易現(xiàn)象類似。再如,高度異構(gòu)的問(wèn)題,這里既有網(wǎng)絡(luò)的異構(gòu)、硬件的異構(gòu),也有故障的異構(gòu)。另外,還有不可抗力因素,比如緊急性的停電等等,這都是要面對(duì)的挑戰(zhàn)。因此,PPIO邊緣云在基于共享經(jīng)濟(jì)進(jìn)行邊緣云建設(shè)時(shí),借鑒了當(dāng)年做P2P技術(shù)的主體思想:即,在面對(duì)局部的劇烈不穩(wěn)定性的情況下,通過(guò)技術(shù)手段的整合,用整體的確定性去解決局部的不確定性,從而達(dá)到整體的穩(wěn)定性。

1.6 邊緣節(jié)點(diǎn)存儲(chǔ)的異構(gòu)性

那么如何理解異構(gòu)呢?這里我重點(diǎn)講述兩部分。第一部分是存儲(chǔ)的異構(gòu),另一部分是網(wǎng)絡(luò)的異構(gòu)。存儲(chǔ)的異構(gòu)是怎么回事呢?因?yàn)楣蚕斫?jīng)濟(jì)模式下的邊緣節(jié)點(diǎn)相對(duì)孤立,沒(méi)有形成穩(wěn)定的集群。那么,我們的任務(wù)很難再像中心云那樣,在每個(gè)節(jié)點(diǎn)上都會(huì)有一個(gè)穩(wěn)定的存儲(chǔ)池,因此我們只能讓每個(gè)節(jié)點(diǎn)使用節(jié)點(diǎn)本地存儲(chǔ)。由于節(jié)點(diǎn)來(lái)自于不同的供應(yīng)商,存儲(chǔ)配置參差不齊:包括磁盤的數(shù)量、類型、IOPS、容量都不相同。而任務(wù)對(duì)于存儲(chǔ)的使用方式也是千變?nèi)f化,我們需要將不同的存儲(chǔ)抽象成統(tǒng)一的存儲(chǔ)資源,提供給任務(wù)來(lái)使用。這就是我們講的存儲(chǔ)異構(gòu)。

在這里我可以分享幾個(gè)例子:如上圖,第一個(gè)例子就是我們有些任務(wù)為了限制實(shí)例的日志空間,同時(shí)保護(hù)數(shù)據(jù)庫(kù)空間,要求分別為日志和數(shù)據(jù)庫(kù)劃分獨(dú)立的小分區(qū),而剩余的存儲(chǔ)空間則都用來(lái)做數(shù)據(jù)緩存。這樣即使日志寫多了,也不會(huì)影響到緩存數(shù)據(jù)和數(shù)據(jù)庫(kù),數(shù)據(jù)庫(kù)也有了獨(dú)立的存儲(chǔ)空間,避免被日志和緩存數(shù)據(jù)侵占。還有的任務(wù)要求劃分3個(gè)、4個(gè)甚至更多的獨(dú)立的固定大小分區(qū),同時(shí)也將剩余分區(qū)作為緩存。PPIO邊緣云采用統(tǒng)一的模式來(lái)支持這種多變的需求,只需簡(jiǎn)單配置即可。

我們還接到一些任務(wù),對(duì)存儲(chǔ)的要求非常高,需要建立起一套bcache的機(jī)制,把固態(tài)硬盤作為存儲(chǔ)的緩存機(jī)制來(lái)加速機(jī)械盤,從而把存儲(chǔ)設(shè)備利用率用到最高,如圖所示。

再舉個(gè)例子,有一些任務(wù)對(duì)CPU消耗很大,而任務(wù)實(shí)例只支持使用一個(gè)存儲(chǔ)卷。現(xiàn)實(shí)中,一個(gè)節(jié)點(diǎn)的CPU通常最多只能支持2~3個(gè)實(shí)例,節(jié)點(diǎn)上的盤的數(shù)量是遠(yuǎn)大于實(shí)例數(shù)的。因此,為了充分利用存儲(chǔ)資源,我們把多個(gè)盤通過(guò) LVM 合并成一個(gè)邏輯卷,提供給任務(wù)實(shí)例使用。這樣節(jié)點(diǎn)的存儲(chǔ)資源被充分利用,任務(wù)的服務(wù)能力也得到了較大提升。最有挑戰(zhàn)的是,有時(shí)候這幾個(gè)異構(gòu)同時(shí)出現(xiàn)在一個(gè)節(jié)點(diǎn)上,同時(shí)隨著任務(wù)的切換,節(jié)點(diǎn)上存儲(chǔ)的布局也要?jiǎng)討B(tài)地發(fā)生改變,以滿足新切任務(wù)的需要。

1.7 邊緣節(jié)點(diǎn)網(wǎng)絡(luò)異構(gòu)

那么理解了存儲(chǔ)異構(gòu),接下來(lái)我要分享的是網(wǎng)絡(luò)異構(gòu)。網(wǎng)絡(luò)異構(gòu)在我們做共享經(jīng)濟(jì)模式的邊緣節(jié)點(diǎn)的背景下,也是非常復(fù)雜的,有些資源具有公網(wǎng)IP地址,也有些資源在內(nèi)網(wǎng)NAT環(huán)境中;既有大帶寬的單線路的專線資源,也有一些小帶寬匯聚的線路資源。? 這種多線路的網(wǎng)絡(luò)環(huán)境稱為多路網(wǎng)絡(luò),這里面既有強(qiáng)服務(wù)器所帶來(lái)的服務(wù),也有強(qiáng)服務(wù)器通過(guò)NAT所實(shí)現(xiàn)的服務(wù)。在整個(gè)網(wǎng)絡(luò)中有些服務(wù)器機(jī)器的性能也不是那么強(qiáng),所以會(huì)存在計(jì)算能力相對(duì)較弱的節(jié)點(diǎn)的輸出。也就是說(shuō)我們是在一種比較復(fù)雜的網(wǎng)絡(luò)下,要兼容各種異構(gòu)的網(wǎng)絡(luò)環(huán)境。

這里舉個(gè)任務(wù)混跑的例子。常見(jiàn)的任務(wù)有兩種:一種任務(wù)是直接能看到多路網(wǎng)卡并且支持多路網(wǎng)絡(luò),比如圖示中的任務(wù)A,直接運(yùn)行于多路網(wǎng)絡(luò)然后輸出;另一種任務(wù)只能支持單路網(wǎng)絡(luò)輸出,比如圖示中的任務(wù)B。因此,我們要在技術(shù)上把網(wǎng)絡(luò)環(huán)境進(jìn)行打通,才能把網(wǎng)絡(luò)資源利用的更加充分。

另外,我們也開(kāi)發(fā)了一種Macvlan的方式,可以讓不同的網(wǎng)絡(luò)、任務(wù)看到的只是自己?jiǎn)我坏木W(wǎng)絡(luò)環(huán)境,完全隔離,只能看到自己的網(wǎng)絡(luò)而看不到別人的網(wǎng)絡(luò),從而形成一種干凈的環(huán)境,更加安全、穩(wěn)定、可靠。

2. 我們做了哪些技術(shù)?

基于剛才所分享的存儲(chǔ)的異構(gòu)、網(wǎng)絡(luò)的異構(gòu),以及用共享經(jīng)濟(jì)開(kāi)發(fā)建設(shè)的整個(gè)邊緣網(wǎng)絡(luò),PPIO邊緣云做了哪些核心技術(shù)呢?主要有三部分。第一部分是K8s@Edge,主要是做邊緣異構(gòu)資源的調(diào)度編排。第二部分是AI Ops@Edge ,基于大數(shù)據(jù)和人工智能的智能調(diào)度算法,使資源在細(xì)顆粒度下進(jìn)行精確調(diào)度,提升資源的利用率。第三部分是SDN@Edge,因?yàn)槲覀兊墓?jié)點(diǎn)一旦下沉之后,就會(huì)出現(xiàn)相互之間的連接,就會(huì)出現(xiàn)弱網(wǎng)甚至準(zhǔn)弱網(wǎng)的環(huán)境,所以我們是基于它來(lái)實(shí)現(xiàn)技術(shù)來(lái)完成。在這里我分享的三個(gè)部分都是我們使用的內(nèi)部技術(shù),而不是產(chǎn)品。

2.1 K8s

首先我講一下我們的邊緣編排,那么邊緣編排為什么不直接使用K8s?其實(shí)最根本的原因是設(shè)計(jì)的目的不一樣,K8s設(shè)計(jì)的時(shí)候是基于集群對(duì)外服務(wù)的穩(wěn)定性作為第一考慮而來(lái)的,而對(duì)PPIO邊緣云來(lái)說(shuō),我們?cè)O(shè)計(jì)目的是要做到資源最大化利用,這是兩個(gè)完全不同的設(shè)計(jì)目的。

那么具體會(huì)存在哪些問(wèn)題呢?第一個(gè)是K8s并沒(méi)有很好的適應(yīng)像我們這樣沒(méi)有集群的存儲(chǔ)池的環(huán)境,不能很好地把狀態(tài)歸檔在有限的存儲(chǔ)池里;第二個(gè)是在我們節(jié)點(diǎn)下沉之后,它會(huì)存在一種服務(wù),這種服務(wù)需要一些數(shù)據(jù),不是完全無(wú)狀態(tài)。而數(shù)據(jù)丟失也不會(huì)完全影響服務(wù),就類似于CDN的緩存,這樣的數(shù)據(jù)狀態(tài),我稱它為一種半狀態(tài)服務(wù)。但是這樣的任務(wù)不能完全隨意切換。第三個(gè)我們?cè)诮拥饺蝿?wù)的時(shí)候,因?yàn)槿蝿?wù)本身存在著在很大的調(diào)配性,所以我們就需要對(duì)節(jié)點(diǎn)進(jìn)行動(dòng)態(tài)修改,也就是說(shuō)在運(yùn)行過(guò)程中我們要靈活地把業(yè)務(wù)進(jìn)行切換,而這個(gè)切換會(huì)涉及到磁盤的劃分、網(wǎng)絡(luò)的劃分,而這些是K8s沒(méi)有考慮到的;最后一個(gè)是因?yàn)槲覀円坏┫鲁?#xff0c;面對(duì)一些比較異構(gòu)的網(wǎng)絡(luò)環(huán)境,面對(duì)弱網(wǎng)、內(nèi)網(wǎng)甚至多線等環(huán)境,我們需要對(duì)他們做一種增強(qiáng)的支持,這也是我們?yōu)槭裁床恢苯邮褂肒8s的原因。

不直接使用不代表我們不用K8s,因?yàn)镵8s的容器編排理念已經(jīng)深入人心,它的聲明式API,特別是Yaml文件,很多運(yùn)維人員已經(jīng)非常熟悉,且非常便捷。且它的生態(tài)強(qiáng)大,很容易基于K8s做一些二次的開(kāi)發(fā)。除此之外還可以極大地降低運(yùn)維和研發(fā)的遷移以及學(xué)習(xí)的成本。

2.2 K8s@Edge

所以在研發(fā)的時(shí)候我們的思路是源于K8s,不止于K8s。上圖是PPIO邊緣云對(duì)于K8s@Edge邊緣編排技術(shù)的架構(gòu)全圖,圖中白色虛線框中所示為K8s的原生架構(gòu),而藍(lán)色塊部分是我們?cè)诓桓膭?dòng)K8s的任何一行代碼的條件下,基于它的接口實(shí)現(xiàn)的擴(kuò)展。

Node這一側(cè),基于K8s 原生的架構(gòu),我們獨(dú)創(chuàng)了Tasklet。圖中黃色箭頭線是基于整個(gè)網(wǎng)絡(luò)定義擴(kuò)展出來(lái)的一套協(xié)議,支持我們整個(gè)的整個(gè)架構(gòu)。

在支持任務(wù)模型的時(shí)候,出于業(yè)務(wù)的需要,PPIO邊緣云不僅支持了K8S Pod、Docker的容器,還支持原生程序和Kata容器的下發(fā)。

同時(shí),針對(duì)環(huán)境的異構(gòu)性,我們專門做了針對(duì)邊緣的CPU、存儲(chǔ)以及網(wǎng)絡(luò)等特殊增強(qiáng)的隔離方案。

以上就是我們整個(gè)K8s@Edge的架構(gòu),它不但兼容了K8s命令,而且能夠把任務(wù)往邊緣節(jié)點(diǎn)進(jìn)行高效編排。

2.3 AIOps@Edge

講完了K8s@Edge,下邊要講的是PPIO邊緣云另一個(gè)核心技術(shù)就是AIOps@Edge,在講之前我們首先要理解AIOps@Edge本質(zhì)解決的不是簡(jiǎn)單的計(jì)算機(jī)架構(gòu)問(wèn)題,而是經(jīng)濟(jì)學(xué)問(wèn)題。這個(gè)經(jīng)濟(jì)學(xué)問(wèn)題是什么呢?基于共享經(jīng)濟(jì)模式所發(fā)展的PPIO邊緣云,它和傳統(tǒng)的云會(huì)有很大的區(qū)別,它不是單邊經(jīng)濟(jì),而是雙邊經(jīng)濟(jì)。

在整個(gè)模型中,既包含我們的用戶,也包括我們的資源供應(yīng)商,這是一種循環(huán)的聚合拉動(dòng)模式。而拉動(dòng)的關(guān)鍵就是在于需要盡可能把資源復(fù)用,讓不同的任務(wù)能同時(shí)使用資源,從而提高它的利用率。由于用戶是按量來(lái)服務(wù)的,利用率一旦能提升,我們才能給供應(yīng)商更多的收入和分成,從而能發(fā)展更多的邊緣節(jié)點(diǎn)。

而PPIO邊緣云所要做的是,既要考慮客戶的需求(即QoS/QoE,覆蓋的服務(wù)既要有廣度和規(guī)模,部署又要有彈性,需要量的時(shí)候要給得出量來(lái)),客戶面對(duì)的是異構(gòu)的任務(wù),而資源側(cè)則需要的是透明的記賬,這個(gè)賬到底是多少,不能隨意更改。

另外我們要有更好的利用率,要有穩(wěn)定的收入。而資源本身具有異構(gòu)性,而我們就是要解決在異構(gòu)的業(yè)務(wù)和異構(gòu)的資源環(huán)境下,同時(shí)滿足雙方的要求,從而完成雙邊經(jīng)濟(jì)。

那么AIOps@Edge的機(jī)制是什么?

首先,所有基礎(chǔ)運(yùn)維數(shù)據(jù)、資源狀態(tài)、客戶需求等數(shù)據(jù),會(huì)被我們完善的大數(shù)據(jù)分析平臺(tái)所采集。之后,大數(shù)據(jù)平臺(tái)會(huì)對(duì)數(shù)據(jù)進(jìn)行分析處理,并將初步結(jié)果導(dǎo)入AIOps@Edge市場(chǎng)經(jīng)濟(jì)撮合模型里,從而得到最終結(jié)果。最后,通過(guò)K8s@Edge邊緣編排系統(tǒng)進(jìn)行任務(wù)下發(fā),對(duì)任務(wù)和資源進(jìn)行精確匹配。

我們研發(fā)了一整套經(jīng)濟(jì)學(xué)的撮合機(jī)制,參考了博弈論的知識(shí),既考慮供給節(jié)點(diǎn)的效益,也考慮需求業(yè)務(wù)的效益,建立了一套交易模型,最后通過(guò)算法使它達(dá)到納什均衡,并且實(shí)現(xiàn)快速收斂,從而滿足了供給方和需求方的要求。

經(jīng)過(guò)苦心鉆研,通過(guò)AIOps@Edge技術(shù),我們的利用率整體做到了14.3%的提升,并且大大降低了錯(cuò)誤調(diào)度、重復(fù)調(diào)度,使得整體調(diào)度效率提升了34.7%。

2.4 SDN@Edge

完成AIOps@Edge后,PPIO邊緣云還面對(duì)一個(gè)問(wèn)題。我們下沉的節(jié)點(diǎn),相互之間的網(wǎng)絡(luò)連接其實(shí)并沒(méi)有骨干網(wǎng)那么強(qiáng)悍,甚至有些環(huán)境是準(zhǔn)弱網(wǎng)的狀態(tài)。什么是準(zhǔn)弱網(wǎng)呢?其實(shí)它也不是完全弱網(wǎng),有時(shí)候好,有時(shí)候變成弱網(wǎng),基于這樣的網(wǎng)絡(luò)在做調(diào)度、分發(fā)的時(shí)候,會(huì)出現(xiàn)很多問(wèn)題和異常,甚至想做的任務(wù)不能做到很好的調(diào)度,因此在這種環(huán)境下PPIO邊緣云研發(fā)了一套SDN@Edge的技術(shù),這個(gè)技術(shù)和之前P2P技術(shù)有很大類似的地方,相當(dāng)于在服務(wù)器節(jié)點(diǎn)之間建立了一套高效虛擬的傳輸網(wǎng)絡(luò),從而使得我們的模型與傳統(tǒng)云相比,不再是簡(jiǎn)單的樹(shù)型結(jié)構(gòu),而是網(wǎng)型架構(gòu),這就是我們的SDN@Edge 。

那么既然是SDN@Edge大家肯定會(huì)問(wèn)SDN@Edge和傳統(tǒng)SDN有什么區(qū)別,上圖是兩者的整體區(qū)別圖,后邊的幾張圖我會(huì)用一個(gè)顏色表示一個(gè)運(yùn)營(yíng)商,有兩個(gè)顏色的就表示要承擔(dān)跨越運(yùn)營(yíng)商的節(jié)點(diǎn)。那么左邊的圖是傳統(tǒng)的SDN的架構(gòu),基本上是在省級(jí)的骨干網(wǎng)之間通過(guò)中心的BGP節(jié)點(diǎn),甚至還有DCI專線建立一套軟件定義的網(wǎng)絡(luò)。傳統(tǒng)的SDN更多的是一種四層的軟件定義網(wǎng)絡(luò)。而PPIO邊緣云做的并不僅僅只是路由的問(wèn)題,而是繞開(kāi)了骨干網(wǎng),繞開(kāi)了三線互聯(lián),基本上是在城域網(wǎng)和接入網(wǎng)兩個(gè)環(huán)節(jié)打通整個(gè)網(wǎng)絡(luò),用了一種上層的算法協(xié)議來(lái)進(jìn)行路由決策,所以SDN@Edge是七層的軟件定義網(wǎng)絡(luò),通過(guò)它我們避免了使用昂貴的BGP帶寬。

那么在這里面PPIO邊緣云又做了哪些工作呢?我們實(shí)現(xiàn)了一套鏈路評(píng)估的機(jī)制,用于面對(duì)節(jié)點(diǎn)異構(gòu)問(wèn)題,節(jié)點(diǎn)既有多路的、單路的,也有內(nèi)網(wǎng)的,我們運(yùn)用了多種維度來(lái)進(jìn)行評(píng)估。評(píng)估方式包括谷歌的BWE,TTL以及成本Cost等;因?yàn)槲覀児?jié)點(diǎn)源于共享經(jīng)濟(jì)模式拓展,還考慮節(jié)點(diǎn)的歷史穩(wěn)定性。根據(jù)以上維度的數(shù)據(jù),我們給每條鏈路進(jìn)行定期打分。

分?jǐn)?shù)有什么作用呢?這就涉及到第二個(gè)環(huán)節(jié),并行傳輸。簡(jiǎn)單來(lái)說(shuō),并行傳輸就是從A 點(diǎn)到H 點(diǎn)是跨越運(yùn)營(yíng)商的,中間可能存在多節(jié)點(diǎn)。我們根據(jù)鏈路進(jìn)行打分,上圖我用線條粗細(xì)來(lái)區(qū)分,線條越粗,表示通信性能越好,越細(xì)表示性能更差。根據(jù)上圖所決定的分?jǐn)?shù),通過(guò)我們的算法,找到了多條鏈路,再對(duì)數(shù)據(jù)進(jìn)行分片,用不同的鏈路傳輸不同的數(shù)據(jù),多路同時(shí)傳輸,實(shí)現(xiàn)了完整的從A 點(diǎn)到H 點(diǎn)的通信。因?yàn)槲覀児?jié)點(diǎn)源于共享經(jīng)濟(jì)模式拓展,中間確實(shí)會(huì)存在有些節(jié)點(diǎn)突然離線的可能,一旦離線,我們會(huì)選擇另外的路徑來(lái)實(shí)行并行的傳輸,不會(huì)因?yàn)閱温窂街袛喽鴮?dǎo)致網(wǎng)絡(luò)的異常。

另外對(duì)于一些延遲要求很高的場(chǎng)景,我們還做了數(shù)據(jù)冗余的方案,簡(jiǎn)單來(lái)說(shuō)我們參考了RTC的FEC的技術(shù),把數(shù)據(jù)切片之后,用噴泉碼做了一定的擴(kuò)展,用上述的多個(gè)線路同時(shí)傳輸編碼數(shù)據(jù)。這個(gè)×表示數(shù)據(jù)的丟失,即使在傳輸過(guò)程中數(shù)據(jù)丟失,我們也能通過(guò)算法還原出完整的數(shù)據(jù)。因此如果有哪個(gè)鏈路在進(jìn)行傳輸?shù)臅r(shí)候數(shù)據(jù)發(fā)生了丟失,我們也能保證它的還原。通過(guò)數(shù)據(jù)冗余機(jī)制,我們對(duì)傳輸?shù)目煽啃院脱舆t的控制做的更好了。

以上三個(gè)技術(shù)的結(jié)合,PPIO邊緣云成功構(gòu)建了SDN@Edge。

接下來(lái)分享一下PPIO邊緣云實(shí)現(xiàn)1s延遲的直播案例,簡(jiǎn)單地說(shuō),從主播到節(jié)點(diǎn),我們的節(jié)點(diǎn)間是通過(guò)SDN@Edge來(lái)進(jìn)行傳輸?shù)?#xff0c;上圖中黃色虛線就是SDN@Edge虛擬鏈路,實(shí)現(xiàn)了運(yùn)營(yíng)商跨越。從一個(gè)運(yùn)營(yíng)商,數(shù)據(jù)傳輸?shù)搅肆硗鈨蓚€(gè)運(yùn)營(yíng)商,最終傳輸?shù)搅擞脩?#xff0c;這是我們案例的架構(gòu)圖。

3. PPIO邊緣解決方案

介紹完P(guān)PIO邊緣云的技術(shù),接下來(lái)我想分享一下基于這些技術(shù),以及我們成功解決了前面所說(shuō)的挑戰(zhàn)后,PPIO邊緣云所形成的解決方案。我們的服務(wù)主要分兩層,一層是IaaS,另一層是PaaS。我們的IaaS主要定位是廣覆蓋、海量節(jié)點(diǎn)、高性價(jià)比的邊緣容器服務(wù),主打的是穩(wěn)定可靠的高經(jīng)濟(jì)性服務(wù),既有裸金屬,也有容器,而PaaS則是我們基于客戶具體業(yè)務(wù)場(chǎng)景所提供的通用服務(wù)。

3.1 IaaS

首先講講IaaS,PPIO邊緣云的IaaS能提供裸金屬方案,也能提供重容器方案。是一個(gè)能夠同時(shí)支持多鏈路多路網(wǎng)絡(luò)的一套容器方案,可以更充分地利用網(wǎng)絡(luò)、硬盤、CPU內(nèi)存以及GPU來(lái)進(jìn)行服務(wù)。同時(shí)也可以支持多個(gè)場(chǎng)景,其中比較成熟的就是圖中畫實(shí)線的場(chǎng)景,虛線場(chǎng)景是我們正在探索并合作中的,如果有伙伴可以一起合作虛線場(chǎng)景,我們非常愿意傾力支持和配合。

3.2 PaaS

上圖是PPIO邊緣云PaaS的解決方案。我們的PaaS主要分為CDN、直播和游戲這三類。CDN主要是點(diǎn)播和下載的場(chǎng)景,直播主要是低延時(shí)互動(dòng),云游戲主要是渲染類的場(chǎng)景, PaaS 更多的是提供邊緣的網(wǎng)絡(luò)能力,使得延遲達(dá)到更低。在整個(gè)方案里,PPIO邊緣云有SDK的方案,也有無(wú)SDK的方案。無(wú)SDK 的方案,根據(jù)客戶需求,還可以做代碼的增強(qiáng)。由PPIO給出參考的代碼,在端側(cè)做簡(jiǎn)單的邏輯,從而使得無(wú)SDK 的時(shí)候質(zhì)量大大提升。而SDK方案,可以支持各種系統(tǒng)和瀏覽器,具備極強(qiáng)的兼容性。

以上是我對(duì)于邊緣云的一些理解和想法,同時(shí)也和大家分享了PPIO邊緣云在邊緣計(jì)算領(lǐng)域的一些構(gòu)思和核心技術(shù),希望在一個(gè)新的萬(wàn)億元級(jí)的藍(lán)海市場(chǎng)中,邊緣計(jì)算能成為新一輪技術(shù)升級(jí)的戰(zhàn)略要沖,爆發(fā)出更多可能性。同時(shí),PPIO邊緣云也將持續(xù)加大研發(fā)投入,不斷提升技術(shù)能力,以“工匠”精神保障極致用戶體驗(yàn),促進(jìn)跨行業(yè)應(yīng)用創(chuàng)新,賦能千行百業(yè)。

讓我們一同期待萬(wàn)物互聯(lián)的智能時(shí)代,目睹這場(chǎng)邊緣計(jì)算所帶來(lái)的巨大變革吧!


講師招募

LiveVideoStackCon 2022 音視頻技術(shù)大會(huì) 上海站,正在面向社會(huì)公開(kāi)招募講師,無(wú)論你所處的公司大小,title高低,老鳥(niǎo)還是菜鳥(niǎo),只要你的內(nèi)容對(duì)技術(shù)人有幫助,其他都是次要的。歡迎通過(guò)?speaker@livevideostack.com?提交個(gè)人資料及議題描述,我們將會(huì)在24小時(shí)內(nèi)給予反饋。

喜歡我們的內(nèi)容就點(diǎn)個(gè)“在看”吧!

總結(jié)

以上是生活随笔為你收集整理的共享经济模式下的边缘计算——PPIO边缘云 laaS技术实践分享的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。

婷婷在线视频观看 | 人人爽爽人人 | 亚洲国产福利视频 | 精品国产一区二区三区在线观看 | 久久精品亚洲 | 91在线操| 日韩在线免费观看视频 | 欧亚久久| 亚洲 欧美 变态 国产 另类 | 婷婷久久婷婷 | 久青草影院| 亚洲第一成网站 | 99久久精品国产观看 | 美女搞黄国产视频网站 | 九九热在线观看 | 国产91综合一区在线观看 | 在线观看久久久久久 | 亚洲爱av| 人人超在线公开视频 | 国产玖玖在线 | 色婷婷国产 | 99久久99久久 | 97精品国产97久久久久久久久久久久 | 天天曰视频 | 在线观看韩国av | 国产亚洲成人网 | 国产青青青 | 久草在线电影网 | 香蕉精品视频在线观看 | 亚洲精品一区二区三区在线观看 | 久草精品在线播放 | 少妇bbw撒尿 | 久久免费的视频 | 国产免费一区二区三区网站免费 | 国产麻豆传媒 | 中文字幕视频播放 | 日韩三级久久 | 国产99精品 | 久久国色夜色精品国产 | 婷婷色九月 | 久久综合激情 | 国产手机在线播放 | 亚洲美女在线国产 | 色全色在线资源网 | av先锋中文字幕 | 国产精品久久久久国产精品日日 | 激情五月婷婷综合 | 国产在线观看xxx | 免费看久久久 | 韩日精品在线 | 国产精品一区二区三区四区在线观看 | 精品美女久久 | 色就色,综合激情 | 国产精品婷婷午夜在线观看 | 69精品视频 | 亚洲日本国产精品 | 日韩素人在线观看 | 国产精品一级在线 | 亚洲成色777777在线观看影院 | 在线视频 成人 | 成人黄在线 | 亚洲经典视频 | 国产黄a三级三级三级三级三级 | 狠狠操狠狠干天天操 | 91精品在线播放 | 亚洲国内精品在线 | 免费午夜在线视频 | 99c视频在线 | 亚洲国产色一区 | 国产污视频在线观看 | 99精品在线免费观看 | 日本黄色免费看 | 在线成人高清电影 | 操操碰| 久久男人视频 | 制服丝袜亚洲 | 精品国产一区二区三区久久影院 | 国产九九九九九 | 91精品国产99久久久久 | 五月婷婷色播 | www.91av在线 | 日韩精品免费在线视频 | 免费91在线| 黄色99视频 | 91人人人 | 国产精品免费一区二区三区在线观看 | 日韩动态视频 | 中文字幕日本电影 | 又爽又黄又刺激的视频 | 特级a毛片 | 超碰人人在线 | 91麻豆精品国产91久久久久久久久 | 久久久国产一区二区三区四区小说 | 中文字幕免费中文 | japanesefreesexvideo高潮 | 国产香蕉久久精品综合网 | 91av短视频 | 日韩视 | 日日干夜夜爱 | 成人夜晚看av | 久久深爱网 | 一区二区三区四区在线免费观看 | 亚洲欧美日韩国产一区二区三区 | 激情久久小说 | 国产精品99久久久久久武松影视 | 91爱爱网址| 免费高清影视 | 亚洲 av网站 | 国产性xxxx| 欧美韩国日本在线观看 | 福利精品在线 | 成人黄色片免费 | 福利区在线观看 | 亚洲欧美成人综合 | 天天夜操 | 在线观看不卡视频 | 日韩字幕在线观看 | 欧美成人在线网站 | 中文字幕日韩免费视频 | av福利网址导航 | 欧美色综合天天久久综合精品 | 国产黑丝一区二区 | 深爱五月网 | 精品久久久久免费极品大片 | 国产97在线观看 | 在线看片91 | 美国人与动物xxxx | 中文字幕你懂的 | 在线中文字幕网站 | 九九视频免费在线观看 | 天天做天天射 | 国产精品福利在线 | 日韩欧美视频免费观看 | 国产无遮挡猛进猛出免费软件 | 成人av一二三区 | 中文在线www | 色视频在线 | wwwwwww色 | 久久99精品国产99久久6尤 | 欧美做受高潮 | 夜夜躁狠狠躁 | 黄色一级在线免费观看 | 欧美精品三级 | 亚洲理论电影 | 黄色在线免费观看网址 | 欧美精品乱码久久久久久 | 在线观看日韩视频 | www.狠狠色 | 中文字幕亚洲精品在线观看 | 免费福利片2019潦草影视午夜 | 久久国产精品精品国产色婷婷 | 中文字幕乱码一区二区 | 亚洲九九九在线观看 | 日韩精品一卡 | 最新中文在线视频 | 日韩网站一区二区 | 精品在线二区 | 91在线看 | 波多野结衣最新 | 在线看片视频 | 久久久久免费看 | 最新av网址在线 | 久久激情五月婷婷 | 粉嫩av一区二区三区免费 | 深爱婷婷激情 | 丝袜美女视频网站 | 超碰在线天天 | 色综合天天色 | 亚洲v精品| 黄色特一级片 | 国产精品欧美日韩 | 最近日本中文字幕a | 亚洲国产成人在线观看 | 在线天堂v | 久久久官网 | 在线 影视 一区 | 成人一区二区三区中文字幕 | 久久国内精品99久久6app | 精品国产一区二区三区日日嗨 | 在线观看视频中文字幕 | 九九99靖品| 久久av免费 | 免费福利在线视频 | 日韩av在线一区二区 | 国产精品久久综合 | ,久久福利影视 | 99 国产精品| 国产在线精品视频 | 亚洲清纯国产 | 国产精品2020 | 久久免费毛片视频 | 色婷婷精品| 国产成人精品一区二区三区免费 | 久久福利影视 | 福利一区在线 | 亚洲激情小视频 | 中文字幕视频播放 | 91av久久| 久久久久久久久久免费 | 久久久久久久久久伊人 | 五月天欧美精品 | 成人在线视频免费 | 中文字幕91在线 | 99精品网站 | 激情综合电影网 | 国产一区二区三区免费在线观看 | 天天综合网久久综合网 | 亚洲精品国产精品国自产观看浪潮 | av免费播放 | 亚洲精品乱码白浆高清久久久久久 | 国产三级久久久 | 在线观看 亚洲 | a视频免费看 | 超碰免费成人 | 麻豆一二三精选视频 | 伊人久久五月天 | 国产中文字幕在线看 | 天天操月月操 | 欧美在线视频一区二区 | 日韩大片免费在线观看 | 久久久久一区 | 亚洲精品网址在线观看 | 亚洲精品黄 | 五月激情站| 国产欧美日韩精品一区二区免费 | 一区精品在线 | 国产精品欧美精品 | 91久久国产综合精品女同国语 | 中文字幕中文字幕 | 98精品国产自产在线观看 | 久久久久久黄色 | 91精品小视频 | 综合天堂av久久久久久久 | 中文字幕在线第一页 | 精品专区一区二区 | 国产精品久久久久久久久久尿 | 亚洲欧美视频 | 成人在线播放免费观看 | 久久国产美女 | 91大片成人网 | 国产精品久久久久四虎 | 成人在线超碰 | 日韩精品视频在线免费观看 | www日日夜夜 | 久久男人免费视频 | 激情文学丁香 | 91精品国产高清自在线观看 | 99热在线精品观看 | 精品久久福利 | 玖玖在线播放 | 最新精品视频在线 | 在线成人国产 | 91av蜜桃 | 亚洲午夜精品久久久久久久久久久久 | 精品国偷自产在线 | 成人一级在线观看 | av中文国产 | 肉色欧美久久久久久久免费看 | 成人av直播 | 免费视频黄色 | 欧美日韩高清在线一区 | 免费福利在线视频 | 国产黄色一级片在线 | 一区免费视频 | 日韩三级免费 | 日韩免费不卡视频 | 亚洲日本激情 | 2023国产精品自产拍在线观看 | 日韩区欧美久久久无人区 | 91刺激视频 | 日韩视频免费观看高清完整版在线 | 国产老妇av | 日韩欧美中文 | 亚洲精品视频免费 | 久久免费在线视频 | 91大神免费在线观看 | 成人一区二区三区中文字幕 | 8x成人免费视频 | 久久久久久蜜桃一区二区 | 亚洲码国产日韩欧美高潮在线播放 | 视频在线观看亚洲 | 婷婷久久丁香 | 国产小视频在线观看 | 久久狠狠婷婷 | 四虎国产精品免费 | 久久精品综合一区 | 国产日韩中文字幕在线 | 在线观看深夜视频 | 中文字幕在线观看一区 | 欧美日本啪啪无遮挡网站 | 日韩欧美不卡 | 日韩v在线91成人自拍 | 在线色网站| 日韩在线 一区二区 | 婷婷在线综合 | 在线视频 一区二区 | 久久精品美女视频网站 | 亚洲国产网址 | 亚洲黄色高清 | 国产精品一区二区三区久久 | 不卡的一区二区三区 | 五月婷婷毛片 | 午夜精品久久久 | 天天操天天爽天天干 | 欧美日韩在线看 | 亚洲黄色一级视频 | 久久精品成人热国产成 | 亚洲欧美婷婷六月色综合 | 热久久这里只有精品 | av电影 一区二区 | 91视频在线观看大全 | 成人影片在线免费观看 | 国产成人福利片 | 成人性生爱a∨ | 久久久精品影视 | 国产一区二区在线影院 | 黄色电影网站在线观看 | a在线视频v视频 | 欧美精品在线视频观看 | 免费看片黄色 | 深夜免费小视频 | 在线免费视频 你懂得 | 久久视频精品在线 | 欧美综合久久久 | 亚洲精品一区二区三区高潮 | 亚洲国产成人久久综合 | 亚洲精品男女 | 久久午夜色播影院免费高清 | 欧美一区二区三区免费看 | 免费看黄电影 | 337p日本大胆噜噜噜噜 | 视频二区在线 | 国产黄色免费看 | 国产精品国产三级国产不产一地 | 久久免费试看 | 亚洲综合涩 | 天天操天天色天天射 | 521色香蕉网站在线观看 | 精品国产一区二区在线 | 四虎8848免费高清在线观看 | 激情伊人五月天 | 99tvdz@gmail.com| 丁香六月网| 在线观看免费视频 | 久久久人人爽 | 在线日本看片免费人成视久网 | av经典在线 | 香蕉视频在线免费 | 国产一区在线观看免费 | 精品视频久久久久久 | 久草在线91 | 天天干天天干天天干天天干天天干天天干 | 美女视频黄网站 | 免费观看国产精品视频 | 91九色国产 | 在线 日韩 av | 超碰九九 | 91麻豆免费视频 | 毛片在线网 | 欧美极品在线播放 | 欧美va在线观看 | 天堂网中文在线 | 久久欧美在线电影 | 国产精品99久久免费观看 | 欧美一区二区三区在线视频观看 | 开心激情五月网 | 国产成人福利在线观看 | 亚洲精品18日本一区app | 免费能看的黄色片 | 亚洲欧美视频一区二区三区 | 久久久久久久久久久国产精品 | 国产成人精品在线播放 | 亚洲最大色| 亚洲97在线 | 国产精品自产拍在线观看 | 国产一二三区av | 天天干中文字幕 | 成人黄色短片 | 久久久久久久久久伊人 | 精品欧美在线视频 | 亚洲欧美日韩在线一区二区 | www.夜夜操.com| 天天干夜夜干 | 激情丁香在线 | 精品美女国产在线 | 最近2019中文免费高清视频观看www99 | 国产高清不卡 | 国产成人免费观看 | 国产精品18久久久久久久久 | 国产精品一区二区无线 | 欧美性极品xxxx做受 | 色九九在线| 久久久激情网 | av丁香花| 天天爱天天射 | 中文资源在线官网 | av在线电影免费观看 | 狠狠狠色丁香婷婷综合久久88 | 五月婷婷激情网 | 狠狠操夜夜操 | 中文字幕电影在线 | 色多多在线观看 | 中文字幕在线看视频 | 超碰97国产在线 | 成年人视频在线免费观看 | 中文视频在线播放 | 国产一区福利 | 久久久免费电影 | 波多野结衣电影久久 | 在线看片日韩 | 摸bbb搡bbb搡bbbb| 国产中文字幕亚洲 | 69av国产| 夜夜爽www| 日韩欧美亚洲 | 五月天综合色 | 久热电影 | 91看片麻豆| 国产91丝袜在线播放动漫 | av免费在线观看网站 | 日韩精品中文字幕在线 | 激情五月播播久久久精品 | 麻豆精品91 | 精品国产诱惑 | 亚洲国产中文字幕在线观看 | 91香蕉国产在线观看软件 | 国产成人久久av977小说 | 99精品一级欧美片免费播放 | 日韩在线播放视频 | 色av网站| 在线91精品| 黄色国产精品 | 国产在线观看91 | 99视频久| 日韩一区二区三区观看 | 国产一卡二卡四卡国 | 日韩在线观看中文 | 国产视频久久 | 亚洲一区尤物 | 国产91精品在线观看 | 夜夜视频资源 | 91九色综合 | 在线观看福利网站 | 999成人精品| 免费在线播放黄色 | www.亚洲黄| 久久国产成人午夜av影院潦草 | 国产精品网址在线观看 | 黄色毛片网站在线观看 | 六月丁香在线观看 | 天天射天天 | 少妇搡bbbb搡bbb搡aa | 国产色视频123区 | 国产黄在线| 亚洲一区二区三区四区精品 | 高清av中文字幕 | 日本三级久久 | 久久爱导航 | 国产精品女同一区二区三区久久夜 | 色姑娘综合天天 | 草免费视频 | 在线国产小视频 | 中文字幕日韩在线播放 | 亚洲国产剧情av | 中文字幕免费高清av | 正在播放国产91 | 国产123区在线观看 国产精品麻豆91 | 操操日 | 黄色a视频| 五月天久久婷 | 婷婷综合视频 | 日日夜夜精品视频天天综合网 | 激情婷婷六月 | 久久精品高清视频 | 波多在线视频 | 精品天堂av | 色婷婷综合视频在线观看 | 综合久久久久久 | 国产精品资源在线 | 免费日韩一区二区三区 | 国产美女视频免费观看的网站 | 欧美日韩免费看 | 狠狠色丁香婷婷综合橹88 | 亚洲欧美精品一区 | 天天操天天射天天爽 | 成人亚洲免费 | 国产九九热视频 | 超碰免费观看 | 午夜精选视频 | 黄色www | 亚洲国产天堂av | 亚洲午夜av| 久久久蜜桃一区二区 | 夜色资源站国产www在线视频 | 蜜臀av性久久久久av蜜臀妖精 | 免费精品国产 | 国产爽视频 | 日韩精品一区二区三区外面 | 久久人人爽人人爽人人片av免费 | 伊人资源站 | 国产日韩中文字幕在线 | 成人免费在线视频 | 免费在线观看黄网站 | 99久久精品国产欧美主题曲 | av一本久道久久波多野结衣 | 日韩精品欧美专区 | 国产在线观看一 | 最近最新中文字幕 | 国产 字幕 制服 中文 在线 | 国产精品资源网 | av在线电影免费观看 | 精品久久久久久亚洲 | 日本中文字幕在线一区 | 色综合久久精品 | 人人爽夜夜爽 | 99免费在线播放99久久免费 | 精品美女久久久久久免费 | 91| 国产在线观看免费观看 | 成人免费看片98欧美 | 91污视频在线 | 日韩va亚洲va欧美va久久 | 亚洲毛片视频 | 国产成在线观看免费视频 | 网址你懂的在线观看 | 一本一道久久a久久精品蜜桃 | 亚洲播播 | 麻豆久久一区二区 | 91在线影视| 久久精品国亚洲 | 国产在线精品观看 | 久久久久女人精品毛片 | 激情视频一区二区 | 精品中文字幕在线播放 | 成人毛片在线观看 | 91精品视频一区二区三区 | 免费在线观看毛片网站 | 新av在线| 欧美性久久久 | 久艹视频免费观看 | 黄色小说免费观看 | 一级a毛片高清视频 | 久久久久国产精品一区二区 | 亚洲激情在线观看 | 国产最新视频在线 | 天天摸夜夜添 | 欧美一级爽 | 一区二区中文字幕在线播放 | 91九色综合 | 亚洲综合色激情五月 | 天天综合入口 | 日韩欧美精品一区二区三区经典 | 手机av资源| 成人免费观看网址 | 国产日韩亚洲 | 四虎在线免费观看 | 久久亚洲综合色 | 免费看污片 | 久久久久女教师免费一区 | 久久av中文字幕片 | 国产一级片免费视频 | 久久久久久久久久久影院 | 久久久久国产精品免费免费搜索 | 中文字幕 91 | 国产午夜精品一区二区三区嫩草 | 91在线观看视频网站 | 一区二区三区免费在线观看 | av大片网址 | 久久久精品在线观看 | 狠狠干美女 | 国产精品久久久久久久免费 | 国产精品一区二区av影院萌芽 | 国产免费黄视频在线观看 | 18久久久久久 | 欧美成人日韩 | 亚洲国产成人在线播放 | 久久久久久蜜桃一区二区 | 久久精品直播 | 色综合久久精品 | 97精品在线视频 | 久久免费激情视频 | 久久久高清 | 免费观看国产精品视频 | 国产视频不卡 | 国产精品美女在线观看 | 欧美精品在线一区二区 | 天天操天天干天天综合网 | 玖玖在线看 | 国产区精品在线 | 欧美三级免费 | 色噜噜在线观看 | 国产 日韩 在线 亚洲 字幕 中文 | 91视频啪 | 日韩精品免费在线观看视频 | 久久免费的精品国产v∧ | 久久午夜电影院 | 综合亚洲视频 | 开心综合网 | 日日夜夜精品视频天天综合网 | 96精品视频 | 毛片在线播放网址 | 久久久久久久久久久久av | 久草视频免费在线播放 | 在线观看激情av | 波多野结依在线观看 | 午夜精品在线看 | 中文字幕av一区二区三区四区 | 成人国产一区二区 | 午夜视频在线观看一区二区三区 | 五月天中文字幕 | 操操综合 | 久久理论影院 | 久插视频| 99免在线观看免费视频高清 | 欧美激情另类 | 天天躁日日躁狠狠躁 | 日韩黄色网络 | 国产精品涩涩屋www在线观看 | 国产电影一区二区三区四区 | 亚洲欧美日韩在线看 | 五月天网站在线 | 免费视频你懂的 | 精品视频免费久久久看 | av免费电影在线 | 国产精品久久久久久久99 | 欧美电影黄色 | 正在播放国产一区 | 成片免费观看视频999 | 亚洲精品国产自产拍在线观看 | 亚洲成av人片在线观看www | 国产精品电影一区 | 日韩有码网站 | 国产日韩欧美精品在线观看 | 久久免费视频8 | 国产精品99久久久久久人免费 | 九九热1 | 色偷偷88888欧美精品久久 | 久久国色夜色精品国产 | 国产精品 999| 91污污| 在线视频 日韩 | 久久综合影音 | 国产精华国产精品 | 久久久精品国产免费观看同学 | 亚洲电影自拍 | 91精品办公室少妇高潮对白 | 精品久久久国产 | 一级片免费在线 | 国产成人精品亚洲精品 | 99久久婷婷 | 中文免费在线观看 | 99精品欧美一区二区蜜桃免费 | 国产精品黑丝在线观看 | 婷婷综合电影 | 精品国产一区二区三区在线观看 | 久久久国产精品网站 | 九九精品久久 | 99久久精品国产亚洲 | 一区 二区电影免费在线观看 | 亚洲精品久久久蜜桃直播 | 亚洲 精品在线视频 | 欧美视频国产视频 | 欧美一级黄色片 | 国产精品成人av在线 | 欧美视频18| 超碰在线天天 | 狠狠伊人| 91精品在线观看视频 | a级国产乱理论片在线观看 伊人宗合网 | 国产精品福利无圣光在线一区 | 97超碰在线人人 | 99 久久久久 | 国产综合精品久久 | 在线 成人 | 欧美一级在线观看视频 | 亚洲精品视频在线免费播放 | av片在线观看 | 在线一区电影 | 久久精品久久精品久久精品 | 午夜av剧场 | 99视频在线免费看 | 91九色综合 | 日韩在线观看av | 国产精品久久久久婷婷二区次 | 国产精品1区 | 国产精品日韩在线观看 | 91av视屏 | 在线观看国产成人av片 | 黄色av一级 | 亚洲 综合 国产 精品 | 伊人精品影院 | 免费看三片 | 国产一区二区精品久久 | 亚洲欧美日韩国产一区二区三区 | 亚洲欧美激情精品一区二区 | 欧美激情亚洲综合 | 麻豆你懂的| 五月天国产精品 | 国产黄色免费看 | 中文字幕乱码在线播放 | 色偷偷网站视频 | 国产又粗又猛又色又黄网站 | 日本黄色大片免费看 | 免费在线成人av | 97国产视频 | 久青草国产在线 | 五月婷社区 | 国产剧情一区二区在线观看 | 91高清不卡 | 伊人www22综合色 | 在线小视频国产 | 国产在线播放观看 | 草草草影院 | 国产精品久久综合 | 18性欧美xxxⅹ性满足 | 91在线视频播放 | 国产又黄又爽又猛视频日本 | 在线免费观看一区二区三区 | 中文字幕在线观看第一区 | 中文字幕丝袜美腿 | 天天射天天爱天天干 | 天天曰天天爽 | 国产伦精品一区二区三区照片91 | 国产精品不卡在线 | 日韩三级免费观看 | 欧洲一区二区在线观看 | 在线导航福利 | 九月婷婷综合网 | 精品福利网站 | 9999毛片| 美女精品网站 | 日本精品久久久一区二区三区 | 日韩大片在线免费观看 | 亚洲少妇激情 | 91av观看 | 亚洲欧美精品一区 | 高清av影院| 美女久久久久久久久久久 | 国产中文字幕在线 | 一区二区三区视频在线 | 狠狠激情中文字幕 | 91成熟丰满女人少妇 | 久久免费av | 久草在线视频首页 | 天天色天天综合 | 中文字幕乱码亚洲精品一区 | 91精品国产亚洲 | 亚洲精品乱码久久久久久按摩 | 久久网站av | 伊人婷婷久久 | 91视频国产免费 | 国产成人精品网站 | 国产婷婷一区二区 | 国产精品专区一 | 视频成人永久免费视频 | 亚洲成人av在线电影 | 日日爽天天 | 日日射天天射 | 91av资源在线 | 99热免费在线 | 日韩av片无码一区二区不卡电影 | 亚洲女人天堂成人av在线 | 91精品导航| 在线免费观看视频一区 | 亚洲激情在线视频 | 成片视频免费观看 | 国产无遮挡猛进猛出免费软件 | 亚洲成人动漫在线观看 | 国产亚洲va综合人人澡精品 | 国产成人精品一区二区三区网站观看 | 日韩一区视频在线 | 免费观看成人网 | 国产成人精品日本亚洲999 | 深爱五月激情网 | 中文字幕视频网站 | 午夜三级影院 | 欧美日韩国内在线 | 欧美91视频| www.夜夜草| 伊人久久精品久久亚洲一区 | 91亚洲精品久久久蜜桃借种 | 黄a网| 天天干天天怕 | 亚洲精品午夜国产va久久成人 | 婷婷激情小说网 | 国产黄色片在线免费观看 | 久久免费久久 | 中文字幕第 | 久久一区二| 丝袜美女视频网站 | 深爱婷婷网 | 日韩在线一级 | 少妇bbbb揉bbbb日本 | 黄色免费视频在线观看 | 亚洲精品国久久99热 | 国产资源在线免费观看 | 日本三级全黄少妇三2023 | 九九99靖品 | 久久国产精品免费一区 | 国产黄网站在线观看 | 欧美一级小视频 | 成人免费亚洲 | 亚洲va欧美va人人爽 | 98超碰人人 | av线上免费看| 国产成人99久久亚洲综合精品 | 91手机视频| 色网站在线看 | 国产亚州精品视频 | 91精品久久久久久 | 天天躁天天狠天天透 | 色婷婷一| 97超在线视频 | 久久草| 涩av在线| 成人97视频 | 69精品久久久 | 手机av资源| 久久精品一级片 | www.久热| 伊人激情网 | 日本黄区免费视频观看 | 亚洲精品五月 | 国产精品成人一区二区三区 | 成人网在线免费视频 | 欧美日韩国产高清视频 | 国产成人61精品免费看片 | 97视频免费在线观看 | 亚洲成年人在线播放 | 亚洲1区在线| 色多多视频在线观看 | 日韩欧美电影网 | 国产白浆视频 | 国产99久久久国产精品免费看 | 97福利视频| 一级黄色av | 91人人揉日日捏人人看 | 欧美日韩视频在线观看免费 | 日韩精品一区二区三区丰满 | 日韩在线看片 | 午夜影院一级片 | 美女精品| 日韩免费av网址 | 在线免费中文字幕 | 特级西西人体444是什么意思 | 丰满少妇一级 | 狠狠色伊人亚洲综合网站色 | 久久久国产在线视频 | 国产成人精品久久久 | 精品国产一区二区三区男人吃奶 | 国产四虎在线 | 91高清一区 | 免费一级日韩欧美性大片 | 亚洲精品中文在线资源 | 久章草在线观看 | 91精品福利在线 | 成年人在线 | 亚洲人成人天堂h久久 | 欧美日韩在线视频观看 | 国产精品99久久久精品 | 国产精品成人一区二区三区 | 91精品一区二区三区蜜臀 | 国产高清99 | 日韩视频免费观看高清 | 成人一级影视 | 精品视频专区 | 免费看黄视频 | 久综合网 | 国产 欧美 日本 | 成人一区二区三区在线观看 | 韩国一区二区三区视频 | 99性视频 | 天天干天天操天天入 | 日韩免费网址 | 国产精品一区在线观看 | 日韩久久午夜一级啪啪 | 在线观看亚洲视频 | 国产特级毛片aaaaaaa高清 | 国产一级视频 | 在线观看国产麻豆 | 91看片在线免费观看 | 激情婷婷综合网 | 中文字幕 国产专区 | 日韩精品中文字幕久久臀 | 水蜜桃亚洲一二三四在线 | 国产免费黄视频在线观看 | 色婷婷播放 | 97碰碰视频 | 国产高清在线a视频大全 | 一级a毛片高清视频 | 日本三级在线观看中文字 | 欧美久草视频 | 国产一级不卡毛片 | 蜜臀久久99精品久久久酒店新书 | 麻豆视频国产在线观看 | 91av亚洲| 久久精品中文视频 | 国产第一页在线播放 | 久久电影日韩 | 日本久久视频 | 在线免费观看成人 | 天天操天天舔天天爽 | 天天综合网久久综合网 | 久久福利| 99精品乱码国产在线观看 | 国产精品99久久久久久武松影视 | 色偷偷88888欧美精品久久久 | 久久国内免费视频 | 成人全视频免费观看在线看 | 精品美女久久久久 | 日韩久久久久久久久久久久 | 日韩有码在线观看视频 | 亚洲久草在线视频 | 日日日天天天 | 成人免费一区二区三区在线观看 | 亚洲综合成人在线 | 久草电影在线观看 | 日韩va在线观看 | 国产成人亚洲精品自产在线 | 国产色婷婷| 国内精品美女在线观看 | 免费看片成年人 | 国产高清免费在线观看 | 五月天六月婷婷 | 99热在线国产 | 操操操com | 国产成人av电影在线观看 | 激情视频国产 | 久久久久久久久久久久电影 | 激情五月播播久久久精品 | 精品 一区 在线 | 亚洲 中文字幕av | 日日干av | 日韩黄在线观看 | a级国产乱理伦片在线播放 久久久久国产精品一区 | 91在线视频播放 | 精品国产一区二 | 久操久| 成人av动漫在线观看 | 婷婷色九月| 免费中文字幕在线观看 | 亚洲专区欧美专区 | 日韩欧美高清在线 | 蜜臀av网址 | 六月婷婷网 | 亚洲精选在线 | 一级片视频免费观看 | av在线电影网站 | 久久综合九色欧美综合狠狠 | 欧美精彩视频在线观看 | av高清一区二区三区 | 中文字幕在线观看一区二区三区 | 欧美激情第八页 | 在线视频第一页 | 日韩国产精品一区 | 日日夜夜天天久久 | 精品国产视频一区 | 精品国产乱码久久久久久天美 | 中文资源在线观看 | 成人影片免费 | 久草在线免费播放 | 亚洲视频久久久 | 青青草国产免费 | 久久国产精品成人免费浪潮 | 一区二区三区精品在线 | 亚洲美女在线国产 | 少妇bbw搡bbbb搡bbb | 精品久久久久久亚洲综合网 | 日韩av免费在线看 | 国产精品毛片 | 亚洲精品乱码久久久一二三 | www.伊人网 | 欧美色图另类 | 久久精品五月 | 久久综合免费视频影院 | 亚洲激情网站免费观看 | 97av免费视频 | 欧美精品天堂 | 国产成人在线免费观看 | 欧美性春潮 | 手机在线日韩视频 | 日本少妇久久久 | 国产字幕在线播放 | 中文字幕一区二区三区在线视频 | 综合网久久 | 天天天插 | 亚洲国产三级在线 | 国产精品久久久久久高潮 | 国产成人99久久亚洲综合精品 | 亚洲一级久久 | 国产1区2区3区在线 亚洲自拍偷拍色图 | 91成年人网站 | 丁香九月激情综合 | 久久一区二区三区国产精品 | 国产精品video | 国产成人久久精品亚洲 | 亚洲精品免费播放 | 亚洲一级片av |