日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問(wèn) 生活随笔!

生活随笔

當(dāng)前位置: 首頁(yè) > 编程资源 > 编程问答 >内容正文

编程问答

OpenYurt 入门 - 在树莓派上玩转 OpenYurt

發(fā)布時(shí)間:2025/3/20 编程问答 28 豆豆
生活随笔 收集整理的這篇文章主要介紹了 OpenYurt 入门 - 在树莓派上玩转 OpenYurt 小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

作者 |?唐炳昌
來(lái)源|阿里巴巴云原生公眾號(hào)

隨著邊緣計(jì)算的快速發(fā)展,越來(lái)越多的數(shù)據(jù)需要到網(wǎng)絡(luò)的邊緣側(cè)進(jìn)行存儲(chǔ)、處理和分析,邊緣的設(shè)備和應(yīng)用呈爆發(fā)式增長(zhǎng)。如何高效的管理邊緣側(cè)的資源和應(yīng)用是業(yè)界面臨的一個(gè)主要問(wèn)題。當(dāng)前,采用云原生的方法,將云計(jì)算的能力下沉到邊緣并在云端做統(tǒng)一調(diào)度、管控的云邊端一體化架構(gòu)得到了業(yè)界的廣泛認(rèn)可。

2020 年 5 月,阿里巴巴開(kāi)源首個(gè) Kubernetes 無(wú)侵入的邊緣計(jì)算云原生項(xiàng)目?OpenYurt,并于同年 9 月份進(jìn)入 CNCF SandBox。OpenYurt 針對(duì)邊緣場(chǎng)景中網(wǎng)絡(luò)不穩(wěn)定、云邊運(yùn)維困難等問(wèn)題,對(duì)原生 Kubernetes 無(wú)侵入地增強(qiáng),重點(diǎn)提供了邊緣節(jié)點(diǎn)自治、云邊運(yùn)維通道、邊緣單元化的能力。

如圖 1 所示,本文通過(guò)在云端部署 Kubernetes 集群的控制面,并將樹(shù)莓派接入集群來(lái)搭建云管邊場(chǎng)景?;谶@個(gè)環(huán)境演示 OpenYurt 的核心能力,帶大家快速上手 OpenYurt。


圖 1? 原生 Kubernetes 集群

環(huán)境準(zhǔn)備

1. 基礎(chǔ)環(huán)境介紹

在云端,購(gòu)買(mǎi) ENS 節(jié)點(diǎn)(ENS 節(jié)點(diǎn)具有公網(wǎng) IP,方便通過(guò)公網(wǎng)對(duì)外暴露服務(wù))來(lái)部署原生 K8s 集群的管控組件。其中系統(tǒng)采用 ubuntu18.04、hostname 為 master-node、docker 版本為 19.03.5。

在邊緣,如圖 2 所示,將樹(shù)莓派 4 與本地的路由器連接,組成邊緣私網(wǎng)環(huán)境,路由器通過(guò) 4G 網(wǎng)卡訪問(wèn)互聯(lián)網(wǎng)。其中樹(shù)莓派 4 預(yù)裝系統(tǒng)為 ubuntu18.04、hostname為 edge-node、docker 版本為 19.03.5。


圖 2? 邊緣環(huán)境實(shí)體圖

2. 原生 K8s 集群搭建

本文演示環(huán)境基于社區(qū)1.16.6版本的K8s集群,并采用社區(qū)提供的kubeadm工具來(lái)搭建集群,具體操作如下:

  • 在云端節(jié)點(diǎn)和樹(shù)莓派上分別執(zhí)行如下命令安裝 Kubernetes 組件。
curl -s https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | sudo apt-key add - echo "deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main" > /etc/apt/sources.list.d/kubernetes.list sudo apt-get update sudo apt install -y kubelet=1.16.6-00 kubeadm=1.16.6-00 kubectl=1.16.6-00
  • 使用 kubeadm 初始化云端節(jié)點(diǎn)(在云端節(jié)點(diǎn)上執(zhí)行如下命令),部署過(guò)程中采用阿里云的鏡像倉(cāng)庫(kù),為了支持樹(shù)莓派的接入,該倉(cāng)庫(kù)的鏡像做了 manifest 列表,能夠支持 amd64/arm64 兩種不同的 CPU 架構(gòu)。
# master-node kubeadm init --image-repository=registry.cn-hangzhou.aliyuncs.com/edge-kubernetes --kubernetes-version=v1.16.6 --pod-network-cidr=10.244.0.0/16

依據(jù)初始化完成之后的提示,拷貝 config 文件到 $HOME/.kube 中:

mkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  • 樹(shù)莓派接入云端集群依據(jù)第二步中初始化完成以后輸出的節(jié)點(diǎn)接入信息,在樹(shù)莓派上執(zhí)行接入命令。
kubeadm join 183.195.233.42:6443 --token XXXX \--discovery-token-ca-cert-hash XXXX
  • 添加 cni 配置(云端管控節(jié)點(diǎn)和樹(shù)莓派都需要配置),本文搭建的集群使用主機(jī)網(wǎng)絡(luò)。創(chuàng)建 cni 配置文件 /etc/cni/net.d/0-loopback.conf,并將如下內(nèi)容拷貝到該文件中。
{"cniVersion": "0.3.0","name": "lo","type": "loopback" }
  • 在 master 節(jié)點(diǎn)上查看部署效果。
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME edge-node Ready <none> 74s v1.16.6 192.168.0.100 <none> Ubuntu 18.04.4 LTS 4.19.105-v8-28 docker://19.3.5 master-node Ready master 2m5s v1.16.6 183.195.233.42 <none> Ubuntu 18.04.2 LTS 4.15.0-52-generic docker://19.3.5
  • 刪除 CoreDNS(本文 Demo 中 CoreDNS 不需要使用),并將 master 節(jié)點(diǎn)的 taints 去掉(方便后續(xù)部署 OpenYurt 組件)。
kubectl delete deployment coredns -n kube-system kubectl taint node master-node node-role.kubernetes.io/master-

原生 K8s 集群在邊緣場(chǎng)景中的問(wèn)題

基于上述環(huán)境,我們來(lái)測(cè)試一下原生 K8s 在云管邊架構(gòu)中對(duì)云邊運(yùn)維的支持和對(duì)云邊網(wǎng)絡(luò)斷開(kāi)時(shí)的反應(yīng)。首先,我們從云端部署一個(gè)測(cè)試應(yīng)用 nginx,在 master 節(jié)點(diǎn)上執(zhí)行 kubectl apply -f nginx.yaml,具體的部署 yaml 如下。

注意:nodeSelector 選擇 edge-node 節(jié)點(diǎn),主機(jī)網(wǎng)絡(luò)配置為 true,并配置 pod 的容忍時(shí)間為 5s(默認(rèn) 5min, 此處配置便于演示 pod 驅(qū)逐)。

apiVersion: v1 kind: Pod metadata:name: nginx spec:tolerations:- key: "node.kubernetes.io/unreachable"operator: "Exists"effect: "NoExecute"tolerationSeconds: 5- key: "node.kubernetes.io/not-ready"operator: "Exists"effect: "NoExecute"tolerationSeconds: 5nodeSelector:kubernetes.io/hostname: edge-nodecontainers:- name: nginximage: nginxhostNetwork: true

查看部署結(jié)果:

root@master-node:~# kubectl get pods -owide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES nginx 1/1 Running 0 11s 192.168.0.100 edge-node <none> <none>

1. 測(cè)試常用的集群運(yùn)維指令,包括 logs、exec、port-forward。

在 master 節(jié)點(diǎn)上運(yùn)維邊緣節(jié)點(diǎn)應(yīng)用,執(zhí)行 logs/exec/port-forward 等指令,查看結(jié)果。

root@master-node:~# kubectl logs nginx Error from server: Get https://192.168.0.100:10250/containerLogs/default/nginx/nginx: dial tcp 192.168.0.100:10250: connect: connection refusedroot@master-node:~# kubectl exec -it nginx sh kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead. Error from server: error dialing backend: dial tcp 192.168.0.100:10250: connect: connection refusedroot@master-node:~# kubectl port-forward pod/nginx 8888:80 error: error upgrading connection: error dialing backend: dial tcp 192.168.0.100:10250: connect: connection refused

從執(zhí)行結(jié)果看,原生的k8s在云管邊的場(chǎng)景中,無(wú)法提供從云端運(yùn)維邊緣應(yīng)用的能力。這是因?yàn)檫吘壒?jié)點(diǎn)部署在用戶的私網(wǎng)環(huán)境,從云端無(wú)法通過(guò)邊緣節(jié)點(diǎn)的 IP 地址直接訪問(wèn)邊緣節(jié)點(diǎn)。

2. 測(cè)試邊緣斷網(wǎng)時(shí)對(duì)業(yè)務(wù)的影響

邊緣節(jié)點(diǎn)與云端管控通過(guò)公網(wǎng)連接,經(jīng)常會(huì)出現(xiàn)網(wǎng)絡(luò)不穩(wěn)定,云端斷連的情況。這里我們將做兩個(gè)斷網(wǎng)相關(guān)的測(cè)試:

  • 斷網(wǎng) 1 分鐘->恢復(fù)網(wǎng)絡(luò)

  • 斷網(wǎng) 1 分鐘->重啟邊緣節(jié)點(diǎn)->恢復(fù)網(wǎng)絡(luò)

觀察兩個(gè)測(cè)試過(guò)程中節(jié)點(diǎn)和 Pod 的狀態(tài)變化。本文 Demo 中的斷網(wǎng)方式是將路由器的公網(wǎng)連接斷開(kāi)。

1)斷網(wǎng) 1 分鐘->恢復(fù)網(wǎng)絡(luò)

斷開(kāi)網(wǎng)絡(luò),大約 40s 后,節(jié)點(diǎn)變成 NotReady(正常節(jié)點(diǎn) 10s 鐘上報(bào)一次心跳,當(dāng) 4 次沒(méi)有上報(bào)心跳時(shí),管控組件認(rèn)為節(jié)點(diǎn)異常)。

root@master-node:~# kubectl get nodes NAME STATUS ROLES AGE VERSION edge-node NotReady <none> 5m13s v1.16.6 master-node Ready master 6m4s v1.16.6

繼續(xù)等待 5s 之后(正常節(jié)點(diǎn)變?yōu)?NotReady 之后,5m 才開(kāi)始驅(qū)逐 pod,此處為了測(cè)試效果,將 pod 的容忍時(shí)間配成了 5s),應(yīng)用 pod 被驅(qū)逐,狀態(tài)變?yōu)?Terminating。

root@master-node:~# kubectl get pods NAME READY STATUS RESTARTS AGE nginx 1/1 Terminating 0 3m45s

將網(wǎng)絡(luò)恢復(fù),觀察節(jié)點(diǎn)及 pod 變化。

root@master-node:~# kubectl get pods No resources found in default namespace.

網(wǎng)絡(luò)恢復(fù)后,節(jié)點(diǎn)狀態(tài)變成 ready,業(yè)務(wù) pod 被清除,這是因?yàn)檫吘壒?jié)點(diǎn)的 Kubelet 獲取到業(yè)務(wù) Pod 的 Terminating 狀態(tài),對(duì)業(yè)務(wù) Pod 做刪除操作,并返回刪除成功,云端也做了相應(yīng)的清理。至此,業(yè)務(wù) Pod 由于云邊網(wǎng)絡(luò)的不穩(wěn)定而被驅(qū)逐,然而在斷網(wǎng)期間,邊緣節(jié)點(diǎn)其實(shí)是可以正常工作的。

重新創(chuàng)建應(yīng)用 nginx,用于下面測(cè)試。

root@master-node:~# kubectl get pods -owide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES nginx 1/1 Running 0 4s 192.168.0.100 edge-node <none> <none>

2)斷網(wǎng) 1 分鐘->重啟邊緣節(jié)點(diǎn)->恢復(fù)網(wǎng)絡(luò)

接下來(lái),我們測(cè)試在斷網(wǎng)的情況下,邊緣節(jié)點(diǎn)的重啟對(duì)業(yè)務(wù)的影響。斷網(wǎng) 1 分鐘之后,Node 和 Pod 狀態(tài)同上面測(cè)試結(jié)果,Node 變?yōu)?NotReady,Pod 的狀態(tài)變?yōu)?Terminating。此時(shí),切換到私有網(wǎng)絡(luò)環(huán)境,登錄到樹(shù)莓派上,將樹(shù)莓派重啟,重啟完成后等待大約 1 分鐘,觀察重啟前后節(jié)點(diǎn)上的容器列表。

重啟前邊緣節(jié)點(diǎn)容器列表(此時(shí)云邊端開(kāi),雖然在云端獲取的 pod 是 Terminating 狀態(tài),但是邊緣并未 Watch 到 Terminating 的操作,所以邊緣的應(yīng)用還正常運(yùn)行)。

root@edge-node:~# docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 9671cbf28ca6 e86f991e5d10 "/docker-entrypoint.…" About a minute ago Up About a minute k8s_nginx_nginx_default_efdf11c6-a41c-4b95-8ac8-45e02c9e1f4d_0 6272a46f93ef registry.cn-hangzhou.aliyuncs.com/edge-kubernetes/pause:3.1 "/pause" 2 minutes ago Up About a minute k8s_POD_nginx_default_efdf11c6-a41c-4b95-8ac8-45e02c9e1f4d_0 698bb024c3db f9ea384ddb34 "/usr/local/bin/kube…" 8 minutes ago Up 8 minutes k8s_kube-proxy_kube-proxy-rjws7_kube-system_51576be4-2b6d-434d-b50b-b88e2d436fef_0 31952700c95b registry.cn-hangzhou.aliyuncs.com/edge-kubernetes/pause:3.1 "/pause" 8 minutes ago Up 8 minutes k8s_POD_kube-proxy-rjws7_kube-system_51576be4-2b6d-434d-b50b-b88e2d436fef_0

重啟后節(jié)點(diǎn)容器列表,斷網(wǎng)重啟后,kubelet 無(wú)法從云端獲取 Pod 信息,不會(huì)重建 Pod。

root@edge-node:~# docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES root@edge-node:~#

從重啟前后的對(duì)比看,邊緣節(jié)點(diǎn)在斷網(wǎng)重啟之后,節(jié)點(diǎn)上的 Pod 全部無(wú)法恢復(fù)。這就會(huì)導(dǎo)致在云邊斷網(wǎng)時(shí),一旦節(jié)點(diǎn)重啟,應(yīng)用將無(wú)法工作。

將網(wǎng)絡(luò)恢復(fù),觀察節(jié)點(diǎn)及 pod 變化,同上面測(cè)試結(jié)果,網(wǎng)絡(luò)恢復(fù)后,節(jié)點(diǎn)變?yōu)?Ready,業(yè)務(wù) Pod 被清除。

root@master-node:~# kubectl get nodes NAME STATUS ROLES AGE VERSION edge-node Ready <none> 11m v1.16.6 master-node Ready master 12m v1.16.6 root@master-node:~# kubectl get pods No resources found in default namespace.

接下來(lái),再次部署業(yè)務(wù) nginx,測(cè)試 OpenYurt 集群對(duì)云邊運(yùn)維的支持和對(duì)云邊斷網(wǎng)時(shí)的反應(yīng)。

root@master-node:~# kubectl get pods -owide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES nginx 1/1 Running 0 12s 192.168.0.100 edge-node <none> <none>

原生 K8s 集群一鍵轉(zhuǎn)換為 OpenYurt 集群

探究了原生 Kubernetes 在云邊一體化架構(gòu)中的不足之后,我們來(lái)看下 OpenYurt 集群是否能滿足這種場(chǎng)景。現(xiàn)在,我們利用 OpenYurt 社區(qū)提供的集群轉(zhuǎn)換工具 yurtctl,來(lái)將原生 K8s 集群轉(zhuǎn)換成 OpenYurt 集群。在 master 節(jié)點(diǎn)上執(zhí)行如下命令,?該命令指定了組件的鏡像以及云端節(jié)點(diǎn),并指定安裝云邊運(yùn)維通道 yurt-tunnel。

yurtctl convert --yurt-controller-manager-image=registry.cn-hangzhou.aliyuncs.com/openyurt/yurt-controller-manager:v0.2.1 --yurt-tunnel-agent-image=registry.cn-hangzhou.aliyuncs.com/openyurt/yurt-tunnel-agent:v0.2.1 --yurt-tunnel-server-image=registry.cn-hangzhou.aliyuncs.com/openyurt/yurt-tunnel-server:v0.2.1 --yurtctl-servant-image=registry.cn-hangzhou.aliyuncs.com/openyurt/yurtctl-servant:v0.2.1 --yurthub-image=registry.cn-hangzhou.aliyuncs.com/openyurt/yurthub:v0.2.1 --cloud-nodes=master-node --deploy-yurttunnel

轉(zhuǎn)換大概需要 2min,轉(zhuǎn)換完成之后,觀察業(yè)務(wù) pod 的狀態(tài),可以看到轉(zhuǎn)換過(guò)程中對(duì)業(yè)務(wù) pod 無(wú)影響(也可以在轉(zhuǎn)換過(guò)程中在新的終端使用 kubectl get pod -w 觀察業(yè)務(wù) pod 的狀態(tài))。

root@master-node:~# kubectl get pods -owide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES nginx 1/1 Running 0 2m4s 192.168.0.100 edge-node <none> <none>

執(zhí)行完成之后的組件分布如圖 3 所示,其中橙色部分是 OpenYurt 相關(guān)的組件,藍(lán)色部分是原生 K8s 組件。相應(yīng)地,我們觀察云端節(jié)點(diǎn)和邊緣節(jié)點(diǎn)的 pod。


圖 3? OpenYurt 集群組件分布圖

云端節(jié)點(diǎn) yurt 相關(guān)的 pod:yurt-controller-manager 和 yurt-tunnel-server。

root@master-node:~# kubectl get pods --all-namespaces -owide | grep master | grep yurt kube-system yurt-controller-manager-7d9db5bf85-6542h 1/1 Running 0 103s 183.195.233.42 master-node <none> <none> kube-system yurt-tunnel-server-65784dfdf-pl5bn 1/1 Running 0 103s 183.195.233.42 master-node <none> <none>

邊緣節(jié)點(diǎn)新增 yurt 相關(guān)的 pod: yurt-hub(static pod)和 yurt-tunnel-agent。

root@master-node:~# kubectl get pods --all-namespaces -owide | grep edge | grep yurt kube-system yurt-hub-edge-node 1/1 Running 0 117s 192.168.0.100 edge-node <none> <none> kube-system yurt-tunnel-agent-7l8nv 1/1 Running 0 2m 192.168.0.100 edge-node <none> <none>

測(cè)試 OpenYurt 集群在邊緣場(chǎng)景中的能力

1. 測(cè)試 logs/exec/port-forward 等運(yùn)維指令,查看結(jié)果

root@master-node:~# kubectl logs nginx /docker-entrypoint.sh: /docker-entrypoint.d/ is not empty, will attempt to perform configuration /docker-entrypoint.sh: Looking for shell scripts in /docker-entrypoint.d/ /docker-entrypoint.sh: Launching /docker-entrypoint.d/10-listen-on-ipv6-by-default.sh 10-listen-on-ipv6-by-default.sh: info: Getting the checksum of /etc/nginx/conf.d/default.conf 10-listen-on-ipv6-by-default.sh: info: Enabled listen on IPv6 in /etc/nginx/conf.d/default.conf /docker-entrypoint.sh: Launching /docker-entrypoint.d/20-envsubst-on-templates.sh /docker-entrypoint.sh: Configuration complete; ready for start uproot@master-node:~# kubectl exec -it nginx sh kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead. # ls bin dev docker-entrypoint.sh home media opt root sbin sys usr boot docker-entrypoint.d etc lib mnt proc run srv tmp var # exitroot@master-node:~# kubectl port-forward pod/nginx 8888:80 Forwarding from 127.0.0.1:8888 -> 80 Handling connection for 8888

測(cè)試 port-forward 時(shí),在 master 節(jié)點(diǎn)上執(zhí)行 curl 127.0.0.1:8888,可以訪問(wèn) nginx 服務(wù)。

從演示結(jié)果看,OpenYurt 能夠很好地支持常用的云邊運(yùn)維指令。

2. 測(cè)試邊緣斷網(wǎng)時(shí)對(duì)業(yè)務(wù)的影響

同樣我們重復(fù)原生 K8s 中斷網(wǎng)的兩個(gè)測(cè)試,在測(cè)試之前我們先為邊緣節(jié)點(diǎn) edge-node 開(kāi)啟自治。在 OpenYurt 集群中,邊緣節(jié)點(diǎn)的自治是通過(guò)一個(gè) annotation 來(lái)標(biāo)識(shí)的。

root@master-node:~# kubectl annotate node edge-node node.beta.alibabacloud.com/autonomy=true node/edge-node annotated

1)斷網(wǎng) 1 分鐘->網(wǎng)絡(luò)恢復(fù)

同樣,將路由器公網(wǎng)斷開(kāi),觀察 Node 和 Pod 的狀態(tài)。大約過(guò)了 40s,節(jié)點(diǎn)的狀態(tài)變成 NotReady,而大約過(guò) 1min 以后,Pod 的狀態(tài)一直是 Running,并不會(huì)被驅(qū)逐。

root@master-node:~# kubectl get nodes NAME STATUS ROLES AGE VERSION edge-node NotReady <none> 24m v1.16.6 master-node Ready master 25m v1.16.6 root@master-node:~# kubectl get pods NAME READY STATUS RESTARTS AGE nginx 1/1 Running 0 5m7s

恢復(fù)網(wǎng)絡(luò),觀察 Node 和 Pod 的狀態(tài),Node 狀態(tài)變?yōu)?Ready,Pod 保持 Running。可見(jiàn)云邊網(wǎng)絡(luò)不穩(wěn)定時(shí),對(duì)邊緣節(jié)點(diǎn)的業(yè)務(wù) Pod 無(wú)影響。

root@master-node:~# kubectl get nodes NAME STATUS ROLES AGE VERSION edge-node Ready <none> 25m v1.16.6 master-node Ready master 26m v1.16.6 root@master-node:~# kubectl get pods NAME READY STATUS RESTARTS AGE nginx 1/1 Running 0 6m30s

2)斷網(wǎng) 1 分鐘->重啟邊緣節(jié)點(diǎn)->恢復(fù)網(wǎng)絡(luò)

接下來(lái),我們測(cè)試在斷網(wǎng)的情況下,邊緣節(jié)點(diǎn)的重啟對(duì)業(yè)務(wù)的影響。斷網(wǎng) 1 分鐘之后,Node 和 Pod 狀態(tài)同上面測(cè)試結(jié)果,Node 變?yōu)?NotReady,Pod 保持 Running。同樣,我們登錄到樹(shù)莓派上,將樹(shù)莓派重啟,觀察重啟前后節(jié)點(diǎn)上的容器列表。

重啟前邊緣節(jié)點(diǎn)容器列表:

root@edge-node:~# docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 38727ec9270c 70bf6668c7eb "yurthub --v=2 --ser…" 7 minutes ago Up 7 minutes k8s_yurt-hub_yurt-hub-edge-node_kube-system_d75d122e752b90d436a71af44c0a53be_0 c403ace1d4ff registry.cn-hangzhou.aliyuncs.com/edge-kubernetes/pause:3.1 "/pause" 7 minutes ago Up 7 minutes k8s_POD_yurt-hub-edge-node_kube-system_d75d122e752b90d436a71af44c0a53be_0 de0d693e9e74 473ae979be68 "yurt-tunnel-agent -…" 7 minutes ago Up 7 minutes k8s_yurt-tunnel-agent_yurt-tunnel-agent-7l8nv_kube-system_75d28494-f577-43fa-9cac-6681a1215498_0 a0763f143f74 registry.cn-hangzhou.aliyuncs.com/edge-kubernetes/pause:3.1 "/pause" 7 minutes ago Up 7 minutes k8s_POD_yurt-tunnel-agent-7l8nv_kube-system_75d28494-f577-43fa-9cac-6681a1215498_0 80c247714402 e86f991e5d10 "/docker-entrypoint.…" 7 minutes ago Up 7 minutes k8s_nginx_nginx_default_b45baaac-eebc-466b-9199-2ca5c1ede9fd_0 01f7770cb0f7 registry.cn-hangzhou.aliyuncs.com/edge-kubernetes/pause:3.1 "/pause" 7 minutes ago Up 7 minutes k8s_POD_nginx_default_b45baaac-eebc-466b-9199-2ca5c1ede9fd_0 7e65f83090f6 f9ea384ddb34 "/usr/local/bin/kube…" 17 minutes ago Up 17 minutes k8s_kube-proxy_kube-proxy-rjws7_kube-system_51576be4-2b6d-434d-b50b-b88e2d436fef_1 c1ed142fc75b registry.cn-hangzhou.aliyuncs.com/edge-kubernetes/pause:3.1 "/pause" 17 minutes ago Up 17 minutes k8s_POD_kube-proxy-rjws7_kube-system_51576be4-2b6d-434d-b50b-b88e2d436fef_1

重啟后邊緣節(jié)點(diǎn)容器列表:

root@edge-node:~# docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 0c66b87066a0 473ae979be68 "yurt-tunnel-agent -…" 12 seconds ago Up 11 seconds k8s_yurt-tunnel-agent_yurt-tunnel-agent-7l8nv_kube-system_75d28494-f577-43fa-9cac-6681a1215498_2 a4fb3e4e8c8f e86f991e5d10 "/docker-entrypoint.…" 58 seconds ago Up 56 seconds k8s_nginx_nginx_default_b45baaac-eebc-466b-9199-2ca5c1ede9fd_1 fce730d64b32 f9ea384ddb34 "/usr/local/bin/kube…" 58 seconds ago Up 57 seconds k8s_kube-proxy_kube-proxy-rjws7_kube-system_51576be4-2b6d-434d-b50b-b88e2d436fef_2 c78166ea563f registry.cn-hangzhou.aliyuncs.com/edge-kubernetes/pause:3.1 "/pause" 59 seconds ago Up 57 seconds k8s_POD_yurt-tunnel-agent-7l8nv_kube-system_75d28494-f577-43fa-9cac-6681a1215498_1 799ad14bcd3b registry.cn-hangzhou.aliyuncs.com/edge-kubernetes/pause:3.1 "/pause" 59 seconds ago Up 57 seconds k8s_POD_nginx_default_b45baaac-eebc-466b-9199-2ca5c1ede9fd_1 627673da6a85 registry.cn-hangzhou.aliyuncs.com/edge-kubernetes/pause:3.1 "/pause" 59 seconds ago Up 58 seconds k8s_POD_kube-proxy-rjws7_kube-system_51576be4-2b6d-434d-b50b-b88e2d436fef_2 04da705e4120 70bf6668c7eb "yurthub --v=2 --ser…" About a minute ago Up About a minute k8s_yurt-hub_yurt-hub-edge-node_kube-system_d75d122e752b90d436a71af44c0a53be_1 260057d935ee registry.cn-hangzhou.aliyuncs.com/edge-kubernetes/pause:3.1 "/pause" About a minute ago Up About a minute k8s_POD_yurt-hub-edge-node_kube-system_d75d122e752b90d436a71af44c0a53be_1

從重啟前后的對(duì)比看,邊緣節(jié)點(diǎn)在斷網(wǎng)重啟之后,節(jié)點(diǎn)上的 pod 能正常拉起,OpenYurt 的節(jié)點(diǎn)自治能力可以在斷網(wǎng)下保證業(yè)務(wù)的穩(wěn)定運(yùn)行。

恢復(fù)網(wǎng)絡(luò),節(jié)點(diǎn) Ready,觀察業(yè)務(wù) pod 的狀態(tài),網(wǎng)絡(luò)恢復(fù)后,業(yè)務(wù) pod 狀態(tài)保持 running,有一次重啟記錄,符合預(yù)期。

root@master-node:~# kubectl get pods -owide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES nginx 1/1 Running 1 11m 192.168.0.100 edge-node <none> <none>

最后,我們利用 yurtctl 的能力將 OpenYurt 集群,轉(zhuǎn)換為原生 K8s 集群。同樣,可以觀察轉(zhuǎn)換過(guò)程中對(duì)現(xiàn)有業(yè)務(wù)不會(huì)有影響。

yurtctl revert --yurtctl-servant-image=registry.cn-hangzhou.aliyuncs.com/openyurt/yurtctl-servant:v0.2.1

OpenYurt 作為阿里首個(gè)邊緣云原生開(kāi)源項(xiàng)目,基于商業(yè)化產(chǎn)品 ACK@Edge,在集團(tuán)內(nèi)部經(jīng)歷了長(zhǎng)時(shí)間的打磨。已經(jīng)應(yīng)用在 CDN、IoT、盒馬、ENS、菜鳥(niǎo)物流等眾多場(chǎng)景。針對(duì)邊緣場(chǎng)景,該項(xiàng)目堅(jiān)持保持原生 K8s 的特性,以 Addon 的形式提供了邊緣節(jié)點(diǎn)自治、云邊端一體化運(yùn)維通道等能力。最近在社區(qū)同學(xué)的一起努力下又開(kāi)源了邊緣單元化管理能力,同時(shí)后續(xù)還會(huì)繼續(xù)開(kāi)源更多的邊緣管理能力,歡迎大家積極參與貢獻(xiàn)。釘釘搜索群號(hào):31993519,即可進(jìn)群交流。

總結(jié)

以上是生活随笔為你收集整理的OpenYurt 入门 - 在树莓派上玩转 OpenYurt的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。

亚洲精品国精品久久99热 | 欧美日韩在线视频观看 | av免费片 | 日韩中文在线播放 | 美女在线国产 | 中文av日韩| 黄污网站在线观看 | 嫩草av在线 | 正在播放国产一区二区 | 国产中文视频 | 亚洲三级黄色 | 激情九九| 国产日韩欧美中文 | 国产成人福利 | 欧美一级免费片 | 国产最新在线视频 | 亚洲国产精品人久久电影 | 99免费在线| 亚洲精品国产综合99久久夜夜嗨 | 在线色资源 | 99精品视频在线看 | 亚洲国产精品人久久电影 | 中国一级片免费看 | 精品国产一区二区三区蜜臀 | 国产精品尤物视频 | 久久精品国产免费看久久精品 | 在线观看av网 | 欧美日本中文字幕 | 成年人电影免费看 | 亚洲国产精品一区二区久久,亚洲午夜 | 国产精品高潮呻吟久久久久 | 日韩av一区二区三区四区 | 国内揄拍国内精品 | 手机色在线 | 色综合天天综合网国产成人网 | 久久一区国产 | 欧美一二三区在线观看 | 911香蕉| 天天干天天上 | 美女网站视频免费黄 | 久久久久久久久电影 | 国产麻豆精品久久一二三 | 亚洲欧美日韩一区二区三区在线观看 | 免费看的黄网站软件 | 久久久久国 | 激情伊人 | 西西4444www大胆视频 | 91中文字幕在线播放 | 91最新网址在线观看 | 超碰人人在线 | 久久精品99国产精品酒店日本 | 久久成| 久久r精品 | 欧美精品资源 | 日韩精品一卡 | 欧洲一区二区在线观看 | 日韩网站在线免费观看 | 久久99视频精品 | 日韩在线精品一区 | 免费a网址 | 国产精品久久久久久久久久了 | 久久99热国产 | 天天操天天射天天爽 | 亚洲性xxxx | 久久观看| 婷婷在线播放 | 亚洲精品电影在线 | 日本69hd| 91麻豆国产福利在线观看 | 蜜臀久久99精品久久久酒店新书 | 国产精品视频全国免费观看 | www.777奇米| 国产精久久久久久久 | 欧洲精品视频一区二区 | 欧美久久综合 | 日韩欧美一区二区在线观看 | 69视频在线播放 | 国产成人精品福利 | 韩日电影在线观看 | 欧美成人亚洲成人 | 在线国产激情视频 | 福利视频一区二区 | 国产麻豆视频在线观看 | 中文字幕一区二区三区四区视频 | 日韩精品中文字幕一区二区 | av在线播放国产 | 99这里只有久久精品视频 | 美女黄濒 | 久久久午夜电影 | 中文字幕在线日本 | 毛片网站免费在线观看 | 一级一片免费看 | 天天摸天天干天天操天天射 | 亚洲观看黄色网 | 香蕉在线播放 | 成人羞羞视频在线观看免费 | 视频在线观看亚洲 | 制服丝袜天堂 | av中文字幕在线免费观看 | 久久久久一区二区三区 | 视频国产一区二区三区 | 欧美精品网站 | 欧美极度另类 | 久久国产免费视频 | 国产99精品在线观看 | 久久香蕉国产精品麻豆粉嫩av | 精品国产大片 | 91视频免费观看 | 911av视频| 人人玩人人爽 | 国产啊v在线观看 | 亚洲 欧美 另类人妖 | 黄色影院在线免费观看 | 精品久久久久免费极品大片 | 五月激情综合婷婷 | 麻豆传媒精品 | 久久精品国产v日韩v亚洲 | 国产私拍在线 | 在线观看日本高清mv视频 | 精品国产一区二区三区四区vr | 91视频免费网址 | 99热精品国产 | 中文十次啦 | 国内外成人在线视频 | 日日爽天天操 | 久久尤物电影视频在线观看 | 中文字幕在线观看第一页 | 久久久久久欧美二区电影网 | 日本高清中文字幕有码在线 | 在线看成人 | 国产一区在线播放 | 国产精品免费在线播放 | 永久免费毛片 | 超碰人人91 | 又大又硬又黄又爽视频在线观看 | 欧美无极色 | 日韩精品一区电影 | 日韩大片在线播放 | 久久精品一区二 | 欧美a视频在线观看 | 1000部国产精品成人观看 | 国产精品免费大片视频 | 一区二区三区国产精品 | 国产1区2区| 人人插人人射 | 亚洲人av免费网站 | 新版资源中文在线观看 | 午夜精品成人一区二区三区 | 精品视频一区在线观看 | 亚洲人成免费网站 | 免费看黄20分钟 | 精品成人国产 | 99久久精品国产观看 | 不卡视频一区二区三区 | 国产免费亚洲高清 | 激情久久久久久久久久久久久久久久 | 亚洲精品一区中文字幕乱码 | 天天爽夜夜爽精品视频婷婷 | 久久久免费 | 免费精品久久久 | 色偷偷人人澡久久超碰69 | 五月激情丁香图片 | 亚洲区视频在线观看 | 久久精品中文字幕免费mv | 91香蕉视频污在线 | 久久国产精品99久久久久久丝袜 | 亚洲精品美女久久 | 国产精品刺激对白麻豆99 | 欧美精品v国产精品v日韩精品 | 色永久免费视频 | 久久99国产精品视频 | 日韩视频中文字幕在线观看 | 亚洲免费在线观看视频 | 成人久久久久久久久久 | 亚洲国产一区二区精品专区 | 天堂va在线观看 | 成人全视频免费观看在线看 | 四虎影院在线观看av | 国产在线久草 | 成人av一区二区在线观看 | 2022中文字幕在线观看 | 福利视频网站 | 五月婷婷在线观看视频 | 狠狠操夜夜操 | 久久公开视频 | 久久亚洲在线 | 久久综合色影院 | 日本狠狠干| 国产综合香蕉五月婷在线 | 天天干天天做 | 国产98色在线 | 日韩 | 奇米网在线观看 | 2019国产精品 | 国产成人精品一区二区 | 黄色一及电影 | 国产精品久久久久一区 | 中文字幕av免费在线观看 | www.色五月 | 很黄很污的视频网站 | 免费国产黄线在线观看视频 | 免费看国产一级片 | 中文字幕av一区二区三区四区 | 色多多污污在线观看 | 免费在线国产黄色 | 91大神dom调教在线观看 | 99久热在线精品视频 | 国产亚洲精品xxoo | 亚洲精品国产精品国自产 | 午夜10000| 久久麻豆视频 | 中文字幕在线播放第一页 | 免费视频久久久久久久 | 亚洲免费国产 | 国产一级淫片免费看 | 亚洲 欧美 变态 国产 另类 | 2020天天干天天操 | 国产伦理一区 | 亚洲精品国产精品国自产 | 日韩在线观看影院 | 久久99精品久久久久久久久久久久 | 婷婷爱五月天 | 激情五月婷婷丁香 | 久久精品视频中文字幕 | 四虎精品成人免费网站 | 国产原创在线 | 香蕉在线影院 | 欧美日韩精品国产 | 亚洲成人免费在线 | 日本久久免费视频 | 欧美日韩调教 | 岛国大片免费视频 | 视频一区二区国产 | 国产高清视频免费最新在线 | 日韩av电影中文字幕 | 中文字幕电影在线 | 久久高清片 | 亚洲欧洲美洲av | 91夫妻自拍| 中文字幕日本特黄aa毛片 | 久久久久久久久综合 | av导航福利 | 尤物97国产精品久久精品国产 | 免费观看91视频大全 | 欧美视屏一区二区 | 91大神在线观看视频 | 免费在线观看国产精品 | 久久伦理影院 | 久草视频在线播放 | 黄色免费网 | 国产一区二区在线免费视频 | 97国产情侣爱久久免费观看 | 在线观看午夜av | 亚洲精品福利视频 | 天天操天天射天天 | 久久久久人人 | 97视频在线免费观看 | 日韩精品一区二区三区视频播放 | 99综合电影在线视频 | 亚洲精品高清一区二区三区四区 | 久久免费精品视频 | 中文字幕日本电影 | 国产成人黄色 | 久久99最新地址 | 国产视频资源 | 二区在线播放 | 91九色性视频 | 日韩在线观看三区 | 日韩字幕 | www.97色.com| 久久久精品视频网站 | 91传媒视频在线观看 | 欧美另类性| 免费看黄网站在线 | 久久午夜免费观看 | 九九久久成人 | 91中文字幕网 | 国产黄网在线 | 国产一区二区在线影院 | 午夜国产一区二区 | 成人黄色小视频 | 18pao国产成视频永久免费 | 综合网伊人 | 亚洲天天看 | 天天激情综合网 | 日韩高清在线一区 | 成人羞羞免费 | 91欧美日韩国产 | 在线观看的av | 婷婷丁香色 | 黄色av电影在线观看 | 久久不射电影网 | 97精品国自产拍在线观看 | 成人av视屏 | 99久久99久久精品国产片果冰 | 天天插天天色 | 久久爱992xxoo | 久草在线视频免费资源观看 | 久久人人97超碰com | 久久夜色精品国产欧美乱极品 | 精品中文字幕在线播放 | 国产精品专区h在线观看 | 99久久精品国产毛片 | 夜夜视频欧洲 | 欧美日韩高清一区二区 国产亚洲免费看 | aaawww| 午夜精品福利一区二区三区蜜桃 | 久久国产精品99久久久久 | 亚洲综合视频在线播放 | 亚洲一区二区三区毛片 | 天天射天天射 | 在线观看网站你懂的 | 国产精品成人免费一区久久羞羞 | 亚洲精品一区二区三区新线路 | 国产一级二级在线播放 | 久久男人视频 | 伊人黄| 成人国产精品久久久久久亚洲 | av黄色免费网站 | 亚洲午夜精品在线观看 | 中文字幕在线日亚洲9 | 在线国产福利 | 一区电影 | 日韩最新中文字幕 | 久久久久久美女 | 亚洲精品视频第一页 | 中文字幕日本电影 | 中文字幕av网站 | 天天操天天爱天天爽 | 亚洲在线成人精品 | 国产国产人免费人成免费视频 | 国内精品久久久久影院男同志 | 亚州av网站大全 | 视频一区在线免费观看 | 91污污 | 日韩在线不卡视频 | 在线日韩精品视频 | av中文字幕电影 | 精品久久久久久久久久久院品网 | 伊人www22综合色| 成人免费视频网 | 午夜性生活片 | 免费在线观看不卡av | 黄色www在线观看 | 蜜臀av在线一区二区三区 | 日本精品一区二区三区在线观看 | 最新黄色av网址 | 亚洲国产精品小视频 | 最近中文字幕高清字幕免费mv | 久久久九九 | 91视频传媒 | 怡红院av久久久久久久 | av东方在线| 在线观看视频日韩 | 国产色婷婷精品综合在线手机播放 | 免费进去里的视频 | 超碰在线国产 | 国产区免费 | 国产成人综合图片 | 99热官网| 欧美成人黄 | 欧美电影黄色 | 国产免费视频在线 | 色偷偷人人澡久久超碰69 | 国产日韩精品在线观看 | 免费视频网 | 香蕉视频亚洲 | 国产精品不卡在线播放 | 夜夜视频欧洲 | 青青久草在线 | 亚洲视频免费 | 日本最新一区二区三区 | 手机在线中文字幕 | 视频 国产区 | 精品日韩中文字幕 | a级国产乱理伦片在线播放 久久久久国产精品一区 | 不卡精品视频 | 欧美成人xxxx | 91字幕| 天天爽网站 | 国产成人免费精品 | 天天操夜操视频 | 国产日韩在线视频 | 国产一区久久 | 久久国产福利 | 久久高清视频免费 | 中文av资源站 | 日韩理论在线 | 91香蕉国产在线观看软件 | 国产一级片免费视频 | 欧美色图88 | 国产最顶级的黄色片在线免费观看 | 91精彩视频在线观看 | 国产丝袜 | 国产日韩在线一区 | 狠狠色丁香婷婷综合久小说久 | 在线电影播放 | 九色最新网址 | 国内精品久久久久影院男同志 | 一区二区精 | 日韩在线观看的 | 五月天婷婷丁香花 | 成人一级黄色片 | 欧美日韩不卡在线 | 久久久精品免费观看 | 欧美美女一级片 | 国产九九九九九 | 欧美另类重口 | 97色在线观看免费视频 | 国产一级91| 午夜国产福利在线 | 天天干天天草天天爽 | 国产精品久久久久一区二区三区共 | 成年人天堂com | 国产精品视屏 | 在线看欧美 | 日韩在线电影一区二区 | 午夜精选视频 | 天天干,天天操,天天射 | 欧美一区二区三区特黄 | www.日韩免费| 最近中文字幕完整高清 | 蜜臀一区二区三区精品免费视频 | 手机成人在线电影 | 免费在线观看av不卡 | 91精品国产92久久久久 | 婷婷成人在线 | www黄色软件| 不卡精品 | 亚州av一区| 久久玖 | 国产一区高清在线观看 | 欧美了一区在线观看 | 97成人免费 | 国产视频1区2区3区 久久夜视频 | 日韩免费不卡av | 国产黄色免费看 | 国产成人一区二区三区电影 | 国产精品1区2区 | 热99在线视频 | 高清国产在线一区 | 操高跟美女 | 亚洲精品久久久久中文字幕二区 | 婷婷香蕉 | 久久久99国产精品免费 | 免费av网站观看 | 国内成人精品2018免费看 | 91成人国产| 国产 亚洲 欧美 在线 | 欧美极品少妇xbxb性爽爽视频 | 这里只有精品视频在线 | 天天操天天射天天操 | 久久精品日本啪啪涩涩 | av在线等| 国产精品伦一区二区三区视频 | 国产黄免费在线观看 | 亚洲精品视频在线播放 | 国内精品久久久久影院一蜜桃 | 开心色激情网 | 日本中文字幕影院 | 国产丝袜一区二区三区 | 国产精品男女啪啪 | 国产精品区免费视频 | 精品久久视频 | 激情综合网婷婷 | 黄色毛片在线观看 | 激情综合亚洲精品 | 久久精品成人欧美大片古装 | 四虎国产精品成人免费影视 | 国产精品999久久久 久产久精国产品 | 精品国产一区二区三区久久久 | 亚洲视频在线观看网站 | 日本一区二区免费在线观看 | 国产精品久久久久久久久久东京 | aaa日本高清在线播放免费观看 | 成人黄色电影免费观看 | 天天草视频 | 最近中文字幕大全中文字幕免费 | 久久久久久久久久影院 | 欧美天堂久久 | 伊人狠狠干 | 免费av的网站 | 国产黄色片在线 | 日韩电影一区二区在线观看 | 久久99精品国产一区二区三区 | 国产精品成人a免费观看 | 免费视频三区 | 四虎永久免费 | 亚洲国产精品电影 | 久久伊人热 | 成人午夜剧场在线观看 | 91中文字幕永久在线 | 成人av电影在线播放 | 美女精品网站 | 91黄色视屏 | 久久黄色网址 | 色婷婷五| 91激情小视频 | 四虎www.| 91久久国产自产拍夜夜嗨 | 日韩视频在线不卡 | 天天天在线综合网 | 美女很黄免费网站 | 国产精品久久久久久69 | 激情网站免费观看 | 久久99热精品| 免费高清在线视频一区· | 正在播放 国产精品 | 色综合在 | 88av色 | 亚洲日韩中文字幕在线播放 | 四虎影视精品永久在线观看 | 91看片在线 | 中文字幕在线观看视频一区二区三区 | 亚洲日日日 | 色网免费观看 | 久久国产免费视频 | 久久人人爽人人爽人人 | 国产a精品 | 日本中文字幕免费观看 | 精品一区二区三区久久久 | 成年人在线免费看 | 天天干天天插伊人网 | 一本一本久久a久久精品综合 | 超碰免费97 | 人人澡av | 国产在线更新 | 久久久久国 | 日韩av片免费在线观看 | 婷婷av网 | 在线观看视频福利 | 日韩av成人 | 欧美激情精品一区 | 日韩动态视频 | 欧美精品一区二区在线播放 | 美女网站视频免费黄 | 久久精品资源 | 国产品久精国精产拍 | 欧美日韩一区二区视频在线观看 | 骄小bbw搡bbbb揉bbbb | 天天操天天操天天操天天操天天操 | 国产一级特黄毛片在线毛片 | av在线最新| 国产无吗一区二区三区在线欢 | 九九免费精品视频在线观看 | 国产免费嫩草影院 | 国产精品专区一 | 久久久精品电影 | 精品久久久免费视频 | 国产成人免费在线观看 | 亚洲国产精品成人av | 人人澡人人添人人爽一区二区 | 亚洲国产丝袜在线观看 | 精品福利av| 亚洲激情视频 | www日| 亚州成人av在线 | 免费在线观看成年人视频 | 六月色婷婷 | 欧洲一区二区在线观看 | 中文字幕在线视频国产 | 视频国产在线 | 久久国产精品99久久人人澡 | 麻豆免费在线播放 | 992tv成人免费看片 | 日韩精品视频在线免费观看 | 色噜噜狠狠色综合中国 | 人人玩人人添人人 | 欧美日韩色婷婷 | 在线欧美小视频 | 福利视频一区二区 | 91视频免费网站 | 亚洲撸撸 | 国内成人综合 | 五月婷婷在线视频观看 | 99精品在线免费观看 | 日韩在线观看你懂得 | 中文字幕123区 | 亚洲精品91天天久久人人 | 欧美一级免费高清 | 精品一区 在线 | 五月婷婷在线播放 | 麻豆影视网| 国产成人精品av久久 | 久久久久免费视频 | 国产精品一区在线 | 美女视频永久黄网站免费观看国产 | va视频在线 | 免费观看www7722午夜电影 | 伊人丁香 | 日本乱视频 | av爱干 | 色婷婷亚洲| av久久久 | 日韩免费一区二区在线观看 | 成人小视频在线免费观看 | 六月色丁| 狠狠久久伊人 | 九九视频精品免费 | 波多野结衣亚洲一区二区 | 亚洲成人网在线 | 久久美女免费视频 | 欧美夫妻性生活电影 | 欧美一区二区三区在线 | 国产精品成人久久久 | 亚洲,国产成人av | 成年人在线免费看片 | 亚洲欧美日韩精品一区二区 | 人人草人人做 | 天天爽天天爽夜夜爽 | 国产精品福利在线播放 | 亚洲精品xx | 免费亚洲黄色 | 伊人影院99 | 国产免费一区二区三区最新6 | www.天天射.com | 99久热在线精品 | 六月丁香六月婷婷 | 九九久久国产精品 | 日韩精品在线播放 | 97视频播放 | av在线8| 日韩精品一区二区三区视频播放 | 欧美日韩啪啪 | 国产高清在线看 | 日韩免费高清在线 | 一区二区三区中文字幕在线观看 | a色视频 | 69国产盗摄一区二区三区五区 | 欧美精品资源 | 亚洲一区二区三区在线看 | 美女久久久久久久久久久 | 91麻豆精品91久久久久同性 | 亚洲综合在线视频 | 日韩网| 青草视频网 | av色一区| 91麻豆免费版 | 国产理论一区二区三区 | 99精品国产亚洲 | 三级黄免费看 | 久久日韩精品 | 精品一二三四在线 | 一级久久久 | 天堂av影院 | 国产精品久久人 | 日韩电影一区二区三区 | 久久亚洲影视 | 狠狠躁夜夜躁人人爽超碰91 | 欧美亚洲专区 | 久久视频一区二区 | 国产高清不卡一区二区三区 | 国产一区在线免费观看视频 | 成人免费视频a | 国产精品高清在线观看 | 日韩免费电影 | 国产一区二区在线免费播放 | 四虎成人精品永久免费av | 日日激情| 高清av影院 | 欧美极品裸体 | 精品国产乱码一区二 | 亚洲综合导航 | 97精品国产97久久久久久 | 日韩精品中文字幕在线观看 | 久久亚洲私人国产精品 | 一级黄色a视频 | 中文字幕网站 | 黄色成人av | 免费在线一区二区 | 国产剧情久久 | 狠狠干激情 | 国产欧美综合在线观看 | 久久国产精品区 | 69av国产| 天天插狠狠插 | 五月天电影免费在线观看一区 | 国产一区精品在线 | 婷婷av色综合 | 97在线视 | 观看免费av | 国产又粗又猛又黄又爽视频 | 久草国产视频 | 亚洲欧洲日韩在线观看 | 欧美日韩一区二区视频在线观看 | 日本三级久久久 | 黄色免费av | 91麻豆文化传媒在线观看 | 久久伊人操 | 久久综合婷婷 | 国产综合久久 | 天天综合亚洲 | 国产精品日韩欧美一区二区 | 97人人人 | 久久免费一| 日本中文字幕在线播放 | 久久国产精品偷 | 久久久一本精品99久久精品 | 狠狠躁日日躁夜夜躁av | 久久电影中文字幕视频 | 91九色视频国产 | 欧美亚洲国产一卡 | 中文字幕频道 | 国产日韩欧美网站 | 成人黄色资源 | 中文字幕 二区 | 国产精品黑丝在线观看 | 亚洲国产成人高清精品 | 亚洲 中文 在线 精品 | 国产又粗又猛又黄 | www.天天干| 亚洲午夜精品久久久久久久久 | 久久精品国产精品 | 国产麻豆成人传媒免费观看 | 欧美精品黑人性xxxx | 中文字幕有码在线 | 一区二区三区四区在线免费观看 | 欧美一级黄色片 | 人人澡人人添人人爽一区二区 | 国产成人精品综合 | 欧美 日韩 性 | 中文字幕一区二区三 | 成人免费观看网址 | 久久久久国产a免费观看rela | 国产精品成人自产拍在线观看 | 成人免费在线播放 | 天天躁日日躁狠狠躁av麻豆 | 日韩av二区 | 日韩中文字幕a | 欧美另类成人 | 欧美福利久久 | 国产 日韩 在线 亚洲 字幕 中文 | 日韩在线观看a | 韩国av电影在线观看 | 干干干操操操 | 麻豆 91 在线| 五月综合色婷婷 | 亚洲欧美日韩中文在线 | www.狠狠色 | 国产福利精品视频 | 丰满少妇久久久 | 在线免费观看欧美日韩 | 成人黄色小说在线观看 | 永久免费毛片在线观看 | 日韩欧美一区二区三区黑寡妇 | 天天天干夜夜夜操 | 亚洲精品欧美精品 | 精品美女久久久久 | 精品中文字幕视频 | 在线播放精品一区二区三区 | 97在线资源 | 日韩av快播电影网 | 久久亚洲二区 | av官网 | 免费三级在线 | 天天操天天能 | 天天综合精品 | 97超碰人人模人人人爽人人爱 | 国色天香永久免费 | 成人毛片一区 | 欧美视频二区 | 久草视频资源 | 麻豆高清免费国产一区 | 草久久av| 欧美成人精品三级在线观看播放 | 成年人视频在线观看免费 | 久久调教视频 | 天天操夜夜爱 | 天天干,狠狠干 | 五月天免费网站 | 最近2019中文免费高清视频观看www99 | 欧美成人h版电影 | 美女视频一区二区 | 成人免费观看完整版电影 | 88av色| 欧美国产亚洲精品久久久8v | 国产高清网站 | 久久精品美女视频网站 | 日韩激情在线视频 | 久久久高清一区二区三区 | 亚州国产精品视频 | 中文字幕中文字幕 | 久草剧场| 婷婷免费在线视频 | 成人性生交视频 | 91精品久久久久久综合五月天 | 久久亚洲影视 | 亚洲日本中文字幕在线观看 | 国产人成看黄久久久久久久久 | 色橹橹欧美在线观看视频高清 | 日本爱爱免费 | 色婷婷欧美| 人人插人人艹 | 免费成人在线观看 | 欧美日韩精品在线观看视频 | 欧美最猛性xxxxx(亚洲精品) | 亚洲专区 国产精品 | 国产麻豆精品在线观看 | 国产亚洲欧美精品久久久久久 | a黄色一级 | 久久久九色精品国产一区二区三区 | 免费av黄色| 色成人亚洲网 | 免费看短 | 久久久久成人精品 | 日本爽妇网 | 亚洲免费小视频 | 色偷偷97 | 日韩资源在线 | 亚洲精品视频在线观看视频 | 视频91在线 | 五月婷婷丁香综合 | 免费观看国产精品视频 | 九九久久视频 | 99精品视频免费全部在线 | 最近日本mv字幕免费观看 | 久草资源在线观看 | 色综合五月天 | 日本在线视频网址 | www.久久91 | 亚洲精品欧美专区 | 日韩 在线观看 | 久久香蕉国产 | 国产成人精品一区二区三区网站观看 | 天天操天天舔天天干 | 又黄又爽又刺激 | 天天婷婷| 二区三区在线 | 久久国产网站 | 91成人在线观看喷潮 | 日本在线h | 特片网久久 | 国产精品久久久久av | wwxxx日本 | 九九热只有这里有精品 | 日韩手机在线观看 | 91精品一区二区三区蜜桃 | 国产一区精品在线观看 | 免费福利片2019潦草影视午夜 | 超级碰碰免费视频 | 欧美福利视频 | 手机看片福利 | 亚洲一区二区三区精品在线观看 | 久久精品视频在线 | 午夜男人影院 | 国产91全国探花系列在线播放 | 国产精品一区二区久久精品爱微奶 | 波多野结衣在线中文字幕 | 日日干综合 | 午夜三级理论 | 成人精品一区二区三区电影免费 | 久草a视频| 亚洲成色| 在线观看视频色 | 亚洲日本精品视频 | 成人在线免费小视频 | 久久久久亚洲精品男人的天堂 | 国产美女网站在线观看 | 五月天亚洲综合小说网 | 狠狠色狠狠色综合日日92 | 五月综合激情网 | 中文字幕一区二区在线播放 | 欧美aaaxxxx做受视频 | 日韩久久在线 | 国产在线免费观看 | 日韩欧美高清不卡 | 国产黄色精品在线 | 在线观看香蕉视频 | 欧美色婷婷 | 日韩三级视频在线观看 | 99热播精品 | 超碰国产在线 | 国产精品自产拍 | 亚洲第一区在线播放 | 国产高清久久久久 | 久久亚洲免费 | 亚洲免费观看视频 | 丁香婷婷在线观看 | 日韩高清在线一区二区三区 | 久久亚洲欧美日韩精品专区 | 黄色av网站在线免费观看 | 狠狠操在线 | 国产精品久久久免费 | 欧美日韩xx | 九九久久久久久久久激情 | 超碰在线日本 | 国产中年夫妇高潮精品视频 | av超碰在线 | 国产视频日韩视频欧美视频 | av资源网在线播放 | 国精产品永久999 | 91精品国产入口 | 91网址在线观看 | 在线免费观看视频你懂的 | 免费福利在线观看 | 97国产精品亚洲精品 | 国产精品手机在线播放 | 国产一区二区在线播放视频 | 国语精品免费视频 | 日韩av专区 | 在线观看日韩专区 | 激情五月婷婷综合 | 欧美精品在线观看免费 | 美女福利视频 | 97夜夜澡人人双人人人喊 | 好看的国产精品视频 | 国产一区影院 | 91视频91蝌蚪 | 国产精品久久久久久久久久久杏吧 | 国产一区免费在线观看 | 成人午夜影院在线观看 | 国内免费久久久久久久久久久 | 91大神在线看| 久久手机免费视频 | 香蕉视频在线免费 | 日韩欧美国产成人 | 黄污网 | 国产精品久久久久久久久久免费 | 亚洲女人天堂成人av在线 | 国产精品女教师 | 久久久国产精品成人免费 | 国产精品福利视频 | 久久精品美女 | 中文字幕在线乱 | 日本中文字幕久久 | 五月婷影院 | 狠狠做深爱婷婷综合一区 | japanesefreesex中国少妇 | 美女久久久久久久 | 午夜av免费在线观看 | 欧美精品久久久久性色 | 久久大视频 | 久久久综合电影 | 色妞色视频一区二区三区四区 | 日韩精品一区二区三区三炮视频 | 国产在线看 | 亚洲精品一区二区18漫画 | 国产精品视频观看 | 亚洲精品高清视频在线观看 | 91九色国产| 三级av网站| 国产精品色视频 | 热久久99这里有精品 | 国产又粗又猛又爽又黄的视频免费 | 天天干天天操av | 99国内精品 | 青青河边草免费直播 | 蜜臀av性久久久久av蜜臀妖精 | 国产一区二区综合 | 久久精彩免费视频 | 久久一本综合 | 99久久99久久免费精品蜜臀 | 狠狠色丁香九九婷婷综合五月 | 在线亚州| 在线观看国产成人av片 | 中文免费观看 | 久久精品久久久精品美女 | 亚洲jizzjizz日本少妇 | 天天色.com | 丁香视频五月 | 久久精品高清视频 | 91av视频 | 丁香六月天婷婷 | 久久久国产99久久国产一 | 91色视频 | 欧美日韩在线免费观看视频 | 久久这里只有精品视频首页 | 国产999精品久久久影片官网 | 国产精品永久久久久久久www | 91少妇精拍在线播放 | 欧美日韩后 | 久操中文字幕在线观看 | 97人人网| 亚洲成人家庭影院 | 97免费在线观看视频 | 国产夫妻av在线 | 欧美在线资源 | 成人国产精品一区二区 | 国产在线更新 | 国产色在线,com | 久久视频免费在线 | 亚洲aaa毛片 | 色婷婷色 | 国产永久免费高清在线观看视频 | 91精品久久久久久久久久入口 | 国产黄色片免费在线观看 | 久久国产视屏 | 婷婷丁香激情五月 | 国内精自线一二区永久 | 国产一区二区视频在线 | 国产一区91 | 国产精品一区二区62 | 国产精品wwwwww| 亚洲精品乱码久久久久久久久久 | 亚洲成人二区 | 久久avav| 免费在线观看成人小视频 | 色福利网站 | 亚洲视频播放 |