日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

kubernetes HPA

發布時間:2024/3/7 编程问答 30 豆豆
生活随笔 收集整理的這篇文章主要介紹了 kubernetes HPA 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

HPA全稱是Horizontal Pod Autoscaler,翻譯成中文是POD水平自動伸縮,以下都會用HPA代替Horizontal Pod Autoscaler,HPA可以基于CPU利用率對replication controller、deployment和replicaset中的pod數量進行自動擴縮容(除了CPU利用率也可以基于其他應程序提供的度量指標custom metrics進行自動擴縮容)。pod自動縮放不適用于無法縮放的對象,比如DaemonSets。HPA由Kubernetes API資源和控制器實現。資源決定了控制器的行為。控制器會周期性的獲取平均CPU利用率,并與目標值相比較后來調整replication controller或deployment中的副本數量。

custom metrics詳細介紹參考如下:

https://github.com/kubernetes/community/blob/master/contributors/design-proposals/instrumentation/custom-metrics-api.md

?參考官網地址如下:

https://v1-17.docs.kubernetes.io/docs/tasks/run-application/horizontal-pod-autoscale-walkthrough/

?一、HPA工作原理

HPA的實現是一個控制循環,由controller manager的--horizontal-pod-autoscaler-sync-period參數指定周期(默認值為15秒)。每個周期內,controller manager根據每個HorizontalPodAutoscaler定義中指定的指標查詢資源利用率。controller manager可以從resource metrics API(pod 資源指標)和custom metrics API(自定義指標)獲取指標。

1)對于每個pod的資源指標(如CPU),控制器從資源指標API中獲取每一個 HorizontalPodAutoscaler指定的pod的指標,然后,如果設置了目標使用率,控制器獲取每個pod中的容器資源使用情況,并計算資源使用率。如果使用原始值,將直接使用原始數據(不再計算百分比)。然后,控制器根據平均的資源使用率或原始值計算出縮放的比例,進而計算出目標副本數。需要注意的是,如果pod某些容器不支持資源采集,那么控制器將不會使用該pod的CPU使用率

2)如果 pod 使用自定義指標,控制器機制與資源指標類似,區別在于自定義指標只使用原始值,而不是使用率。

3)如果pod 使用對象指標和外部指標(每個指標描述一個對象信息)。這個指標將直接跟據目標設定值相比較,并生成一個上面提到的縮放比例。在autoscaling/v2beta2版本API中,這個指標也可以根據pod數量平分后再計算。通常情況下,控制器將從一系列的聚合API(metrics.k8s.io、custom.metrics.k8s.io和external.metrics.k8s.io)中獲取指標數據。metrics.k8s.io API通常由 metrics-server(需要額外啟動)提供。

二、metrics server

metrics-server是一個集群范圍內的資源數據集和工具,同樣的,metrics-server也只是顯示數據,并不提供數據存儲服務,主要關注的是資源度量API的實現,比如CPU、文件描述符、內存、請求延時等指標,metric-server收集數據給k8s集群內使用,如kubectl,hpa,scheduler等

使用HPA前提:

A、部署好metrics-server
B、部署pod時候要設置資源requests

1.部署metrics-server,在k8s的master節點操作

1)通過離線方式獲取鏡像

需要的鏡像是:

k8s.gcr.io/metrics-server-amd64:v0.3.6和 k8s.gcr.io/addon-resizer:1.8.4

?鏡像所在百度網盤地址如下:

鏈接:https://pan.baidu.com/s/1SKpNaskVr_zQJVQuM_GzIQ 提取碼:24yb 鏈接:https://pan.baidu.com/s/1KXOSiSJGGGaUXCjdCHoXjQ 提取碼:yab5

docker load -i metrics-server-amd64_0_3_1.tar.gz
docker load -i addon.tar.gz

2)metrics.yaml文件

cat metrics.yaml

apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata:name: metrics-server:system:auth-delegatorlabels:kubernetes.io/cluster-service: "true"addonmanager.kubernetes.io/mode: Reconcile roleRef:apiGroup: rbac.authorization.k8s.iokind: ClusterRolename: system:auth-delegator subjects: - kind: ServiceAccountname: metrics-servernamespace: kube-system --- apiVersion: rbac.authorization.k8s.io/v1 kind: RoleBinding metadata:name: metrics-server-auth-readernamespace: kube-systemlabels:kubernetes.io/cluster-service: "true"addonmanager.kubernetes.io/mode: Reconcile roleRef:apiGroup: rbac.authorization.k8s.iokind: Rolename: extension-apiserver-authentication-reader subjects: - kind: ServiceAccountname: metrics-servernamespace: kube-system --- apiVersion: v1 kind: ServiceAccount metadata:name: metrics-servernamespace: kube-systemlabels:kubernetes.io/cluster-service: "true"addonmanager.kubernetes.io/mode: Reconcile --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata:name: system:metrics-serverlabels:kubernetes.io/cluster-service: "true"addonmanager.kubernetes.io/mode: Reconcile rules: - apiGroups:- ""resources:- pods- nodes- nodes/stats- namespacesverbs:- get- list- watch - apiGroups:- "extensions"resources:- deploymentsverbs:- get- list- update- watch --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata:name: system:metrics-serverlabels:kubernetes.io/cluster-service: "true"addonmanager.kubernetes.io/mode: Reconcile roleRef:apiGroup: rbac.authorization.k8s.iokind: ClusterRolename: system:metrics-server subjects: - kind: ServiceAccountname: metrics-servernamespace: kube-system --- apiVersion: v1 kind: ConfigMap metadata:name: metrics-server-confignamespace: kube-systemlabels:kubernetes.io/cluster-service: "true"addonmanager.kubernetes.io/mode: EnsureExists data:NannyConfiguration: |-apiVersion: nannyconfig/v1alpha1kind: NannyConfiguration --- apiVersion: apps/v1 kind: Deployment metadata:name: metrics-servernamespace: kube-systemlabels:k8s-app: metrics-serverkubernetes.io/cluster-service: "true"addonmanager.kubernetes.io/mode: Reconcileversion: v0.3.6 spec:selector:matchLabels:k8s-app: metrics-serverversion: v0.3.6template:metadata:name: metrics-serverlabels:k8s-app: metrics-serverversion: v0.3.6annotations:scheduler.alpha.kubernetes.io/critical-pod: ''seccomp.security.alpha.kubernetes.io/pod: 'docker/default'spec:priorityClassName: system-cluster-criticalserviceAccountName: metrics-servercontainers:- name: metrics-serverimage: k8s.gcr.io/metrics-server-amd64:v0.3.6command:- /metrics-server- --metric-resolution=30s- --kubelet-preferred-address-types=InternalIP- --kubelet-insecure-tlsports:- containerPort: 443name: httpsprotocol: TCP- name: metrics-server-nannyimage: k8s.gcr.io/addon-resizer:1.8.4resources:limits:cpu: 100mmemory: 300Mirequests:cpu: 5mmemory: 50Mienv:- name: MY_POD_NAMEvalueFrom:fieldRef:fieldPath: metadata.name- name: MY_POD_NAMESPACEvalueFrom:fieldRef:fieldPath: metadata.namespacevolumeMounts:- name: metrics-server-config-volumemountPath: /etc/configcommand:- /pod_nanny- --config-dir=/etc/config- --cpu=300m- --extra-cpu=20m- --memory=200Mi- --extra-memory=10Mi- --threshold=5- --deployment=metrics-server- --container=metrics-server- --poll-period=300000- --estimator=exponential- --minClusterSize=2volumes:- name: metrics-server-config-volumeconfigMap:name: metrics-server-configtolerations:- key: "CriticalAddonsOnly"operator: "Exists"- key: node-role.kubernetes.io/mastereffect: NoSchedule --- apiVersion: v1 kind: Service metadata:name: metrics-servernamespace: kube-systemlabels:addonmanager.kubernetes.io/mode: Reconcilekubernetes.io/cluster-service: "true"kubernetes.io/name: "Metrics-server" spec:selector:k8s-app: metrics-serverports:- port: 443protocol: TCPtargetPort: https --- apiVersion: apiregistration.k8s.io/v1beta1 kind: APIService metadata:name: v1beta1.metrics.k8s.iolabels:kubernetes.io/cluster-service: "true"addonmanager.kubernetes.io/mode: Reconcile spec:service:name: metrics-servernamespace: kube-systemgroup: metrics.k8s.ioversion: v1beta1insecureSkipTLSVerify: truegroupPriorityMinimum: 100versionPriority: 100
kubectl apply -f metrics.yaml 3)驗證metrics-server是否部署成功 kubectl get pods -n kube-system 顯示如下running狀態說明啟動成功4)測試kubectl top命令 metrics-server組件安裝成功之后,就可以使用kubectl top命令了 kubectl top nodes 顯示如下: NAME CPU(cores) CPU% MEMORY(bytes) MEMORY% k8s-master 660m 16% 1608Mi 20% k8s-node 348m 8% 1046Mi 28% kubectl top pods -n kube-system 顯示如下: NAME CPU(cores) MEMORY(bytes) calico-node-9wkmr 100m 26Mi calico-node-sp5m6 162m 35Mi coredns-6955765f44-j2xrl 8m 8Mi coredns-6955765f44-th2sb 10m 8Mi etcd-k8s-master 48m 44Mi kube-apiserver-k8s-master 128m 286Mi kube-controller-manager-k8s-master 79m 38Mi kube-proxy-9s48h 2m 17Mi kube-proxy-vcx2s 2m 10Mi kube-scheduler-k8s-master 12m 15Mi metrics-server-5cf9669fbf-jmrdx 3m 17Mi

三、HPA API對象

HPA的API有三個版本,通過kubectl api-versions | grep autoscal可看到

autoscaling/v1

autoscaling/v2beta1

autoscaling/v2beta2

autoscaling/v1只支持基于CPU指標的縮放; autoscaling/v2beta1支持Resource Metrics(資源指標,如pod的CPU)和Custom Metrics(自定義指標)的縮放; autoscaling/v2beta2支持Resource Metrics(資源指標,如pod的CPU)和Custom Metrics(自定義指標)和ExternalMetrics(額外指標)的縮放。

?四、使用kubectl操作HPA

與其他API資源類似,kubectl也支持Pod自動伸縮。我們可以通過kubectl create命令創建一個自動伸縮對象,通過kubectl get hpa命令來獲取所有自動伸縮對象,通過kubectl describe hpa命令來查看自動伸縮對象的詳細信息。最后,可以使用kubectl delete hpa命令刪除對象。此外,還有個簡便的命令kubectl autoscale來創建自動伸縮對象。例如,命令kubectl autoscale rs foo --min=2 ?--max=5 --cpu-percent=80將會為名為foo的replication set創建一個自動伸縮對象,對象目標的CPU使用率為80%,副本數量配置為2到5之間。

五、多指標支持

在Kubernetes1.6+中支持基于多個指標進行縮放。你可以使用autoscaling/v2beta2 API來為HPA指定多個指標。HPA會跟據每個指標計算,并生成一個縮放建議。

六、自定義指標支持

自Kubernetes1.6起,HPA支持使用自定義指標。你可以使用autoscaling/v2beta2 API為HPA指定用戶自定義指標。Kubernetes會通過用戶自定義指標API來獲取相應的指標。

七、測試HPA的autoscaling/v1版-基于CPU的自動擴縮容

用Deployment創建一個php-apache服務,然后利用HPA進行自動擴縮容。步驟如下:

1.通過deployment創建pod,在k8s的master節點操作

1)創建并運行一個php-apache服務

使用dockerfile構建一個新的鏡像,在k8s的master節點構建

cat dockerfile

FROM php:5-apache ADD index.php /var/www/html/index.php RUN chmod a+rx index.php

cat index.php

<?php$x = 0.0001;for ($i = 0; $i <= 1000000;$i++) {$x += sqrt($x);}echo "OK!"; ?>

docker build -t k8s.gcr.io/hpa-example:v1 .

2)打包鏡像

docker save -o hpa-example.tar.gz k8s.gcr.io/hpa-example:v1

3)解壓鏡像

可以把鏡像傳到k8s的各個節點,docker load-i hpa-example.tar.gz進行解壓

4)通過deployment部署一個php-apache服務

cat php-apache.yaml

apiVersion:apps/v1 kind:Deployment metadata:name:php-apache spec:selector:matchLabels:run:php-apachereplicas:1template:metadata:labels:run:php-apachespec:containers:-name:php-apacheimage:k8s.gcr.io/hpa-example:v1ports:-containerPort:80resources:limits:cpu:500mrequests:cpu:200m--- apiVersion: v1 kind:Service metadata:name:php-apachelabels:run:php-apache spec:ports:-port:80selector:run:php-apache

?kubectl apply -f php-apache.yaml

5)驗證php是否部署成功

kubectl get pods

顯示如下,說明php服務部署成功了

NAME READY STATUS RESTARTS AGE php-apache-5694767d56-mmr88 1/1 Running 0 66s

2.創建HPA

php-apache服務正在運行,使用kubectl autoscale創建自動縮放器,實現對php-apache這個deployment創建的pod自動擴縮容,下面的命令將會創建一個HPA,HPA將會根據CPU,內存等資源指標增加或減少副本數,創建一個可以實現如下目的的hpa:

1)讓副本數維持在1-10個之間(這里副本數指的是通過deployment部署的pod的副本數) 2)將所有Pod的平均CPU使用率維持在50%(通過kubectlrun運行的每個pod如果是200毫核,這意味著平均CPU利用率為100毫核)

1)給上面php-apache這個deployment創建HPA

kubectl autoscale deployment php-apache --cpu-percent=50 --min=1 --max=10

上面命令解釋說明

kubectl autoscale deployment php-apache (php-apache表示deployment的名字) --cpu-percent=50(表示cpu使用率不超過50%) --min=1(最少一個pod) --max=10(最多10個pod)

2)驗證HPA是否創建成功

kubectl get hpa

3.壓測php-apache服務,只是針對CPU做壓測

啟動一個容器,并將無限查詢循環發送到php-apache服務(復制k8s的master節點的終端,也就是打開一個新的終端窗口):

kubectl run v1 -it --image=busybox /bin/sh

登錄到容器之后,執行如下命令

while true; do wget -q -O- http://php-apache.default.svc.cluster.local; don

在一分鐘左右的時間內,我們通過執行以下命令來看到更高的CPU負載

kubectl get hpa

顯示如下:

上面可以看到,CPU消耗已經達到256%,每個pod的目標cpu使用率是50%,所以,php-apache這個deployment創建的pod副本數將調整為5個副本,為什么是5個副本,因為256/50=5

kubectl get pod

顯示如下:

NAME READY STATUS RESTARTS AGE php-apache-5694767d56-b2kd7 1/1 Running 0 18s php-apache-5694767d56-f9vzm 1/1 Running 0 2s php-apache-5694767d56-hpgb5 1/1 Running 0 18s php-apache-5694767d56-mmr88 1/1 Running 0 4h13m php-apache-5694767d56-zljkd 1/1 Running 0 18s

kubectl get deployment php-apache

顯示如下:

kubectl get deployment php-apache 顯示如下:

?注意:可能需要幾分鐘來穩定副本數。由于不以任何方式控制負載量,因此最終副本數可能會與此示例不同。

4.停止對php-apache服務壓測,HPA會自動對php-apache這個deployment創建的pod做縮容

停止向php-apache這個服務發送查詢請求,在busybox鏡像創建容器的終端中,通過<Ctrl>+ C把剛才while請求停止,然后,我們將驗證結果狀態(大約一分鐘后):

kubectl get hpa

......

通過上面可以看到,CPU利用率下降到0,因此HPA自動將副本數縮減到1。注意:自動縮放副本可能需要幾分鐘。

八、測試HPA autoscaling/v2beta1版本-基于內存的自動擴縮容

1.創建一個nginx的pod

cat nginx.yaml apiVersion:apps/v1 kind: Deployment metadata:name:nginx-hpa spec:selector:matchLabels:app: nginxreplicas: 1template:metadata:labels:app: nginxspec:containers:- name: nginximage: nginx:1.9.1ports:- containerPort: 80name: httpprotocol: TCPresources:requests:cpu: 0.01memory: 25Milimits:cpu: 0.05memory: 60Mi --- apiVersion: v1 kind: Service metadata:name: nginxlabels:app: nginx spec:selector:app: nginxtype: NodePortports:- name: httpprotocol: TCPport: 80targetPort: 80nodePort: 30080kubectl apply -f nginx.yaml

2.驗證nginx是否運行

kubectl get pods

顯示如下,說明nginx的pod正常運行:

NAME READY STATUS RESTARTS AGE nginx-hpa-bb598885d-j4kcp 1/1 Running 0 17m

?注意:nginx的pod里需要有如下字段,否則hpa會采集不到內存指標

resources:requests:cpu: 0.01memory: 25Milimits:cpu: 0.05memory: 60Mi

3.創建一個hpa

cat hpa-v1.yaml

apiVersion: autoscaling/v2beta1 kind: HorizontalPodAutoscaler metadata:name: nginx-hpa spec:maxReplicas: 10minReplicas: 1scaleTargetRef:apiVersion:apps/v1kind: Deploymentname: nginx-hpametrics:- type: Resourceresource:name: memorytargetAverageUtilization: 60

kubectl get hpa

顯示如下:

NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE nginx-hpa Deployment/nginx-hpa 5%/60% 1 10 1 20s

4.壓測nginx的內存,hpa會對pod自動擴縮容

登錄到上面通過pod創建的nginx,并生成一個文件,增加內存

kubectl exec -it nginx-hpa-bb598885d-j4kcp -- /bin/sh

?壓測:

dd if=/dev/zero of=/tmp/a

打開新的終端:

kubectl get hpa

顯示如下:

NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE nginx-hpa Deployment/nginx-hpa 200%/60% 1 10 3 12m

上面的targets列可看到200%/60%,200%表示當前cpu使用率,60%表示所有pod的cpu使用率維持在60%,現在cpu使用率達到200%,所以pod增加到4個

kubectl get deployment

顯示如下:

NAME READY UP-TO-DATE AVAILABLE AGE nginx-hpa 4/4 4 4 25m

?5.取消對nginx內存的壓測,hpa會對pod自動縮容

kubectl exec -it nginx-hpa-bb598885d-j4kcp -- /bin/sh

?刪除/tmp/a這個文件

rm -rf /tmp/a

kubectl get hpa

顯示如下,可看到內存使用率已經降到5%:

NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE nginx-hpa Deployment/nginx-hpa 5%/60% 1 10 1 26m

kubectl get deployment

顯示如下,deployment的pod又恢復到1個了:

NAME READY UP-TO-DATE AVAILABLE AGE nginx-hpa 1/1 1 1 38m

九、基于多項指標和自定義指標的自動縮放

可以通過使用autoscaling/v2beta2 API版本來介紹在自動縮放php-apache這個deployment時使用的其他度量指標(metrics)。

獲取autoscaling/v2beta2 API版本HPA的yaml文件

kubectl get hpa.v2beta2.autoscaling -o yaml > /tmp/hpa-v2.yaml

在編輯器打開文件/tmp/hpa-v2.yaml,刪除掉一些不需要要的字段,可看到如下yaml

apiVersion: autoscaling/v2beta2 kind: HorizontalPodAutoscaler metadata:name: php-apachenamespace: default spec:scaleTargetRef:apiVersion: apps/v1kind: Deploymentname: php-apacheminReplicas: 1maxReplicas: 10metrics:- type: Resourceresource:name: cputarget:type: UtilizationaverageUtilization: 50 status:observedGeneration: 1lastScaleTime: <some-time>currentReplicas: 1desiredReplicas: 1currentMetrics:- type: Resourceresource:name: cpucurrent:averageUtilization: 0averageValue: 0

targetCPUUtilizationPercentage字段由metrics所取代,CPU利用率這個度量指標是一個resource metric(資源度量指標),因為它表示容器上指定資源的百分比。 除CPU外,你還可以指定其他資源度量指標。默認情況下,目前唯一支持的其他資源度量指標為內存。只要metrics.k8s.io API存在,這些資源度量指標就是可用的,并且他們不會在不同的Kubernetes集群中改變名稱。你還可以指定資源度量指標使用絕對數值,而不是百分比,你需要將target類型AverageUtilization替換成AverageValue,同時將target.averageUtilization替換成target.averageValue并設定相應的值。還有兩種其他類型的度量指標,他們被認為是*custom metrics*(自定義度量指標): 即Pod度量指標和對象度量指標(pod metrics and object metrics)。這些度量指標可能具有特定于集群的名稱,并且需要更高級的集群監控設置。第一種可選的度量指標類型是Pod度量指標。這些指標從某一方面描述了Pod,在不同Pod之間進行平均,并通過與一個目標值比對來確定副本的數量。它們的工作方式與資源度量指標非常相像,差別是它們僅支持target類型為

AverageValue。

Pod 度量指標通過如下代碼塊定義

type: Pods pods:metric:name: packets-per-secondtarget:type: AverageValueaverageValue: 1k

第二種可選的度量指標類型是對象度量指標。相對于描述Pod,這些度量指標用于描述一個在相同名字空間(namespace)中的其他對象。請注意這些度量指標用于描述這些對象,并非從對象中獲取。對象度量指標支持的target類型包括Value和AverageValue。如果是Value類型,target值將直接與API返回的度量指標比較,而AverageValue類型,API返回的度量指標將按照Pod數量拆分,然后再與target值比較。下面的YAML文件展示了一個表示requests-per-second的度量指標。

type: Object object:metric:name: requests-per-seconddescribedObject:apiVersion: networking.k8s.io/v1beta1kind: Ingressname: main-routetarget:type: Valuevalue: 2k

如果你指定了多個上述類型的度量指標,HorizontalPodAutoscaler將會依次考量各個指標。HorizontalPodAutoscaler將會計算每一個指標所提議的副本數量,然后最終選擇一個最高值。比如,如果你的監控系統能夠提供網絡流量數據,你可以通過kubectl edit命令將上述Horizontal Pod Autoscaler的定義更改為:

apiVersion: autoscaling/v2beta1 kind: HorizontalPodAutoscaler metadata:name: php-apachenamespace: default spec:scaleTargetRef:apiVersion: apps/v1kind: Deploymentname: php-apacheminReplicas: 1maxReplicas: 10metrics:- type: Resourceresource:name: cputarget:type: AverageUtilizationaverageUtilization: 50- type: Podspods:metric:name: packets-per-secondtargetAverageValue: 1k- type: Objectobject:metric:name: requests-per-seconddescribedObject:apiVersion: networking.k8s.io/v1beta1kind: Ingressname: main-routetarget:kind: Valuevalue: 10k status:observedGeneration: 1lastScaleTime: <some-time>currentReplicas: 1desiredReplicas: 1currentMetrics:- type: Resourceresource:name: cpucurrent:averageUtilization: 0averageValue: 0- type: Objectobject:metric:name: requests-per-seconddescribedObject:apiVersion: networking.k8s.io/v1beta1kind: Ingressname: main-routecurrent:value: 10k

然后,你的HorizontalPodAutoscaler將會嘗試確保每個Pod的CPU利用率在50%以內,每秒能夠服務1000個數據包請求,并確保所有在Ingress后的Pod每秒能夠服務的請求總數達到10000個。

十、在更多指定指標下的自動伸縮

許多度量管道允許你通過名稱或附加的_labels_來描述度量指標。對于所有非資源類型度量指標(pod、object和后面將介紹的external),可以額外指定一個標簽選擇器。例如,如果你希望收集包含verb標簽的http_requests度量指標, 你可以在GET請求中指定需要的度量指標,如下所示:

type:Object object:metric:name:`http_requests`selector:`verb=GET`

這個選擇器使用與Kubernetes標簽選擇器相同的語法。如果名稱和標簽選擇器匹配到多個系列,監測管道會決定如何將多個系列合并成單個值。選擇器是附加的,它不會選擇目標以外的對象(類型為Pods的目標和類型為Object的目標)。

十一、基于kubernetes對象以外的度量指標自動擴縮容

運行在Kubernetes上的應用程序可能需要基于與Kubernetes集群中的任何對象沒有明顯關系的度量指標進行自動伸縮,例如那些描述不在Kubernetes任何namespaces服務的度量指標。使用外部的度量指標,需要了解你使用的監控系統,相關的設置與使用自定義指標類似。 External metrics可以使用你的監控系統的任何指標來自動伸縮你的集群。你只需要在metric塊中提供name和selector,同時將類型由Object改為External。如果metricSelector匹配到多個度量指標,HorizontalPodAutoscaler將會把它們加和。 External metrics同時支持Value和AverageValue類型,這與Object類型的度量指標相同。例如,如果你的應用程序處理主機上的消息隊列, 為了讓每30個任務有1個worker,你可以將下面的內容添加到 HorizontalPodAutoscaler 的配置中。

-type:Externalexternal:metric:name:queue_messages_readyselector:"queue=worker_tasks"target:type:AverageValueaverageValue:30

還是推薦custom?metric而不是external?metrics,因為這便于讓系統管理員加固custom?metrics?API。而external?metrics?API可以允許訪問所有的度量指標,當暴露這些服務時,系統管理員需要仔細考慮這個問題。

?十二、經驗

1、部署deployment? pod

kubectl create deployment java-web3 --image=java-demo:v1

命令行方式創建的pod,沒有對資源做出限制,導致

kubectl edit hpa java-web2 沒有相應的images、containters字段,沒有辦法修改requests。

正解:修改deployment/pod? request 字段

kubectl edit deployments.apps java-web2.... spec:containers:- image: java-demo:v1imagePullPolicy: IfNotPresentname: java-demoresources:limits:cpu: "1"requests:cpu: 500m ......

創建java-web3 pod 的 hpa

kubectl autoscale deployment java-web3 --min=3 --max=7 --cpu-percent=70

暴露pod服務

kubectl expose deployment java-web3 --port=80 --target-port=8080

?獲取server?? ip

[root@master ~]# kubectl get svc NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE java-web2 ClusterIP 10.106.10.163 <none> 80/TCP 50m

人為增大訪問量

for i in {1..10000};do curl 10.106.10.163; done

測試

kubectl get hpa

https://mp.weixin.qq.com/s/6uy1fvzz2Y34DB7ugZ0PAQ

java-web3

總結

以上是生活随笔為你收集整理的kubernetes HPA的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

91在线在线观看 | 国产精品av一区二区 | 日韩大陆欧美高清视频区 | 免费在线电影网址大全 | 婷婷丁香五 | 97精品国产91久久久久久久 | 操操操天天操 | 在线国产欧美 | 精品视频久久久久久 | 国产精品永久免费视频 | 天天干天天做天天操 | 成人久久久久久久久久 | 亚洲专区在线视频 | 欧美一级片免费观看 | 成人在线视频免费 | 亚洲一区二区三区在线看 | 成人毛片在线观看视频 | 亚洲网站在线看 | 欧美在线视频a | 中文字幕av在线 | 国产美女主播精品一区二区三区 | 亚州人成在线播放 | 国产原创中文在线 | 亚洲激情婷婷 | 婷婷黄色片 | 国产精品久久久久久久99 | 国产一区二区三区四区大秀 | 天天干天天在线 | 日韩精品1区2区 | 午夜av不卡 | 四虎在线免费观看 | 日本一区二区高清不卡 | av在线免费播放 | 国偷自产视频一区二区久 | 久久99精品国产麻豆宅宅 | 亚洲欧美日韩中文在线 | 国产中文视频 | 婷婷国产v亚洲v欧美久久 | 99精品在线看 | 91在线看片 | 奇米777777| 黄色免费在线看 | 最新日韩视频 | 在线观看成人网 | 国产一级免费观看视频 | 成人国产精品av | 在线观看精品黄av片免费 | 国产黄色av影视 | 国产精品国产亚洲精品看不卡 | 亚洲 欧美日韩 国产 中文 | 一级国产视频 | 国产高h视频| 亚洲一区尤物 | 亚洲女欲精品久久久久久久18 | 色香蕉网| 国产精品18久久久久久久久久久久 | 欧美精品v国产精品 | 欧美日韩二区三区 | 国产日产精品一区二区三区四区的观看方式 | 欧美一区视频 | 韩国精品在线观看 | 日韩欧美v | 久久免费视频在线观看6 | 99免费观看视频 | 91禁在线看 | 有码视频在线观看 | 国产精久久| 久久影视网 | 国产高清亚洲 | 久视频在线播放 | 精品久久久久久久 | 国产一级性生活视频 | a色视频| 日日夜夜网站 | 激情综合国产 | 国产精品网红直播 | 精品久久免费 | 青青久草在线视频 | 国产精久久 | 一区中文字幕在线观看 | 亚洲一二视频 | 日韩欧美在线视频一区二区 | 色五月成人 | 摸bbb搡bbb搡bbbb | 天天色视频 | 亚洲激情久久 | 国产精品v欧美精品 | 麻豆一区在线观看 | 久久影视一区二区 | 久久夜色精品国产欧美一区麻豆 | 日韩免费三区 | 日韩精品免费在线播放 | 国产69精品久久久久99 | 人人澡人人草 | 激情丁香久久 | 91热在线| 免费三级大片 | 天天干天天做 | 97在线成人 | 欧美视频不卡 | 免费观看丰满少妇做爰 | 98超碰在线| 国产一区二区三区视频在线 | 91在线产啪 | 欧美a影视 | 国产xx在线 | 久久草在线精品 | 日韩mv欧美mv国产精品 | 美女视频黄网站 | 综合色站 | www.日本色 | 国产一区在线看 | 天天干天天怕 | 色无五月 | 特级西西444www大胆高清无视频 | 天堂va欧美va亚洲va老司机 | 日韩国产精品一区 | 激情欧美一区二区免费视频 | 国产伦理久久精品久久久久_ | 毛片一区二区 | 丝袜美女在线 | 在线之家免费在线观看电影 | 97日日碰人人模人人澡分享吧 | 亚洲综合成人专区片 | 亚洲黄色一级大片 | 又爽又黄在线观看 | 最近中文字幕 | 精品久久久久久久久中文字幕 | 亚洲欧美日韩中文在线 | 国产高清在线永久 | 亚洲精品午夜一区人人爽 | 国产高清精品在线观看 | 国产乱老熟视频网88av | 久久成人在线视频 | 毛片网站在线 | 日日夜夜精品 | 久久免费电影 | 国产精品一区二区免费 | 免费av在 | 亚洲黄色免费网站 | 偷拍久久久 | 午夜精品区| 五月婷婷色丁香 | 精品久久久久久久久久久久久久久久 | 亚洲免费婷婷 | 97福利视频 | 国产精品久久99精品毛片三a | 四虎永久国产精品 | 亚洲精品中文字幕在线观看 | 久久精品日产第一区二区三区乱码 | 国产精品久久久久四虎 | 国产亚洲精品久久久久久久久久 | 福利片视频区 | 亚洲人成影院在线 | 波多野结衣视频一区二区 | 国产精品资源网 | 亚洲视频第一页 | 国产成人1区 | 天天干天天做 | 激情久久小说 | 在线观看不卡视频 | 中文字幕一区二区三区四区 | 日本久久久久 | caobi视频 | 亚洲在线精品视频 | 91精品国产乱码在线观看 | www.天天综合| 美女网站在线观看 | 中文字幕一区二 | 丁香激情婷婷 | 国产录像在线观看 | 99精品久久99久久久久 | 婷婷激情五月综合 | 亚洲国产成人久久综合 | 国产精品久久久久久久免费观看 | 在线看岛国av | 婷婷在线免费观看 | 久久免费99| 成人在线播放网站 | 国产精品久久久久久久久久三级 | 国产一级性生活视频 | 欧美一区二区三区在线 | 91成人精品一区在线播放 | 97精品在线视频 | av色网站 | 久久国语露脸国产精品电影 | 国产高清在线一区 | 日本在线观看一区二区 | 国产看片免费 | 奇米影视777四色米奇影院 | 国产精品1区2区3区在线观看 | 免费av网站在线看 | 久久国产精品第一页 | 黄网站免费看 | 精品国偷自产在线 | 九九热免费观看 | 最近最新mv字幕免费观看 | 9在线观看免费高清完整版 玖玖爱免费视频 | 97av.com | 成年人看片 | av丝袜在线 | 国产亚洲精品久久久久久大师 | 久久久精品电影 | 国产成人免费高清 | 欧美日韩国产精品一区 | 中文字幕丰满人伦在线 | 91人人视频在线观看 | 麻豆一区二区三区视频 | 91自拍成人 | 丁香九月婷婷综合 | 国产中文字幕一区二区 | 欧美在线视频一区二区三区 | 国产91精品在线播放 | 国产午夜精品一区二区三区 | 99热在线这里只有精品 | 91看片一区二区三区 | 久久久久亚洲精品男人的天堂 | 久久色在线播放 | 精品国产一区二区三区久久影院 | 在线av资源 | 日韩在线一二三区 | 国产999精品 | 国产成人黄色片 | 在线高清一区 | 91麻豆视频 | 日本精品一区二区三区在线观看 | 在线亚洲午夜片av大片 | 九草视频在线 | 亚洲六月丁香色婷婷综合久久 | 最近中文字幕mv免费高清在线 | 久久成人国产精品免费软件 | 国产一区二区不卡视频 | 久久影院精品 | 一区二区三区免费在线观看 | 欧美一级视频免费看 | 免费一级毛毛片 | 人人爽久久涩噜噜噜网站 | 亚洲免费在线看 | 91视频一8mav | 成年人在线视频观看 | 亚洲综合欧美日韩狠狠色 | 日韩精品视频免费 | 亚洲激情一区二区三区 | 日韩在线视频二区 | www成人av| 激情欧美日韩一区二区 | 亚洲天堂网在线观看视频 | 国产精品一区二区三区免费看 | av一区在线 | 亚洲aⅴ乱码精品成人区 | 麻花天美星空视频 | 国产精品久久久久久一区二区三区 | 久久草网 | 免费看高清毛片 | 一区二区欧美激情 | 久久人人爽人人片 | 中文亚洲欧美日韩 | 免费福利小视频 | 欧美日韩精品在线播放 | 精品福利国产 | 中文久草 | 免费99精品国产自在在线 | 黄色成人影视 | 中国精品少妇 | 麻豆影视在线免费观看 | 99国产在线观看 | 国产色在线 | 成人av电影免费在线观看 | 超碰伊人网 | 色悠悠久久综合 | 五月婷婷一级片 | 激情网五月 | 999电影免费在线观看2020 | 日本不卡123 | 一区二区视频电影在线观看 | 丁香婷婷成人 | 国产精品欧美日韩在线观看 | 九九亚洲视频 | 996久久国产精品线观看 | 青春草视频在线播放 | 欧美日韩视频免费看 | 久久久久久久久电影 | 亚洲电影黄色 | 美女又爽又黄 | 免费视频成人 | 亚洲男男gaygay无套 | 欧美日韩免费观看一区=区三区 | 肉色欧美久久久久久久免费看 | 97免费在线观看视频 | 色综合久久88色综合天天6 | 97超碰国产精品 | 国产成人精品一区在线 | 精品国产成人在线影院 | 国产在线中文字幕 | 蜜桃视频在线视频 | 人人干狠狠干 | 欧美一二三区在线观看 | 96av视频 | 欧美日韩精品在线观看 | 天天色天天射天天干 | 日韩精品久久久久久中文字幕8 | 国产精品自产拍在线观看中文 | 69精品在线观看 | 麻豆国产电影 | 国产香蕉97碰碰碰视频在线观看 | 精品国产免费观看 | 四虎成人精品在永久免费 | av官网在线 | 在线观看日本韩国电影 | 亚洲精品免费在线观看视频 | 日本一区二区三区免费观看 | 五月婷婷激情六月 | 午夜精品久久久久久99热明星 | 亚洲国产小视频在线观看 | 精品专区一区二区 | 国产明星视频三级a三级点| 日韩 精品 一区 国产 麻豆 | 狠狠色丁香婷婷 | 69av国产| 国产一区精品在线 | 久久久综合电影 | 国产精品s色 | 九色视频网站 | 久草在线精品观看 | 亚洲精品色婷婷 | 国产高清在线免费观看 | 婷婷综合成人 | 一级久久精品 | 丁香电影小说免费视频观看 | 日本黄色大片免费 | 亚洲六月丁香色婷婷综合久久 | av久久在线| 国产一级大片在线观看 | 福利视频网站 | 精品久久一区二区三区 | 毛片一区二区 | 欧美日韩久久不卡 | 国产一级片免费视频 | 亚洲视频播放 | 91精品国产乱码久久 | 国产在线 一区二区三区 | 国内精品视频一区二区三区八戒 | 中文字幕一区在线观看视频 | 在线观看国产高清视频 | 精品在线播放视频 | 久久婷婷一区 | 久草久草在线观看 | 国产精品大尺度 | 97精品国自产拍在线观看 | 久操视频在线 | 久久影院亚洲 | 亚洲精品高清在线 | 久久久在线观看 | 久久久精品视频网站 | a电影免费看 | 日韩午夜网站 | 国产一区二区在线观看免费 | 久久97久久 | 日韩专区在线 | 91在线视频观看免费 | 久久久久久久久久久网站 | 精产嫩模国品一二三区 | 日韩欧美一级二级 | 国产精品福利午夜在线观看 | 黄色网址中文字幕 | 亚洲精品视频免费在线观看 | 夜夜干天天操 | 久久国际影院 | 欧美日韩18| 欧美激情综合五月色丁香小说 | 精品国产一区二区三区在线观看 | 在线视频 一区二区 | 精品国内 | 女人18毛片90分钟 | 精品在线一区二区 | 欧美福利精品 | 久久免费视频这里只有精品 | 人人干狠狠操 | 亚洲va在线va天堂va偷拍 | 中文字幕日韩精品有码视频 | 在线免费精品视频 | 97成人精品视频在线播放 | 国产精品久久久久久久久久久久久 | 国产在线观看黄 | 少妇视频一区 | 久久久免费看视频 | 日日夜夜av| 久久综合狠狠综合 | 国产福利中文字幕 | 久久一区二区三区国产精品 | 国产在线2020 | 国产成人av电影 | 四虎在线视频 | 综合网欧美 | 色婷婷久久久综合中文字幕 | 精品久久网 | 97超碰在线资源 | 午夜视频在线观看网站 | 久久久久久久久免费视频 | 国产亚洲成人精品 | 99精品久久久久久久 | 中文字幕第 | 日韩av高清在线观看 | 中文字幕在线网 | 国产精品久久久久久妇 | 高清在线观看av | 500部大龄熟乱视频使用方法 | 黄色小网站在线观看 | 91大神在线看 | 伊人婷婷综合 | 久久精品免费播放 | 欧美日韩xxxxx | 狠狠色狠狠色合久久伊人 | 操处女逼 | 欧美一级日韩三级 | 97伊人网 | 亚洲视频在线视频 | 在线免费观看涩涩 | 国产日产欧美在线观看 | 国产99久久久精品视频 | 亚洲天堂网在线观看视频 | 日p在线观看 | 久久九九久久 | 日本大片免费观看在线 | 成人动漫视频在线 | 欧美aaa级片| 久久精品欧美一区二区三区麻豆 | 欧美老女人xx | 国产精品久久久久久久久久新婚 | 久久九精品 | 久久免费精品视频 | 国产免费黄色 | 亚洲特级片 | 免费在线色视频 | 久久精品成人热国产成 | 视频在线观看入口黄最新永久免费国产 | 久久99中文字幕 | 国产资源精品在线观看 | 国产精品精品国产婷婷这里av | www.狠狠色| a黄色影院| 亚洲天堂在线观看完整版 | 国产精品aⅴ | 欧美成人精品欧美一级乱黄 | 九九热免费精品视频 | 999视频在线观看 | 久久久精品日本 | 亚洲精品一区中文字幕乱码 | 欧美国产大片 | 成人中文字幕在线 | 成人app在线播放 | 午夜精品一区二区三区在线 | 久久激情视频免费观看 | 日韩一级电影网站 | 手机av观看 | 天堂av中文字幕 | 天天操天天干天天操天天干 | www看片网站 | 天天躁日日躁狠狠 | 亚洲成人动漫在线观看 | 亚洲精品高清视频 | 精品专区一区二区 | 国产成人精品av | 又黄又爽又色无遮挡免费 | 久久久久久久久久久免费 | 亚洲精品视频大全 | 日韩在线视频网站 | 精品一区二区在线观看 | 一区二区国产精品 | 国产伦理一区 | 国产精品a久久 | 久久艹综合 | 国产精品视屏 | 亚洲精选久久 | 中文字幕亚洲综合久久五月天色无吗'' | 国产999精品久久久久久绿帽 | 色婷婷亚洲婷婷 | 久草综合在线观看 | 69精品久久 | 视频国产在线观看18 | www.黄色片网站 | 久久久国产精品视频 | 日韩电影一区二区三区 | 国产福利小视频在线 | 夜夜嗨av色一区二区不卡 | 欧美在线a视频 | 国产精品毛片 | 日韩在线观看你懂得 | 国内精品在线看 | 国产精品久久网站 | 91丨精品丨蝌蚪丨白丝jk | 日韩高清在线一区二区 | 一区二区精品在线观看 | 99色视频| 日韩av电影中文字幕 | 久久久久www | 91av中文字幕 | 五月网婷婷 | 成人黄大片视频在线观看 | 91精品啪在线观看国产 | 成人性生交大片免费看中文网站 | 91超碰在线播放 | 狠狠干.com | 久草视频免费在线播放 | 日韩av专区 | 国产麻豆精品在线观看 | 国产精品扒开做爽爽的视频 | 91片在线观看| 蜜臀aⅴ国产精品久久久国产 | 黄色av电影网 | 国产伦精品一区二区三区… | 最新国产精品久久精品 | 久久色视频 | 免费观看一级成人毛片 | 91视频在线观看免费 | 91看毛片 | 中文字幕一二三区 | 91看片在线观看 | 久久国产精品久久w女人spa | 国产精品成人国产乱一区 | 国产一级二级三级视频 | 中文字幕av最新更新 | www.神马久久 | www.99热精品 | 久久综合桃花 | 伊人久久在线观看 | 国产亚洲综合性久久久影院 | 日韩色一区二区三区 | 91手机视频| 国产免费黄色 | 在线观看视频三级 | 黄污在线观看 | 97碰碰视频 | 少妇自拍av | 国产视频精选在线 | 国产.精品.日韩.另类.中文.在线.播放 | 欧美另类重口 | 人人澡人人添人人爽一区二区 | a级片久久| 视频91| 在线观看视频日韩 | 亚洲午夜精品一区 | 国产剧情一区二区 | 午夜久久精品 | 亚洲综合视频在线 | 超碰在线人人97 | 久久久久久久久久久久久影院 | 中文字幕中文字幕在线中文字幕三区 | 日产中文字幕 | 日韩最新av在线 | 操处女逼 | 干干夜夜 | 色网免费观看 | 国产黄色美女 | 国产视频在 | 国产一区二区三区在线 | 日韩三级.com | www.久艹 | 国产成人无码AⅤ片在线观 日韩av不卡在线 | 国产高清一区二区 | 97色国产 | 亚洲电影在线看 | 久久综合色播五月 | 五月天中文在线 | 久久精品免费电影 | 亚洲一区二区精品3399 | 超碰公开在线 | 中文字幕免费久久 | 国产视频欧美视频 | 丁香视频在线观看 | 在线小视频国产 | 色多多污污在线观看 | 97电影在线看视频 | 东方av在| 国产精美视频 | 精品主播网红福利资源观看 | 久久夜视频 | 国产日韩欧美在线免费观看 | 91免费看片黄 | 国产免费黄色 | 国产高清绿奴videos | 成人免费 在线播放 | 国产区精品区 | 黄色aaaaa| 国产精品久久久免费 | 97成人精品视频在线观看 | av成人资源| 激情综合婷婷 | 一区二区三区四区不卡 | 99久久精品国产免费看不卡 | av一级久久| 欧美一二在线 | 国产成人av电影在线观看 | 欧美一级性生活 | 91在线观看视频网站 | 日韩欧美视频免费观看 | 久久五月婷婷丁香 | 日本韩国精品在线 | 国产打女人屁股调教97 | 91成人精品国产刺激国语对白 | 中文字幕av一区二区三区四区 | 九九视频在线观看视频6 | 色综合天 | 国产精品综合久久久久久 | 亚洲免费av一区二区 | 久久精品男人的天堂 | www操操操 | 在线国产欧美 | 久久综合导航 | 久久人人爽人人爽人人片av软件 | 精品在线亚洲视频 | 天堂av网址 | 国产精品久久久久久高潮 | 亚洲精品永久免费视频 | 狠狠色狠狠色合久久伊人 | 成人午夜在线观看 | 欧美性色19p | 亚洲va在线va天堂 | 草在线视频 | 国产第一页精品 | 日韩羞羞 | 韩日精品在线 | 日韩毛片久久久 | a级国产乱理论片在线观看 特级毛片在线观看 | 久久视影 | 狠狠干.com | 免费在线观看av网站 | 黄色在线成人 | 日本韩国中文字幕 | 91成人网在线 | av理论电影 | 激情综合网五月 | 丰满少妇高潮在线观看 | 久久久美女 | www.黄色 | 国产九九精品 | 成人免费xyz网站 | 四虎在线免费观看视频 | 国产中文字幕网 | 免费在线观看日韩欧美 | 久草在线免费看视频 | 亚洲女在线 | 国产精品69av | 亚洲精品免费在线 | 开心激情五月婷婷 | 综合久色 | 中文字幕最新精品 | 国产成人一区二区三区在线观看 | 夜夜操天天摸 | 国产中文字幕视频在线观看 | 天天干天天操人体 | 国产精品久久久久aaaa九色 | 久久精品99国产精品酒店日本 | 久草免费在线观看视频 | 人人爽人人爽人人 | 狠狠狠狠狠狠天天爱 | 国产99一区视频免费 | 欧美日韩高清一区 | av亚洲产国偷v产偷v自拍小说 | 日韩在线电影一区二区 | 在线视频亚洲 | 99久久久久久久久久 | 国产在线91在线电影 | 岛国av在线免费 | 亚洲精品在线观看的 | 97免费在线观看视频 | 国产成人精品999 | 又黄又刺激的网站 | 亚洲精品日韩av | 亚洲视频大全 | 蜜桃av观看 | 日本护士三级少妇三级999 | 香蕉日日| 日日爱av | 久久精品视频免费播放 | 69久久夜色精品国产69 | 天天操天天添天天吹 | 黄色在线观看www | 欧美黑人巨大xxxxx | 亚洲一区视频免费观看 | 久久99精品国产 | 国产精品成久久久久三级 | 中文字幕在 | 97夜夜澡人人双人人人喊 | 97超碰免费在线观看 | 久久论理 | 在线黄色av | 色爱成人网 | 夜夜夜夜猛噜噜噜噜噜初音未来 | 婷婷综合影院 | 亚洲精品一区二区在线观看 | 欧美伦理一区 | 欧美日韩不卡在线视频 | 日韩精品不卡在线观看 | 91视频一8mav| 国产免费嫩草影院 | 欧美乱淫视频 | 久久视频这里有久久精品视频11 | 久久夜色精品国产亚洲aⅴ 91chinesexxx | 婷婷色综| 操操操日日日 | 久久深夜福利免费观看 | 免费看片色 | 日韩在线网址 | 最新精品视频在线 | 日韩在线免费高清视频 | 欧美三人交 | 国产美女被啪进深处喷白浆视频 | 久草视频首页 | 色婷婷啪啪免费在线电影观看 | 久久天天躁狠狠躁夜夜不卡公司 | 免费久久99精品国产婷婷六月 | 精品久久电影 | 欧美-第1页-屁屁影院 | 久久综合给合久久狠狠色 | 国产精品美女久久 | 日韩激情av在线 | 伊人永久 | 亚洲成人精品在线 | 精品久久久一区二区 | 月下香电影 | 99久高清在线观看视频99精品热在线观看视频 | 国产精品6999成人免费视频 | 黄www在线观看 | 婷婷色伊人| 在线亚洲欧美视频 | 国产小视频在线播放 | 亚洲精品在线观看不卡 | 久久精品男人的天堂 | 中文字幕乱在线伦视频中文字幕乱码在线 | 日日久视频| 欧美日韩国产综合网 | av手机在线播放 | 91大神一区二区三区 | 久久8精品| 91麻豆产精品久久久久久 | 婷婷久久久| 九色自拍视频 | 五月亚洲综合 | 午夜电影一区 | 人人射人人爽 | 欧美激情综合色综合啪啪五月 | 91免费网站在线观看 | 欧美精品做受xxx性少妇 | 国产在线精品一区二区不卡了 | 日韩精品1区2区 | 国产成人a亚洲精品v | av在线电影网站 | 日日操日日干 | 人人插人人舔 | 国产麻豆果冻传媒在线观看 | 综合色婷婷| 国产精品不卡在线 | 亚洲国产一区在线观看 | 国产高清不卡一区二区三区 | 国产精品久久久久久久久久东京 | 天天弄天天操 | 国产原创91 | 97精品久久| 国产黄色大片免费看 | 色综合天天天天做夜夜夜夜做 | 99热国产在线中文 | 尤物九九久久国产精品的分类 | 亚洲国产精品一区二区尤物区 | 国产视频一区在线播放 | 在线观看国产永久免费视频 | 日本公妇色中文字幕 | 中文字幕在线资源 | 色婷婷综合在线 | 日日夜夜狠狠 | 91成人看片 | 日韩精品视频第一页 | 蜜桃传媒一区二区 | 天天射天天射 | 日韩网站一区二区 | 日韩欧美电影在线 | 国产一级片免费视频 | 精品国产伦一区二区三区观看说明 | 福利久久| 欧美成人黄色片 | 成人蜜桃 | 激情婷婷综合网 | 久久视频网| 在线观看激情av | 久久国产精品网站 | 精品福利在线观看 | 91天堂在线观看 | 久久久久久免费视频 | 美女网色 | 福利一区在线视频 | 福利一区二区三区四区 | 九九九热精品 | 国产 精品 资源 | 一区二区三区免费播放 | 91精品免费看 | 久久xxxx| 亚洲草视频 | 黄色中文字幕 | 91超级碰碰 | 99视频精品视频高清免费 | 免费看污的网站 | 99成人在线视频 | 黄色软件在线观看 | 久久99偷拍视频 | 天天射天天射 | 国产在线色视频 | 人人爽人人搞 | 欧美一级片免费 | 国产自产高清不卡 | 欧美99热| 五月丁香 | 精品福利网站 | 91精品免费在线观看 | 免费在线看v | 美女视频久久 | 色国产在线 | av性在线 | 天天摸天天弄 | 国产视频在线观看一区二区 | 日韩在线视频网站 | 日韩在线免费高清视频 | 久久精品美女视频 | 免费a v在线 | 国产资源精品在线观看 | 在线免费视频a | 亚洲高清av在线 | 久久成年人视频 | 欧美性色19p| 最新极品jizzhd欧美 | 国产成人一级电影 | 在线观看久久久久久 | 午夜日b视频 | 黄色av影视| 国产在线视频导航 | 9在线观看免费高清完整版在线观看明 | 四虎国产免费 | 成人综合日日夜夜 | 99久久精品无免国产免费 | 五月激情丁香 | www.成人精品 | 黄色官网在线观看 | av 一区 二区 久久 | 91色影院 | 91精品免费视频 | 国产尤物一区二区三区 | 人人讲| 人人舔人人爽 | 免费在线观看成人 | 久久中国精品 | 久草成人在线 | 免费av观看网站 | 99热在线国产| 黄色片网站av | 青青草国产在线 | 综合国产在线 | 西西www4444大胆视频 | 国产在线久久久 | 久久草草影视免费网 | 日韩成人精品一区二区三区 | 中文在线免费看视频 | 伊人手机在线 | 亚洲精品ww | 99精品久久久 | 国产97超碰| 欧美日韩a视频 | 亚洲天天在线 | 成人禁用看黄a在线 | 国产欧美精品xxxx另类 | 亚洲影院一区 | 日韩免| 夜夜操狠狠操 | 久久久久久久网 | 91精品在线播放 | 人人插人人射 | 狠狠色丁香 | 亚洲精品字幕在线 | 亚洲视频一 | 夜夜天天干 | 久久乐九色婷婷综合色狠狠182 | 精品国产一区二区三区四 | 成人高清在线观看 | 久久久人人人 | a视频免费在线观看 | 六月丁香激情网 | 天天爱天天 | 最近中文字幕大全中文字幕免费 | 亚洲视频一区二区三区在线观看 | 成人免费在线观看av | 日本系列中文字幕 | 人人爽人人爽人人爽学生一级 | 国产视频综合在线 | 中文字幕免费观看 | 久精品视频在线观看 | 亚洲综合网站在线观看 | 国产精品11 | 天天干天天拍 | 亚州av网站 | 中文字幕中文字幕在线中文字幕三区 | 精品国产免费看 | 久久免费视频网站 | 色综合激情网 | 伊人久久国产精品 | 色99之美女主播在线视频 | 天天射天天干天天插 | 国产无套视频 | 天天操天天干天天摸 | 在线观看日本高清mv视频 | 久久a级片 | 国产精品高清av | 五月天国产| 高清色免费 | 欧美韩日精品 | 成人久久久精品国产乱码一区二区 | av色影院| 久久精品伊人 | 超碰在线最新地址 | 国产高清精品在线观看 | 国内精品久久久久久久久久久 | 五月婷婷视频在线观看 | 国产精品成人自拍 | 欧美一二三区播放 | 久久国产精品成人免费浪潮 | 日本久久高清视频 | 99精品热| 一区二区三区四区在线免费观看 | 九九免费在线观看视频 | 欧美在线视频a | 伊人五月天.com | 国产精品18久久久久久首页狼 | 美女视频是黄的免费观看 | 久草综合视频 | 日韩精品在线看 | 狠狠狠狠狠狠狠狠干 | 91在线免费视频 | 中文字幕在线免费观看 | 欧美精品午夜 | 久久免费av | 91av电影| 欧美另类调教 | 久久久国产网站 | 亚洲成色777777在线观看影院 | 天天天干夜夜夜操 | 国产精品久久久久久久久久久久 | 国产精品久久毛片 | 草久草久 | 91av中文 | av网站播放| 69国产在线观看 | 美女网站黄免费 | 色综合久久综合中文综合网 | 日韩av在线小说 | av资源免费在线观看 | 欧美日韩亚洲一 | 日韩视频在线观看视频 | 免费网址在线播放 | 国际精品久久久久 | 九九在线播放 | www色| 亚洲成av人电影 | 亚洲高清在线 | 久久久久久久电影 | 91视频在线| 国产成人久久久77777 | 天天综合网在线 | 91九色蝌蚪国产 | 欧美日韩不卡在线视频 | 夜夜躁狠狠燥 | 日韩国产欧美在线视频 | 欧美色精品天天在线观看视频 | 在线观看亚洲电影 | 深爱五月激情五月 | 久久成人一区二区 | 91精品久久久久久综合五月天 | 99久久99久久精品国产片 | 日韩欧美视频一区 | 99国产情侣在线播放 | 婷婷六月久久 | 成年人免费av | 在线观看免费av网 | 蜜臀久久99精品久久久久久网站 | 成人国产在线 | 五月色丁香 | 久久视频在线观看免费 | 又黄又刺激的视频 | 九九九毛片| 99久国产 | 亚洲国产精品女人久久久 | 中文字幕乱偷在线 | 天天天天天天天天操 | 婷婷在线免费 | 91精品久久久久久综合五月天 | 日韩午夜电影 | 激情婷婷色 | 国产高清在线免费视频 | 久久亚洲婷婷 | 干干夜夜 | av免费看网站 | 成人禁用看黄a在线 |