日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

K8s---HPA弹性伸缩

發布時間:2024/3/12 编程问答 55 豆豆
生活随笔 收集整理的這篇文章主要介紹了 K8s---HPA弹性伸缩 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

一、HPA概述

1.1、HPAjieshao?

  • HPA全稱Horizontal Pod Autoscaler,即水平Pod自動伸縮器,可以根據觀察到的CPU、內存使用率或自定義度量標準來自動增加或者減少Pod的數量,但是HPA不適用于無法擴、縮容的對象,例如DaemonSet,通常都作用與Deployment
  • HPA控制器會定期調整RC或者Deployment的副本數,使對象數量符合用戶定義規則的數量
  • 既然是通過CPU、內存等指標來自動擴、縮容Pod,那么HPA肯定是需要一個能監控這些硬件資源的組件,則例的組件有很多選擇,例如metrices-server、Heapster等,這里使用metrices-server

metrices-server從api-server中獲取cpu、內存使用率等監控指標

1.2、HPA伸縮過程

1、收集HPA控制下所有Pod最近的cpu使用情況(CPU utilization)
2、對比在擴容條件里記錄的cpu限額(CPUUtilization)
3、調整實例數(必須要滿足不超過最大/最小實例數)
4、每隔30s做一次自動擴容的判斷

CPU utilization的計算方法是用cpu usage(最近一分鐘的平均值,通過metrics可以直接獲取到)除以cpu request(這里cpu request就是我們在創建容器時制定的cpu使用核心數)得到一個平均值,這個平均值可以理解為:平均每個Pod CPU核心的使用占比。

1.3、HPA 的工作原理

k8s中的某個Metrics Server(Heapster或自定義Metrics Server)持續采集所有Pod副本的指標數據。

HPA控制器通過Metrics Server的API(Heapster的API或聚合API)獲取這些數據,基于用戶定義的擴縮容規則進行計算,得到目標Pod副本數量。

當目標Pod副本數量與當前副本數量不同時,HPA控制器就訪問Pod的副本控制器(Deployment 、RC或者ReplicaSet)發起scale操作,調整Pod的副本數量,完成擴縮容操作。

總結:HPA 通過監控分析一些控制器控制的所有 Pod 的負載變化情況來確定是否需要調整 Pod 的副本數量。

1.4、指標的類型

Master的kube-controller-manager服務持續監測目標Pod的某種性能指標,以計算是否需要調整副本數量。目前k8s支持的指標類型如下。

◎ Pod資源使用率:Pod級別的性能指標,通常是一個比率值,例如CPU使用率。?
◎ Pod自定義指標:Pod級別的性能指標,通常是一個數值,例如接收的請求數量。?
◎ Object自定義指標或外部自定義指標:通常是一個數值,需要容器應用以某種方式提供,例如通過HTTP URL“/metrics”提供,或者使用外部服務提供的指標采集URL。

k8s從1.11版本開始,棄用基于Heapster組件完成Pod的CPU使用率采集的機制,全面轉向基于Metrics Server完成數據采集。Metrics Server將采集到的Pod性能指標數據通過聚合API(Aggregated API)如metrics.k8s.io、custom.metrics.k8s.io和external.metrics.k8s.io提供給HPA控制器進行查詢。關于聚合API和聚合器(API Aggregator)的概念我們后面詳細講解。

1.5、擴縮容策略

通過?伸縮系數?判斷是否要進行擴容或縮容。

HPA會根據獲得的指標數值,應用相應的算法算出一個伸縮系數,此系數是指標的期望值與目前值的比值,如果大于1表示擴容,小于1表示縮容。

容忍度
--horizontal-pod-autoscaler-tolerance:容忍度

它允許一定范圍內的使用量的不穩定,現在默認為0.1,這也是出于維護系統穩定性的考慮。

例如,設定HPA調度策略為cpu使用率高于50%觸發擴容,那么只有當使用率大于55%或者小于45%才會觸發伸縮活動,HPA會盡力把Pod的使用率控制在這個范圍之間。

算法

具體的每次擴容或者縮容的多少Pod的算法為: 期望副本數 = ceil[當前副本數 * ( 當前指標 / 期望指標 )]

舉個栗子

當前metric值是200m,期望值是100m,那么pod副本數將會翻一倍,因為 比率為 200.0 / 100.0 = 2.0;
如果當前值是 50m ,我們會將pod副本數減半,因為 50.0 / 100.0 == 0.5
如果比率接近1.0,如0.9或1.1(即容忍度是0.1),將不會進行縮放(取決于內置的全局參數容忍度,–horizontal-pod-autoscaler-tolerance,默認值為0.1)。

此外,存在幾種Pod異常的情況,如下所述。

◎ ?Pod正在被刪除(設置了刪除時間戳):將不會計入目標Pod副本數量。

◎ Pod的當前指標值無法獲得:本次探測不會將這個Pod納入目標Pod副本數量,后續的探測會被重新納入計算范圍。

◎ 如果指標類型是CPU使用率,則對于正在啟動但是還未達到Ready狀態的Pod,也暫時不會納入目標副本數量范圍。可以通過kube-controller-manager服務的啟動參數--horizontal-pod-autoscaler-initial-readiness-delay設置首次探測Pod是否Ready的延時時間,默認值為30s。另一個啟動參數--horizontal-pod-autoscaler-cpuinitialization-period設置首次采集Pod的CPU使用率的延時時間。

注意:

  • 每次最大擴容pod數量不會超過當前副本數量的2倍
  • 如果某些pod的容器沒有需要的的資源metrics,自動伸縮將不會根據這些metrics進行伸縮。
  • 如果指定了targetAverageValue 或者 targetAverageUtilization,currentMetricValue是所有目標pod的metric取均值。在檢查容忍度和確定最終值之前,會結合參考pod是否就緒、是否丟失metrics。
  • 設置了刪除時間戳的所有Pod(即處于關閉狀態的Pod)和所有失敗的Pod將被丟棄。

冷卻和延遲機制

使用HPA管理一組副本時,有可能因為metrics動態變化而導致副本數頻繁波動,這種現象叫做 “顛簸”。

想象一種場景:

當pod所需要的CPU負荷過大,從而在創建一個新pod的過程中,系統的CPU使用量可能會同樣在有一個攀升的過程。所以,在每一次作出決策后的一段時間內,將不再進行擴展決策。對于擴容而言,這個時間段為3分鐘,縮容為5分鐘

  • -- horizontal-pod-autoscaler-downscale- delay :這個參數用于告訴autoscaler做完縮容操作后需要等多久才能進行下一次縮容,默認值是5分鐘。
  • --horizontal-pod-autoscaler-upscale-delay: 這個參數用于告訴autoscaler做完擴容操作后需要等多久才能進行下一次擴容,默認值是3分鐘。
  • 注意:使用者需要知道調整這個參數可能造成的影響。設置得太長,HPA對負載變化的響應也會變長;太短又會導致自動伸縮“顛簸”。

Pod延遲探測機制

如果指標類型是CPU使用率,則對于正在啟動但是還未達到Ready狀態的Pod,也暫時不會納入目標副本數量范圍。

  • 可以通過kube-controller-manager服務的啟動參數--horizontal-pod-autoscaler-initial-readiness-delay設置首次探測Pod是否Ready的延時時間,默認值為30s。
  • 另一個啟動參數--horizontal-pod-autoscaler-cpuinitialization-period設置首次采集Pod的CPU使用率的延時時間。

1.6、HPA獲取自定義指標(Custom Metrics)的底層實現(基于Prometheus)

Kubernetes是借助Agrregator APIServer擴展機制來實現Custom Metrics。Custom Metrics APIServer是一個提供查詢Metrics指標的API服務(Prometheus的一個適配器),這個服務啟動后,kubernetes會暴露一個叫custom.metrics.k8s.io的API,當請求這個URL時,請求通過Custom Metics APIServer去Prometheus里面去查詢對應的指標,然后將查詢結果按照特定格式返回。

二、HPA的metrics的分類

要支持最新的custom(包括external)的metrics,也需要使用新版本的HPA:autoscaling/v2beta1,里面增加四種類型的Metrics:Resource、Pods、Object、External,每種資源對應不同的場景,下面分別說明:

  • Resource支持k8s里Pod的所有系統資源(包括cpu、memory等),但是一般只會用cpu,memory因為不太敏感而且跟語言相關:大多數語言都有內存池及內置GC機制導致進程內存監控不準確。
  • Pods類型的metrics表示cpu,memory等系統資源之外且是由Pod自身提供的自定義metrics數據,比如用戶可以在web服務的pod里提供一個promesheus metrics的自定義接口,里面暴露了本pod的實時QPS監控指標,這種情況下就應該在HPA里直接使用Pods類型的metrics。
  • Object類型的metrics表示監控指標不是由Pod本身的服務提供,但是可以通過k8s的其他資源Object提供metrics查詢,比如ingress等,一般Object是需要匯聚關聯的Deployment下的所有的pods總的指標。
  • External類型的metrics也屬于自定義指標,與Pods和Object不同的是,其監控指標的來源跟k8s本身無關,metrics的數據完全取自外部的系統。

在HPA最新的版本 autoscaling/v2beta2 中又對metrics的配置和HPA擴縮容的策略做了完善,特別是對 metrics 數據的目標指標值的類型定義更通用靈活:包括AverageUtilization、AverageValue和Value,但是不是所有的類型的Metrics都支持三種目標值的,具體對應關系如下表。

HPA里的各種類型的Metrics和Metrics Target Type的對應支持關系表

Metrics Type \ Target TypeAverageUtilizationAverageValueValue備注(query metrics)
Resource(pod’s cpu/memory etc.)YesYesNopods metrics list
Pods(pod’s other metrics)NoYesNopods metrics list
Object(k8s object)NoYesYesobject metrics
External(not k8s object)NoYesYesexternal metrics list

三、HPA的使用說明

先看個最簡單的HPA的定義的例子

apiVersion: autoscaling/v2beta2 kind: HorizontalPodAutoscaler metadata:name: php-apache spec:scaleTargetRef:apiVersion: apps/v1kind: Deploymentname: php-apacheminReplicas: 1maxReplicas: 10metrics:- type: Resourceresource:name: cputarget:type: UtilizationaverageUtilization: 50

從上面的例子可以看出,HPA的spec定義由三個必填部分組成:

  • HPA控制的目標workload,即scaleTargetRef,理論上HPA可以對任意支持scale子接口( sub-resource )的workload做彈性伸縮,不過statefulset一般代表有狀態服務,副本不可隨便修改,而Job一般代表短生命周期的,所以基本可以認為HPA目前是專門控制deployment的擴縮容的(不建議直接控制RS,否則將無法滾動升級)。
  • 彈性擴縮容的上下邊界,minReplicas和maxReplicas,也就是說HPA的擴縮容也不能是漫無邊際,如果計算出的副本數超過max則統一取maxReplicas,maxReplicas是為了保護k8s集群的資源被耗盡,minReplicas則相反,而且minReplicas必須不大于maxReplicas,但是也要大于0(k8s v1.16之后才放開允許Objetct和External類型的metrics的minReplicas為0,需要apiserver開啟–feature-gates mapStringBool HPAScaleToZero=true),兩者相等就相當于關閉了自動伸縮功能了,總的來說minReplicas和maxReplicas邊界機制避免metrics數據異常導致的副本數不受控,特別是HPA在k8s最新的v1.18版本也依然是alpha特性,強烈建議大家謹慎設置這兩個邊界。
  • metrics指標類型和目標值,在autoscaling/v1里只有targetCPUUtilizationPercentage,autoscaling/v2beta1開始就擴展為metrics數組了,也就是說一個HPA可以同時設置多個類型維度的metrics目標指標,如果有多個HPA 將會依次考量各個指標,然后最終HPA Controller選擇一個會選擇擴縮幅度最大的那個為最終擴容副本數。在最新的autoscaling/v2beta2版本的HPA中,metrics type共有4種類型:Resource、Pods、Object、External,target里則定義了metrics的目標期望值,這里target的type也有三種類型Utilization,AverageValue和 Value,不同的metrics type都只能支持部分target type(詳見上面表格)
  • 此外,在autoscaling/v2beta2的HPA的spec里還新增了一個Behavior可選結構,它是用來精確控制HPA的擴容和縮容的速度。
  • 完整的HPA的定義可參考k8s的官方API文檔。

    默認HPA spec里不配置任何metrics的話k8s會默認設置cpu的Resouce,且目標類型是AverageUtilization value為80%。

    四、HPA部署

    4.1、HPA版本

    查看HPA所有版本

    [root@master C]# kubectl api-versions |grep autoscaling autoscaling/v1 #只支持通過CPU為參考依據來改變Pod的副本數 autoscaling/v2beta1 #支持通過CPU、內存、連接數或者自定義規則為參考依據 autoscaling/v2beta2 #和v2beta1差不多

    查看當前版本

    [root@master C]# kubectl explain hpa KIND: HorizontalPodAutoscaler VERSION: autoscaling/v1 #可以看到使用的默認版本是v1DESCRIPTION:configuration of a horizontal pod autoscaler.FIELDS:apiVersion <string>APIVersion defines the versioned schema of this representation of anobject. Servers should convert recognized schemas to the latest internalvalue, and may reject unrecognized values. More info:https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#resourceskind <string>Kind is a string value representing the REST resource this objectrepresents. Servers may infer this from the endpoint the client submitsrequests to. Cannot be updated. In CamelCase. More info:https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#types-kindsmetadata <Object>Standard object metadata. More info:https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#metadataspec <Object>behaviour of autoscaler. More info:https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#spec-and-status.status <Object>current information about the autoscaler.

    指定使用版本,這里并不是修改,相當于執行這條命令時,指定了下版本

    [root@master C]# kubectl explain hpa --api-version=autoscaling/v2beta1 KIND: HorizontalPodAutoscaler VERSION: autoscaling/v2beta1DESCRIPTION:HorizontalPodAutoscaler is the configuration for a horizontal podautoscaler, which automatically manages the replica count of any resourceimplementing the scale subresource based on the metrics specified.FIELDS:apiVersion <string>APIVersion defines the versioned schema of this representation of anobject. Servers should convert recognized schemas to the latest internalvalue, and may reject unrecognized values. More info:https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#resourceskind <string>Kind is a string value representing the REST resource this objectrepresents. Servers may infer this from the endpoint the client submitsrequests to. Cannot be updated. In CamelCase. More info:https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#types-kindsmetadata <Object>metadata is the standard object metadata. More info:https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#metadataspec <Object>spec is the specification for the behaviour of the autoscaler. More info:https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#spec-and-status.status <Object>status is the current information about the autoscaler.

    4.2、 HPA部署

    (1)部署metrics-server

    [root@master kube-system]# kubectl top nodes #查看節點狀態,因為沒有安裝,所以會報錯 Error from server (NotFound): the server could not find the requested resource (get services http:heapster:)
    • 編寫yaml文件,注意端口和鏡像
    [root@master kube-system]# vim components-v0.5.0.yaml apiVersion: v1 kind: ServiceAccount metadata:labels:k8s-app: metrics-servername: metrics-servernamespace: kube-system --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata:labels:k8s-app: metrics-serverrbac.authorization.k8s.io/aggregate-to-admin: "true"rbac.authorization.k8s.io/aggregate-to-edit: "true"rbac.authorization.k8s.io/aggregate-to-view: "true"name: system:aggregated-metrics-reader rules: - apiGroups:- metrics.k8s.ioresources:- pods- nodesverbs:- get- list- watch --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata:labels:k8s-app: metrics-servername: system:metrics-server rules: - apiGroups:- ""resources:- pods- nodes- nodes/stats- namespaces- configmapsverbs:- get- list- watch --- apiVersion: rbac.authorization.k8s.io/v1 kind: RoleBinding metadata:labels:k8s-app: metrics-servername: metrics-server-auth-readernamespace: kube-system roleRef:apiGroup: rbac.authorization.k8s.iokind: Rolename: extension-apiserver-authentication-reader subjects: - kind: ServiceAccountname: metrics-servernamespace: kube-system --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata:labels:k8s-app: metrics-servername: metrics-server:system:auth-delegator roleRef:apiGroup: rbac.authorization.k8s.iokind: ClusterRolename: system:auth-delegator subjects: - kind: ServiceAccountname: metrics-servernamespace: kube-system --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata:labels:k8s-app: metrics-servername: system:metrics-server roleRef:apiGroup: rbac.authorization.k8s.iokind: ClusterRolename: system:metrics-server subjects: - kind: ServiceAccountname: metrics-servernamespace: kube-system --- apiVersion: v1 kind: Service metadata:labels:k8s-app: metrics-servername: metrics-servernamespace: kube-system spec:ports:- name: httpsport: 443protocol: TCPtargetPort: httpsselector:k8s-app: metrics-server --- apiVersion: apps/v1 kind: Deployment metadata:labels:k8s-app: metrics-servername: metrics-servernamespace: kube-system spec:selector:matchLabels:k8s-app: metrics-serverstrategy:rollingUpdate:maxUnavailable: 0template:metadata:labels:k8s-app: metrics-serverspec:containers:- args:- --cert-dir=/tmp- --secure-port=4443- --kubelet-preferred-address-types=InternalIP,ExternalIP,Hostname- --kubelet-use-node-status-port- --metric-resolution=15s- --kubelet-insecure-tlsimage: registry.cn-shenzhen.aliyuncs.com/zengfengjin/metrics-server:v0.5.0imagePullPolicy: IfNotPresentlivenessProbe:failureThreshold: 3httpGet:path: /livezport: httpsscheme: HTTPSperiodSeconds: 10name: metrics-serverports:- containerPort: 4443name: httpsprotocol: TCPreadinessProbe:failureThreshold: 3httpGet:path: /readyzport: httpsscheme: HTTPSinitialDelaySeconds: 20periodSeconds: 10resources:requests:cpu: 100mmemory: 200MisecurityContext:readOnlyRootFilesystem: truerunAsNonRoot: truerunAsUser: 1000volumeMounts:- mountPath: /tmpname: tmp-dirnodeSelector:kubernetes.io/os: linuxpriorityClassName: system-cluster-criticalserviceAccountName: metrics-servervolumes:- emptyDir: {}name: tmp-dir --- apiVersion: apiregistration.k8s.io/v1 kind: APIService metadata:labels:k8s-app: metrics-servername: v1beta1.metrics.k8s.io spec:group: metrics.k8s.iogroupPriorityMinimum: 100insecureSkipTLSVerify: trueservice:name: metrics-servernamespace: kube-systemversion: v1beta1versionPriority: 100
    • 部署
    [root@master kube-system]# kubectl apply -f components-v0.5.0.yaml serviceaccount/metrics-server created clusterrole.rbac.authorization.k8s.io/system:aggregated-metrics-reader created clusterrole.rbac.authorization.k8s.io/system:metrics-server created rolebinding.rbac.authorization.k8s.io/metrics-server-auth-reader created clusterrolebinding.rbac.authorization.k8s.io/metrics-server:system:auth-delegator created clusterrolebinding.rbac.authorization.k8s.io/system:metrics-server created service/metrics-server created deployment.apps/metrics-server created apiservice.apiregistration.k8s.io/v1beta1.metrics.k8s.io created#查看創建的pod [root@master kube-system]# kubectl get pods -n kube-system| egrep 'NAME|metrics-server' NAME READY STATUS RESTARTS AGE metrics-server-5944675dfb-q6cdd 0/1 ContainerCreating 0 6s#查看日志 [root@master kube-system]# kubectl logs metrics-server-5944675dfb-q6cdd -n kube-system I0718 03:06:39.064633 1 serving.go:341] Generated self-signed cert (/tmp/apiserver.crt, /tmp/apiserver.key) I0718 03:06:39.870097 1 configmap_cafile_content.go:202] Starting client-ca::kube-system::extension-apiserver-authentication::client-ca-file I0718 03:06:39.870122 1 configmap_cafile_content.go:202] Starting client-ca::kube-system::extension-apiserver-authentication::requestheader-client-ca-file I0718 03:06:39.870159 1 shared_informer.go:240] Waiting for caches to sync for client-ca::kube-system::extension-apiserver-authentication::client-ca-file I0718 03:06:39.870160 1 shared_informer.go:240] Waiting for caches to sync for client-ca::kube-system::extension-apiserver-authentication::requestheader-client-ca-file I0718 03:06:39.870105 1 requestheader_controller.go:169] Starting RequestHeaderAuthRequestController I0718 03:06:39.871166 1 shared_informer.go:240] Waiting for caches to sync for RequestHeaderAuthRequestController I0718 03:06:39.872804 1 dynamic_serving_content.go:130] Starting serving-cert::/tmp/apiserver.crt::/tmp/apiserver.key I0718 03:06:39.875741 1 secure_serving.go:197] Serving securely on [::]:4443 I0718 03:06:39.876050 1 tlsconfig.go:240] Starting DynamicServingCertificateController I0718 03:06:39.970469 1 shared_informer.go:247] Caches are synced for client-ca::kube-system::extension-apiserver-authentication::client-ca-file I0718 03:06:39.970575 1 shared_informer.go:247] Caches are synced for client-ca::kube-system::extension-apiserver-authentication::requestheader-client-ca-file I0718 03:06:39.971610 1 shared_informer.go:247] Caches are synced for RequestHeaderAuthRequestController#如果報錯的化,可以修改apiserver的yaml文件,這是k8s的yaml文件 [root@master kube-system]# vim /etc/kubernetes/manifests/kube-apiserver.yaml40 - --tls-cert-file=/etc/kubernetes/pki/apiserver.crt41 - --tls-private-key-file=/etc/kubernetes/pki/apiserver.key42 - --enable-aggregator-routing=true #添加這行43 image: registry.aliyuncs.com/google_containers/kube-apiserver:v1.18.044 imagePullPolicy: IfNotPresent#保存退出 [root@master kube-system]# systemctl restart kubelet #修改后重啟kubelet#再次查看節點信息[root@master kube-system]# kubectl top node NAME CPU(cores) CPU% MEMORY(bytes) MEMORY% master 327m 4% 3909Mi 23% node 148m 1% 1327Mi 8%

    (2)創建Deployment

    • 這里創建一個nginx的deployment
    [root@master test]# cat nginx.yaml apiVersion: apps/v1 kind: Deployment metadata:name: nginx spec:selector:matchLabels:run: nginxreplicas: 1template:metadata:labels:run: nginxspec:containers:- name: nginximage: nginx:1.15.2ports:- containerPort: 80resources:limits:cpu: 500mrequests: #想要HPA生效,必須添加requests聲明cpu: 200m--- apiVersion: v1 kind: Service metadata:name: nginxlabels:run: nginx spec:ports:- port: 80selector:run: nginx
    • 訪問測試
    [root@master test]# kubectl get pods -o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES nginx-9cb8d65b5-tq9v4 1/1 Running 0 14m 10.244.1.22 node <none> <none> [root@master test]# kubectl get svc nginx NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE nginx ClusterIP 172.16.169.27 <none> 80/TCP 15m [root@master test]# kubectl describe svc nginx Name: nginx Namespace: default Labels: run=nginx Annotations: Selector: run=nginx Type: ClusterIP IP: 172.16.169.27 Port: <unset> 80/TCP TargetPort: 80/TCP Endpoints: 10.244.1.22:80 Session Affinity: None Events: <none> [root@node test]# curl 172.16.169.27 #訪問成功 <!DOCTYPE html> <html> <head> <title>Welcome to nginx!</title> <style>body {width: 35em;margin: 0 auto;font-family: Tahoma, Verdana, Arial, sans-serif;} </style> </head> <body> <h1>Welcome to nginx!</h1> <p>If you see this page, the nginx web server is successfully installed and working. Further configuration is required.</p><p>For online documentation and support please refer to <a href="http://nginx.org/">nginx.org</a>.<br/> Commercial support is available at <a href="http://nginx.com/">nginx.com</a>.</p><p><em>Thank you for using nginx.</em></p> </body> </html>

    (3)基于CPU創建HPA

    #創建一個cpu利用率達到20,最大10個pod,最小1個,這里沒有指定版本所以默認是v1版本,而v1版本只能以CPU為標準 [root@master test]# kubectl autoscale deployment nginx --cpu-percent=20 --min=1 --max=10 horizontalpodautoscaler.autoscaling/nginx autoscaled#TARGETS可以看到使用率 [root@master test]# kubectl get hpa NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE nginx Deployment/nginx 0%/20% 1 10 1 86s#創建一個測試pod增加負載,訪問地址要和pod的svc地址相同 [root@master ~]# kubectl run busybox -it --image=busybox -- /bin/sh -c 'while true; do wget -q -O- http://10.244.1.22; done'#過一分鐘后看hap的使用率,REPLICAS是當前pod的數量 [root@master test]# kubectl get hpa NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE nginx Deployment/nginx 27%/20% 1 10 5 54m[root@master test]# kubectl get pods #再看pod數量,發現已經增加到了5個 NAME READY STATUS RESTARTS AGE bustbox 1/1 Running 0 119s nginx-9cb8d65b5-24dg2 1/1 Running 0 57s nginx-9cb8d65b5-c6n98 1/1 Running 0 87s nginx-9cb8d65b5-ksjzv 1/1 Running 0 57s nginx-9cb8d65b5-n77fm 1/1 Running 0 87s nginx-9cb8d65b5-tq9v4 1/1 Running 0 84m [root@master test]# kubectl get deployments.apps NAME READY UP-TO-DATE AVAILABLE AGE nginx 5/5 5 5 84m#此時,停止壓測,過好幾分鐘后再次查看pod數量和使用率 [root@master test]# kubectl delete pod busybox #終止后,刪除pod [root@master test]# kubectl get hpa #雖然使用率已經降到0了,但是可以看到當前REPLICAS的數量還5,這個需要等一會就會縮容 NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE nginx Deployment/nginx 0%/20% 1 10 5 58m#過了幾分鐘后,可以看到pod數量已經回到了1 [root@master test]# kubectl get hpa NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE nginx Deployment/nginx 0%/20% 1 10 1 64m [root@master test]# kubectl get pods NAME READY STATUS RESTARTS AGE nginx-9cb8d65b5-tq9v4 1/1 Running 0 95m

    (4)基于內存創建的HPA

    #先把上面創建的資源刪除 [root@master test]# kubectl delete horizontalpodautoscalers.autoscaling nginx horizontalpodautoscaler.autoscaling "nginx" deleted [root@master test]# kubectl delete -f nginx.yaml deployment.apps "nginx" deleted service "nginx" deleted
    • 重新編寫yaml文件
    [root@master test]# cat nginx.yaml apiVersion: apps/v1 kind: Deployment metadata:name: nginx spec:selector:matchLabels:run: nginxreplicas: 1template:metadata:labels:run: nginxspec:containers:- name: nginximage: nginx:1.15.2ports:- containerPort: 80resources:limits:cpu: 500mmemory: 60Mirequests:cpu: 200mmemory: 25Mi--- apiVersion: v1 kind: Service metadata:name: nginxlabels:run: nginx spec:ports:- port: 80selector:run: nginx[root@master test]# kubectl apply -f nginx.yaml deployment.apps/nginx created service/nginx created
    • 創建HPA
    [root@master test]# vim hpa-nginx.yaml apiVersion: autoscaling/v2beta1 #上面的hpa版本有提到過,使用基于內存的hpa需要換個版本 kind: HorizontalPodAutoscaler metadata:name: nginx-hpa spec:maxReplicas: 10 #1-10的pod數量限制minReplicas: 1scaleTargetRef: #指定使用hpa的資源對象,版本、類型、名稱要和上面創建的相同apiVersion: apps/v1kind: Deploymentname: nginxmetrics:- type: Resourceresource:name: memorytargetAverageUtilization: 50 #限制%50的內存 [root@master test]# kubectl apply -f hpa-nginx.yaml horizontalpodautoscaler.autoscaling/nginx-hpa created [root@master test]# kubectl get hpa NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE nginx-hpa Deployment/nginx 7%/50% 1 10 1 59s
    • 更換終端進行測試
    #在pod中執行命令,增加內存負載 [root@master ~]# kubectl exec -it nginx-78f4944bb8-2rz7j -- /bin/sh -c 'dd if=/dev/zero of=/tmp/file1'
    • 等待負載上去,然后查看pod數量與內存使用率
    [root@master test]# kubectl get hpa NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE nginx-hpa Deployment/nginx 137%/50% 1 10 1 12m [root@master test]# kubectl get hpa NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE nginx-hpa Deployment/nginx 14%/50% 1 10 3 12m [root@master test]# kubectl get pods NAME READY STATUS RESTARTS AGE nginx-78f4944bb8-2rz7j 1/1 Running 0 21m nginx-78f4944bb8-bxh78 1/1 Running 0 34s nginx-78f4944bb8-g8w2h 1/1 Running 0 34s #與CPU相同,內存上去了也會自動創建pod

    總結

    以上是生活随笔為你收集整理的K8s---HPA弹性伸缩的全部內容,希望文章能夠幫你解決所遇到的問題。

    如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

    国产97碰免费视频 | 久久精品在线视频 | 亚洲1级片 | 黄色成人在线观看 | 成人久久免费视频 | 日韩视频中文字幕在线观看 | 亚洲国产av精品毛片鲁大师 | 日日夜夜网站 | 国产剧情在线一区 | 国产五月色婷婷六月丁香视频 | 日韩和的一区二在线 | 97精品在线视频 | 麻豆视频免费入口 | 午夜国产在线 | 麻豆你懂的 | 亚洲欧美日韩一级 | 国产视频1区2区3区 久久夜视频 | 午夜视频亚洲 | 国产成人亚洲在线电影 | 五月天综合激情网 | 国产精品久久久久久久久久99 | 日韩免费成人 | 狠狠狠色丁香婷婷综合激情 | 久久黄色成人 | 麻豆国产精品va在线观看不卡 | 欧美成人xxxxx| 成人综合婷婷国产精品久久免费 | 久久理伦片 | 国产精品黄色av | 黄色小说在线观看视频 | 九精品| 色婷婷成人网 | 午夜在线观看一区 | 夜夜操天天 | 日韩高清不卡在线 | 2022中文字幕在线观看 | 国产精品久久久久永久免费 | 成人免费看黄 | 国产精品99久久久久久武松影视 | 91丨九色丨高潮丰满 | 最新成人av| 日韩成人精品在线观看 | 视频直播国产精品 | 国产免费片 | 99国内精品久久久久久久 | 中文字幕 在线 一 二 | 国产精品二区三区 | 51久久夜色精品国产麻豆 | 欧美亚洲成人免费 | jizz18欧美18 | 久久久精品亚洲 | 国产日韩精品一区二区 | 精品一区在线 | 日韩在线视频线视频免费网站 | 久久综合久久综合九色 | 日韩欧美69 | 国产 在线观看 | 香蕉手机在线 | 伊人春色电影网 | 国产精品美女久久久久久久网站 | 国产男女免费完整视频 | 黄色国产精品 | 久久久一本精品99久久精品66 | 九九九九精品九九九九 | 中文字幕人成乱码在线观看 | 亚洲三级在线播放 | 日韩有码第一页 | 国产在线一卡 | 婷婷午夜 | 精品国产一区二区三区av性色 | 婷婷精品国产一区二区三区日韩 | 国产成人av网址 | 久久久网页 | 在线观看视频一区二区 | 久久久 精品 | 久久久久久久综合色一本 | 在线国产精品视频 | 午夜精品电影 | 在线国产91| 碰超在线97人人 | 天天干夜夜夜操天 | 欧美日韩视频免费 | 黄色一区三区 | 成人av资源 | 黄色软件在线观看视频 | 亚洲国产精品一区二区尤物区 | 国产精品69av| 一区三区在线欧 | 69国产精品视频 | 久久精品国产亚洲精品2020 | 月下香电影 | 在线观看91精品视频 | 国产在线国偷精品产拍免费yy | 在线蜜桃视频 | 日韩精品免费一区二区在线观看 | 久久久精品午夜 | 欧美在一区| 国产女v资源在线观看 | 中文字幕一区二区三区在线视频 | 亚洲日韩精品欧美一区二区 | 黄色大片av| 天天操狠狠操夜夜操 | av性在线 | 国产成人三级在线观看 | 日韩免费一区二区 | 精品久久91 | 日韩欧美精品在线 | www.天天干.com | 欧美天天射 | 亚洲a成人v | 深夜激情影院 | 国产美女在线免费观看 | 国产精品欧美久久久久三级 | 91精品国产麻豆国产自产影视 | 亚洲精品视频在线免费 | 视频在线一区二区三区 | 97精品国产91久久久久久 | 最近乱久中文字幕 | 高清av中文在线字幕观看1 | 色视频网站在线观看一=区 a视频免费在线观看 | 九九精品久久 | 免费99| 黄色片网站av | 激情久久久久 | 日韩精品网址 | 日韩高清不卡一区二区三区 | 国产精品久久久久永久免费看 | 成人黄色av免费在线观看 | 超碰人人av| 国内精自线一二区永久 | 亚洲精品免费在线播放 | 91九色九色| 97在线免费观看视频 | av中文在线 | 91在线国产观看 | 天天射天天干天天 | 久久久久免费精品视频 | 色偷偷网站视频 | 亚洲国产精品成人精品 | 一区二区三区四区在线免费观看 | 国产三级香港三韩国三级 | 免费一区在线 | 免费看黄视频 | 丝袜av一区 | 97福利| 国产不卡网站 | 美女精品在线 | www国产一区| 国产露脸91国语对白 | 久草综合在线观看 | 久久久麻豆视频 | 国产香蕉视频在线播放 | 天堂入口网站 | 欧美日韩亚洲第一页 | 91精品国产麻豆 | 国产玖玖在线 | 狠狠色丁香婷婷综合最新地址 | 天天干天天弄 | 日日夜夜天天操 | 亚洲精品成人av在线 | 成人免费观看a | 成人h电影在线观看 | 久草精品免费 | av电影一区二区 | 91在线视频观看免费 | 国产又粗又猛又色又黄视频 | 91精品国产91热久久久做人人 | 91精品一区国产高清在线gif | 日韩在线视频网址 | 日韩av一卡二卡三卡 | 激情综合网色播五月 | 香蕉精品视频在线观看 | 亚洲男人天堂2018 | 在线观看av免费 | 欧美人操人| 999视频网 | 国产视频一区二区在线播放 | 国产精品久久久久久婷婷天堂 | 日本久久视频 | 日韩a级免费视频 | 深爱激情五月综合 | 丁香狠狠| 免费视频 你懂的 | 91九色porny蝌蚪视频 | 色97在线| 成人国产精品入口 | 久久国产精品免费一区二区三区 | 色婷婷色 | 日韩久久久久久久 | 久久爱资源网 | 国产一级黄色片免费看 | 91 在线视频 | 9ⅰ精品久久久久久久久中文字幕 | 在线视频 日韩 | 久草久草久草久草 | www蜜桃视频 | 99久久夜色精品国产亚洲96 | 日本久久99| 最新真实国产在线视频 | 久99视频 | 日韩精品在线一区 | 久久一区二区三区日韩 | 夜夜摸夜夜爽 | 在线观看中文字幕一区二区 | 亚洲老妇xxxxxx| 欧美亚洲精品在线观看 | 丁香六月中文字幕 | 激情丁香在线 | 亚洲免费在线观看视频 | 成人app在线播放 | 久草青青在线观看 | 欧美成人高清 | 国产精品久一 | 亚洲理论在线观看 | 国产区精品在线 | 婷婷 综合 色 | 在线免费黄色av | 亚洲欧美日韩精品久久久 | 国产三级午夜理伦三级 | 亚洲免费永久精品国产 | 不卡的av片| 伊人亚洲综合 | 在线观看视频黄 | 91视频大全 | 国产精品毛片一区二区在线 | 国产一二区视频 | 国产一区二区视频在线 | 99综合视频 | 免费av大片 | 96在线| 在线播放精品一区二区三区 | 99re8这里有精品热视频免费 | 网站在线观看日韩 | 国产午夜剧场 | 成人毛片一区 | 一区二区在线影院 | 黄色特一级| 夜夜嗨av色一区二区不卡 | 国产美女网站视频 | 在线观看91av| 欧美午夜性 | 久久tv | 亚洲最大免费成人网 | 成人h动漫精品一区二 | 亚洲综合欧美精品电影 | 一 级 黄 色 片免费看的 | 久久在线电影 | 国产小视频免费观看 | 午夜123| 国产精品美女久久 | 久久精品久久精品久久39 | 91丨九色丨蝌蚪丨老版 | 天天插综合网 | 激情在线免费视频 | 天天摸天天弄 | 青青河边草观看完整版高清 | 久草视频视频在线播放 | 亚洲成人av影片 | 欧美伦理一区二区三区 | 97超碰人人看 | 天堂在线免费视频 | 亚洲 中文 欧美 日韩vr 在线 | 日韩欧美国产精品 | 热久久这里只有精品 | 黄色一级免费电影 | 四虎成人av | 日韩欧美中文 | 久久人人爽人人爽人人片av免费 | 日韩高清精品免费观看 | 麻豆91精品91久久久 | 亚洲aⅴ一区二区三区 | 日韩电影中文字幕在线 | 久久艹国产视频 | 一级黄色片在线免费看 | 久久麻豆视频 | 狠狠狠狠狠狠干 | 婷婷视频导航 | 99热这里只有精品在线观看 | 亚洲婷婷免费 | 黄色av免费在线 | 天天色天天射天天操 | 久久精品99视频 | 夜色成人网 | 在线国产福利 | 黄色小视频在线观看免费 | 久久99国产精品免费 | 三级黄在线 | 天天综合久久综合 | 久久人人添人人爽添人人88v | 中国一区二区视频 | 亚洲 欧美 综合 在线 精品 | 精品久久久久久久久亚洲 | 国产一级视频在线免费观看 | 日本精品视频在线观看 | 亚洲精品国产欧美在线观看 | 免费日韩在线 | 99精品在线免费视频 | 偷拍精品一区二区三区 | 国产一区二区精品久久 | 国产三级视频 | 欧美日韩精品免费观看 | 男女拍拍免费视频 | 黄色成人av在线 | 精品久久久久久亚洲综合网 | 亚洲第一中文网 | 精品一区二区三区久久 | 亚洲最大av网 | 欧美-第1页-屁屁影院 | 欧美伦理电影一区二区 | 在线观看深夜视频 | 亚洲一区 av | 九七视频在线 | 99久久99久久精品 | 美女视频永久黄网站免费观看国产 | 99久久夜色精品国产亚洲 | 日日操日日操 | 久久久久国产一区二区三区 | 久久婷婷色 | 亚洲欧美视频一区二区三区 | 99av在线视频 | 国产美女无遮挡永久免费 | 不卡的av | 亚洲精选视频在线 | 四虎成人精品 | 日本不卡一区二区三区在线观看 | 精品一区二区在线看 | 99视频黄| 国产 一区二区三区 在线 | 午夜在线免费观看 | 97超碰成人| 国产免费久久精品 | 在线成人av| 99久久精品免费看国产一区二区三区 | 伊人射| 人人干人人添 | 国产精品久久99 | 男女男视频 | 在线观看香蕉视频 | 九九综合九九综合 | 色偷偷88888欧美精品久久久 | 婷婷网址 | 久热超碰| 中文字幕丝袜一区二区 | 五月丁色 | 欧美网址在线观看 | 久久久久 | 国产精品美女www爽爽爽视频 | 中文国产成人精品久久一 | 欧美一级裸体视频 | 黄色在线观看www | 黄色一级在线免费观看 | 成人小视频在线观看免费 | 91免费版在线观看 | 免费看黄在线看 | 亚洲在线视频播放 | 亚洲成人第一区 | 欧美一区二区三区在线看 | 天堂va欧美va亚洲va老司机 | 精品乱码一区二区三四区 | 国产激情电影综合在线看 | 夜夜操狠狠干 | 精品国产综合区久久久久久 | 久久久人| 久草免费电影 | 天天色天天色 | 免费看国产黄色 | 亚洲一级片av | www.黄色片网站 | 狠狠88综合久久久久综合网 | 九色琪琪久久综合网天天 | 国产色爽| 精品久久一区二区 | 久草视频2| 久久久久久国产一区二区三区 | 久久不见久久见免费影院 | 日韩av中文在线 | 天天操天天玩 | 国产精品一区二区精品视频免费看 | 欧美 激情在线 | 国产在线视频一区二区三区 | 五月天视频网站 | 亚洲国产影院 | 丝袜足交在线 | 亚洲日本在线视频观看 | 国产破处视频在线播放 | 韩日在线一区 | 五月婷香| 久久激情视频 久久 | 成人中心免费视频 | 四虎影视精品永久在线观看 | 午夜在线免费观看视频 | 最近日本中文字幕 | 最近高清中文字幕 | 免费看在线看www777 | 中文字幕乱码亚洲精品一区 | 91社区国产高清 | 久草在线观 | 日韩激情三级 | 国产精品久久久久9999吃药 | 9在线观看免费高清完整 | 国产91对白在线 | 国产第一页在线播放 | 日韩免费精品 | 最新av网址在线观看 | 911久久| 天天干夜夜夜 | 色婷婷 亚洲 | 精品国产诱惑 | 国产精品久久久久久99 | 国产做爰视频 | 日本论理电影 | 亚州av网站| 日韩欧美精品在线 | 探花视频在线观看免费版 | 在线不卡a | 国产精品久久久久亚洲影视 | 国产精品美女久久久久久久久久久 | 在线观看免费一级片 | 99热最新| 婷婷激情在线 | 免费观看mv大片高清 | av888av.com| 欧美日韩免费视频 | 夜夜干天天操 | 久久久久久欧美二区电影网 | 成人在线黄色 | 日韩网站在线观看 | 懂色av一区二区三区蜜臀 | 午夜视频久久久 | 国产白浆在线观看 | 国产精品一区二区麻豆 | 中文字幕电影一区 | 97超碰资源| 久久中文字幕在线视频 | 国产精品乱码一区二区视频 | 国产高清不卡 | www.天天色.com| 97久久精品午夜一区二区 | 国产精品亚州 | 久久爱资源网 | 综合色天天 | 欧美日韩一区二区三区不卡 | 在线涩涩 | 色就是色综合 | 日韩欧美视频在线播放 | 国产片免费在线观看视频 | 国产午夜三级一二三区 | 成年人黄色在线观看 | 在线播放日韩av | 99久久er热在这里只有精品66 | 四虎国产永久在线精品 | 精品国产免费看 | 国产成人1区 | 国产最新视频在线 | 黄色小说视频网站 | av成人免费在线观看 | 中国一区二区视频 | 久久精品网址 | 国产精品免费在线视频 | 精品一区二区免费视频 | 在线激情影院一区 | 麻豆精品在线 | 麻豆视频在线免费观看 | 免费看色网站 | 高清国产在线一区 | 在线视频 你懂得 | 狠狠色丁香久久婷婷综合五月 | 六月丁香婷婷在线 | 欧美激情xxxx | 免费黄色激情视频 | 伊人av综合 | 欧美一级日韩三级 | 五月天九九 | 手机av电影在线 | 国产精品美| www.夜夜操.com | 在线精品亚洲一区二区 | 久久久久久综合网天天 | 精品一区二区三区四区在线 | 欧美日韩在线网站 | 久久综合色播五月 | 91视频电影 | 久久久国产成人 | 欧美日韩不卡一区二区 | 日韩av免费观看网站 | 国产一区二区高清视频 | 国内三级在线观看 | 日日干日日色 | 五月天亚洲综合小说网 | 又黄又刺激的网站 | 麻豆国产网站入口 | 激情视频免费观看 | 久草在线91 | 人人爽人人澡人人添人人人人 | 99re久久资源最新地址 | 亚洲日本va中文字幕 | 久久国产女人 | 91高清免费在线观看 | 亚洲麻豆精品 | 亚洲免费公开视频 | 国产一区视频在线播放 | 欧美综合干 | 久久久香蕉视频 | 精品亚洲成人 | 国产乱码精品一区二区蜜臀 | 国产小视频在线观看 | 91亚·色 | 免费福利片2019潦草影视午夜 | 精品久久久久久国产 | 日韩免费看的电影 | 国产一区在线视频观看 | 日韩视频图片 | 97电影在线 | 国产精品毛片一区二区 | 天天躁日日躁狠狠躁av中文 | 免费看黄色毛片 | 欧美日韩久久久 | 久久午夜电影院 | 91精品久久久久久综合乱菊 | 国产亚洲一区二区在线观看 | 国产一二三精品 | 免费日韩 精品中文字幕视频在线 | av千婊在线免费观看 | 国产视频色| 五月色综合 | 一级黄色片在线免费观看 | 免费看成年人 | 91九色蝌蚪国产 | 51精品国自产在线 | 欧美一区二区在线刺激视频 | 日韩a在线播放 | 97精品免费视频 | 在线免费色视频 | 国产黄色电影 | www.av在线播放 | 国产精品第一视频 | 精一区二区| 国产亚洲欧美一区 | 婷婷丁香色综合狠狠色 | 丁香婷婷色综合亚洲电影 | 狠狠亚洲 | 成人久久精品 | 国产91精品看黄网站在线观看动漫 | 国产精品久久久一区二区三区网站 | 特级西西444www大胆高清无视频 | 天天舔天天射天天操 | 欧美激情xxxx性bbbb | 久久国产a | 中文字幕 欧美性 | 在线电影日韩 | 日韩精品在线看 | 高清精品在线 | 久久综合九色综合久99 | 久久看片 | 中文字幕在线国产 | av中文字幕在线电影 | 福利av在线 | 国产精品小视频网站 | 国产成人一区二区三区在线观看 | 免费av一级电影 | 日韩在线中文字幕视频 | 中文字幕亚洲国产 | 在线观看色网 | 久久爽久久爽久久av东京爽 | 欧美一区二区三区免费观看 | 亚洲成人免费观看 | 国内久久视频 | 西西人体4444www高清视频 | 中文字幕在线观看完整版电影 | 在线午夜| 久久久国产日韩 | 国产资源在线观看 | 91视频下载 | 日韩精品中文字幕在线不卡尤物 | 久久久亚洲网站 | 日日夜夜天天久久 | 69av在线播放 | 一区二区激情视频 | 日韩毛片在线一区二区毛片 | 黄色网址在线播放 | 欧美人zozo | 成人av日韩 | 日韩激情第一页 | 亚洲乱码中文字幕综合 | 成人av高清在线 | 国内精品久久久久国产 | 天天舔天天射天天操 | 久草在线视频资源 | 五月婷婷播播 | 一区av在线播放 | 视频在线观看国产 | www.国产视频| av丁香| 国产精品精品久久久 | 国产a级精品 | 日韩欧美精品一区二区三区经典 | 在线导航av | 国产日韩精品一区二区在线观看播放 | 亚洲精品一区二区久 | 成人免费在线视频 | 一区二区 久久 | 91视频在线国产 | 日免费视频 | 日本精品久久久久 | 97免费中文视频在线观看 | 精品特级毛片 | 狠狠色丁香九九婷婷综合五月 | 99精品在线| 欧美色就是色 | 国产精品国产亚洲精品看不卡 | 日韩免费视频播放 | 激情综合一区 | 国产永久免费高清在线观看视频 | 国产高清视频在线免费观看 | 亚洲成人av电影在线 | 久久免费黄色网址 | 久久婷亚洲五月一区天天躁 | 成人国产精品久久久春色 | 精品国偷自产在线 | 深爱激情五月网 | 五月婷婷香蕉 | 黄色av网站在线观看免费 | 天天草天天干天天射 | 日韩电影在线观看中文字幕 | 人人干天天干 | 中文字幕精品一区二区三区电影 | 免费在线观看av电影 | 国产精品久久 | 久久 地址 | 91爱爱视频| 色综合色综合久久综合频道88 | 香蕉视频91| 国产精品一区二区三区久久久 | 在线香蕉视频 | 五月综合色 | 日韩av有码在线 | 日韩欧美综合 | 国产精品国产三级国产aⅴ无密码 | 亚洲一区黄色 | 欧美坐爱视频 | 天天曰| 天天天天爱天天躁 | 青青色影院 | 亚洲精品美女久久久久 | 午夜99| 久久久久久免费 | 亚洲黄色小说网址 | 91资源在线视频 | 欧洲在线免费视频 | 在线观看日本高清mv视频 | 丁香网五月天 | 亚洲精品一区二区久 | 久草视频免费看 | 精品黄色片 | 久久99久久99免费视频 | 国产成人无码AⅤ片在线观 日韩av不卡在线 | 成年人视频在线免费播放 | 久久试看 | www.久久久.cum | 蜜桃视频日韩 | 探花在线观看 | 91精品国产综合久久婷婷香蕉 | 成年人黄色免费网站 | 天天草天天草 | 久久国产网 | 日韩午夜av | 欧美色图亚洲图片 | 美女久久久久久久久久 | 亚洲精品色婷婷 | 精品国产一区二区三区久久 | 久久精品这里热有精品 | 日韩a级免费视频 | 91精彩在线视频 | 国产精品久久久久久久久免费 | 免费在线一区二区三区 | 久久夜色精品国产欧美乱 | 天天操天天操天天 | 粉嫩av一区二区三区四区在线观看 | 久久久久中文 | 欧美另类高清 | 日本激情中文字幕 | 成人av网站在线 | 精品久久久久久亚洲 | 久久婷婷开心 | 国产日本亚洲高清 | 免费a现在观看 | 久久综合9988久久爱 | 国产成年免费视频 | 丁香午夜婷婷 | 国产成人精品久久 | 成人蜜桃| 综合久久久久 | 精品91在线| 黄色高清视频在线观看 | 91精彩视频在线观看 | 亚洲黄色精品 | 亚洲性xxxx| 国产成人综合精品 | 免费三级黄色 | 色五月激情五月 | 久久久www免费电影网 | 日韩免费福利 | 国产91学生粉嫩喷水 | 黄色精品久久 | 亚洲成人影音 | 日韩精品一区二区三区免费视频观看 | 91麻豆看国产在线紧急地址 | 五月婷婷在线视频观看 | 在线观看91视频 | 黄色小视频在线观看免费 | www.国产在线视频 | 福利在线看片 | 91色综合| 日韩黄色免费电影 | 免费久久网站 | 久久精品视频网站 | 不卡的av在线 | 天天看天天干天天操 | 日韩网页 | 天天操天天舔天天爽 | 久久久av电影 | 中文字幕在线第一页 | 97av精品| 日韩一区二区三区观看 | 国产精品美女免费视频 | 国产精品网红福利 | 中文字幕在线观看日本 | 亚洲激情在线观看 | 麻豆网站免费观看 | 亚洲精品综合一二三区在线观看 | 97人人模人人爽人人喊中文字 | 免费在线观看成人小视频 | 欧美日韩免费网站 | 97视频在线观看播放 | 亚洲码国产日韩欧美高潮在线播放 | 国产免费成人 | 在线v | 久久久三级视频 | 欧美性做爰猛烈叫床潮 | 天天操天天干天天干 | 97超碰人人澡人人 | 福利二区视频 | 97福利视频 | 国产小视频在线免费观看视频 | 日韩极品在线 | 国产在线黄 | 久草免费在线观看 | 国产精品免费在线播放 | 波多野结衣一区二区 | 在线视频婷婷 | 又黄又爽又刺激视频 | 国产69久久久 | 国产免费小视频 | 九九热免费视频在线观看 | 婷婷在线精品视频 | 久久美女电影 | 91爱爱视频| 女人久久久久 | 国产一区观看 | 激情开心色 | 中文字幕高清av | 国产女人18毛片水真多18精品 | 国产91全国探花系列在线播放 | 911免费视频| 色综合天天爱 | 激情 一区二区 | 久久久天天操 | 激情在线五月天 | 日韩中文在线观看 | 久久黄色片子 | 久精品视频免费观看2 | 激情视频久久 | 欧美一级电影 | 国产精品久久久久一区二区三区 | 国产精品久久久久久吹潮天美传媒 | 国产精品免费大片视频 | 激情av一区二区 | 美女又爽又黄 | 亚洲欧美激情插 | 亚洲日本韩国一区二区 | 日韩美在线观看 | 亚洲欧美乱综合图片区小说区 | 日韩av女优视频 | 深夜免费小视频 | 麻豆国产精品va在线观看不卡 | 激情久久综合 | 视频二区在线 | 午夜精品一二三区 | 国产精品免费久久久久影院仙踪林 | 视频在线亚洲 | 蜜桃麻豆www久久囤产精品 | 色999在线| 成人福利在线 | 欧美日韩观看 | 麻豆91在线看 | 日本韩国精品在线 | 五月激情天 | 国产高清视频在线免费观看 | 在线国产黄色 | 亚洲婷婷网 | 韩日三级av | 国产一级在线播放 | 亚洲高清在线 | 日韩在线免费观看视频 | 不卡的av在线播放 | 精品国产1区二区 | av黄色国产 | 天天操操操操操操 | 夜夜视频 | 国产亚洲aⅴaaaaaa毛片 | 国产精品18久久久久久不卡孕妇 | 天天色天天射天天综合网 | 日韩欧美99| 欧美一区二区三区在线播放 | 粉嫩av一区二区三区入口 | 欧美精品久久久久久久 | 成年人免费在线观看网站 | 碰碰影院| 综合网成人 | 国产黄影院色大全免费 | 99这里有精品 | 一级a性色生活片久久毛片波多野 | 黄色一级大片在线观看 | 欧美日韩国产高清视频 | 日韩精品无码一区二区三区 | 奇米网网址 | 狠狠狠色丁香婷婷综合久久88 | 日韩精品中文字幕久久臀 | 91在线看网站 | 在线国产激情视频 | 免费在线观看不卡av | 久久久美女 | 国产又粗又猛又黄视频 | 在线观看亚洲成人 | 中文字幕在线观看资源 | 精品毛片一区二区免费看 | 免费看的黄色录像 | 在线观看精品一区 | 国产日韩视频在线 | 精品在线观看视频 | 99精品视频免费观看 | 久草在线资源视频 | 国产在线观看av | 在线视频电影 | 国产精品久久久久永久免费 | 久久呀| 国产精品白浆视频 | 亚洲欧洲成人 | 色播99 | 天天干天天操天天爱 | 亚洲第一中文字幕 | 日韩网站中文字幕 | 久久国产99 | 天天色中文| 欧美久久久久久久久久久 | 最新99热| 毛片一区二区 | 日韩精品久久久久久久电影竹菊 | 精品国产一区二区三区不卡 | 日韩欧美电影在线 | 最新超碰在线 | 久久精品www人人爽人人 | 国产精品专区一 | 久久久久久美女 | 国产在线观看免费观看 | 91精品资源 | 美女福利视频一区二区 | 精品福利视频在线观看 | 日韩在线观看a | 精品久久久久一区二区国产 | 久久91久久久久麻豆精品 | 美女久久网站 | 国产精品久久久久久超碰 | 欧美日韩精品久久久 | 高清不卡免费视频 | 狠狠色丁香久久综合网 | 国产麻豆精品传媒av国产下载 | 亚洲欧美在线视频免费 | 日本不卡123区 | 久草在线| 日日操天天操狠狠操 | 人人狠狠综合久久亚洲 | av高清一区二区三区 | 久草在线免费新视频 | 国产伦理一区二区三区 | 久久久久草| av网站在线观看播放 | 色偷偷中文字幕 | 欧美日韩在线播放 | 五月激情天 | 天天做天天干 | 欧美一级性生活 | 日日夜夜草 | 国产香蕉久久精品综合网 | 国产精品国产亚洲精品看不卡15 | 成人高清在线观看 | 欧美中文字幕久久 | 91在线看片 | 免费精品久久久 | 在线观看免费视频你懂的 | 久久五月婷婷综合 | 日韩激情久久 | 久久久夜色 | 91av在线免费播放 | 久久黄网站 | 五月激情六月丁香 | 亚洲,国产成人av | 精品视频不卡 | 黄色aa久久 | 久久黄色免费观看 | 日韩精品无 | 亚洲伦理中文字幕 | 国内精品久久久久影院日本资源 | 亚洲码国产日韩欧美高潮在线播放 | 最新免费av在线 | 国产精品视频线看 | 免费亚洲视频在线观看 | av中文在线观看 | 69av免费视频 | 精品夜夜嗨av一区二区三区 | 天天色天天操天天爽 | 日日夜夜中文字幕 | 色婷婷骚婷婷 | 男女激情网址 | 精品影院一区二区久久久 | 国产一级在线播放 | 天天操天天操天天 | 国产精品久久久久久久久久久久久 | 婷婷丁香自拍 | 五月天色中色 | 夜色在线资源 | 四虎成人精品永久免费av | 伊人网av| www.久久成人 | 欧美91片| 日韩动态视频 | 激情五月婷婷激情 | 久久国产视屏 | 91欧美国产 | 高清视频一区 | 国产精品一区二区三区观看 | 不卡的av电影在线观看 | 欧美日韩中文字幕视频 | 麻豆一级视频 | 91麻豆精品国产91久久久久久 | 欧美日韩中文在线观看 | 国产福利一区二区三区在线观看 | 国产成人av一区二区三区在线观看 | 亚洲最新av网址 | 视频在线观看一区 | 色综合久久久久网 | 中文字幕丝袜制服 | 亚洲视频456 | 天天狠狠操 | 欧美成人中文字幕 | 午夜视频免费在线观看 | 在线精品观看国产 | 久久不射电影网 | 91精品国产92久久久久 | 中文字幕免费一区 | 人人草在线视频 | 亚洲dvd | 五月开心综合 | 在线a人片免费观看视频 | 国产免费不卡av | 亚洲永久字幕 | 午夜丰满寂寞少妇精品 | 婷婷激情5月天 | 一级做a视频 | 日本黄色免费电影网站 | 久久精品国产免费 | 999视频精品| 精品999在线观看 | 天天碰天天操 | 免费久草视频 | 久久永久免费 | 日韩在线观看网站 | 国产一级免费在线 | 日韩美女高潮 | 国产精品久久久久久吹潮天美传媒 | 久久综合久久综合九色 | 亚洲婷婷在线 | 国产97在线播放 | 久草国产在线观看 | 国产精品一区二区三区在线看 | 国产专区在线 | 免费在线国产精品 | 日韩最新av在线 | 欧美精品久久久久久久久免 | 91高清免费在线观看 | 久久成人欧美 | a在线一区 | 久久国产免费看 | 日韩中文字幕免费在线观看 | 蜜臀精品久久久久久蜜臀 | 国产成人精品在线播放 | 日韩大片在线免费观看 | 激情视频综合网 |