日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

k8s Storage Classes

發布時間:2024/8/1 编程问答 55 豆豆
生活随笔 收集整理的這篇文章主要介紹了 k8s Storage Classes 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

Storage Classes

介紹

StorageClass?為管理員提供了描述存儲?"類"?的方法。 不同的類型可能會映射到不同的服務質量等級或備份策略,或是由群集管理員制定的任意策略。 Kubernetes 本身并不清楚各種類代表的什么。這個類的概念在其他存儲系統中有時被稱為”配置文件”。

StorageClass 資源

每個?StorageClass?都包含?provisioner、parameters?和?reclaimPolicy?字段, 這些字段會在StorageClass需要動態分配?PersistentVolume?時會使用到。

StorageClass?對象的命名很重要,用戶使用這個命名來請求生成一個特定的類。 當創建?StorageClass?對象時,管理員設置 StorageClass 對象的命名和其他參數,一旦創建了對象就不能再對其更新。

管理員可以為沒有申請綁定到特定?StorageClass?的 PVC 指定一個默認的類?: 更多詳情請參閱?PersistentVolumeClaim?章節。

kind: StorageClass apiVersion: storage.k8s.io/v1 metadata:name: standard provisioner: kubernetes.io/aws-ebs parameters:type: gp2 reclaimPolicy: Retain mountOptions:- debug volumeBindingMode: Immediate

存儲分配器

StorageClass?有一個分配器,用來決定使用哪個卷插件分配持久化卷申領。該字段必須指定。

卷插件提供廠商配置例子
AWSElasticBlockStore?AWS EBS
AzureFile?Azure File
AzureDisk?Azure Disk
CephFS--
Cinder?OpenStack Cinder
FC--
Flexvolume--
Flocker?-
GCEPersistentDisk?GCE PD
Glusterfs?Glusterfs
iSCSI--
Quobyte?Quobyte
NFS--
RBD?Ceph RBD
VsphereVolume?vSphere
PortworxVolume?Portworx Volume
ScaleIO?ScaleIO
StorageOS?StorageOS
Local-Local

您不限于指定此處列出的”內置”分配器(其名稱前綴為 kubernetes.io 并打包在 Kubernetes 中)。 您還可以運行和指定外部分配器,這些獨立的程序遵循由 Kubernetes 定義的?規范。 外部供應商的作者完全可以自由決定他們的代碼保存于何處、打包方式、運行方式、使用的插件(包括 Flex)等。 代碼倉庫?kubernetes-incubator/external-storage?包含一個用于為外部分配器編寫功能實現的類庫,以及各種社區維護的外部分配器。

例如,NFS 沒有內部分配器,但可以使用外部分配器。一些外部分配器在代碼倉庫?kubernetes-incubator/external-storage?中。 也有第三方存儲供應商提供自己的外部分配器。

回收策略

由?StorageClass?動態創建的持久化卷會在的?reclaimPolicy?字段中指定回收策略,可以是?Delete?或者?Retain。如果?StorageClass?對象被創建時沒有指定?reclaimPolicy?,它將默認為?Delete。

通過?StorageClass?手動創建并管理的 Persistent Volume 會使用它們被創建時指定的回收政策。

掛載選項

由?StorageClass?動態創建的 Persistent Volume 將使用類中?mountOption?字段指定的掛載選項。

如果卷插件不支持掛載選項,卻指定了該選項,則分配操作會失敗。 掛載選項在?StorageClass?和持久卷上都不會做驗證,所以如果掛載選項無效,那么這個 PV 就會失敗。

卷綁定模式

FEATURE STATE:?Kubernetes v1.12?beta

注意:?這個功能特性需要啟用?VolumeScheduling?參數才能使用。

volumeBindingMode?字段控制了?卷綁定和動態分配?應該發生在什么時候。

默認情況下,Immediate?模式表示一旦創建了 PersistentVolumeClaim 也就完成了卷綁定和動態分配。 對于由于拓撲限制而非集群所有節點可達的存儲后端,PersistentVolume 會在不知道 Pod 調度要求的情況下綁定或者分配。

集群管理員可以通過指定?WaitForFirstConsumer?模式來解決此問題。 該模式將延遲 PersistentVolume 的綁定和分配,直到使用該 PersistentVolumeClaim 的 Pod 被創建。 PersistentVolume 會根據 Pod 調度約束指定的拓撲來選擇或分配。這些包括但不限于?資源需求,?節點篩選器,?pod 親和性和互斥性, 以及?污點和容忍度.

以下插件支持動態分配的?WaitForFirstConsumer?模式:

  • AWSElasticBlockStore
  • GCEPersistentDisk
  • AzureDisk

以下插件支持預創建綁定 PersistentVolume 的?WaitForFirstConsumer?模式:

  • All of the above
  • Local

允許的拓撲結構

FEATURE STATE:?Kubernetes v1.12?beta

注意:?這個特性需要開啟?VolumeScheduling?特性開關。

當集群操作人員使用了?WaitForFirstConsumer?的卷綁定模式,在大部分情況下就沒有必要將配置限制為特定的拓撲結構。 然而,如果還有需要的話,可以使用?allowedTopologies。

這個例子描述了如何將分配卷限的拓撲限制在特定的區域,在使用時應該根據插件支持情況替換?zone?和?zones?參數。

kind: StorageClass apiVersion: storage.k8s.io/v1 metadata:name: standard provisioner: kubernetes.io/gce-pd parameters:type: pd-standard volumeBindingMode: WaitForFirstConsumer allowedTopologies: - matchLabelExpressions:- key: failure-domain.beta.kubernetes.io/zonevalues:- us-central1-a- us-central1-b

參數

Storage class 具有描述屬于卷的參數。取決于分配器,可以接受不同的參數。 例如,參數 type 的值 io1 和參數 iopsPerGB 特定于 EBS PV。當參數被省略時,會使用默認值。

AWS EBS

kind: StorageClass apiVersion: storage.k8s.io/v1 metadata:name: slow provisioner: kubernetes.io/aws-ebs parameters:type: io1iopsPerGB: "10"fsType: ext4
  • type:io1,gp2,sc1,st1。詳細信息參見?AWS 文檔。默認值:gp2。
  • zone(棄用):AWS 區域。如果沒有指定?zone?和?zones,通常卷會在 Kubernetes 集群節點所在的活動區域中輪詢調度分配。zone?和?zones?參數不能同時使用。
  • zones(棄用):以逗號分隔的 AWS 區域列表。如果沒有指定?zone?和?zones,通常卷會在 Kubernetes 集群節點所在的活動區域中輪詢調度分配。zone和zones參數不能同時使用。
  • iopsPerGB:只適用于?io1?卷。每 GiB 每秒 I/O 操作。AWS 卷插件將其與請求卷的大小相乘以計算 IOPS 的容量,并將其限制在 20 000 IOPS(AWS 支持的最高值,請參閱?AWS 文檔。 這里需要輸入一個字符串,即?"10",而不是?10。
  • fsType:受 Kubernetes 支持的文件類型。默認值:"ext4"。
  • encrypted:指定 EBS 卷是否應該被加密。合法值為?"true"?或者?"false"。這里需要輸入字符串,即?"true", 而非?true。
  • kmsKeyId:可選。加密卷時使用密鑰的完整 Amazon 資源名稱。如果沒有提供,但?encrypted?值為 true,AWS 生成一個密鑰。關于有效的 ARN 值,請參閱 AWS 文檔。?注意:?zone?和?zones?已被棄用并被?允許的拓撲結構?取代。

GCE PD

kind: StorageClass apiVersion: storage.k8s.io/v1 metadata:name: slow provisioner: kubernetes.io/gce-pd parameters:type: pd-standardreplication-type: none
  • type:pd-standard?或者?pd-ssd。默認:pd-standard
  • zone(棄用):GCE 區域。如果沒有指定?zone?和?zones,通常卷會在 Kubernetes 集群節點所在的活動區域中輪詢調度分配。zone?和?zones?參數不能同時使用。
  • zones(棄用):逗號分隔的 GCE 區域列表。如果沒有指定?zone?和?zones,通常卷會在 Kubernetes 集群節點所在的活動區域中輪詢調度(round-robin)分配。zone?和?zones?參數不能同時使用。
  • replication-type:none?或者?regional-pd。默認值:none。

如果?replication-type?設置為?none,會分配一個常規(當前區域內的)持久化磁盤。

如果?replication-type?設置為?regional-pd,會分配一個?區域性持久化磁盤(Regional Persistent Disk)。在這種情況下,用戶必須使用?zones?而非?zone?來指定期望的復制區域(zone)。如果指定來兩個特定的區域,區域性持久化磁盤會在這兩個區域里分配。如果指定了多于兩個的區域,Kubernetes 會選擇其中任意兩個區域。如果省略了?zones?參數,Kubernetes 會在集群管理的區域中任意選擇。

注意:?zone?和?zones?已被棄用并被?allowedTopologies?取代。

Glusterfs

apiVersion: storage.k8s.io/v1 kind: StorageClass metadata:name: slow provisioner: kubernetes.io/glusterfs parameters:resturl: "http://127.0.0.1:8081"clusterid: "630372ccdc720a92c681fb928f27b53f"restauthenabled: "true"restuser: "admin"secretNamespace: "default"secretName: "heketi-secret"gidMin: "40000"gidMax: "50000"volumetype: "replicate:3"
  • resturl:分配 gluster 卷的需求的 Gluster REST 服務/Heketi 服務 url。 通用格式應該是?IPaddress:Port,這是 GlusterFS 動態分配器的必需參數。 如果 Heketi 服務在 openshift/kubernetes 中安裝并暴露為可路由服務,則可以使用類似于?http://heketi-storage-project.cloudapps.mystorage.com?的格式,其中 fqdn 是可解析的 heketi 服務網址。
  • restauthenabled:Gluster REST 服務身份驗證布爾值,用于啟用對 REST 服務器的身份驗證。如果此值為 ‘true’,則必須填寫?restuser?和?restuserkey?或?secretNamespace?+?secretName。此選項已棄用,當在指定?restuser,restuserkey,secretName?或?secretNamespace?時,身份驗證被啟用。
  • restuser:在 Gluster 可信池中有權創建卷的 Gluster REST服務/Heketi 用戶。
  • restuserkey:Gluster REST 服務/Heketi 用戶的密碼將被用于對 REST 服務器進行身份驗證。此參數已棄用,取而代之的是?secretNamespace?+?secretName。 <!–
  • secretNamespace,?secretName?: Identification of Secret instance that contains user password to use when talking to Gluster REST service. These parameters are optional, empty password will be used when both?secretNamespace?and?secretName?are omitted. The provided secret must have type?"kubernetes.io/glusterfs", e.g. created in this way:

    kubectl create secret generic heketi-secret \--type="kubernetes.io/glusterfs" --from-literal=key='opensesame' \--namespace=default

    Example of a secret can be found in?glusterfs-provisioning-secret.yaml. –>

  • secretNamespace,secretName:Secret 實例的標識,包含與 Gluster REST 服務交互時使用的用戶密碼。 這些參數是可選的,secretNamespace?和?secretName?都省略時使用空密碼。所提供的 Secret 必須將類型設置為 “kubernetes.io/glusterfs”,例如以這種方式創建:

    kubectl create secret generic heketi-secret \--type="kubernetes.io/glusterfs" --from-literal=key='opensesame' \--namespace=default

    secret 的例子可以在?glusterfs-provisioning-secret.yaml?中找到。 <!–

  • clusterid:?630372ccdc720a92c681fb928f27b53f?is the ID of the cluster which will be used by Heketi when provisioning the volume. It can also be a list of clusterids, for example:?"8452344e2becec931ece4e33c4674e4e,42982310de6c63381718ccfa6d8cf397". This is an optional parameter.

  • gidMin,?gidMax?: The minimum and maximum value of GID range for the storage class. A unique value (GID) in this range ( gidMin-gidMax ) will be used for dynamically provisioned volumes. These are optional values. If not specified, the volume will be provisioned with a value between 2000-2147483647 which are defaults for gidMin and gidMax respectively. –>

  • clusterid:630372ccdc720a92c681fb928f27b53f?是集群的 ID,當分配卷時,Heketi 將會使用這個文件。它也可以是一個 clusterid 列表,例如:?"8452344e2becec931ece4e33c4674e4e,42982310de6c63381718ccfa6d8cf397"。這個是可選參數。

  • gidMin,gidMax:storage class GID 范圍的最小值和最大值。在此范圍(gidMin-gidMax)內的唯一值(GID)將用于動態分配卷。這些是可選的值。如果不指定,卷將被分配一個 2000-2147483647 之間的值,這是 gidMin 和 gidMax 的默認值。 <!–

  • volumetype?: The volume type and its parameters can be configured with this optional value. If the volume type is not mentioned, it’s up to the provisioner to decide the volume type.

    For example:

    • Replica volume:?volumetype: replicate:3?where ‘3’ is replica count.
    • Disperse/EC volume:?volumetype: disperse:4:2?where ‘4’ is data and ‘2’ is the redundancy count.
    • Distribute volume:?volumetype: none

    For available volume types and administration options, refer to the?Administration Guide.

    For further reference information, see?How to configure Heketi.

    When persistent volumes are dynamically provisioned, the Gluster plugin automatically creates an endpoint and a headless service in the name?gluster-dynamic-<claimname>. The dynamic endpoint and service are automatically deleted when the persistent volume claim is deleted. –>

  • volumetype:卷的類型及其參數可以用這個可選值進行配置。如果未聲明卷類型,則由分配器決定卷的類型。

    例如: ‘Replica volume’:?volumetype: replicate:3?其中 ‘3’ 是 replica 數量. ‘Disperse/EC volume’:?volumetype: disperse:4:2?其中 ‘4’ 是數據,’2’ 是冗余數量. ‘Distribute volume’:?volumetype: none

    有關可用的卷類型和管理選項,請參閱?管理指南。

    更多相關的參考信息,請參閱?如何配置 Heketi。

    當動態分配持久卷時,Gluster 插件自動創建名為?gluster-dynamic-<claimname>?的端點和 headless service。在 PVC 被刪除時動態端點和 headless service 會自動被刪除。

OpenStack Cinder

kind: StorageClass apiVersion: storage.k8s.io/v1 metadata:name: gold provisioner: kubernetes.io/cinder parameters:availability: nova
  • availability:可用區域。如果沒有指定,通常卷會在 Kubernetes 集群節點所在的活動區域中輪詢調度分配。
Note: FEATURE STATE:?Kubernetes 1.11?廢棄

OpenStack 的內部驅動程序已經被棄用。請使用?OpenStack 的外部驅動程序。

vSphere

  • 使用用戶指定的磁盤格式創建一個 StorageClass。

    kind: StorageClass apiVersion: storage.k8s.io/v1 metadata:name: fast provisioner: kubernetes.io/vsphere-volume parameters:diskformat: zeroedthick
  • `diskformat`: `thin`, `zeroedthick` 和 `eagerzeroedthick`。默認值: `"thin"`。
  • 在用戶指定的數據存儲上創建磁盤格式的 StorageClass。

    kind: StorageClass apiVersion: storage.k8s.io/v1 metadata:name: fast provisioner: kubernetes.io/vsphere-volume parameters:diskformat: zeroedthickdatastore: VSANDatastore
  • `datastore`:用戶也可以在 StorageClass 中指定數據存儲。卷將在 storage class 中指定的數據存儲上創建,在這種情況下是 `VSANDatastore`。該字段是可選的。如果未指定數據存儲,則將在用于初始化 vSphere Cloud Provider 的 vSphere 配置文件中指定的數據存儲上創建該卷。
  • Kubernetes 中的存儲策略管理
  • * 使用現有的 vCenter SPBM 策略vSphere 用于存儲管理的最重要特性之一是基于策略的管理。基于存儲策略的管理(SPBM)是一個存儲策略框架,提供單一的統一控制平面的跨越廣泛的數據服務和存儲解決方案。 SPBM 使能 vSphere 管理員克服先期的存儲配置挑戰,如容量規劃,差異化服務等級和管理容量空間。SPBM 策略可以在 StorageClass 中使用 `storagePolicyName` 參數聲明。 * Kubernetes 內的 Virtual SAN 策略支持Vsphere Infrastructure(VI)管理員將能夠在動態卷配置期間指定自定義 Virtual SAN 存儲功能。您現在可以定義存儲需求,例如性能和可用性,當動態卷供分配時會以存儲功能的形式提供。存儲功能需求會轉換為 Virtual SAN 策略,然后當 persistent volume(虛擬磁盤)在創建時,會將其推送到 Virtual SAN 層。虛擬磁盤分布在 Virtual SAN 數據存儲中以滿足要求。更多有關 persistent volume 管理的存儲策略的詳細信息,您可以參考 [基于存儲策略的動態分配卷管理](https://vmware.github.io/vsphere-storage-for-kubernetes/documentation/policy-based-mgmt.html)。

    有幾個?vSphere 例子?供您在 Kubernetes for vSphere 中嘗試進行 persistent volume 管理。

    Ceph RBD

    kind: StorageClass apiVersion: storage.k8s.io/v1 metadata:name: fast provisioner: kubernetes.io/rbd parameters:monitors: 10.16.153.105:6789adminId: kubeadminSecretName: ceph-secretadminSecretNamespace: kube-systempool: kubeuserId: kubeuserSecretName: ceph-secret-useruserSecretNamespace: defaultfsType: ext4imageFormat: "2"imageFeatures: "layering"
    • monitors:Ceph monitor,逗號分隔。該參數是必需的。
    • adminId:Ceph 客戶端 ID,用于在池 ceph 池中創建映像。默認是 “admin”。
    • adminSecret:adminId?的 Secret 名稱。該參數是必需的。 提供的 secret 必須有值為 “kubernetes.io/rbd” 的 type 參數。
    • adminSecretNamespace:adminSecret?的命名空間。默認是 “default”。
    • pool: Ceph RBD 池. 默認是 “rbd”。
    • userId:Ceph 客戶端 ID,用于映射 RBD 鏡像。默認與?adminId?相同。 <!–
    • userSecretName: The name of Ceph Secret for?userId?to map RBD image. It must exist in the same namespace as PVCs. This parameter is required. The provided secret must have type “kubernetes.io/rbd”, e.g. created in this way:

      kubectl create secret generic ceph-secret --type="kubernetes.io/rbd" \--from-literal=key='QVFEQ1pMdFhPUnQrSmhBQUFYaERWNHJsZ3BsMmNjcDR6RFZST0E9PQ==' \--namespace=kube-system

      –>

    • userSecretName:用于映射 RBD 鏡像的?userId?的 Ceph Secret 的名字。 它必須與 PVC 存在于相同的 namespace 中。該參數是必需的。 提供的 secret 必須具有值為 “kubernetes.io/rbd” 的 type 參數,例如以這樣的方式創建:

      kubectl create secret generic ceph-secret --type="kubernetes.io/rbd" \--from-literal=key='QVFEQ1pMdFhPUnQrSmhBQUFYaERWNHJsZ3BsMmNjcDR6RFZST0E9PQ==' \--namespace=kube-system
    • userSecretNamespace:userSecretName?的命名空間。
    • fsType:Kubernetes 支持的 fsType。默認:"ext4"。
    • imageFormat:Ceph RBD 鏡像格式,”1” 或者 “2”。默認值是 “1”。
    • imageFeatures:這個參數是可選的,只能在你將?imageFormat?設置為 “2” 才使用。 目前支持的功能只是?layering。默認是 ““,沒有功能打開。

    Quobyte

    apiVersion: storage.k8s.io/v1 kind: StorageClass metadata:name: slow provisioner: kubernetes.io/quobyte parameters:quobyteAPIServer: "http://138.68.74.142:7860"registry: "138.68.74.142:7861"adminSecretName: "quobyte-admin-secret"adminSecretNamespace: "kube-system"user: "root"group: "root"quobyteConfig: "BASE"quobyteTenant: "DEFAULT"
    • quobyteAPIServer:Quobyte API 服務器的格式是?"http(s)://api-server:7860"
    • registry:用于掛載卷的 Quobyte registry。你可以指定 registry 為?<host>:<port>?或者如果你想指定多個 registry,你只需要在他們之間添加逗號,例如?<host1>:<port>,<host2>:<port>,<host3>:<port>。 主機可以是一個 IP 地址,或者如果您有正在運行的 DNS,您也可以提供 DNS 名稱。
    • adminSecretNamespace:adminSecretName的 namespace。 默認值是 “default”。 <!–
    • adminSecretName: secret that holds information about the Quobyte user and the password to authenticate against the API server. The provided secret must have type “kubernetes.io/quobyte”, e.g. created in this way:

      kubectl create secret generic quobyte-admin-secret \--type="kubernetes.io/quobyte" --from-literal=key='opensesame' \--namespace=kube-system

    –> *?adminSecretName:保存關于 Quobyte 用戶和密碼的 secret,用于對 API 服務器進行身份驗證。 提供的 secret 必須有值為 “kubernetes.io/quobyte” 的 type 參數,例如以這種方式創建:

    ```shell kubectl create secret generic quobyte-admin-secret \--type="kubernetes.io/quobyte" --from-literal=key='opensesame' \--namespace=kube-system ```
    • user:對這個用戶映射的所有訪問權限。默認是 “root”。
    • group:對這個組映射的所有訪問權限。默認是 “nfsnobody”。
    • quobyteConfig:使用指定的配置來創建卷。您可以創建一個新的配置,或者,可以修改 Web console 或 quobyte CLI 中現有的配置。默認是 “BASE”。
    • quobyteTenant:使用指定的租戶 ID 創建/刪除卷。這個 Quobyte 租戶必須已經于 Quobyte。 默認是 “DEFAULT”。

    Azure 磁盤

    Azure Unmanaged Disk Storage Class(非托管磁盤存儲類)

    kind: StorageClass apiVersion: storage.k8s.io/v1 metadata:name: slow provisioner: kubernetes.io/azure-disk parameters:skuName: Standard_LRSlocation: eastusstorageAccount: azure_storage_account_name
    • skuName:Azure 存儲帳戶 Sku 層。默認為空。
    • location:Azure 存儲帳戶位置。默認為空。
    • storageAccount:Azure 存儲帳戶名稱。如果提供存儲帳戶,它必須位于與集群相同的資源組中,并且?location?是被忽略的。如果未提供存儲帳戶,則會在與群集相同的資源組中創建新的存儲帳戶。

    新的 Azure 磁盤 Storage Class(從 v1.7.2 開始)

    kind: StorageClass apiVersion: storage.k8s.io/v1 metadata:name: slow provisioner: kubernetes.io/azure-disk parameters:storageaccounttype: Standard_LRSkind: Shared
    • storageaccounttype:Azure 存儲帳戶 Sku 層。默認為空。
    • kind:可能的值是?shared(默認)、dedicated?和?managed。 當?kind?的值是?shared?時,所有非托管磁盤都在集群的同一個資源組中的幾個共享存儲帳戶中創建。 當?kind的值是?dedicated?時,將為在集群的同一個資源組中新的非托管磁盤創建新的專用存儲帳戶。
    • Premium VM 可以同時添加 Standard_LRS 和 Premium_LRS 磁盤,而 Standard 虛擬機只能添加 Standard_LRS 磁盤。
    • 托管虛擬機只能連接托管磁盤,非托管虛擬機只能連接非托管磁盤。

    Azure 文件

    kind: StorageClass apiVersion: storage.k8s.io/v1 metadata:name: azurefile provisioner: kubernetes.io/azure-file parameters:skuName: Standard_LRSlocation: eastusstorageAccount: azure_storage_account_name
    • skuName:Azure 存儲帳戶 Sku 層。默認為空。
    • location:Azure 存儲帳戶位置。默認為空。
    • storageAccount:Azure 存儲帳戶名稱。默認為空。 如果不提供存儲帳戶,會搜索所有與資源相關的存儲帳戶,以找到一個匹配?skuName?和?location?的賬號。 如果提供存儲帳戶,它必須存在于與集群相同的資源組中,skuName?和?location?會被忽略。

    在分配期間,為掛載憑證創建一個 secret。如果集群同時啟用了?RBAC?和?Controller Roles, 為?system:controller:persistent-volume-binder?的 clusterrole 添加?secret?資源的?create?權限。

    Portworx 卷

    kind: StorageClass apiVersion: storage.k8s.io/v1 metadata:name: portworx-io-priority-high provisioner: kubernetes.io/portworx-volume parameters:repl: "1"snap_interval: "70"io_priority: "high"
    • fs:選擇的文件系統:[none/xfs/ext4](默認:ext4)。
    • block_size:以 Kbytes 為單位的塊大小(默認值:32)。
    • repl:同步副本數量,以復制因子 [1..3](默認值:1)的形式提供。 這里需要填寫字符串,即,"1"?而不是?1。
    • io_priority:決定是否從更高性能或者較低優先級存儲創建卷 [high/medium/low](默認值:low)。
    • snap_interval:觸發快照的時鐘/時間間隔(分鐘)。快照是基于與先前快照的增量變化,0 是禁用快照(默認:0)。 這里需要填寫字符串,即,是?"70"?而不是?70。
    • aggregation_level:指定卷分配到的塊數量,0 表示一個非聚合卷(默認:0)。 這里需要填寫字符串,即,是?"0"?而不是?0。
    • ephemeral:指定卷在卸載后進行清理還是持久化。?emptyDir?的使用場景可以將這個值設置為 true ,?persistent volumes?的使用場景可以將這個值設置為 false(例如 Cassandra 這樣的數據庫)[true/false](默認為?false)。這里需要填寫字符串,即,是?"true"?而不是?true。

    ScaleIO

    kind: StorageClass apiVersion: storage.k8s.io/v1 metadata:name: slow provisioner: kubernetes.io/scaleio parameters:gateway: https://192.168.99.200:443/apisystem: scaleioprotectionDomain: pd0storagePool: sp1storageMode: ThinProvisionedsecretRef: sio-secretreadOnly: falsefsType: xfs
    • provisioner:屬性設置為?kubernetes.io/scaleio
    • gateway?到 ScaleIO API 網關的地址(必需)
    • system:ScaleIO 系統的名稱(必需)
    • protectionDomain:ScaleIO 保護域的名稱(必需)
    • storagePool:卷存儲池的名稱(必需)
    • storageMode:存儲提供模式:ThinProvisioned(默認)或?ThickProvisioned
    • secretRef:對已配置的 Secret 對象的引用(必需)
    • readOnly:指定掛載卷的訪問模式(默認為 false)
    • fsType:卷的文件系統(默認是 ext4)

    ScaleIO Kubernetes 卷插件需要配置一個 Secret 對象。 secret 必須用?kubernetes.io/scaleio?類型創建,并與引用它的 PVC 所屬的名稱空間使用相同的值 如下面的命令所示:

    kubectl create secret generic sio-secret --type="kubernetes.io/scaleio" \ --from-literal=username=sioadmin --from-literal=password=d2NABDNjMA== \ --namespace=default

    StorageOS

    kind: StorageClass apiVersion: storage.k8s.io/v1 metadata:name: fast provisioner: kubernetes.io/storageos parameters:pool: defaultdescription: Kubernetes volumefsType: ext4adminSecretNamespace: defaultadminSecretName: storageos-secret
    • pool:分配卷的 StorageOS 分布式容量池的名稱。如果未指定,則使用通常存在的?default?池。
    • description:分配給動態創建的卷的描述。所有卷描述對于 storage class 都是相同的, 但不同的 storage class 可以使用不同的描述,以區分不同的使用場景。 默認為?Kubernetas volume。
    • fsType:請求的默認文件系統類型。請注意,在 StorageOS 中用戶定義的規則可以覆蓋此值。默認為?ext4
    • adminSecretNamespace:API 配置 secret 所在的命名空間。如果設置了 adminSecretName,則是必需的。
    • adminSecretName:用于獲取 StorageOS API 憑證的 secret 名稱。如果未指定,則將嘗試默認值。

    StorageOS Kubernetes 卷插件可以使 Secret 對象來指定用于訪問 StorageOS API 的端點和憑據。 只有當默認值已被更改時,這才是必須的。 secret 必須使用?kubernetes.io/storageos?類型創建,如以下命令:

    kubectl create secret generic storageos-secret \ --type="kubernetes.io/storageos" \ --from-literal=apiAddress=tcp://localhost:5705 \ --from-literal=apiUsername=storageos \ --from-literal=apiPassword=storageos \ --namespace=default

    用于動態分配卷的 Secret 可以在任何名稱空間中創建,并通過?adminSecretNamespace?參數引用。 預先配置的卷使用的 Secret 必須在與引用它的 PVC 在相同的名稱空間中。

    本地

    FEATURE STATE:?Kubernetes v1.10?beta kind: StorageClass apiVersion: storage.k8s.io/v1 metadata:name: local-storage provisioner: kubernetes.io/no-provisioner volumeBindingMode: WaitForFirstConsumer

    本地卷還不支持動態分配,然而還是需要創建 StorageClass 以延遲卷綁定,直到完成 pod 的調度。這是由?WaitForFirstConsumer?卷綁定模式指定的。

    延遲卷綁定使得調度器在為 PersistentVolumeClaim 選擇一個合適的 PersistentVolume 時能考慮到所有 pod 的調度限制。

    轉載于:https://www.cnblogs.com/liyupi/p/11357596.html

    總結

    以上是生活随笔為你收集整理的k8s Storage Classes的全部內容,希望文章能夠幫你解決所遇到的問題。

    如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

    国产电影一区二区三区四区 | 色国产精品 | www.操.com| 久草网首页 | 黄色影院在线免费观看 | 色91在线 | 国产精品女主播一区二区三区 | 在线观看国产成人av片 | 国产中文欧美日韩在线 | 日韩.com| 操操操操网 | 狠狠狠色| 精品一区免费 | 国产精品男女视频 | 四虎免费在线观看视频 | 射久久久 | 91在线麻豆 | 在线观看视频国产 | 亚洲成色777777在线观看影院 | 黄色毛片视频免费观看中文 | 亚洲精品久久久蜜桃直播 | 蜜臀av夜夜澡人人爽人人桃色 | 久久免费视频5 | 久久久久久精 | 欧美一区二区精美视频 | 国产精品九九久久99视频 | 欧美大片大全 | 日韩黄色免费在线观看 | 国产美女黄网站免费 | 最近日本韩国中文字幕 | 4438全国亚洲精品在线观看视频 | av福利在线看 | 丝袜美女视频网站 | 久久久久久久亚洲精品 | 午夜精品一区二区三区在线 | 91亚瑟视频 | 天天干天天插伊人网 | 成年人视频在线观看免费 | 亚洲欧美日韩国产精品一区午夜 | av综合网址 | 精品自拍sae8—视频 | 婷婷激情av | 亚洲男女精品 | 欧美男同视频网站 | 午夜视频一区二区 | 久操中文字幕在线观看 | 亚洲天堂毛片 | 精品在线看 | 成年人在线免费看视频 | av色影院 | 欧美成天堂网地址 | 亚洲人成在线观看 | 久久夜色精品亚洲噜噜国4 午夜视频在线观看欧美 | 三级小视频在线观看 | 丁香在线| 久久久观看 | 黄在线免费看 | 国产黄色片免费在线观看 | 91视频在线免费看 | 在线 视频 一区二区 | 中文字幕中文字幕在线中文字幕三区 | 久久久久久久久久电影 | 久久综合电影 | 91在线免费公开视频 | 97视频在线免费 | 韩国av一区二区三区 | 日精品在线观看 | 欧美在线观看视频免费 | 国内精品久久久久久久久久久 | 韩国av不卡| 丁香婷婷久久 | 99久久99视频只有精品 | 成人在线免费视频观看 | 久久成人国产精品免费软件 | 天天色天天综合网 | www成人精品| 日韩综合一区二区三区 | 精品久久久久久亚洲 | 日本最新一区二区三区 | .精品久久久麻豆国产精品 亚洲va欧美 | 欧美日韩不卡在线视频 | 韩日精品视频 | 国产精品国产三级国产不产一地 | 国产原创在线 | 黄网av在线 | 久久精品久久精品久久精品 | 免费的黄色的网站 | 免费合欢视频成人app | 人人草人 | 69xxxx欧美 | 欧美一区二区在线刺激视频 | 操处女逼 | 99精品国产免费久久久久久下载 | 日本精品久久久久中文字幕 | 日韩在线精品 | 午夜 免费| 天天综合天天做天天综合 | 亚洲视频综合在线 | 日日夜夜艹| 亚洲欧美少妇 | 亚洲成人午夜在线 | 狠狠地操 | 玖玖爱在线观看 | 又黄又爽的免费高潮视频 | 婷婷综合久久 | 24小时日本在线www免费的 | 免费观看性生活大片3 | 日本夜夜草视频网站 | 国产高清在线精品 | 国产999精品久久久久久绿帽 | 日韩免费在线播放 | 日韩精品久久久久 | 九九久久国产精品 | 在线观看av中文字幕 | 黄色资源在线观看 | 热re99久久精品国产66热 | 国产成人免费在线观看 | 国产美女被啪进深处喷白浆视频 | 国产精品久久久久久吹潮天美传媒 | 中文字幕第一页在线播放 | 女女av在线 | 五月婷丁香网 | 亚洲免费精彩视频 | 91在线视频导航 | 欧美精品免费视频 | 日三级在线 | 欧美日韩一区二区视频在线观看 | 狠狠色噜噜狠狠狠狠2022 | 天天摸天天舔天天操 | 国产精品久久人 | 色婷婷视频| 91日本在线播放 | 久操伊人| 果冻av在线| 欧美精品久久久久久久久久久 | 精品国产一二区 | 欧美日韩一级久久久久久免费看 | 国产高清在线a视频大全 | 99久久这里有精品 | 97色在线观看免费视频 | 日本动漫做毛片一区二区 | 91视频 - 114av | 五月婷婷综合激情网 | 色在线视频| 最近能播放的中文字幕 | 欧美精品乱码99久久影院 | 久久免费影院 | 天天爽夜夜爽人人爽一区二区 | 欧美日韩国产精品久久 | 精品久久久国产 | 色婷婷六月天 | 91九色在线视频观看 | 久久爽久久爽久久av东京爽 | 草久久久 | 一级黄色片在线观看 | 国产精品一区专区欧美日韩 | 在线播放日韩av | 在线小视频你懂的 | 99久久国产免费,99久久国产免费大片 | 欧美性成人 | 免费成人黄色av | 久久中文网 | 欧美午夜激情网 | 久久久久免费精品国产 | 国产理伦在线 | 丁香色婷婷| 黄色av一区二区 | 精品国产一区二区久久 | 五月婷丁香 | 国产精品麻豆欧美日韩ww | 美女视频免费一区二区 | 日本成人中文字幕在线观看 | 黄色毛片网站在线观看 | 天天综合天天做 | 亚洲欧美日韩在线看 | 成人久久免费 | 午夜精品一区二区三区可下载 | 日韩电影中文字幕在线观看 | 天天干天天插伊人网 | www.五月天激情 | 久色婷婷 | 国内99视频 | 中文字幕在线看人 | 九九热精 | 激情影院在线观看 | 激情av资源网 | 日日碰狠狠添天天爽超碰97久久 | 国产精品99精品久久免费 | 中文字幕电影高清在线观看 | 丰满少妇麻豆av | 久青草视频在线观看 | 日韩在观看线 | 久久久久久久久久久黄色 | 欧美一级久久久 | 日韩高清成人在线 | 久久久精品一区二区三区 | 中文av字幕在线观看 | 国产一区欧美在线 | 精品视频在线免费观看 | 久久线视频 | 日韩欧美高清不卡 | 91在线欧美 | 中文字幕av免费观看 | 亚洲成人二区 | 又黄又刺激 | 午夜免费电影院 | 国产精品麻豆三级一区视频 | 综合精品久久 | 国产91电影在线观看 | 婷婷国产精品 | 麻豆成人精品 | av成人动漫在线观看 | 欧美日韩一区二区三区在线免费观看 | 国产精品四虎 | 欧女人精69xxxxxx | 日韩二区三区在线 | 天天操天| 91九色网站| 日韩毛片在线一区二区毛片 | 婷婷av色综合 | 亚洲狠狠操 | 久久久激情视频 | 国产午夜精品久久 | 91在线看黄 | 探花视频免费观看高清视频 | 日韩美视频 | 成年人免费av网站 | 国产99久久九九精品 | 日本久久影视 | 在线观看国产高清视频 | 日韩精品一区二区三区不卡 | 国产亚洲精品女人久久久久久 | 九九久久久久久久久激情 | 亚洲欧美日本A∨在线观看 青青河边草观看完整版高清 | 婷婷丁香激情 | 欧美日韩三级在线观看 | av在线小说| 伊人婷婷 | 国产免费久久 | 久久综合激情 | 97精品超碰一区二区三区 | 久久综合欧美精品亚洲一区 | 综合五月 | 狠狠插天天干 | 在线观看免费一级片 | 亚洲春色奇米影视 | 日韩精品视频在线观看免费 | 91欧美视频网站 | 热久久免费国产视频 | 日韩a免费| sm免费xx网站 | 成人网页在线免费观看 | 成人激情开心网 | 欧美专区国产专区 | 国产二区视频在线 | 欧美日本不卡视频 | 婷婷亚洲最大 | 国产成人精品一区二区三区免费 | 最新av在线免费观看 | 精品国产色 | 日日夜夜国产 | 久久网站最新地址 | 国产精品视频在线观看 | 91大神电影 | 成人免费视频播放 | www国产亚洲精品久久麻豆 | 色婷婷久久久 | 免费黄色在线网址 | 一级电影免费在线观看 | 天天天综合网 | 天天做天天爱天天综合网 | 久久人人爽av | 欧美另类性 | 国产精品99久久久久久久久 | 久久午夜国产精品 | 香蕉视频网站在线观看 | 日韩av一区二区在线 | 日韩精品久久中文字幕 | 手机版av在线 | 日本一区二区免费在线观看 | 欧美中文字幕久久 | av综合在线观看 | 中文字幕免费高清 | 97精品国产97久久久久久春色 | 亚洲无人区小视频 | 亚洲综合视频在线 | 欧美日韩中文在线观看 | 中国一区二区视频 | 色久综合| 中文字幕电影高清在线观看 | 97精品一区二区三区 | 精品国产电影一区二区 | 天天做天天干 | av电影免费观看 | 亚洲国产成人精品在线观看 | 日韩在线观看第一页 | 天天综合天天做 | 精品国自产在线观看 | 亚洲国产婷婷 | 日b黄色片 | 美女久久久 | 亚洲国内精品在线 | 亚洲精品黄网站 | 九九久久免费 | 在线亚洲午夜片av大片 | 欧美国产精品一区二区 | 国产视频综合在线 | 亚洲成a人片77777潘金莲 | www.超碰| 国产视频日韩视频欧美视频 | 国产午夜精品福利视频 | 亚洲精品视频久久 | 久久久久久国产精品 | 亚洲国产小视频在线观看 | 亚洲国产精品资源 | 久久久久蜜桃 | 9在线观看免费高清完整 | 亚洲精品男女 | 91丨九色丨国产丨porny精品 | 久久精品观看 | 国产亚洲综合精品 | 国产精品综合久久久 | 亚洲人在线| 欧美日韩一级久久久久久免费看 | 亚洲免费视频观看 | 成人免费一区二区三区在线观看 | 草免费视频 | 久久视奸 | 国产精品日韩久久久久 | 最近中文字幕mv免费高清在线 | 综合久久久久久 | 日韩精品一区二区三区免费视频观看 | 一区二区三区免费网站 | 不卡av在线| 国产一区视频在线 | 国产精品九九久久久久久久 | 国产精品成人自产拍在线观看 | 99久久久国产精品美女 | 久久精品一区二区三 | 在线视频精品播放 | 黄色一级在线免费观看 | 在线播放亚洲 | 五月婷婷导航 | 欧美 另类 交 | 天天碰天天操视频 | 婷婷六月天在线 | 欧美精品中文在线免费观看 | 久草干 | 日韩av电影中文字幕在线观看 | 黄色av电影在线观看 | 日日干激情五月 | 日本久久综合网 | 在线观看亚洲a | 麻豆91在线播放 | 午夜av不卡 | 亚洲视频网站在线观看 | 国产人在线成免费视频 | 夜夜嗨av色一区二区不卡 | 久久永久免费 | 婷婷成人在线 | 91色偷偷 | 久久精品7| 日本精品一区二区在线观看 | 天天射天天色天天干 | 久久久久亚洲天堂 | 精品专区 | 永久免费毛片在线观看 | 精品亚洲视频在线观看 | 狠狠的日 | 成年人免费在线 | 激情综合啪啪 | 99国产成+人+综合+亚洲 欧美 | 伊人久久av | 97超碰人人 | 婷婷色综合色 | 五月婷婷丁香六月 | 久久午夜精品 | 天天爱综合 | 麻豆视频免费入口 | 欧美日韩高清国产 | 国产精品视频专区 | 久久资源在线 | 粉嫩一二三区 | 草久在线 | 久久久久亚洲精品国产 | 日韩免费电影网站 | 欧美网址在线观看 | 91在线免费观看网站 | 亚洲精品在 | 欧美国产日韩一区 | 日韩精品视频免费在线观看 | 97超级碰碰碰碰久久久久 | 国产精品一区二区久久精品爱涩 | 超碰个人在线 | 欧美国产一区二区 | 日韩www在线 | 亚洲 欧美 成人 | 天天干天天射天天爽 | 国模一二三区 | 欧美 日韩精品 | 91精品国产乱码久久 | 新版资源中文在线观看 | 91九色视频网站 | 99久久99久久免费精品蜜臀 | 日韩精品一区二区三区在线播放 | 午夜精品久久久久99热app | 久久久久久亚洲精品 | www国产精品com | 久久激情小视频 | 在线观看免费av网站 | 欧美日韩免费在线观看视频 | 亚洲成成品网站 | 国内精品久久久久影院男同志 | 四虎影视成人永久免费观看视频 | 又湿又紧又大又爽a视频国产 | 欧美视频www| 亚洲人成影院在线 | 亚洲影视九九影院在线观看 | 亚洲综合五月 | 国产99久久九九精品免费 | 亚洲精品中文字幕视频 | 亚洲综合在线五月 | 日日夜夜人人精品 | 一区二区影院 | 亚洲老妇xxxxxx| 免费成人av| 欧美国产日韩一区二区三区 | 欧美另类xxx | 国产一线在线 | www.av免费 | 久久成人人人人精品欧 | 日本系列中文字幕 | 五月天天色 | 国产精品亚州 | 成人小视频在线免费观看 | 91最新网址在线观看 | 中文字幕丝袜一区二区 | 亚洲伦理一区二区 | 久久久99国产精品免费 | 亚洲国产精品va在线看黑人 | 超碰999| 在线播放日韩av | 毛片网免费 | 国产婷婷色| av免费网页 | av免费试看 | 国产精品毛片一区二区三区 | 91精品国产乱码久久 | 亚洲精品永久免费视频 | 国产精品自产拍在线观看桃花 | 亚洲一级免费电影 | 成人av一区二区兰花在线播放 | 黄色日批网站 | 九九热只有精品 | 伊人久久影视 | www黄色大片| 久草精品视频 | 少妇视频在线播放 | 日韩亚洲在线观看 | 狂野欧美激情性xxxx欧美 | 久久成人精品电影 | 亚洲影视九九影院在线观看 | 日本最新中文字幕 | 911av视频| 91在线看免费 | 狠狠狠色狠狠色综合 | 最近免费中文字幕 | 97超碰成人 | 中文字幕免费一区 | 999久久国产 | 91成人黄色 | 欧美日韩一级在线 | 欧美另类xxx | 日韩成人xxxx | 国产精品一区一区三区 | 五月天激情视频在线观看 | 亚洲免费av在线播放 | 中文字幕 国产专区 | 国产99久久久久久免费看 | 成年人电影免费看 | 国产精品自产拍在线观看网站 | 久久国产精品色婷婷 | 亚洲涩涩一区 | 天天色综合三 | 91传媒免费观看 | 婷婷去俺也去六月色 | 免费av片在线 | 国产免码va在线观看免费 | 亚洲国产三级在线 | 日韩色高清 | 久久社区视频 | 欧美精品在线视频观看 | 二区在线播放 | 久久免费高清 | www.国产高清 | 久久99国产精品久久 | 国产免费a | 91网免费观看 | 国产69精品久久99不卡的观看体验 | 精品产品国产在线不卡 | 欧美一区二区三区在线观看 | 探花视频在线观看免费版 | 日韩中文在线字幕 | 亚洲电影久久久 | 狠狠色香婷婷久久亚洲精品 | 色婷婷久久久综合中文字幕 | 欧美成a人片在线观看久 | 中文字幕中文 | 四虎永久网站 | 91亚洲狠狠婷婷综合久久久 | 激情丁香5月 | 国产综合精品久久 | 欧美 激情 国产 91 在线 | avhd高清在线谜片 | 18国产精品福利片久久婷 | 激情综合网天天干 | 国内精品久久久久久久影视麻豆 | 手机色在线 | 色黄久久久久久 | 999在线观看视频 | 亚洲最大在线视频 | 午夜av网站 | 国产精品综合久久 | 日韩一区二区三区高清在线观看 | 国产99久久99热这里精品5 | 精品国产自在精品国产精野外直播 | 国产不卡在线视频 | 日韩在线首页 | 天天爽综合网 | 国产亚洲精品成人av久久ww | 中文字幕av全部资源www中文字幕在线观看 | bayu135国产精品视频 | 国产淫片免费看 | 91精品久久久久久 | 在线免费av播放 | www.久久久.cum | 国产日本三级 | 精品国产一区二区三区在线观看 | 人人澡人人添人人爽一区二区 | 亚洲精品美女久久久久 | 国产精品日韩久久久久 | 97在线视频免费观看 | av蜜桃在线| 麻豆精品传媒视频 | 久久人人爽人人爽人人 | 久久中文字幕导航 | 国产精品日韩久久久久 | 欧美精选一区二区三区 | 尤物九九久久国产精品的分类 | 不卡av电影在线观看 | 欧美综合久久久 | 亚洲一区二区三区在线看 | 最近中文字幕完整高清 | 视频在线观看入口黄最新永久免费国产 | 亚洲精品456在线播放第一页 | 久久电影国产免费久久电影 | 欧美日韩免费一区二区三区 | 国产成人精品国内自产拍免费看 | 久久国产亚洲视频 | 欧美一级大片在线观看 | 国产一二三四在线观看视频 | 久久开心激情 | 日韩高清国产精品 | 91中文字幕永久在线 | 97国产视频| 久久国产精品成人免费浪潮 | 国产一区播放 | 国产亚洲精品久久久久久久久久久久 | 亚洲网久久 | 在线国产欧美 | 午夜视频在线观看欧美 | 国产午夜精品视频 | 久久国产精品99精国产 | 黄色免费看片网站 | 麻豆视频国产精品 | 首页av在线 | 久久久国产精品视频 | 一区二区三区四区精品 | 久久精品一区二区三区中文字幕 | 国产高清视频 | 草久久av | 高清av在线免费观看 | 国内视频1区 | 91丨porny丨九色| 国产69熟| 狠狠地操 | 欧美做受高潮1 | 99re国产 | 国产成人精品久久二区二区 | 在线va视频| 国产精品第一页在线观看 | 亚洲视频在线观看免费 | 最近免费观看的电影完整版 | 九九热精品视频在线播放 | 国产不卡毛片 | 久久国产精彩视频 | 成人h电影 | 国产精品a久久 | 日本最新高清不卡中文字幕 | 国产免费人成xvideos视频 | 午夜久久视频 | 国产又粗又猛又爽又黄的视频先 | 国产一区二区三区在线 | 91av九色| 91片网 | 国产精品永久在线 | 亚洲精品美女在线观看播放 | 国产亚洲精品久久久久久电影 | 日韩中文幕| 免费在线a| 国产亚洲精品久久久久久网站 | 日韩在线观看第一页 | 国产高清精品在线观看 | 91视频免费国产 | 日本中文乱码卡一卡二新区 | 1区2区视频 | 狠狠色丁香婷婷综合最新地址 | 超碰人人干人人 | 黄色成品视频 | 岛国大片免费视频 | 日韩精品久久久免费观看夜色 | 国产精品专区在线观看 | 日产乱码一二三区别在线 | 91av蜜桃 | 激情五月看片 | 在线免费观看黄色小说 | 国产专区在线看 | 91亚洲精品国偷拍 | 夜色资源站国产www在线视频 | 日韩精品免费一区二区在线观看 | 国产不卡毛片 | 免费一级日韩欧美性大片 | 91传媒在线| 日韩黄色免费电影 | 国产99精品在线观看 | 久久久影片 | www.久久色 | 99热精品久久 | 五月导航| 亚洲欧美国产精品va在线观看 | 国产盗摄精品一区二区 | 日韩欧美视频一区二区三区 | 人人射| 2022中文字幕在线观看 | av在线网站观看 | 免费亚洲一区二区 | www国产在线 | 亚洲第一区精品 | 99久久99视频只有精品 | 91在线资源 | 日韩一区二区三区免费视频 | 美女视频是黄的免费观看 | 国产丝袜高跟 | 国产福利91精品一区二区三区 | www.com在线观看 | 伊人国产女 | 色狠狠综合天天综合综合 | 麻豆精品视频在线观看免费 | 国产精品精 | 手机av网站 | 国产精品美女网站 | 亚洲一区二区天堂 | 久草观看| 天天天综合 | 在线观看黄 | 久久免费片 | 91丨精品丨蝌蚪丨白丝jk | 免费观看黄色12片一级视频 | 在线视频一二三 | 久久爱资源网 | 久久伊99综合婷婷久久伊 | 亚洲国产午夜精品 | 免费三级a | 久久久久久久久久久免费av | 黄色小网站在线观看 | 久久av免费| 人人插超碰 | 日韩精选在线观看 | 亚州精品国产 | 欧美国产日韩一区二区三区 | 国产中出在线观看 | 亚洲精品免费观看视频 | 人人插人人干 | 国产亚洲在线 | 在线观看成人小视频 | 日韩午夜电影院 | 国内精品二区 | 激情深爱| 日韩在线观看网址 | 久久国产香蕉视频 | 日韩电影中文字幕在线 | av 一区 二区 久久 | 国产一区视频在线播放 | 91在线看黄 | 欧美在线视频一区二区三区 | www国产亚洲 | 国产精品手机在线播放 | 久久久五月婷婷 | 91一区啪爱嗯打偷拍欧美 | 欧美精品中文在线免费观看 | 久久久亚洲精华液 | 免费看国产一级片 | 狠狠干狠狠艹 | 久久精品免费看 | 人人澡人人模 | 在线成人欧美 | 丁香一区二区 | 亚洲视频每日更新 | 激情在线网址 | 国产精品女人久久久久久 | 午夜久久福利视频 | 高清国产在线一区 | 天天干天天拍天天操天天拍 | 久久久免费视频播放 | 99久久精品久久亚洲精品 | 国产精品激情偷乱一区二区∴ | 香蕉视频在线免费看 | 91天堂在线观看 | 不卡av免费在线观看 | 久久精品99精品国产香蕉 | 日日干夜夜草 | 亚洲va天堂va欧美ⅴa在线 | 在线国产视频观看 | 黄色毛片一级片 | 久久夜靖品 | 91电影福利| 久久伊人精品天天 | 超碰在线公开 | 日韩在线看片 | 久久草网 | 夜夜夜夜猛噜噜噜噜噜初音未来 | 97在线免费 | 久久免费精品国产 | 91chinesexxx| 欧美日韩中文在线 | 日韩| 美女久久久久久久久久久 | 麻豆国产视频 | 精品视频久久久 | 久久久久国产精品免费免费搜索 | 亚洲乱亚洲乱妇 | 视频国产精品 | 成人av免费播放 | 国产99中文字幕 | 久久好看免费视频 | 久久激情五月婷婷 | 亚洲干视频在线观看 | 九九视频热 | 欧美成人aa | 麻豆va一区二区三区久久浪 | 天天爱天天草 | 日韩1页| 日韩欧美电影在线 | 免费黄a大片 | 蜜臀av在线一区二区三区 | 91chinesexxx| 色婷婷www | 超碰免费av | 人人看人人 | 日本深夜福利视频 | 中文字幕在线免费看 | 久草在在线 | 亚洲欧美日韩一二三区 | 国产高清精品在线 | 天天干天天射天天操 | 五月婷婷综合在线视频 | 国产精品一区二区在线 | 免费色黄 | 日韩一区二区三区高清在线观看 | 狠狠躁日日躁 | 欧美国产大片 | 久久久免费观看完整版 | 一区二区视频在线观看免费 | 中文字幕精品一区二区精品 | 国产黄色精品视频 | 国产精品久久片 | 欧美精品一区二区性色 | 国内精品久久久久久久久久久久 | 成人aⅴ视频 | 天天操天天操天天操天天 | 久久久久国产精品免费网站 | 天堂av一区二区 | 91精品视频一区二区三区 | 久草网在线观看 | www.久久久com | 国产成人免费在线 | 国产黄色一级大片 | 操操操日日日干干干 | 国产 日韩 欧美 自拍 | 国产精品久久久亚洲 | 美女免费黄网站 | 在线播放日韩 | 国产精品久久伊人 | 国产精品99在线播放 | 免费亚洲精品视频 | 成人三级网站在线观看 | 国产日韩中文字幕在线 | 色中色亚洲| 91成人精品在线 | 久久激五月天综合精品 | 500部大龄熟乱视频 欧美日本三级 | 成人黄色中文字幕 | 国产精品破处视频 | 91网免费看 | 美女久久久久久久 | 永久av免费在线观看 | 免费久久久 | 亚洲小视频在线观看 | 国产成人精品一区二区三区网站观看 | 99久久国产免费看 | 国产日韩亚洲 | 成人福利在线观看 | 日韩午夜电影院 | 久草香蕉在线 | 婷婷久久综合九色综合 | 亚洲资源在线网 | 婷婷综合视频 | 免费在线观看污网站 | 特级大胆西西4444www | 在线电影 你懂得 | 久久久久久国产精品亚洲78 | 97综合在线 | 天天射天天干天天插 | 在线不卡a| 黄色成人影院 | 人人爽人人爽人人爽学生一级 | 久久成人高清 | 欧美日韩高清一区二区 国产亚洲免费看 | 成人资源在线观看 | 免费人成在线观看网站 | 欧美精品在线观看免费 | 欧美坐爱视频 | 天天干天天射天天插 | 国产一区视频免费在线观看 | 欧美日在线观看 | 一区二区三区在线免费观看视频 | 在线看黄网站 | 国产日韩在线观看一区 | 国产麻豆果冻传媒在线观看 | 中文字幕第一页在线vr | 成人免费在线播放 | 伊人久久一区 | 日韩视频一 | 欧美国产日韩激情 | 欧美日韩裸体免费视频 | 黄色小说视频网站 | 亚洲丝袜一区二区 | 日本精品一区二区 | 伊人影院在线观看 | 91手机视频 | 亚洲91视频| 成人免费大片黄在线播放 | 亚洲欧美观看 | 日韩久久精品一区二区三区下载 | 色婷婷精品大在线视频 | 久久久久久久综合色一本 | av观看久久久 | www.国产高清 | 国产一级免费观看 | 日韩欧美一级二级 | 日韩在线 一区二区 | 国产精品久久精品 | 高清一区二区三区av | 丁香午夜 | 人人要人人澡人人爽人人dvd | h动漫中文字幕 | 天天干天天干天天干 | 精品一区二区亚洲 | 日韩一区二区三区观看 | 四虎国产精品成人免费影视 | 天天操天天插 | 99精品国产一区二区三区麻豆 | 中文字幕亚洲综合久久五月天色无吗'' | 日韩三级免费观看 | 精品亚洲成a人在线观看 | 久久久久久久久久久久久9999 | 99热国产精品 | 黄p网站在线观看 | 久久99九九99精品 | 国产精品久久久av | 欧美国产日韩在线观看 | 91亚洲狠狠婷婷综合久久久 | 婷婷电影在线观看 | 在线中文视频 | 久久国产露脸精品国产 | 日韩精品在线免费观看 | 一区二区三区四区五区在线 | 伊人久久婷婷 | 色婷婷激情 | 韩国av一区二区 | a黄色一级 | 国产精品久久久久久久久久尿 | 美女视频又黄又免费 | 最近中文字幕免费 | 久久久91精品国产一区二区精品 | 婷婷丁香花五月天 | 久久久性| 中文字幕第一页在线视频 | 国产亚洲视频中文字幕视频 | 天天av天天 | 久久av高清 | 久久久久久久久久免费视频 | 天天综合日日夜夜 | 国产精品视频免费看 | 成人动漫视频在线 | 国产高清视频免费最新在线 | www毛片com| 亚洲午夜av电影 | 久久艹欧美 | av中文字幕网址 | 国产美女永久免费 | 国产一级片久久 | 国内精品小视频 | 久久99国产精品视频 | 欧美精品一区二区三区一线天视频 | 黄色录像av | 天天干,夜夜爽 | 精品免费一区二区三区 | 在线之家免费在线观看电影 | 久久久成人精品 | 91香蕉视频色版 | 在线看毛片网站 | 日韩欧美国产激情在线播放 | 国产成人久久av | 97视频在线播放 | 成人一区二区三区中文字幕 | 亚洲视频免费视频 | 在线免费视频你懂的 | 又黄又刺激的网站 | 国产美女搞久久 | 在线免费高清一区二区三区 | 日本亚洲国产 | 色婷婷丁香 | 超碰97av在线 | 欧美精品一区二区在线播放 | 91丨九色丨国产在线 | 亚洲最新视频在线 | 91精品视频在线免费观看 | 国产丝袜一区二区三区 | 国产欧美最新羞羞视频在线观看 | 国产精品久久久久久超碰 | 欧美日韩在线观看一区二区三区 | 国产精品一区二区三区在线看 | 91视频免费网址 | 成人av网址大全 | 国产精品18久久久久vr手机版特色 | 麻花传媒mv免费观看 | 久久久久9999亚洲精品 | 国产免费久久久久 | 女人高潮一级片 | 亚洲国产小视频在线观看 | 精品国产成人在线 | 国产成人精品一区二区三区福利 | 国产99亚洲 | 狠狠狠狠狠狠狠狠 | 国产精品一区二区三区电影 | 日韩av片在线 | 97在线观看免费高清完整版在线观看 | 美女视频黄频大全免费 | 日本女人逼 | 国产69精品久久久久久久久久 | 国产精品中文字幕在线观看 | 天天操夜操 | 欧美精品亚洲二区 | 综合在线观看 | 在线a亚洲视频播放在线观看 | 中文电影网| 视频直播国产精品 | 天天色天天操综合 | 国产成人久久精品一区二区三区 | 色综合婷婷 | 欧美激情操 | 中文字幕一区二区在线播放 | 国产专区免费 | 精品视频免费观看 | 亚洲欧美视频在线播放 | 日韩福利在线观看 | 色悠悠久久综合 | 日韩精品亚洲专区在线观看 | 日韩免费视频一区二区 | 日日日视频| 99欧美精品 | 亚洲天天| 天天操天天操天天操天天操天天操天天操 | 国产中文字幕在线播放 | 久草a视频 | 免费黄色看片 | 18岁免费看片 | 国产精品一区二区果冻传媒 | 精品国产一区二区三区男人吃奶 | 日日夜日日干 | 国产精品成人在线观看 | 国产精品久久久久久久久久久不卡 | 不卡精品视频 | 国内精品视频久久 | 开心色激情网 | 中文字幕精品一区二区精品 | 免费成人看片 |