日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

尚硅谷k8s安装文档_Kubernetes(k8s)中文文档 从零开始k8s_Kubernetes中文社区

發布時間:2023/12/10 编程问答 45 豆豆
生活随笔 收集整理的這篇文章主要介紹了 尚硅谷k8s安装文档_Kubernetes(k8s)中文文档 从零开始k8s_Kubernetes中文社区 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

譯者:王樂

這部文檔是面對想要學習Kubernetes集群的讀者。如果你對入門指南已經可以滿足你對這個列表上所列的需求,我們建議你繼續閱讀這個,因為他是根據前人積累經驗所寫的新手指南。當然如果除了學習入門指南知識外還希望學習IaaS,網絡,配置管理或對操作系統有特殊要求,這個指南將會提供給學習者一個指導性的概述及思路。

設計和準備

學習

1. 你應該已經熟悉Kubernetes了。我們建議根據 其他入門指南架設一個臨時的集群。這樣可以幫助你先熟悉Kubernetes命令行(kubectl)和一些概念(pods, services, 等等)。

2. 當你瀏覽完其他入門指南的時候,你應該已經安裝好了 kubectl 。如果沒有,你可以根據這個說明安裝。

Cloud Provider

Kubernetes有一個概念叫Cloud Provider,是指一個提供管理TCP負載均衡,節點(實例)和路由器接口的模塊。 pkg/cloudprovider/cloud.go 里具體定義了這個接口。 當然,你也可以不用實現這個Cloud Provider去新建一個自定義的聚群(例如,使用裸機集群)。取決于不同部件是如何設置的,并不是所有接口都需要實現的。

node(節點)

你可以使用虛擬機或物理機。

為了運行本指南給出的例子和測試用例,你最好有4個節點以上。

雖說很多入門指南講主節點和普通節點做了區分,但嚴格意義上講,這不是必要的。

節點需要運行在x86_64的Linux系統上。當然也可能運行在其他的系統和CPU架構上,但這個指南不會提供相關的幫助。

對于一個擁有10個以上節點的集群來說,Apiserver和etcd可以一起安裝在一臺1核和1GB內存的機子上。

你可以給其他節點可以分配合理的內存和CPU內核。不是所有節點需要同樣的配置。

網絡

Kubernetes有一個獨特的網絡模型.

Kubernetes給每一個pod分配IP地址。當你新建一個集群,為了保證Pod獲得IP地址,你需要給Kubernetes分配一個IP地址池。最簡單的做法是每當節點與節點之間的通信可以以一下兩種方式實現:

(1)配置網絡完成Pod的IP地址路由

因為一切從頭開始,所以難度會大一些。

Google Compute Engine (GCE) 和 AWS會指導如何使用這種方式

需要編程配置路由器和交換機去實現Pod的IP地址路由。

可在Kubernetes環境外配置或者通過在Cloud Provider模塊的“路由”接口里實現。

通常情況下,提供最優網絡性能。

(2)建立一個拓撲網絡

較容易建立

因為數據流量被封裝,所以每個Pod的IP地址是可以路由的。

例如:

Flannel

Weave

Open vSwitch (OVS)

不需要CLoud Provider模塊里的“路由”部分

較為不太理想的性能(具體的性能弱化取決于你的實際情況)

你需要為Pod所需要的IP地址選一個IP地址范圍。

(3)一些可選擇配置方式:

GCE:每一個項目有一個自己的IP子網“10.0.0.0/8”。項目中的每一個Kubernetes集群從中獲得一個“/16”的子網。每一個節點從’/16’的子網里獲IP地址。

AWS:在一個組織內使用一個VPC。從中分配地址給每一個聚群或者使用給不同的集群分配不同的VPC。

暫不支持支持IPv6

(4)給每一的node的Pod地址分配一個CIDR子網或者一個

你總共需要max-pods-per-node * max-number-of-nodes個IP地址。一個“/24” 如果缺少IP地址,一個“/26”(62個節點)或者“/27”(30個節點)也能滿足。

例如,使用“10.10.0.0/16” “10.10.0.0/24” “10.10.255.0/24”

需要路由設置或連接到拓撲網絡

Kubernetes 會給每個service分配一個IP地址。 但是service的地址并不一定是可路由的。當數據離開節點時,kube-proxy需要將Service IP地址翻譯成Pod IP地址。因此,你需要給Service也分配一個地址段。這個網段叫做“SERVICE_CLUSTER_IP_RANGE”。例如,你可以這樣設置“SERVICE_CLUSTER_IP_RANGE=”10.0.0.0/16”,這樣的話就會允許65534個不同的Service同時運行。請注意,你可以調整這個IP地址段。但不允許在Service和Pod運行的時候移除這個網段。

同樣,你需要為主節點選一個靜態IP地址。 -命名這個IP地址為“MASTER_IP”。 -配置防火墻,從而允許訪問apiserver端口80和443。 -使用sysctl設置”net.ipv4.ip_forward = 1“從而開啟IPv4 forwarding。

集群命名

為你的集群選個名字。要選一個簡短不會和其他服務重復的名字。

用kubectl來訪問不同的集群。比如當你想在其他的區域測試新的Kubernetes版本。

Kubernetes集群可以建立一個Cloud Provider資源(例如,AWS ELB)。所以不同的集群要能區分他們之間的相關資源,這個名字叫做“CLUSTERNAME”。

軟件安裝包

你需要以下安裝包

etcd

以下容器二選一:

docker

rkt

Kubernetes

kubelet

kube-proxy

kube-apiserver

kube-controller-manager

kube-scheduler

下載和解壓縮Kubernetes安裝

Kubernets安裝版本包包含所有Kuberentes的二進制發行版本和所對應的etcd。你可使直接使用這個二進制發行版本(推薦)或者按照開發者文檔說明編譯這些Kubernetes的二進制文件。 本指南只講述了如何直接使用二進制發行版本。 下載最新安裝版本并解壓縮。之后找到你下載“./kubernetes/server/kubernetes-server-linux-amd64.tar.gz”的路徑, 并解壓縮這個壓縮包。然后在其中找到“./kubernetes/server/bin”文件夾。里面有所所需的可運行的二進制文件。

選擇安裝鏡像

在容器外運行docker,kuberlet和kube-proxy,就像你運行任何后臺系統程序。所以你只需要這些基本的二進制運行文件。etcd, kube-apiserver, kube-controller-manager和kubescheduler,我們建議你在容器里運行etcd, kube-apiserver, kube-controller-manager和kube-scheduler。所以你需要他們的容器鏡像。 你可以選擇不同的Kubernetes鏡像:

你可以使用Google Container Registry (GCR)上的鏡像文件:

例如“gcr.io/google_containers/hyperkube:$TAG”。這里的“TAG”是指最新的發行版本的標示。這個表示可以從最新發行說明找到。

確定$TAG和你使用的kubelet,kube-proxy的標簽是一致的。

hyperkube是一個集成二進制運行文件

你可以使用“hyperkube kubelet …”來啟動kubelet ,用“hyperkube apiserver …”運行apiserver, 等等。

生成你自己的鏡像:

使用私有鏡像服務器。

例如,可以使用“docker load -i kube-apiserver.tar”將“./kubernetes/server/bin/kubeapiserver.tar”文件轉化成dokcer鏡像。

之后可使用“docker images”來驗證鏡像是否從制定的鏡像服務器加載成功。

對于etcd,你可以:

使用上Google Container Registry (GCR)的鏡像,例如“gcr.io/google_containers/etcd:2.0.12”

使用Docker Hub或著Quay.io上的鏡像,例如“quay.io/coreos/etcd:v2.2.0”

使用你操作系統自帶的etcd

自己編譯

你可以使用這個命令行“cd kubernetes/cluster/images/etcd; make”

我們建議你使用Kubernetes發行版本里提供的etcd版本。Kubernetes發行版本里的二進制運行文件只是和這個版本的etcd測試過。你可以在“kubernetes/cluster/images/etcd/Makefile”里“ETCD_VERSION”所對應的值找到所推薦的版本號。 接下來本文檔會假設你已經選好鏡像標示并設置了對應的環境變量。 設置好了最新的標示和正確的鏡像服務器:

“HYPERKUBE_IMAGE==gcr.io/google_containers/hyperkube:$TAG”

“ETCD_IMAGE=gcr.io/google_containers/etcd:$ETCD_VERSION”

安全模式

這里有兩種主要的安全選項:

使用HTTP訪問apiserver

配合使用防火墻。

這種方法比較易用。

使用HTTPS訪問apiserver

配合電子證書和用戶登錄信息使用。

推薦使用

設置電子證書較為復雜。

如果要用HTTPS這個方式,你需要準備電子證書和用戶登錄信息。

準備安全證書

你需要準備多個證書:

主節點會是一個HTTPS服務器,所以需要一個證書。

如果Kuberlets需要通過HTTPS提供API服務時,這些kuberlets需要出示證書向主節點證明主從關系。

除非你決定要一個真正CA來生成這些證書的話,你需要一個根證書,并用這個證書來給主節點,kuberlet和kubectl的證書簽名。

參見“cluster/gce/util.sh”腳本里的“create-certs”

并參見“cluster/saltbase/salt/generate-cert/make-ca-cert.sh”和cluster/saltbase/salt/generate-cert/make-cert.sh“

你需要修改以下部分(我們之后也會用到這些參數的)

”CA_CERT“

放置在apiserver所運行的節點上,比如“/srv/kubernetes/ca.crt”。

“MASTER_CERT”

用CA_CERT來簽名

放置在apiserver所運行的節點上,比如”/srv/kubernetes/server.crt”。

“MASTER_KEY“

放置在apiserver所運行的節點上,比如”/srv/kubernetes/server.key“。

“KUBELET_CERT”

可選配置

”KUBELET_KEY“

可選配置

準備登錄信息

管理員(及任何用戶)需要:

對應驗證身份的令牌或密碼。

令牌可以是長字符串,比如 32個字符

可參見”TOKEN=$(dd if=/dev/urandom bs=128 count=1 2>/dev/null | base64 | tr -d”=+/” | dd bs=32 count=1 2>/dev/null)““

你的令牌和密碼需要保存在apiserver上的一個文件里。本指南使用這個文件”/var/lib/kubeapiserver/known_tokens.csv“。文件的具體格式在認證文檔里描述了。 至于如何把登錄信息分發給用戶,Kubernetes是將登錄信息放入kubeconfig文件里。

管理員可以按如下步驟創建kubeconfig文件:

如果你已經在非客制化的集群上運行過Kubernetes(例如,按照入門指南架設過Kubernetes),那么你已經有“$HOME/.kube/config`”文件了。

你需要在kuberconfig文件里添加證書,密鑰和主節點IP:

1、如果你選擇了“firewall-only”的安全設置,你需要按如下設置apiserver:

2、“kubectl config set-cluster $CLUSTER_NAME –server=http://$MASTER_IP –insecure-skip-tls-verify=true”

3、否則,按如下設置你的apiserver的IP,證書,用戶登錄信息:

4、“kubectl config set-cluster $CLUSTER_NAME –certificate-authority=$CA_CERT –embed-certs=true –server=https://$MASTER_IP”

5、“kubectl config set-credentials $USER –client-certificate=$CLI_CERT –clientkey=$CLI_KEY –embed-certs=true –token=$TOKEN”

6、設置你的集群為缺省集群:

7、“kubectl config set-context $CONTEXT_NAME –cluster=$CLUSTER_NAME –user=$USER”

8、“kubectl config use-context $CONTEXT_NAME”

接下來,為kubelets和kube-proxy準備kubeconfig文件。至于要準備多少不同的文件,這里有幾個選項:

1. 使用和管理員同樣的登陸賬號

這是最簡單的建設方法。

2. 所有的kubelet使用同一個令牌和kubeconfig文件,另外一套給所有的kube-proxy使用,在一套給管理員使用。

這個設置和GCE的配置類似。

3. 為每一個kubelet,kube-proxy和管理員準備不同的登陸賬號。

這個配置在實現中,目前還不支持。

為了生成這個文件,你可以參照“cluster/gce/configure-vm.sh”中的代碼直接從“$HOME/.kube/config”拷貝過去或者參考以下模版:

apiVersion: v1

kind: Config

users:

- name: kubelet

user:

token: ${KUBELET_TOKEN}

clusters:

- name: local

cluster:

certificate-authority-data: ${CA_CERT_BASE64_ENCODED}

contexts:

- context:

cluster: local

user: kubelet

name: service-account-context

current-context: service-account-context

把kubeconfig文件放置到每一個節點上。本章節之后的事例會假設kubeconfig文件已經放置在“/var/lib/kube-proxy/kubeconfig”和“/var/lib/kubelet/kubeconfig”里。

在節點上配置和安裝基礎軟件

這個章節討論的是如歌配置Kubernetes節點。 你應該在每個節點運行三個后臺進程:

docker or rkt

kubelet *kube-proxy

Docker容器

對最低Docker版本的要求是隨著kubelet的版本變化的。最新的穩定版本通常是個好選擇。如果版本太低,Kubelet記錄下警報并拒絕運行pod,所以你可以選擇個版本試一下。

如果你之前安裝Docker的節點沒有Kubernetes相關的配置,你可能已經有Docker新建的網橋和iptables的規則。所以你或許希望在為Kubernetes配置Docker前根據以下命令移除之前的配置。

iptables -t nat -F

ifconfig docker0 down

brctl delbr docker0

如何配置Docker取決于你網絡是基于routable-vip還是overlay-network。 這里有一些建議的Docker選項:

為每一個節點的CIDR網斷建立你自己的網橋,命名為cbr0并為docker設置 –bridge=cbr0 。

配置 –iptables=false ,所以docker不會為host-port設置iptables(這個控制在docker舊版本不夠細致,以后會在新版本里修復)

所以kube-proxy可以代替docker來設置iptables。

–ip-masq=false

如果你將PodIP設置為可路由尋址,你會希望將這個選項設置為false。否則,docker會將NodeIP重寫為PodIP的源地址。

一些環境(例如,GCE)下需要偽裝(masquerade)離開這個云環境的流量。這個配置是取決于具體的云環境的。

如果你在使用overlay網絡,請參考其他資料。

–mtu=

但使用Flannel的時候,需要這個選項。 因為UDP包封裝造成過大的數據包。

–insecure-registry $CLUSTER_SUBNET

為鏈接沒有SSL安全鏈接的私有registry。

你或許希望為Docker提高可以打開文件的數目:

DOCKER_NOFILE=1000000 這里的設置取決于你的節點的操作系統。比如,GCE上基于Debian的發行版本使用 /etc/default/docker 這個配置文件。

在進行下一步安裝前,可以參考Docker文檔里的實例來確保docker在你的系統上正常工作。

rkt

rkt是類似Docker的技術。你只需要二選一安裝Docker或者rkt。最低的版本是v0.5.6。

systemd是在節點上運行rkt必須的。與rkt v0.5.6所對應的最低版本是systemd 215。

rkt metadata service也是必須安裝的,來支持rtk的網絡部分。你可以用以下命令來運行rkt的metadata服務 sudo systemd-run rkt metadata-service

接下來你需要來設置kubelet的標記:

--container-runtime=rkt

kubelet

所有的節點都要運行kubelet。

可參考的參數:

如果選擇HTTPS的安全配置:

–api-servers=https://$MASTER_IP

–kubeconfig=/var/lib/kubelet/kubeconfig

否則,使用防火墻的安全配置:

–api-servers=http://$MASTER_IP

–config=/etc/kubernetes/manifests

–cluster-dns= 是用來配置DNS服務器的地址(參考Starting Addons.)

–cluster-domain= 是為DNS集群地址使用的DNS域名前綴。

–docker-root=

–root-dir=

–configure-cbr0= (參考之前的介紹)

–register-node (參考章節節點.)

kube-proxy

所有的節點都要運行kube-proxy。(并不一定要在主節點上運行kube-proxy,但最好還是與其它節點保持一致) 可參考如何獲得kubelet二進制運行包來獲得kube-proxy二進制運行包。

可參考的參數

如果選擇HTTPS的安全配置

–api-servers=https://$MASTER_IP

–kubeconfig=/var/lib/kube-proxy/kubeconfig

否則,使用防火墻的安全配置:

–api-servers=http://$MASTER_IP

網絡

為了pod的網絡通信,需要給每一個節點分配一個自己的CIDR網段。這個叫做 NODE_X_POD_CIDR 。

需要給每一個節點新建一個叫 cbr0 網橋。網橋會在networking documentation里做詳細介紹。約定俗成,$NODE_X_POD_CIDR 里的第一個IP地址作為這個網橋的IP地址。這個地址叫做 NODE_X_BRIDGE_ADDR 。比如, NODE_X_POD_CIDR 是 10.0.0.0/16 ,那么 NODE_X_BRIDGE_ADDR 是 10.0.0.1/16 。注意:這里用 /16 這個后綴是因為之后也會這么使用。

推薦的自動化步驟:

1. 在初始化的腳本里,設置kubelet的選項為 –configure-cbr0=true ,并重啟kubelet服務。Kubelet會自動設置cobr0. 它會一直等待,直到節點controller正確設置Node.Spec.PodCIDR。因為你目前還沒有設置好apiserver和節點controller,所以網橋不會馬上完成設置。

人工步驟:

1. 設置kubelet的選項 –configure-cbr0=false ,并重啟kubelet。

2. 新建網橋比如 brctl addbr cbr0 .

3. 設定合適的MTU

比如 ip link set dev cbr0 mtu 1460 (注意: 真實的MTU值是由你的網絡環境所決定的)

4. 把集群網絡加入網橋(docker會連接在這個網橋的另一端)。

比如 ip addr add $NODE_X_BRIDGE_ADDR dev cbr0

5. 開啟網橋

比如 ip link set dev cbr0 up

在你關閉了Docker的IP偽裝的情況下,為了讓pod之間相互通信,你可能需要為去往集群網絡外的流量做目的IP地址偽裝,例如:

iptables -t nat -A POSTROUTING ! -d ${CLUSTER_SUBNET} -m addrtype ! --dst-type LOCAL -jMASQUERADE

這樣會重寫從PodIP到節點IP的數據流量的原地址。內核connection tracking會確保發向節點的回復能夠到達pod。

注意: 需不需要IP地址偽裝是視環境而定的。在一些環境下是不需要IP偽裝的。例如GCE這樣的環境從pod發出的數據是不允許發向Interent的,但如果在同一個GCE項目里是不會有問題的。

其他

如果需要,為你的系統安裝包管理器開啟自動升級。

為所有的節點設置日志輪詢(比如,使用logrotate)。

建立liveness-monitoring (比如,使用monit)。

建立存儲插件的支持(可選)

為可選的存儲類型安裝所需的客戶端程序,比如為GlusterFS安裝 glusterfsclient。

使用配置管理工具

之前架設服務器的步驟都是使用“傳統”的系統管理方式。你可以嘗試使用系統配置工具來自動化架設流程。你可以參考其他入門指南,比如使用Saltstack, Ansible, Juju和CoreOSCloud Config。

引導安裝集群

通常情況下,基本的節點服務(kubelet, kube-proxy和docker)都是由傳統的系統配置方式完成建立和管理的。其他的Kubernetes的相關部分都是由Kubernetes本身來完成配置和管理的:

配置和管理的選項在Pod spec(yaml or json)而不是/etc/init.d文件或systemd unit里定義的。

他們都是由Kubernetes而不是init來負責運行的。

etcd

你需要運行一個或多個etcd實例。

推薦方式: 運行一個etcd實例,將日志保存在類似RAID,GCE PD的永久存儲空間上。

或者: 運行3個或者5個etcd實例。

日志可以保存在 Log can be written to non-durable storage because storage isreplicated.

運行一個apiserver,這個apiserver連接到其中一個etc實例上。 參見clustertroubleshooting

獲取更多的有關集群可用性的信息。

啟動一個etcd實例:

1.復制 cluster/saltbase/salt/etcd/etcd.manifest 2.做有必要的設置修改 3.將這個文件放到kubelet mainfest的文件夾中

Apiserver,Controller Manager和Scheduler

在主節點上,apiserver,controller manager,scheduler會運行在各自的pod里。

啟動以上三個服務的步驟大同小異:

1. 從為pod所提供的template開始。

2. 設置 HYPERKUBE_IMAGE 的值為選擇安裝鏡像中所設置的值。

3. 可參考以下的template來決定你集群所需的選項。

4. 在 commands 列表里設置所需的運行選項(例如,$ARGN)。

5. 將完成的template放在kubelet manifest的文件夾內。

6. 驗證pod是否運行。

Apiserver pod模版

{

"kind": "Pod",

"apiVersion": "v1",

"metadata": {

"name": "kube-apiserver"

},

"spec": {

"hostNetwork": true,

"containers": [

{

"name": "kube-apiserver",

"image": "${HYPERKUBE_IMAGE}",

"command": [

"/hyperkube",

"apiserver",

"$ARG1",

"$ARG2",

...

"$ARGN"

],

"ports": [

{

"name": "https",

"hostPort": 443,

"containerPort": 443

},

{

"name": "local",

"hostPort": 8080,

"containerPort": 8080

}

],

"volumeMounts": [

{

"name": "srvkube",

"mountPath": "/srv/kubernetes",

"readOnly": true

},

{

"name": "etcssl",

"mountPath": "/etc/ssl",

"readOnly": true

}

],

"livenessProbe": {

"httpGet": {

"path": "/healthz",

"port": 8080

},

"initialDelaySeconds": 15,

"timeoutSeconds": 15

}

}

],

"volumes": [

{

"name": "srvkube",

"hostPath": {

}

},

{

"name": "etcssl",

"hostPath": {

"path": "/etc/ssl"

}

}

]

}

}

可選設置的apiserver的選項:

–cloud-provider= 參見 cloud providers

-cloud-config= 參見 cloud providers

如果你想在主節點運行proxy,你需要設置 —address=${MASTER_IP} 或者 –bindaddress=127.0.0.1 和 –address=127.0.0.1 。

–cluster-name=$CLUSTER_NAME

–service-cluster-ip-range=$SERVICE_CLUSTER_IP_RANGE

–etcd-servers=http://127.0.0.1:4001

–tls-cert-file=/srv/kubernetes/server.cert

–tls-private-key-file=/srv/kubernetes/server.key

–admission-control=$RECOMMENDED_LIST

參考 admission controllers.

只有當你相信你的集群用戶可以使用root權限來運行pod時,開啟這個選項 –allowprivileged=true ,

如果你是按照firewall-only的安全方式來配置的,你需要以下設置:

–token-auth-file=/dev/null

—insecure-bind-address=$MASTER_IP

–advertise-address=$MASTER_IP

如果你是按照HTTPS的安全方式來配置的,你需要以下設置:

–client-ca-file=/srv/kubernetes/ca.crt

–token-auth-file=/srv/kubernetes/known_tokens.csv

–basic-auth-file=/srv/kubernetes/basic_auth.csv

這個pod使用 hostPath 加載多個節點文件系統目錄。這些加載的目錄的用途是:

加載 /etc/ssl 目錄可以允許apiserver找到SSL根證書,從而驗證例如云服務提供商所提供的外部服務。

如果你不使用任何云服務提供商,你就不需要配置這里(比如,只使用物理裸機)。

加載 /srv/kubernetes 目錄可以允許讀取存儲在節點磁盤上的證書和認證信息。

可選, 你也可以加在 /var/log 目錄從而將日志記錄在這個目錄里(沒有在template里舉例標明)。

如果你想用類似journalctl的工具從根文件系統來訪問日志的話,可以加載這個目錄。 TODO 描述如何架設proxy-ssh。

Cloud Providers

Apiserver支持多個cloud providers。

–cloud-provider 選項的值可以

是 aws , gce , mesos , openshift , ovirt , rackspace , vagrant 或者不′未設置。

未設置選項可以用來設置物理裸機。

在這里添加新的IaaS。

一些cloud providers需要配置文件。這種情況下,你需要將配置文件放置在apiserver的鏡像中或者通過 hostPath 來加載。

如果cloud providers需要配置文件,設置 —cloud-config= 這個選項。

aws , gce , mesos , openshift , ovirt 和 rackspace 會使用到這個選項。

你必須需要將配置文件放置在apiserver的鏡像中或者通過 hostPath 來加載。

云配置文件的語法Gcfg。

AWS格式是用類型來定義的AWSCloudConfig。

其他的云服務提供商也有類似的對應文件。

比如在GCE里: 在這個文件找 gce.conf 字節。

Scheduler pod template

完成scheduler pod的template:

{

"kind": "Pod",

"apiVersion": "v1",

"metadata": {

"name": "kube-scheduler"

},

"spec": {

"hostNetwork": true,

"containers": [

{

"name": "kube-scheduler",

"image": "$HYBERKUBE_IMAGE",

"command": [

"/hyperkube",

"scheduler",

"--master=127.0.0.1:8080",

"$SCHEDULER_FLAG1",

...

"$SCHEDULER_FLAGN"

],

"livenessProbe": {

"httpGet": {

"host" : "127.0.0.1",

"path": "/healthz",

"port": 10251

},

"initialDelaySeconds": 15,

"timeoutSeconds": 15

}

}

]

}

}

通常,不需要額外設置scheduler。

你或許想加載 /var/log 并將輸出記錄在這個日志目錄里。

Controller Manager Template

完成controller manager pod的template:

{

"kind": "Pod",

"apiVersion": "v1",

"metadata": {

"name": "kube-controller-manager"

},"spec": {

"hostNetwork": true,

"containers": [

{

"name": "kube-controller-manager",

"image": "$HYPERKUBE_IMAGE",

"command": [

"/hyperkube",

"controller-manager",

"$CNTRLMNGR_FLAG1",

...

"$CNTRLMNGR_FLAGN"

],

"volumeMounts": [

{

"name": "srvkube",

"mountPath": "/srv/kubernetes",

"readOnly": true

},

{

"name": "etcssl",

"mountPath": "/etc/ssl",

"readOnly": true

}

],

"livenessProbe": {

"httpGet": {

"host": "127.0.0.1",

"path": "/healthz",

"port": 10252

},

"initialDelaySeconds": 15,

"timeoutSeconds": 15

}

}

],

"volumes": [

{

"name": "srvkube",

"hostPath": {

"path": "/srv/kubernetes"

}

},

{

"name": "etcssl",

"hostPath": {

"path": "/etc/ssl"

}

}

]

}

}

配合controller manager所使用的選項:

–cluster-name=$CLUSTER_NAME

—cluster-cidr=

TODO: 解釋這個選項

–allocate-node-cidrs=

TODO: 解釋這個選項

–cloud-provider= 和 –cloud-config 在apiserver章節里解釋過。

–service-account-private-key-file=/srv/kubernetes/server.key ,這個值是service

account功能所使用的。

–master=127.0.0.1:8080

運行和驗證Apiserver,Scheduler和Controller Manager

將每個完成的pod template放置在kubelet的配置文件夾中(文件夾地址是在kubelet的 –config= 選項所指向的地址, 通常是 /etc/kubernetes/manifests )。沒有放置順序關系:scheduler和controller manager會一直嘗試連接到apiserver,直到連接成功。

用 ps 或者 docker ps 來檢測每一個進程是否正常運行。 比如,你可以這樣看apiserver的容器是否被kubelet啟動了:

$ sudo docker ps | grep apiserver:

5783290746d5 gcr.io/google_containers/kube-apiserver:e36bf367342b5a80d7467fd7611ad873........

之后嘗試連接apiserver:

$ echo $(curl -s http://localhost:8080/healthz)

ok

$ curl -s http://localhost:8080/api

{

"versions": [

"v1"

]

}

如果kubelets使用 –register-node=true 這個選項,他們會開始自動注冊到apiserver上。很快,你就可以使用 kubectl get nodes 命令看到所有的節點。否則,你需要手動注冊這些節點。

日志

TODO 如何開啟日志。

監控

TODO 如何開啟監控。

DNS

TODO 如何運行DNS。

故障排除

運行validate-cluster

TODO 解釋如何運行“cluster/validate-cluster.sh”。

檢查pods和services

你可以嘗試這閱讀“檢查的集群”這一節,例如GCE。你應該檢查Service。通過“mirro pods”去檢查apiserver,scehduler和controller-manager以及運行的插件。

例子

到這里你應該能夠運行一些基本的實例了,例如nginx example。

運行測試

你可以試著運行一致性測試. 測試失敗的結果可能會給你些排除故障的線索。

網絡

節點之間必須用私有IP鏈接。可以通過ping或者SSH來確定節點之間的聯通。

總結

以上是生活随笔為你收集整理的尚硅谷k8s安装文档_Kubernetes(k8s)中文文档 从零开始k8s_Kubernetes中文社区的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

精品亚洲欧美一区 | 色综合综合| aaa毛片视频| 久久九九免费视频 | 欧美另类高清 | 久久69av | 日韩欧美视频在线观看免费 | 欧美性黄网官网 | 日韩三级免费观看 | 狠狠的干狠狠的操 | 国产999精品久久久久久绿帽 | 亚洲欧洲视频 | 人人添人人澡人人澡人人人爽 | 色多多视频在线观看 | 日韩欧美精品一区二区三区经典 | 免费激情在线电影 | 免费福利视频导航 | 午夜999 | 国产一区国产精品 | 99热国产在线中文 | 中文字幕中文字幕在线中文字幕三区 | 国产一级视频在线 | 久久免费黄色网址 | 亚洲精选99| 狠狠色综合网站久久久久久久 | 日韩中字在线观看 | 国产精品毛片一区视频播不卡 | 麻豆精品传媒视频 | 色视频在线免费观看 | 久久国产精品影片 | 国产欧美高清 | 亚洲最大免费成人网 | 日日爱av | 中文字幕成人 | 亚洲黄色av网址 | 欧美在线观看视频 | 精品久久久久久久久久久久久久久久久久 | 91麻豆精品国产91久久久久久久久 | 久久免费影院 | 99性视频 | 久久久精品高清 | 美女网站在线看 | 久久一区91 | 99爱视频 | 免费在线一区二区 | 成年免费在线视频 | 成人在线免费av | 在线播放国产精品 | 国产精品九九九九九 | 91精品久久久久久久久久入口 | 激情久久久久久久久久久久久久久久 | 国产乱对白刺激视频在线观看女王 | 久久久久久久影视 | 国产日本亚洲 | 国产中文字幕一区二区三区 | 在线观看日本高清mv视频 | 麻豆一区二区三区视频 | 午夜精品一区二区三区免费 | av片一区 | 国产一级免费电影 | 成人在线观看资源 | 日韩精品视频在线观看网址 | 久久国际影院 | 97色免费视频 | 精品国产1区 | 日韩av不卡播放 | 免费在线激情视频 | av黄色影院 | 中文字幕av免费 | 91精彩视频在线观看 | 91色亚洲 | 国内久久久久 | 久久99久久99精品免观看软件 | 日韩精品aaa| 欧美精品乱码99久久影院 | 亚洲精品国产精品国产 | 五月婷婷在线观看 | 精品国产1区2区3区 国产欧美精品在线观看 | 伊人色综合久久天天 | 啪啪动态视频 | 亚洲一级二级三级 | 亚洲免费在线观看视频 | 日韩免费在线网站 | 久久黄色小说视频 | 人人要人人澡人人爽人人dvd | 成人综合婷婷国产精品久久免费 | 不卡日韩av| 91精品视频免费看 | 青青啪| 欧洲精品码一区二区三区免费看 | 波多野结衣视频在线 | 天天综合网 天天综合色 | 97超碰在线视 | 99爱在线观看 | 美女视频一区二区 | 69久久99精品久久久久婷婷 | 欧美精品成人在线 | 日日干 天天干 | 狠狠干天天 | 免费在线播放视频 | 国产精品视频你懂的 | 久久久视屏 | 黄色影院在线免费观看 | 国产成人久久av | 久久美女视频 | 99国内精品久久久久久久 | 免费成人在线电影 | 91视频成人免费 | av线上看 | 天堂网一区 | 91完整视频 | 国产精品美女久久久久久 | 久久热亚洲 | 日日爽天天爽 | 亚洲视频国产 | 午夜精品区 | 天堂av在线网址 | 日韩欧美在线综合网 | 91av网址 | 免费视频二区 | 免费av黄色 | 国产成人一区二区三区影院在线 | 日日操狠狠干 | 国产黄色av | 波多野结衣理论片 | 国精产品999国精产品视频 | 国产亚洲精品久久久久久久久久 | 久草观看视频 | 久精品一区 | 久久99久国产精品黄毛片入口 | 91精品老司机久久一区啪 | 久久人人爽人人爽人人 | 日本少妇高清做爰视频 | 在线观看视频福利 | 国产精品毛片一区二区在线 | 精品久久久久国产 | 狠狠躁日日躁狂躁夜夜躁 | 精品久久久久久久 | 国产精品久久久久av免费 | 欧日韩在线视频 | 深爱激情站 | 久久久久久影视 | 六月婷婷久香在线视频 | 日本资源中文字幕在线 | 日韩视频免费看 | 国产淫a| 亚洲日本成人网 | 久草观看视频 | 夜夜躁狠狠躁日日躁 | 国产一区自拍视频 | 高清一区二区 | 亚洲精品小视频 | 国产1区2区 | 国产成人久久精品一区二区三区 | 在线观看亚洲视频 | 久久久一本精品99久久精品66 | 99在线精品视频在线观看 | 五月激情综合婷婷 | 麻豆视频免费入口 | 美女久久久 | 国产成人三级一区二区在线观看一 | 久久婷婷网 | 91福利影院在线观看 | 7799av| 天天综合网久久 | 久久高清国产视频 | 毛片视频网址 | 高清av影院 | 国产成人免费高清 | 日韩a免费| 成人av电影在线播放 | 麻豆久久精品 | 欧美疯狂性受xxxxx另类 | 国产成人精品在线 | 国产成人精品久久 | 18pao国产成视频永久免费 | 四虎永久视频 | 五月天开心 | 2022国产精品视频 | 免费视频你懂的 | 在线成人av | 人人澡澡人人 | 91九色国产蝌蚪 | 亚洲激情综合 | 国产亚洲精品久 | 免费网站黄色 | 国产精品福利在线 | 在线国产视频 | 日日干天天爽 | 久久成人资源 | 国产手机视频精品 | 99热这里只有精品8 久久综合毛片 | 中文字幕在线播放日韩 | 狠狠狠干狠狠 | 三级黄色理论片 | 国产精品久久久久永久免费观看 | 欧美激情精品久久久久久变态 | 婷婷色网址 | 日韩精品视频一二三 | 中文字幕丝袜美腿 | 国产精品成人自产拍在线观看 | av+在线播放在线播放 | 国产色道| 久久精品99国产精品酒店日本 | 在线导航福利 | 久久99欧美| 99在线视频播放 | 成人在线观看网址 | 精品福利视频在线 | 欧美亚洲国产日韩 | av高清不卡 | 偷拍精品一区二区三区 | 综合久久精品 | 美女免费视频一区二区 | 综合网色 | 国产香蕉97碰碰碰视频在线观看 | 国产高清无av久久 | 青青色影院 | 亚洲精品久久久久58 | 在线观看不卡视频 | 制服丝袜在线 | 九九久久国产 | 免费福利视频导航 | 精品国产成人av在线免 | 日韩中文久久 | 国产人成免费视频 | 99精品小视频 | www亚洲一区 | 99精品电影 | 国产69熟 | 欧美日韩免费一区二区 | 麻豆视频一区 | 最近最新中文字幕 | 久久久久久蜜桃一区二区 | 中文字幕免费高清av | 亚洲h在线播放在线观看h | 蜜臀久久99静品久久久久久 | 91九色视频在线播放 | 不卡av电影在线 | 一区二区精 | 亚洲视频资源在线 | 亚洲无毛专区 | 国产日韩精品一区二区在线观看播放 | 在线99| 日韩中出在线 | 亚洲欧美视屏 | 午夜av一区 | 片黄色毛片黄色毛片 | 久久综合国产伦精品免费 | 香蕉视频免费看 | 97超碰在线久草超碰在线观看 | 在线视频你懂得 | 国产精品久久网 | 久久99欧美| 久久久久久久网 | 91日韩在线播放 | 国产99一区 | 日韩一区二区免费在线观看 | 一区二区精品在线 | 亚洲aⅴ在线观看 | 久久综合中文字幕 | 国产精品破处视频 | 九九九热精品免费视频观看 | 欧美男男激情videos | 久久综合给合久久狠狠色 | 91麻豆看国产在线紧急地址 | 欧美日韩亚洲一 | 国产成人精品亚洲日本在线观看 | 国产精品理论片在线播放 | 亚洲综合少妇 | 青青河边草免费直播 | 欧美性做爰猛烈叫床潮 | 日本mv大片欧洲mv大片 | 天天爽天天射 | 麻豆免费在线播放 | 人人插人人玩 | 成年人在线免费看片 | 91久久久久久国产精品 | www.com久久 | 久久久久久久久久久久国产精品 | 国产成人精品福利 | 亚洲一级黄色大片 | 超碰97免费观看 | 在线免费黄色片 | 草樱av | 人人涩 | 久影院| 久久综合射 | a一片一级| 99热 精品在线 | 成人激情开心网 | 日韩视频在线一区 | 青青河边草观看完整版高清 | 99视频| av在线播放亚洲 | 九月婷婷人人澡人人添人人爽 | 国产黄色av影视 | 亚洲 欧美 精品 | 91麻豆精品国产91久久久无需广告 | 欧美成人91 | 激情大尺度视频 | 日韩黄视频 | 亚洲国产三级在线观看 | 激情小说网站亚洲综合网 | 亚洲无毛专区 | 国产第一页在线观看 | 久久99久久久久 | 2019天天干夜夜操 | 久久九九影视 | 亚洲精品久久久久中文字幕m男 | 91视频在线免费观看 | 高清不卡一区二区在线 | 少妇搡bbbb搡bbb搡忠贞 | 免费a视频在线 | 日本久久中文字幕 | 亚洲成人家庭影院 | 在线看片一区 | 久久精品国产亚洲 | 免费观看9x视频网站在线观看 | 国产粉嫩在线观看 | 久久久国产影院 | 久久免费看视频 | 五月天久久狠狠 | 亚洲精品国产电影 | 手机在线观看国产精品 | 国产亚洲婷婷免费 | 中文字幕第一页在线 | 婷婷色站 | 日本一区二区不卡高清 | 国产香蕉97碰碰久久人人 | 日韩理论片中文字幕 | 精品一区二区在线免费观看 | 黄色网在线播放 | 国产精品女同一区二区三区久久夜 | 国产精品久久久久久久99 | 六月丁香综合网 | 天天干天天操天天爱 | 久久久久国产精品厨房 | 国产麻豆视频免费观看 | 日本夜夜草视频网站 | 免费a视频 | 久久精品电影网 | 91亚洲在线 | 女人18片| 久久精品美女视频网站 | 久久视屏网 | 国产香蕉视频在线播放 | 亚洲精品永久免费视频 | 久草国产精品 | 午夜久久福利 | 欧美另类交人妖 | 日韩精品电影在线播放 | 岛国大片免费视频 | 久久99国产精品二区护士 | 亚洲成熟女人毛片在线 | 国内精品久久久久久久影视简单 | 久久久久久久久影院 | 99综合影院在线 | 2021国产视频 | 欧美色操 | 久热精品国产 | 国产精品夜夜夜一区二区三区尤 | 亚洲色图 校园春色 | 国产短视频在线播放 | 婷婷在线不卡 | 亚洲综合五月天 | 亚洲精品成人av在线 | 亚洲 欧美变态 另类 综合 | 国产一区网址 | 欧美性色黄 | 亚洲一区久久久 | 国产精品成人av电影 | 在线视频电影 | 在线国产日韩 | 中文国产成人精品久久一 | 91福利国产在线观看 | 亚洲一区精品二人人爽久久 | 曰韩在线 | 国产青草视频在线观看 | 97免费在线观看视频 | 中文字幕在线观看网址 | 亚洲 欧美日韩 国产 中文 | 国产精品高潮久久av | 国产色视频 | 在线免费观看视频一区 | 最近中文字幕在线中文高清版 | 99久久精品日本一区二区免费 | 91中文字幕在线观看 | 美女视频黄免费的 | 日韩性片 | 久久久国产在线视频 | 探花在线观看 | 久久久精品一区二区 | 日韩av进入| 日本中文不卡 | 91av在线免费播放 | 亚洲成a人片77777kkkk1在线观看 | 亚洲毛片一区二区三区 | 不卡av在线免费观看 | 在线免费观看黄色小说 | 丁香视频免费观看 | 久久超碰网 | 国产亚洲精品久久久久久大师 | 黄色网址av | 日韩精品高清不卡 | 久久国产精品色av免费看 | 精品一区二区免费视频 | 天堂中文在线播放 | 精品国产乱码一区二区三区在线 | 亚洲精欧美一区二区精品 | 免费高清无人区完整版 | 国产不卡在线看 | 久久久久成 | 波多野结衣亚洲一区二区 | 欧美日韩精品在线观看 | 免费视频91蜜桃 | 91精品国产入口 | 婷婷亚洲五月色综合 | 99久免费精品视频在线观看 | 久久99国产综合精品免费 | 日韩欧美视频一区二区 | av资源中文字幕 | 久操操 | 日本爱爱免费 | 99精品在线视频播放 | 国产精品一区专区欧美日韩 | 亚av在线 | www欧美日韩| 91中文在线视频 | 亚洲一区二区麻豆 | 五月天婷亚洲天综合网精品偷 | 在线观看爱爱视频 | 日韩中文在线电影 | 成人aⅴ视频 | 欧美精品一区二区三区四区在线 | 天堂av在线7 | 国产福利精品视频 | 亚洲五月六月 | 在线观看中文字幕dvd播放 | 日韩精品不卡在线观看 | 香蕉网在线播放 | 国产精品久久久久久久久久了 | av片一区 | 精品国产一区二区三区四区vr | 亚洲精品五月 | av中文字幕剧情 | 日韩一级黄色大片 | 久久av福利 | 欧美性色xo影院 | 7777xxxx| 中文高清av | 亚洲va欧美va | 亚洲人xxx | 五月婷婷色丁香 | 国产精品1区2区3区 久久免费视频7 | 一本—道久久a久久精品蜜桃 | 91豆麻精品91久久久久久 | 久久99最新地址 | 一级黄色片在线免费看 | 999成人精品| 在线观看成人网 | 免费视频资源 | 成人在线免费小视频 | 综合色爱| 亚洲三级网站 | 国产精品国产毛片 | 欧美污网站 | 国产黄色免费观看 | 国产 色| 贫乳av女优大全 | 国产亚洲综合性久久久影院 | 最近中文字幕完整高清 | 久久免费精品视频 | 国产 一区二区三区 在线 | 99re国产视频 | 国产 字幕 制服 中文 在线 | 日韩高清精品免费观看 | 五月婷婷av在线 | 91.dizhi永久地址最新 | 国产成人在线一区 | 美女天天操 | 中文在线中文资源 | 精品国产伦一区二区三区免费 | 久久久久久久久久久黄色 | av字幕在线 | 亚洲国产手机在线 | 992tv在线成人免费观看 | 激情校园亚洲 | 日日弄天天弄美女bbbb | 99精品免费在线 | 天天操综合网站 | 国产无套精品久久久久久 | 亚洲黄色小说网址 | 黄a网站 | 在线观看欧美成人 | 午夜久久久久久久 | 日韩免费中文字幕 | 狠狠色噜噜狠狠狠狠 | 欧美久久久一区二区三区 | 亚洲精品美女视频 | 六月婷婷久香在线视频 | 九九热免费精品视频 | 免费久久久久久久 | 在线中文字幕av观看 | 日本公妇在线观看高清 | 日韩午夜视频在线观看 | 成人免费观看大片 | 国产精品久久久久久久久大全 | 国产视频一区在线播放 | 又粗又长又大又爽又黄少妇毛片 | 亚洲欧美日韩在线一区二区 | 亚洲国产美女精品久久久久∴ | 精品人妖videos欧美人妖 | 五月天久久狠狠 | 久久艹中文字幕 | 亚洲黄色片在线 | 久久婷婷丁香 | 在线播放91 | 精品1区2区3区 | 日日日操| 日韩免费看视频 | 91福利影院在线观看 | 国产精品剧情在线亚洲 | 西西444www大胆高清图片 | 天天干天天上 | 亚洲视频电影在线 | 深爱激情亚洲 | 99久久精品免费看国产麻豆 | 香蕉日日 | 亚洲中字幕 | avwww在线观看 | 久久丁香 | 天天射天天干 | 亚洲资源一区 | 中文字幕免费播放 | 日本h视频在线观看 | 国产无限资源在线观看 | 欧美国产大片 | 亚洲国产精品99久久久久久久久 | 99精品国产免费久久 | 日韩 在线观看 | 激情av在线播放 | 成人久久国产 | 伊人久在线 | 免费视频一区 | 精品亚洲午夜久久久久91 | 在线观看岛国av | 综合国产在线 | 日韩a免费| 99爱视频 | 国产精品初高中精品久久 | 国产一区电影在线观看 | 国产精品久久久久久久久久久免费看 | 一级黄色片在线 | 一本一本久久a久久精品综合 | 91av小视频 | 久久国内精品视频 | 婷婷在线看 | 久久婷亚洲五月一区天天躁 | 天天干天天操天天搞 | 久久国产美女视频 | 超碰人人在 | 91尤物在线播放 | 日韩黄色在线观看 | 欧美a级在线免费观看 | 国产精品高潮呻吟久久久久 | 日本三级在线观看中文字 | 99免费视频 | 国产一区av在线 | 97碰在线| 久久亚洲欧美日韩精品专区 | 狠狠操狠狠操 | 日韩中文免费视频 | 综合在线观看 | 日韩中文字幕免费视频 | 手机在线黄色网址 | 国产小视频在线免费观看 | av中文字幕不卡 | 国产精品第54页 | 国产美女免费视频 | 狠狠操狠狠干天天操 | 一区二区视频在线免费观看 | 亚洲精品永久免费视频 | 激情婷婷在线观看 | 五月天激情综合网 | 天天操天天能 | 欧美日韩免费在线视频 | 福利视频入口 | 久久手机视频 | 超碰成人网 | 青青草久草在线 | 国产成人精品午夜在线播放 | 亚洲综合欧美激情 | 色五丁香 | 亚州视频在线 | 波多野结衣视频一区 | 久久综合久久综合这里只有精品 | 91在线91 | 午夜久操 | 久草久| 日韩欧美在线观看一区二区 | 99久久久国产精品 | 精品久久久久久亚洲综合网 | 美女在线观看av | 成人久久毛片 | 亚洲精品在线视频 | 久久桃花网 | 一本一道久久a久久综合蜜桃 | 免费成人av在线看 | 欧美最新另类人妖 | 人人舔人人| 欧美日韩国内在线 | 人人超碰人人 | 伊人日日干 | 亚洲日日射 | 日韩一级成人av | 91麻豆免费版 | 免费视频久久久久久久 | 三级黄色a | 国产在线视频资源 | 亚洲成 人精品 | 成人国产精品久久久 | 91亚洲精品久久久蜜桃网站 | 国产午夜三级一二三区 | 久久婷婷一区二区三区 | 99r在线精品 | 久久高清片 | va视频在线| 黄色成年 | 日韩av资源在线观看 | 啪一啪在线 | 成人午夜精品 | 国产三级精品在线 | 欧美9999 | 97色噜噜 | 亚洲一区二区视频在线播放 | 五月激情站| 手机在线看a | 日韩欧美xxx| 怡春院av | 久久久亚洲成人 | 91你懂的 | 日韩精品在线免费观看 | 五月天激情视频在线观看 | 国产精品欧美久久久久天天影视 | 91成人在线看 | 婷婷久操| 中文一区二区三区在线观看 | 国产乱老熟视频网88av | 97超碰在线久草超碰在线观看 | 久久免费观看视频 | 久精品视频在线 | 成人国产精品久久久 | 久久精品网站免费观看 | 国产在线小视频 | 亚洲精品午夜国产va久久成人 | 成人在线观看你懂的 | 国产精品午夜8888 | 国产视频不卡一区 | 在线观看成年人 | 一区二区 精品 | 亚洲欧美精品在线 | 奇米网网址| 国产精品久久在线 | 亚洲毛片视频 | 日韩精品在线免费播放 | 亚洲伊人天堂 | 欧美另类老妇 | 91成人蝌蚪 | 国产综合精品一区二区三区 | 亚洲精品视频在线免费播放 | 国产黑丝一区二区 | 五月婷婷一区二区三区 | 日韩成人高清在线 | 免费在线一区二区 | 欧美一级性| 99精彩视频在线观看免费 | 香蕉视频在线免费 | 在线观看黄色免费视频 | 69av视频在线 | 天天操人人要 | 不卡av免费在线观看 | 免费观看v片在线观看 | 久久五月婷婷综合 | 中文字幕丝袜美腿 | 亚洲色五月 | 国产精品va | 国产日产av | 国产精品久久久久久久久久久久午夜 | 成人免费亚洲 | 欧美激情精品久久 | 99热这里只有精品国产首页 | 2023av| 日本久久久精品视频 | 国产高清在线观看av | 欧美日本中文字幕 | 黄色三级免费看 | 久久五月天婷婷 | 永久免费观看视频 | 国产精品久久久久久一区二区三区 | 三级在线视频播放 | 亚洲高清在线 | 久久久久北条麻妃免费看 | 国产成人一区二区三区久久精品 | av在线电影网站 | 麻豆精品视频在线 | 成人a在线观看高清电影 | 国产一级在线播放 | 久久涩涩网站 | 精品一区二区日韩 | 天天干,天天干 | 亚州av成人 | 一级a毛片高清视频 | 国产精品视频免费 | 中文字幕在线视频一区二区三区 | 色综合天天爱 | 国产视频色 | 天天搞天天干天天色 | 999久久久久| 国产美女精品在线 | 亚洲精品中文在线观看 | 国产在线欧美在线 | 99视频国产精品免费观看 | 在线国产片 | 97成人免费视频 | 日本色小说视频 | 久久国产系列 | 欧美日韩一区二区在线观看 | 啪啪小视频网站 | www.久久久.cum| 成年人在线视频观看 | 黄色天堂在线观看 | 狠狠干狠狠色 | 国产三级精品三级在线观看 | 久久久色 | 蜜桃视频在线视频 | 亚洲 综合 激情 | 日日碰夜夜爽 | 久久天天躁狠狠躁亚洲综合公司 | 亚洲精品玖玖玖av在线看 | 亚洲午夜精品电影 | 国产精品久久99综合免费观看尤物 | 911国产在线观看 | 天天骚夜夜操 | 欧美一级片播放 | 日日干av| 91福利社区在线观看 | 在线观看视频福利 | 91成年视频| 亚洲国产精彩中文乱码av | 日韩丝袜 | 国产精品免费视频观看 | 久久久久久影视 | 97超碰在线资源 | 91九色在线视频观看 | 成人一区二区三区在线 | 激情综合中文娱乐网 | 成年人精品 | 在线成人中文字幕 | av网站免费看 | 欧美色综合久久 | 久久精品视频国产 | 中文永久字幕 | 三级黄色大片在线观看 | 不卡av免费在线观看 | 99色视频在线 | 国产精品美女免费看 | 少妇性bbb搡bbb爽爽爽欧美 | 国产午夜亚洲精品 | 夜夜夜夜夜夜操 | 久久se视频 | 婷婷中文在线 | 一区二区视频播放 | 欧美一区三区四区 | 99久久久久久国产精品 | 午夜精品久久久久久久久久久 | 98久9在线 | 免费 | 欧美人操人 | wwwwwww色 | 国产一在线精品一区在线观看 | av三级在线播放 | 伊人中文网 | 免费观看的av网站 | 国产资源中文字幕 | 日韩一级网站 | 日本精品视频网站 | 亚洲精品免费在线视频 | 日韩成人精品在线观看 | 亚洲黄在线观看 | 91精品免费在线视频 | 国产馆在线播放 | 久久国语露脸国产精品电影 | 久久精品一区二 | 91麻豆精品久久久久久 | 91精品专区| 日本中文在线播放 | 一区在线观看 | 日韩欧美一区二区三区免费观看 | 久久综合福利 | av超碰在线 | 中文字幕色网站 | 久久久久免费视频 | 国产丝袜一区二区三区 | 久久天天操| 国产va饥渴难耐女保洁员在线观看 | 天天躁日日躁狠狠 | 国产美女免费看 | 奇米网777| 欧美日本国产在线观看 | 亚洲情影院 | 能在线观看的日韩av | 国产精品久久嫩一区二区免费 | 久草视频在线新免费 | 国产精品24小时在线观看 | 亚洲国产中文在线观看 | 最近日本韩国中文字幕 | 国产高清99| 成人app在线免费观看 | 亚洲精品国偷自产在线91正片 | 97看片网 | 国产一级免费av | 成 人 黄 色 视频 免费观看 | 男女视频国产 | 五月黄色| 在线日韩视频 | 97国产精品亚洲精品 | 婷婷六月综合网 | 天天色天天操天天爽 | 久久9精品| 成人福利在线播放 | 色综合夜色一区 | 7799av | 亚洲精品视 | 狂野欧美激情性xxxx欧美 | 999电影免费在线观看2020 | 丁香六月激情 | 欧美 日韩 性 | 精品一二区 | 免费观看的黄色片 | 亚洲欧洲一级 | 久久黄色免费 | 免费看搞黄视频网站 | 国产福利91精品张津瑜 | 久久综合九色综合网站 | 亚洲伊人网在线观看 | 久久字幕网 | 中文字幕首页 | 99视频精品 | 免费色婷婷 | 国产麻豆精品传媒av国产下载 | 黄色录像av | 九九久久婷婷 | 九九九九九九精品任你躁 | 中文字幕日韩精品有码视频 | 欧美性大战久久久久 | 国产成人精品一区二区三区 | 激情www | 亚洲专区一二三 | 色婷婷成人 | 国产视频日韩 | 日韩欧美在线观看一区二区 | 久久久不卡影院 | 国产福利一区二区在线 | 在线免费观看视频你懂的 | 另类老妇性bbwbbw高清 | 韩国精品在线观看 | 久久精品首页 | 99精品国产aⅴ | av视屏在线播放 | 久久黄色免费视频 | 国产精品黄色在线观看 | 亚洲免费国产视频 | 亚洲va欧美va人人爽 | 免费涩涩网站 | 特级片免费看 | 久久 一区| 久久久久久久久黄色 | 日韩中文字幕网站 | 天天色天天射天天干 | 国产美腿白丝袜足在线av | 久久超| 91视频大全 | 日本xxxx.com | 激情网综合 | 久久久性 | 2024国产在线| 综合网婷婷 | 97爱| 久久国产精品久久久 | 日韩精品一区二区三区丰满 | 片黄色毛片黄色毛片 | 亚洲91在线 | 日韩高清成人 | 久久人人97超碰精品888 | 久久久久久久网 | 欧美日韩高清一区二区三区 | 亚洲欧美日韩不卡 | 黄色大全免费观看 | 天天操天天爽天天干 | 麻豆高清免费国产一区 | 91女人18片女毛片60分钟 | 欧亚日韩精品一区二区在线 | 欧美精品九九99久久 | 在线精品在线 | 国产精品观看在线亚洲人成网 | 97夜夜澡人人爽人人免费 | 麻豆国产在线视频 | 日韩理论电影网 | zzijzzij亚洲成熟少妇 | 成人黄色大片网站 | 欧美精品一区二区免费 | 免费看一级黄色 | 高潮久久久久久久久 | 亚洲电影久久 | 亚洲国产成人在线 | 日韩在线看片 | 久久超碰97 | 中文国产在线观看 | 国产精品久久久久久婷婷天堂 | 在线观看黄色的网站 | 香蕉网在线播放 | 成人性生交大片免费观看网站 | 久久在线精品视频 | 超碰免费公开 | 日韩成人欧美 | 国产黄影院色大全免费 | 国产最新精品视频 | 日本三级大片 | 91在线播放综合 | 91完整版在线观看 | av在线影片 | 国产尤物在线视频 | 国产亚洲视频中文字幕视频 | 亚洲综合色激情五月 | 一区二区激情 | 综合色狠狠 | 日韩欧美一区二区在线播放 | 久久精品一区二区三区四区 | 97理论片| av丁香| 深夜免费网站 | 开心激情五月网 | 国产精品一区二 | av天天在线观看 | 日韩字幕 | 国产拍揄自揄精品视频麻豆 | 欧美日韩午夜爽爽 | 国产亚洲人 | 欧美激情奇米色 | 99国产精品一区二区 | 99久久99久国产黄毛片 | 精品中文字幕在线观看 | 亚洲婷婷综合色高清在线 | 人人爱在线视频 | 九九热视频在线 | 狠狠色噜噜狠狠狠 | 国产成人精品一区二区三区福利 | 波多野结衣一区二区 | 久99视频 | 伊人色综合网 | 欧美日韩国产亚洲乱码字幕 | 国产99久久久国产精品成人免费 | 911国产 | 九九爱免费视频在线观看 | 天天操天天色天天 | 成人综合免费 | 天堂在线免费视频 | 在线观看涩涩 | 91激情视频在线 | 国产成人福利片 | 国产视频网站在线观看 | 91欧美国产 | 亚洲精品永久免费视频 | 久久国产精品99久久久久久丝袜 | 国产精品色婷婷视频 | 亚洲成人av在线 | 午夜 在线| 99色精品视频| 亚洲深爱激情 | 久久免费av电影 | 毛片一级免费一级 | 91成人在线观看高潮 | 国产成人一区二区三区在线观看 | 伊人永久 | 国产99久久久精品视频 | 久草在线免费资源 | 天天操综合网站 | 国产精品欧美一区二区三区不卡 | 中文字幕久久久精品 | 国产黄色大片 | 午夜精品一区二区三区在线视频 | 日韩欧美国产成人 | 日日干天夜夜 | 国产日韩欧美在线播放 | 在线观看岛国av | 国产精品中文字幕在线观看 | 亚洲春色奇米影视 | 成人毛片a|