日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

通过 kubeadm 安装 k8s 1.14.1版本(master 单节点版)

發(fā)布時間:2024/3/12 编程问答 35 豆豆
生活随笔 收集整理的這篇文章主要介紹了 通过 kubeadm 安装 k8s 1.14.1版本(master 单节点版) 小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

參考官網(wǎng):

https://kubernetes.io/docs/setup/independent/install-kubeadm/#verify-the-mac-address-and-product-uuid-are-unique-for-every-node

kubeadm init 配置文件參數(shù)參考:

https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm-init/
  • 環(huán)境:

3臺 centos7 最新的系統(tǒng) etc 跑在1臺 master 節(jié)點上 網(wǎng)絡組件使用Calico, 轉(zhuǎn)發(fā)使用 ipvs 主機名ip說明組件
k8s-company01-master01172.16.4.2011個 master 節(jié)點keepalived、haproxy、etcd、kubelet、kube-apiserver
k8s-company01-worker001 ~ 002172.16.4.204 ~ 2052個 worker 節(jié)點kubelet
  • 準備(所有節(jié)點):

swapoff -a; sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab timedatectl set-timezone Asia/Shanghai crontab -e 加入: crontab:8 * * * * /usr/sbin/ntpdate asia.pool.ntp.org && /sbin/hwclock --systohc備注:關閉 selinux setenforce 0 sed -i --follow-symlinks "s/^SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config sed -i --follow-symlinks "s/^SELINUX=permissive/SELINUX=disabled/g" /etc/selinux/config# 關閉 firewalld systemctl stop firewalld.service systemctl disable firewalld.service# 配置主機名(注意修改成自己的): 3臺主機分別設置主機名: hostnamectl set-hostname k8s-company01-master01 hostnamectl set-hostname k8s-company01-worker001 hostnamectl set-hostname k8s-company01-worker002在3臺主機的/etc/hosts 中添加 cat >> /etc/hosts <<EOF 172.16.4.201 k8s-company01-master01.skymobi.cn k8s-company01-master01 172.16.4.204 k8s-company01-worker001.skymobi.cn k8s-company01-worker001 172.16.4.205 k8s-company01-worker002.skymobi.cn k8s-company01-worker002 EOFyum install wget git jq psmisc vim net-tools tcping bash-completion -y yum update -y && reboot # 重啟不僅是是讓新升級的 kernel 生效,也讓調(diào)用到 hostname 的相關服務使用新的 hostname
  • 每臺安裝CRI(這里默認使用 docker,k8s 1.12開始推薦使用 docker 18.06 版本,但由于18.06有個 root 提權的漏洞,這里我們使用最新的版本,18.09.5)

## Install prerequisites. yum install -y yum-utils device-mapper-persistent-data lvm2yum-config-manager \--add-repo \https://download.docker.com/linux/centos/docker-ce.repoyum install -y docker-ce-18.09.5 docker-ce-cli-18.09.5mkdir /etc/docker cat > /etc/docker/daemon.json <<EOF {"exec-opts": ["native.cgroupdriver=systemd"],"log-driver": "json-file","log-opts": {"max-size": "100m"},"storage-driver": "overlay2","storage-opts": ["overlay2.override_kernel_check=true"] } EOFmkdir -p /etc/systemd/system/docker.service.dsystemctl daemon-reload systemctl enable docker.service systemctl restart docker
  • 固定 docker 版本,防止以后意外更新到另外的大版本:

yum -y install yum-plugin-versionlock yum versionlock docker-ce docker-ce-cli yum versionlock list cat <<EOF > /etc/sysctl.d/k8s.conf net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 net.ipv4.ip_forward = 1 vm.swappiness=0 vm.overcommit_memory=1 vm.panic_on_oom=0 fs.may_detach_mounts = 1 fs.inotify.max_user_watches=89100 fs.file-max=52706963 fs.nr_open=52706963 net.netfilter.nf_conntrack_max=2310720 EOFmodprobe br_netfilter sysctl --systemcat <<EOF > /etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetes baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/ enabled=1 gpgcheck=1 repo_gpgcheck=1 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg exclude=kube* EOFyum install -y kubelet-1.14.1 kubeadm-1.14.1 kubectl-1.14.1 cri-tools-1.12.0 kubernetes-cni-0.7.5 ipvsadm --disableexcludes=kubernetes# 加載 ipvs 相關內(nèi)核模塊 modprobe ip_vs modprobe ip_vs_rr modprobe ip_vs_wrr modprobe ip_vs_sh modprobe nf_conntrack_ipv4 modprobe br_netfilter# 加入開機啟動中 cat <<EOF >>/etc/rc.d/rc.local modprobe ip_vs modprobe ip_vs_rr modprobe ip_vs_wrr modprobe ip_vs_sh modprobe nf_conntrack_ipv4 modprobe br_netfilter EOFchmod +x /etc/rc.d/rc.local DOCKER_CGROUPS=$(docker info | grep 'Cgroup' | cut -d' ' -f3) echo $DOCKER_CGROUPS cat > /etc/sysconfig/kubelet <<EOF KUBELET_EXTRA_ARGS="--cgroup-driver=$DOCKER_CGROUPS --pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google_containers/pause-amd64:3.1" EOF# 開機啟動并 start now,之后 kubelet 啟動是失敗的,每隔幾秒鐘會自動重啟,這是在等待 kubeadm 告訴它要做什么。 systemctl enable --now kubelet# 添加 kubectl 參數(shù) tab 鍵自動補全功能 source /usr/share/bash-completion/bash_completion source <(kubectl completion bash) echo "source <(kubectl completion bash)" >> ~/.bashrc

網(wǎng)絡組件使用Calico, 轉(zhuǎn)發(fā)使用 ipvs

k8s-master01

# 注意修改 controlPlaneEndpoint: "k8s-company01-master01:6443" 中對應的 master主機名,這里應該不能使用 ip,因為會自動配 tls 證書 cat << EOF > kubeadm-config.yaml apiVersion: kubeadm.k8s.io/v1beta1 kind: ClusterConfiguration kubernetesVersion: v1.14.1 # add the available imageRepository in china imageRepository: reg01.sky-mobi.com/k8s/k8s.gcr.io controlPlaneEndpoint: "k8s-company01-master01:6443" networking:podSubnet: "10.254.0.0/16" --- apiVersion: kubeproxy.config.k8s.io/v1alpha1 kind: KubeProxyConfiguration ipvs:minSyncPeriod: 1ssyncPeriod: 10s mode: ipvs EOF

預拉取鏡像:

kubeadm config images pull --config kubeadm-config.yaml

master01 初始化:

kubeadm init --config=kubeadm-config.yaml 注意剛開始的打印出的信息,根據(jù)提示,消除掉所有的 WARNING 如果想要重來,使用 kubeadm reset 命令,并且按照提示清空 iptables 和 ipvs 配置,然后重啟 docker 服務。

提示成功后,記錄下最后 join 的所有參數(shù),用于后面節(jié)點的加入(兩小時內(nèi)有效。用于 worker 節(jié)點的加入)

# 類似: You can now join any number of the control-plane node running the following command on each as root:Then you can join any number of worker nodes by running the following on each as root:kubeadm join k8s-company01-lb:16443 --token fp0x6g.cwuzedvtwlu1zg1f \--discovery-token-ca-cert-hash sha256:5d4095bc9e4e4b5300abe5a25afe1064f32c1ddcecc02a1f9b0aeee7710c3383

記得執(zhí)行如下命令,以便使用 kubectl訪問集群

mkdir -p $HOME/.kubecp -i /etc/kubernetes/admin.conf $HOME/.kube/configchown $(id -u):$(id -g) $HOME/.kube/config

查看集群狀態(tài)時,coredns pending 沒關系,因為網(wǎng)絡插件還沒裝

# 顯示結(jié)果作為參考 [root@k8s-master01 ~]# kubectl get pod -n kube-system NAME READY STATUS RESTARTS AGE coredns-56c9dc7946-5c5z2 0/1 Pending 0 34m coredns-56c9dc7946-thqwd 0/1 Pending 0 34m etcd-k8s-master01 1/1 Running 2 34m kube-apiserver-k8s-master01 1/1 Running 2 34m kube-controller-manager-k8s-master01 1/1 Running 1 33m kube-proxy-bl9c6 1/1 Running 2 34m kube-scheduler-k8s-master01 1/1 Running 1 34m

安裝 calico 網(wǎng)絡插件(在 master01 上操作)

參考: https://docs.projectcalico.org/v3.6/getting-started/kubernetes/installation/calico下載 yaml 文件( 這里的版本是 v3.6.1,文件源于官網(wǎng)https://docs.projectcalico.org/v3.6/getting-started/kubernetes/installation/hosted/kubernetes-datastore/calico-networking/typha/calico.yaml 修改過網(wǎng)段和replicas以及 image 地址)# 機房外部使用(有訪問限制,公司自己的公網(wǎng)地址) curl http://111.1.17.135/yum/scripts/k8s/calico_v3.6.1.yaml -O # 機房內(nèi)部使用 curl http://192.168.160.200/yum/scripts/k8s/calico_v3.6.1.yaml -O下載下來后,將里面 replicas 值改成1(一個節(jié)點的 master,不需要部署3份 calico)# 需要開啟允許pod 被調(diào)度到master 節(jié)點上(在master01 上執(zhí)行就行) [root@k8s-company01-master01 ~]# kubectl taint nodes --all node-role.kubernetes.io/master- node/k8s-company01-master01 untainted# 安裝 calico (卸載是kubectl delete -f calico_v3.6.1.yaml) [root@k8s-company01-master01 ~]# kubectl apply -f calico_v3.6.1.yaml configmap/calico-config created customresourcedefinition.apiextensions.k8s.io/felixconfigurations.crd.projectcalico.org created customresourcedefinition.apiextensions.k8s.io/ipamblocks.crd.projectcalico.org created customresourcedefinition.apiextensions.k8s.io/blockaffinities.crd.projectcalico.org created customresourcedefinition.apiextensions.k8s.io/ipamhandles.crd.projectcalico.org created customresourcedefinition.apiextensions.k8s.io/ipamconfigs.crd.projectcalico.org created customresourcedefinition.apiextensions.k8s.io/bgppeers.crd.projectcalico.org created customresourcedefinition.apiextensions.k8s.io/bgpconfigurations.crd.projectcalico.org created customresourcedefinition.apiextensions.k8s.io/ippools.crd.projectcalico.org created customresourcedefinition.apiextensions.k8s.io/hostendpoints.crd.projectcalico.org created customresourcedefinition.apiextensions.k8s.io/clusterinformations.crd.projectcalico.org created customresourcedefinition.apiextensions.k8s.io/globalnetworkpolicies.crd.projectcalico.org created customresourcedefinition.apiextensions.k8s.io/globalnetworksets.crd.projectcalico.org created customresourcedefinition.apiextensions.k8s.io/networkpolicies.crd.projectcalico.org created clusterrole.rbac.authorization.k8s.io/calico-kube-controllers created clusterrolebinding.rbac.authorization.k8s.io/calico-kube-controllers created clusterrole.rbac.authorization.k8s.io/calico-node created clusterrolebinding.rbac.authorization.k8s.io/calico-node created service/calico-typha created deployment.apps/calico-typha created poddisruptionbudget.policy/calico-typha created daemonset.extensions/calico-node created serviceaccount/calico-node created deployment.extensions/calico-kube-controllers created serviceaccount/calico-kube-controllers created# 至此,所有pod 運行正常(這是3個 master 的顯示結(jié)果的基礎上修改的,僅供參考) [root@k8s-company01-master01 ~]# kubectl -n kube-system get pod NAME READY STATUS RESTARTS AGE calico-kube-controllers-749f7c8df8-knlx4 0/1 Running 0 20s calico-node-4txj7 0/1 Running 0 21s calico-typha-646cdc958c-7j948 0/1 Pending 0 21s coredns-56c9dc7946-944nt 0/1 Running 0 4m9s coredns-56c9dc7946-nh2sk 0/1 Running 0 4m9s etcd-k8s-company01-master01 1/1 Running 0 3m26s kube-apiserver-k8s-company01-master01 1/1 Running 0 3m23s kube-controller-manager-k8s-company01-master01 1/1 Running 1 3m28s kube-proxy-8wm4v 1/1 Running 0 4m9s kube-scheduler-k8s-company01-master01 1/1 Running 1 3m18s# 所有master 節(jié)點都是 ready 狀態(tài) [root@k8s-company01-master01 ~]# kubectl get node NAME STATUS ROLES AGE VERSION k8s-company01-master01 Ready master 4m48s v1.14.1
  • 兩臺 worker 節(jié)點加入集群(按照前文做基礎配置,安裝好 docker 和 kubeadm 等)
# 使用之前記錄的 join 命令 kubeadm join k8s-company01-lb:16443 --token fp0x6g.cwuzedvtwlu1zg1f \--discovery-token-ca-cert-hash sha256:5d4095bc9e4e4b5300abe5a25afe1064f32c1ddcecc02a1f9b0aeee7710c3383# 添加成功顯示: This node has joined the cluster: * Certificate signing request was sent to apiserver and a response was received. * The Kubelet was informed of the new secure connection details.Run 'kubectl get nodes' on the master to see this node join the cluster.### kubectl get nodes 命令在任意 master 節(jié)點執(zhí)行。

如果join 參數(shù)沒有記下來,或者已經(jīng)失效,參考:

http://wiki.sky-mobi.com:8090/pages/viewpage.action?pageId=9079715

  • 刪除節(jié)點
#刪除node節(jié)點 #master節(jié)點執(zhí)行以下命令 kubectl get nodes #獲取node名 kubectl drain <node name> --delete-local-data --force --ignore-daemonsets #排空node kubectl delete node <node name> #刪除node #node節(jié)點執(zhí)行以下 kubeadm reset iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X #重置iptables ipvsadm -C #重置IPVS #如果想再次加入可以執(zhí)行以下命令 kubeadm join --token <token> <master-ip>:<master-port> --discovery-token-ca-cert-hash sha256:<hash> 以下命令可以查看一些狀態(tài) kubectl get pod -n kube-system -o wide kubectl get nodes kubectl get csr kubectl get componentstatuses

* 以下是監(jiān)控相關,不涉及可以不用安裝

  • 安裝 metrics-server 用于簡單的監(jiān)控,如命令 kubectl top nodes
# 不安裝的情況下: [root@k8s-master03 ~]# kubectl top nodes Error from server (NotFound): the server could not find the requested resource (get services http:heapster:)這里使用 helm 安裝: 安裝 helm(在 master01 上執(zhí)行):wget http://192.168.160.200/yum/scripts/k8s/helm-v2.13.1-linux-amd64.tar.gz 或 wget http://111.1.17.135/yum/scripts/k8s/helm-v2.13.1-linux-amd64.tar.gz tar xvzf helm-v2.13.1-linux-amd64.tar.gz mv linux-amd64/helm /usr/local/bin/helm # 驗證 helm help每個節(jié)點執(zhí)行 yum install -y socat使用微軟的源(阿里的源很長時間都沒更新了!) helm init --client-only --stable-repo-url http://mirror.azure.cn/kubernetes/charts/ helm repo add incubator http://mirror.azure.cn/kubernetes/charts-incubator/ helm repo update# 在 Kubernetes 中安裝 Tiller 服務,因為官方的鏡像因為某些原因無法拉取,使用-i指定自己的鏡像,可選鏡像:registry.cn-hangzhou.aliyuncs.com/google_containers/tiller:v2.9.1(阿里云),該鏡像的版本與helm客戶端的版本相同,使用helm version可查看helm客戶端版本。helm init --service-account tiller --upgrade -i registry.cn-hangzhou.aliyuncs.com/google_containers/tiller:v2.13.1 --tiller-tls-cert /etc/kubernetes/ssl/tiller001.pem --tiller-tls-key /etc/kubernetes/ssl/tiller001-key.pem --tls-ca-cert /etc/kubernetes/ssl/ca.pem --tiller-namespace kube-system --stable-repo-url http://mirror.azure.cn/kubernetes/charts/ --service-account tiller --history-max 200

給 Tiller 授權(master01 上執(zhí)行)

# 因為 Helm 的服務端 Tiller 是一個部署在 Kubernetes 中 Kube-System Namespace 下 的 Deployment,它會去連接 Kube-Api 在 Kubernetes 里創(chuàng)建和刪除應用。# 而從 Kubernetes 1.6 版本開始,API Server 啟用了 RBAC 授權。目前的 Tiller 部署時默認沒有定義授權的 ServiceAccount,這會導致訪問 API Server 時被拒絕。所以我們需要明確為 Tiller 部署添加授權。# 創(chuàng)建 Kubernetes 的服務帳號和綁定角色kubectl create serviceaccount --namespace kube-system tillerkubectl create clusterrolebinding tiller-cluster-rule --clusterrole=cluster-admin --serviceaccount=kube-system:tillerkubectl patch deploy --namespace kube-system tiller-deploy -p '{"spec":{"template":{"spec":{"serviceAccount":"tiller"}}}}'# 查看是否授權成功 [root@k8s-company01-master01 ~]# kubectl -n kube-system get pods|grep tiller tiller-deploy-7bf47568d4-42wf5 1/1 Running 0 17s[root@k8s-company01-master01 ~]# helm version Client: &version.Version{SemVer:"v2.13.1", GitCommit:"618447cbf203d147601b4b9bd7f8c37a5d39fbb4", GitTreeState:"clean"} Server: &version.Version{SemVer:"v2.13.1", GitCommit:"618447cbf203d147601b4b9bd7f8c37a5d39fbb4", GitTreeState:"clean"}[root@k8s-company01-master01 ~]# helm repo list NAME URL stable http://mirror.azure.cn/kubernetes/charts/ local http://127.0.0.1:8879/charts incubator http://mirror.azure.cn/kubernetes/charts-incubator/## 如果要替換倉庫,先移除原先的倉庫 #helm repo remove stable ## 添加新的倉庫地址 #helm repo add stable http://mirror.azure.cn/kubernetes/charts/ #helm repo add incubator http://mirror.azure.cn/kubernetes/charts-incubator/ #helm repo update

使用helm安裝metrics-server(在 master01上執(zhí)行,因為只有 master01裝了 helm)

# 創(chuàng)建 metrics-server-custom.yaml cat >> metrics-server-custom.yaml <<EOF image:repository: reg01.sky-mobi.com/k8s/gcr.io/google_containers/metrics-server-amd64tag: v0.3.1 args:- --kubelet-insecure-tls- --kubelet-preferred-address-types=InternalIP,Hostname,InternalDNS,ExternalDNS,ExternalIP EOF# 安裝 metrics-server(這里 -n 是 name) [root@k8s-master01 ~]# helm install stable/metrics-server -n metrics-server --namespace kube-system --version=2.5.1 -f metrics-server-custom.yaml[root@k8s-company01-master01 ~]# kubectl get pod -n kube-system | grep metrics metrics-server-dcbdb9468-c5f4n 1/1 Running 0 21s# 保存 yaml 文件退出后,metrics-server pod 會自動銷毀原來的,拉起一個新的。新 pod 起來后,過一兩分鐘再執(zhí)行kubectl top命令就有結(jié)果了: [root@k8s-master01 ~]# kubectl top node NAME CPU(cores) CPU% MEMORY(bytes) MEMORY% k8s-master01 513m 6% 7971Mi 8%
  • 使用helm安裝prometheus-operator
# 為方便管理,創(chuàng)建一個單獨的 Namespace monitoring,Prometheus Operator 相關的組件都會部署到這個 Namespace。kubectl create namespace monitoring## 自定義 prometheus-operator 參數(shù) # helm fetch stable/prometheus-operator --version=5.0.3 --untar # cat prometheus-operator/values.yaml | grep -v '#' | grep -v ^$ > prometheus-operator-custom.yaml # 只保留我們要修改 image 的部分,還有使用 https 連接 etcd,例如: 參考:https://fengxsong.github.io/2018/05/30/Using-helm-to-manage-prometheus-operator/cat >> prometheus-operator-custom.yaml << EOF ## prometheus-operator/values.yaml alertmanager:service:nodePort: 31309type: NodePortalertmanagerSpec:image:repository: reg01.sky-mobi.com/k8s/quay.io/prometheus/alertmanagertag: v0.16.1 prometheusOperator:image:repository: reg01.sky-mobi.com/k8s/quay.io/coreos/prometheus-operatortag: v0.29.0pullPolicy: IfNotPresentconfigmapReloadImage:repository: reg01.sky-mobi.com/k8s/quay.io/coreos/configmap-reloadtag: v0.0.1prometheusConfigReloaderImage:repository: reg01.sky-mobi.com/k8s/quay.io/coreos/prometheus-config-reloadertag: v0.29.0hyperkubeImage:repository: reg01.sky-mobi.com/k8s/k8s.gcr.io/hyperkubetag: v1.12.1pullPolicy: IfNotPresent prometheus:service:nodePort: 32489type: NodePortprometheusSpec:image:repository: reg01.sky-mobi.com/k8s/quay.io/prometheus/prometheustag: v2.7.1secrets: [etcd-client-cert] kubeEtcd:serviceMonitor:scheme: httpsinsecureSkipVerify: falseserverName: ""caFile: /etc/prometheus/secrets/etcd-client-cert/ca.crtcertFile: /etc/prometheus/secrets/etcd-client-cert/healthcheck-client.crtkeyFile: /etc/prometheus/secrets/etcd-client-cert/healthcheck-client.key## prometheus-operator/charts/grafana/values.yaml grafana:service:nodePort: 30579type: NodePortimage:repository: reg01.sky-mobi.com/k8s/grafana/grafanatag: 6.0.2sidecar:image: reg01.sky-mobi.com/k8s/kiwigrid/k8s-sidecar:0.0.13## prometheus-operator/charts/kube-state-metrics/values.yaml kube-state-metrics:image:repository: reg01.sky-mobi.com/k8s/k8s.gcr.io/kube-state-metricstag: v1.5.0## prometheus-operator/charts/prometheus-node-exporter/values.yaml prometheus-node-exporter:image:repository: reg01.sky-mobi.com/k8s/quay.io/prometheus/node-exportertag: v0.17.0 EOF## 注:以上的prometheus-operator/charts/grafana/values.yaml 對應項添加了 grafana (按chats 目錄添加的:) #[root@k8s-master01 ~]# ll prometheus-operator/charts/ #total 0 #drwxr-xr-x 4 root root 114 Apr 1 00:48 grafana #drwxr-xr-x 3 root root 96 Apr 1 00:18 kube-state-metrics #drwxr-xr-x 3 root root 110 Apr 1 00:20 prometheus-node-exporter# 創(chuàng)建連接 etcd 的證書secret: kubectl -n monitoring create secret generic etcd-client-cert --from-file=/etc/kubernetes/pki/etcd/ca.crt --from-file=/etc/kubernetes/pki/etcd/healthcheck-client.crt --from-file=/etc/kubernetes/pki/etcd/healthcheck-client.key helm install stable/prometheus-operator --version=5.0.3 --name=monitoring --namespace=monitoring -f prometheus-operator-custom.yaml## 如果想要刪除重來,可以使用 helm 刪除,指定名字 monitoring #helm del --purge monitoring #kubectl delete crd prometheusrules.monitoring.coreos.com #kubectl delete crd servicemonitors.monitoring.coreos.com #kubectl delete crd alertmanagers.monitoring.coreos.com重新安裝 不要刪除之前的,再安裝可能會報錯,用 upgrade 就好: helm upgrade monitoring stable/prometheus-operator --version=5.0.3 --namespace=monitoring -f prometheus-operator-custom.yaml[root@k8s-company01-master01 ~]# kubectl -n monitoring get pod NAME READY STATUS RESTARTS AGE alertmanager-monitoring-prometheus-oper-alertmanager-0 2/2 Running 0 29m monitoring-grafana-7dd5cf9dd7-wx8mz 2/2 Running 0 29m monitoring-kube-state-metrics-7d98487cfc-t6qqw 1/1 Running 0 29m monitoring-prometheus-node-exporter-fnvp9 1/1 Running 0 29m monitoring-prometheus-node-exporter-kczcq 1/1 Running 0 29m monitoring-prometheus-node-exporter-m8kf6 1/1 Running 0 29m monitoring-prometheus-node-exporter-mwc4g 1/1 Running 0 29m monitoring-prometheus-node-exporter-wxmt8 1/1 Running 0 29m monitoring-prometheus-oper-operator-7f96b488f6-2j7h5 1/1 Running 0 29m prometheus-monitoring-prometheus-oper-prometheus-0 3/3 Running 1 28m[root@k8s-company01-master01 ~]# kubectl get svc -n monitoring NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE alertmanager-operated ClusterIP None <none> 9093/TCP,6783/TCP 31m monitoring-grafana NodePort 10.109.159.105 <none> 80:30579/TCP 32m monitoring-kube-state-metrics ClusterIP 10.100.31.235 <none> 8080/TCP 32m monitoring-prometheus-node-exporter ClusterIP 10.109.119.13 <none> 9100/TCP 32m monitoring-prometheus-oper-alertmanager NodePort 10.105.171.135 <none> 9093:31309/TCP 32m monitoring-prometheus-oper-operator ClusterIP 10.98.135.170 <none> 8080/TCP 32m monitoring-prometheus-oper-prometheus NodePort 10.96.15.36 <none> 9090:32489/TCP 32m prometheus-operated ClusterIP None <none> 9090/TCP 31m# 查看有沒有異常告警,alerts里面的第一個Watchdog 是正常的報警,用于監(jiān)控功能探測。 http://172.16.4.200:32489/alerts http://172.16.4.200:32489/targets#以下是安裝 kubernetes-dashboard,用處不大,正式環(huán)境暫時不裝 #helm install --name=kubernetes-dashboard stable/kubernetes-dashboard --version=1.4.0 --namespace=kube-system --set image.repository=reg01.sky-mobi.com/k8s/k8s.gcr.io/kubernetes-dashboard-amd64,image.tag=v1.10.1,rbac.clusterAdminRole=true#Heapter 已在 Kubernetes 1.13 版本中移除(https://github.com/kubernetes/heapster/blob/master/docs/deprecation.md),推薦使用 metrics-server 與 Prometheus。

總結(jié)

以上是生活随笔為你收集整理的通过 kubeadm 安装 k8s 1.14.1版本(master 单节点版)的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯,歡迎將生活随笔推薦給好友。

精品欧美一区二区在线观看 | 久久免费电影 | 99久久99久久精品 | 中文字幕视频网站 | 97视频在线播放 | 91色吧| 久久超级碰 | 国产色综合天天综合网 | 97av色| 亚洲一区日韩精品 | 人人爽人人爽人人爽人人爽 | 亚洲成人免费在线 | 午夜视频一区二区三区 | 91看成人 | 开心激情网五月天 | 国产精品中文久久久久久久 | 综合网天天色 | 精品成人久久 | 日日爽夜夜操 | 一区二区精品视频 | 久久色亚洲 | 亚洲精品午夜国产va久久成人 | 国产裸体bbb视频 | 欧美日韩一区二区三区在线观看视频 | 日韩高清免费观看 | 在线观看免费高清视频大全追剧 | 国产精品不卡在线观看 | 开心激情婷婷 | 99久久精品国产毛片 | 久久黄色片| 欧美精选一区二区三区 | 99精品视频免费观看视频 | 99这里只有 | 国产精品一二三 | 国产精品初高中精品久久 | 日韩视频在线不卡 | 91免费黄视频 | 久久综合久久综合久久 | 欧美日韩aaaa | 四川妇女搡bbbb搡bbbb搡 | 久久国产精品一区二区三区 | 成人性生交视频 | 日韩精品一区二区三区免费观看视频 | 欧美aⅴ在线观看 | 欧美色道| www好男人 | 激情五月综合 | 日日干夜夜操视频 | 国产精品高潮在线观看 | 日日草视频 | 久久网站最新地址 | .精品久久久麻豆国产精品 亚洲va欧美 | 国产精品免费观看国产网曝瓜 | 久久高清国产视频 | 久久乱码卡一卡2卡三卡四 五月婷婷久 | 亚洲精品在线观看视频 | 亚洲欧洲国产日韩精品 | 97超碰人人 | 少妇超碰在线 | 夜夜高潮夜夜爽国产伦精品 | 日韩1页| 午夜精品一区二区三区免费 | 午夜视频一区二区三区 | 97成人资源站 | 4438全国亚洲精品在线观看视频 | 欧美日韩精品在线一区二区 | 国产精品毛片久久蜜 | 91精品夜夜 | 一区二区三区在线视频111 | 久久五月天综合 | 不卡中文字幕av | 欧美午夜性 | 亚洲精品国产精品国 | 久草网在线 | 日韩在线视 | a黄色片在线观看 | 亚洲福利精品 | 在线а√天堂中文官网 | 天天操天天干天天玩 | 国产精品刺激对白麻豆99 | 丝袜美女在线观看 | 日本黄区免费视频观看 | 日韩精品中文字幕在线不卡尤物 | 国产不卡网站 | 久久久综合精品 | 久久亚洲电影 | 特级西西444www高清大视频 | 91最新在线 | 午夜在线观看一区 | 亚洲国产精品日韩 | 天天艹天天爽 | 综合网伊人 | 欧美最爽乱淫视频播放 | 天堂网中文在线 | 日日操操 | 亚洲免费一级电影 | 国产亚洲欧美精品久久久久久 | 国产1区在线观看 | 91精品一区二区三区久久久久久 | 久久精品精品电影网 | 一区二区视频在线播放 | 久久电影色 | 超碰97在线人人 | 日韩性网站 | 免费观看一级视频 | 中文字幕精品一区二区三区电影 | 国产精品九色 | 91精品国产乱码 | 久久99精品波多结衣一区 | 国产黄在线 | 射射射av| 国产一级片久久 | 欧美成人黄 | 免费观看黄 | 三级黄色欧美 | 97在线观看| 韩国精品在线观看 | 欧美一区,二区 | 最新午夜电影 | 国产亚洲欧美日韩高清 | 国产最新在线视频 | 成人羞羞视频在线观看免费 | 国产麻豆精品在线观看 | 超碰在线最新地址 | 玖玖在线播放 | 天天综合网天天 | 麻花豆传媒一二三产区 | 国产成人99av超碰超爽 | 久久国产精品久久国产精品 | 日韩动态视频 | 中文字幕av一区二区三区四区 | 九月婷婷人人澡人人添人人爽 | 中文字幕欲求不满 | 免费视频色| 久久国产精品电影 | 久久香蕉国产 | 天天操天天操天天操天天操天天操 | 精品美女久久久久久免费 | 69av视频在线 | 波多野结衣视频一区 | 人人插人人舔 | 久久久影院一区二区三区 | 国产小视频你懂的在线 | 国产精品va在线 | 色婷婷影视 | 免费亚洲婷婷 | 久久综合九色综合欧美狠狠 | 久久久久国产精品一区 | 成人网中文字幕 | 草久久影院 | 日本中文字幕影院 | 日韩激情在线视频 | 日日操天天爽 | 欧美国产日韩在线观看 | 国产成人三级在线 | 在线高清 | 精品国模一区二区三区 | 中文字幕视频播放 | 国产高清视频免费观看 | 99精品电影 | 亚洲综合国产精品 | 日韩二区三区在线观看 | 中文字幕在线看视频国产中文版 | 一区二区三区在线播放 | 亚洲六月丁香色婷婷综合久久 | 久久综合九色综合欧美就去吻 | 在线观看国产区 | 69精品人人人人 | 麻豆视频免费在线 | 午夜手机电影 | 欧美 激情在线 | 久久久久中文 | 永久免费看av | 国产精品伦一区二区三区视频 | 九九热在线免费观看 | 亚洲精品99久久久久中文字幕 | 亚洲午夜精品电影 | 蜜臀久久99精品久久久久久网站 | av一级在线 | 美女视频一区二区 | 白丝av免费观看 | 成人黄色大片在线免费观看 | 西西www4444大胆在线 | 国产精品1区2区3区在线观看 | 国产美女在线观看 | 久久国产福利 | 色综合天天综合网国产成人网 | 国产伦精品一区二区三区高清 | 国产一二三区av | 97av影院 | 欧美午夜视频在线 | 国产传媒中文字幕 | 欧美一区成人 | 国产自偷自拍 | 亚洲一区日韩在线 | 久久免费视频5 | 国产精品福利在线 | 成人免费毛片aaaaaa片 | 日韩手机在线 | 在线播放国产一区二区三区 | 国产美腿白丝袜足在线av | 亚洲欧美视频 | 久久久久久久av麻豆果冻 | 国产高清精 | 免费观看成年人视频 | 在线黄色av电影 | 日韩欧美中文 | 久久美女高清视频 | 天天插天天 | 日韩电影在线一区 | 成人app在线播放 | 成人一区在线观看 | www.99久久.com | 在线免费观看涩涩 | 久久激情视频 久久 | 91你懂的| 高清久久久久久 | 欧美久久久久久久久久 | 爱情影院aqdy鲁丝片二区 | 黄色www| www.久久久.com | 色www免费视频| 99久久爱 | av成人在线电影 | 在线久热 | 日日夜夜噜噜噜 | 国产专区在线看 | 99精品一区二区三区 | 免费看一级| 丁香婷婷激情国产高清秒播 | 一区二区中文字幕在线 | 五月婷婷黄色 | 久久综合狠狠综合 | 久草在在线视频 | 日本久久成人中文字幕电影 | 在线蜜桃视频 | 粉嫩aⅴ一区二区三区 | 国产网红在线 | 伊人久久一区 | 亚洲午夜久久久久久久久 | 怡红院成人在线 | 狠狠干婷婷 | 亚洲男男gaygay无套 | 日韩电影中文字幕在线 | 国产人成在线视频 | 国产玖玖在线 | 干干干操操操 | 亚洲理论在线观看电影 | 日本深夜福利视频 | 91大神精品视频在线观看 | 国产日韩欧美视频在线观看 | 黄色字幕网 | 久久99视频免费观看 | 亚洲在线高清 | 日韩中文字幕在线看 | 亚洲成人资源 | 日韩中文字幕视频在线观看 | 亚洲国产成人高清精品 | 97超级碰碰碰碰久久久久 | 看毛片网站 | 天天操人人干 | 欧美精品天堂 | 日本在线视频网址 | 在线蜜桃视频 | 天天干夜夜擦 | 大荫蒂欧美视频另类xxxx | 色噜噜在线观看 | 日p在线观看 | 99热在线观看免费 | 天天综合成人网 | 久久久国产精品电影 | 久草免费新视频 | 久久综合婷婷国产二区高清 | 有码中文字幕在线观看 | 午夜美女av | 在线观看午夜av | 国产精品午夜在线观看 | 欧日韩在线视频 | 黄色精品国产 | 99精品乱码国产在线观看 | 免费看污在线观看 | 超碰在线94 | 国产二区精品 | 黄色软件在线看 | 九九免费观看视频 | 国产精品一区二区免费 | 国产美女精品久久久 | 久久精品国产成人精品 | 黄网站色成年免费观看 | 日韩欧美99 | 国产剧情在线一区 | 国产精品破处视频 | av一区在线播放 | 99国产情侣在线播放 | 婷婷午夜天 | 日韩中文字幕亚洲一区二区va在线 | 午夜的福利 | 最近中文字幕视频网 | 久久综合激情 | 久久免费视频99 | 成人a毛片| 少妇性bbb搡bbb爽爽爽欧美 | 国产va饥渴难耐女保洁员在线观看 | 日本久草电影 | 在线观看中文字幕视频 | 亚洲欧美偷拍另类 | 奇人奇案qvod | 一区二区三区韩国免费中文网站 | 一区二区三区日韩在线 | 一区二区三区污 | av电影不卡| 狠狠色狠狠色终合网 | 日韩精品中文字幕在线 | 亚洲国产三级在线观看 | 精品国产电影一区二区 | 久久躁日日躁aaaaxxxx | 激情开心色 | 中文字幕在线网 | 欧美日韩在线视频免费 | 黄色免费国产 | 国产一区二区三区免费在线 | 国产精品免费观看在线 | 一色av | 最新91在线视频 | 99re6热在线精品视频 | 亚洲黄色小说网址 | 中文字幕久久精品一区 | 国产成人a v电影 | 欧美精彩视频在线观看 | 久久久亚洲影院 | 狠狠色丁香久久婷婷综合五月 | 久草在线在线视频 | 久久一精品| 国产在线污 | 久草在线手机观看 | 久久精品国产免费看久久精品 | 91在线九色 | 日本在线观看一区二区三区 | 91久久国产自产拍夜夜嗨 | 久久久国产一区二区三区 | 日韩在线网| 在线一区av | 日韩免费中文字幕 | 久久男人视频 | 丁香色婷| av免费网 | 99综合视频 | 成人av免费看 | 激情偷乱人伦小说视频在线观看 | 91九色porny蝌蚪视频 | 亚洲欧美日韩在线看 | 久久精品毛片 | 91尤物国产尤物福利在线播放 | 日韩色在线观看 | 一区二区三区免费在线观看视频 | 国产另类av | 亚洲在线成人精品 | 国产激情小视频在线观看 | 97av色| 色婷婷国产精品一区在线观看 | 精品久久久久久国产 | 精品在线视频播放 | 日韩在线视频免费观看 | 欧美日韩精品在线视频 | 99资源网 | 99亚洲精品| 久久久久综合精品福利啪啪 | 狠狠狠狠干 | 中文字幕精品视频 | 日韩系列在线 | 伊人永久在线 | 黄色大片视频网站 | 精品视频99 | 天天综合五月天 | 国产美女网站视频 | 91福利视频久久久久 | 日日夜夜骑| 麻豆视屏| 在线观看视频一区二区 | 免费99| 亚洲精品ww| 国产无套精品久久久久久 | 国产裸体无遮挡 | 国产精品成人免费 | 99热国产在线中文 | 亚洲精品中文在线 | 天天摸天天干天天操天天射 | 成人一区二区三区在线观看 | 亚洲黄a| 国产视频一区二区在线播放 | 在线播放一区 | 精品99在线观看 | 欧美国产日韩在线视频 | 婷婷色亚洲 | 国产原创av在线 | 亚洲精品国产成人av在线 | 国产免费亚洲 | 亚洲另类视频在线 | www.亚洲黄| 午夜91在线| 亚洲综合欧美激情 | 国产精品免费久久久久久 | 永久免费毛片 | 亚洲精品在线免费观看视频 | 奇米影音四色 | av在线免费网 | 国产精品视频全国免费观看 | 伊人婷婷色| 中文字幕在线观看完整版 | 婷婷六月丁香激情 | 日一日操一操 | 久草在线免费看视频 | 久久成人欧美 | 亚洲午夜久久久影院 | 午夜av一区二区三区 | 亚洲视频 中文字幕 | 麻豆视频在线 | 大胆欧美gogo免费视频一二区 | 久久久色 | 日日干夜夜操视频 | 免费久久99精品国产婷婷六月 | 国产不卡av在线 | 国产精品久久久久久五月尺 | 亚洲精品小视频在线观看 | 狠狠88综合久久久久综合网 | 久久99视频免费 | 夜夜夜夜猛噜噜噜噜噜初音未来 | 精品视频免费播放 | 96久久 | 五月天亚洲综合 | 国产一区二区在线视频观看 | 97精品国产手机 | 欧美精品国产综合久久 | 免费热情视频 | 97人人艹| 久久在线一区 | 亚洲国产精品久久久 | 欧美视频18| 欧美激情精品久久久久久免费 | 在线观看国产www | 欧美激情精品久久久 | 欧美激情综合五月色丁香 | 国产一区二区在线观看视频 | 国产精品99视频 | 中文字幕亚洲国产 | 国产第一福利 | 91在线网址 | 天天操夜夜操国产精品 | 色婷在线| 在线播放视频一区 | 国产精品三级视频 | 中文字幕在线视频一区二区三区 | 欧美了一区在线观看 | 国产高清永久免费 | 人人澡超碰碰97碰碰碰软件 | 毛片网在线 | 国内精品久久久久 | 色射爱| 欧美一区二区三区四区夜夜大片 | www色婷婷com | 色综合亚洲精品激情狠狠 | 午夜精品久久久久久久99水蜜桃 | 日韩av免费一区二区 | 日日婷婷夜日日天干 | 日本婷婷色 | 综合久久精品 | www.久久成人 | 亚洲清纯国产 | 99中文字幕| 国产97色 | 国产精品久久亚洲 | 黄色三级视频片 | 色多多污污在线观看 | 国产免费嫩草影院 | 91成人在线视频 | 免费av成人在线 | 欧美成人按摩 | 97精品国产一二三产区 | 久久视频精品 | 久久精品视频网址 | 欧美国产一区二区 | 日韩在线观看a | 亚洲人成人99网站 | 久久婷婷一区二区三区 | 黄色小说视频网站 | 久久99这里只有精品 | 一级黄网| 国产精品久久久久久久久免费看 | 91av电影| 欧美一性一交一乱 | 99国产在线视频 | 人人澡澡人人 | 色综合人人 | 国产资源网站 | 91综合视频在线观看 | 国产日韩高清在线 | 久久综合久久八八 | a级国产乱理论片在线观看 伊人宗合网 | 久久超级碰 | 天堂av在线 | 久久福利 | 国产成人一区在线 | 国产精品美女毛片真酒店 | 天天射,天天干 | 一区二区三区在线视频111 | 久久久久久国产一区二区三区 | 欧美日韩免费一区二区 | 日韩激情视频 | 亚洲精品男人的天堂 | 久久婷婷国产 | 久久一级片 | 成人三级网站在线观看 | 色婷婷久久久综合中文字幕 | 在线视频久久 | 91精品国产综合久久久久久久 | 日韩欧美在线观看一区 | 国产二区免费视频 | 成年人免费看的视频 | 欧美动漫一区二区三区 | 国产99久久精品一区二区300 | 久久久久99精品成人片三人毛片 | 国产69久久久欧美一级 | 国产精品一区二区三区在线 | 国内精品久久久久久久影视简单 | 在线观看日韩av | 日韩一区在线播放 | 最近中文字幕高清字幕在线视频 | 欧美另类一二三四区 | 99热精品国产一区二区在线观看 | 色午夜 | 亚洲人天堂 | 91在线永久 | 日本黄色大片儿 | 黄色大片日本 | 97操碰| 欧美一级高清片 | 美女网站免费福利视频 | 91精品亚洲影视在线观看 | 97看片网 | 97精品国产aⅴ | 久久久久久久久精 | 日日干天天爽 | 色国产在线 | 久久久精品网 | 成年人免费在线播放 | 国产美女久久久 | 国产精品门事件 | 亚洲乱码精品久久久久 | 欧美久久久一区二区三区 | 国产男女免费完整视频 | 久久久久成 | 中文字幕在线观看视频一区 | 亚洲精品字幕在线观看 | 超碰人人草人人 | 波多野结衣理论片 | 91精品在线免费观看视频 | 久久久国内精品 | 国产精品精品视频 | 一区二区影院 | 国产亚洲精品久久久久久移动网络 | 97福利视频| 日韩美女黄色片 | 蜜桃视频成人在线观看 | 五月导航 | 在线观看亚洲视频 | 国产日本亚洲高清 | 美女搞黄国产视频网站 | 91网免费看 | 国产乱对白刺激视频不卡 | 一区二区久久久久 | 成 人 黄 色视频免费播放 | 日本在线中文 | 国产成人免费网站 | 国产大尺度视频 | 国产一区二区在线观看视频 | 伊人狠狠色丁香婷婷综合 | zzijzzij日本成熟少妇 | 亚洲涩综合 | 人人爽人人爽 | 久久视频在线视频 | 亚洲国产精品va在线看黑人动漫 | 成人av.com | 久久丝袜视频 | 国产福利av在线 | 国产特级毛片aaaaaaa高清 | 精品国产一区二区三区日日嗨 | 丁香激情综合 | .精品久久久麻豆国产精品 亚洲va欧美 | 日本中文字幕网 | 免费高清在线视频一区· | 激情深爱 | 成年人免费看av | 日韩成人精品一区二区 | 精品亚洲一区二区三区 | 最新中文字幕在线播放 | 九九九九免费视频 | 99精品久久久久久久久久综合 | 成年人免费在线 | 欧美激情视频一区二区三区 | 天天天插| 激情久久五月 | 日日夜夜免费精品 | 在线免费观看的av | 不卡av免费在线观看 | 日本特黄特色aaa大片免费 | 毛片一二区 | 色香天天 | 亚洲精品456在线播放第一页 | 国产小视频在线播放 | 奇米先锋 | 久久97久久| 免费在线色视频 | 日日夜夜中文字幕 | 日韩黄色免费电影 | 国产免费区 | 亚洲在线成人精品 | 成人在线一区二区 | 日本韩国在线不卡 | 久久狠狠一本精品综合网 | 99精品99| 亚洲精品影视在线观看 | 久久免费黄色网址 | 波多野结衣在线观看视频 | 久精品视频免费观看2 | 免费看一级一片 | 精品视频在线免费 | 天天摸日日操 | 国产一区在线看 | 91亚洲国产成人久久精品网站 | 中文字幕免费高清av | 亚洲国产一区在线观看 | 一级电影免费在线观看 | 精品在线视频一区二区三区 | 国产午夜不卡 | 免费色av| 久久香蕉国产精品麻豆粉嫩av | 久久综合中文字幕 | 欧美一区二视频在线免费观看 | 日韩三级久久 | 成人h在线 | 中文字幕在线第一页 | 国产亚洲欧美一区 | av黄色在线 | 四季av综合网站 | 91亚洲国产成人久久精品网站 | 国产精品欧美一区二区三区不卡 | 国产美女免费观看 | 国产精品美女免费 | 麻豆久久一区 | 超碰免费公开 | 亚洲无吗av | 久久久久久高潮国产精品视 | 国产高清福利在线 | 亚一亚二国产专区 | 99久热在线精品 | 91视频a | 国产91免费在线 | 国产高清视频在线免费观看 | 91福利社在线观看 | 久草观看 | 日韩中文字幕亚洲一区二区va在线 | 亚洲色图激情文学 | 久久久久久欧美二区电影网 | 香蕉一区 | 午夜精品久久久久久中宇69 | 四虎www.| 成人av日韩 | 欧美成人一二区 | 麻豆精品视频在线观看免费 | 日韩色av色资源 | 黄色特一级片 | 国产精品久久久久久久久软件 | 国内精品亚洲 | 91精品在线免费 | 亚洲精品啊啊啊 | 美女网站色在线观看 | 色综合天天综合 | 国产精品日韩 | 在线电影 你懂得 | 不卡视频在线 | 精品一区三区 | 成人av在线直播 | 激情综合久久 | 99色在线视频 | 九九视频这里只有精品 | 免费色视频| 波多野结衣在线播放一区 | 日日干精品 | 91在线视频一区 | 在线观看免费高清视频大全追剧 | 精品国产欧美 | 五月花丁香婷婷 | 国产亚洲精品精品精品 | 精品国产乱码 | 激情久久伊人 | 国产精品福利在线观看 | 久草在线99 | 成人a视频在线观看 | 最新国产精品亚洲 | 国产剧情av在线播放 | 麻豆视频国产 | 中文在线最新版天堂 | www.综合网.com | 久久精品国产亚洲精品2020 | 高清中文字幕 | 国产激情小视频在线观看 | 成人av在线电影 | 国产免费黄视频在线观看 | 国产最新福利 | 久久久精品国产免费观看同学 | 国产精品久久久久久久久久久久午夜 | www视频免费在线观看 | 91手机视频在线 | 狠狠干.com | 国产美女免费视频 | 久草在线视频资源 | 超碰在线网 | 激情影音先锋 | 人人搞人人爽 | 欧美一级欧美一级 | 久草在线视频精品 | 久久在线视频精品 | 91日韩在线视频 | 国产91精品一区二区绿帽 | 日本中文在线 | 欧美国产不卡 | 亚洲成人中文在线 | 久久精品草 | 最近高清中文字幕 | 国产aa免费视频 | 99热亚洲精品 | 亚洲午夜在线视频 | 欧美精品久久久久久久免费 | 2021国产视频 | 日韩精品中文字幕在线观看 | 久久久精品福利视频 | 成人av电影免费观看 | 亚洲精品乱码久久 | av黄在线播放| www.国产视频 | 午夜影院在线观看18 | 亚州中文av | 一区二区日韩av | 伊人电影天堂 | 97超碰人人澡人人爱 | 18网站在线观看 | 色多视频在线观看 | 亚洲一区 影院 | 亚洲精品视频在 | 99色视频在线 | www黄| 欧美日韩一区三区 | 亚洲最新av | 天天射射天天 | 九九在线免费视频 | 久久综合在线 | 天天干视频在线 | 亚洲一区尤物 | 国产精品激情 | 国产一区二区在线精品 | 精品99久久| 国产黄大片在线观看 | 亚洲欧美综合 | 久久久国产精品一区二区三区 | 日韩专区 在线 | 免费视频久久久久久久 | 激情六月婷婷久久 | 中文字幕av在线免费 | 亚洲伊人网在线观看 | 在线激情影院一区 | 亚洲午夜久久久久久久久久久 | 91欧美精品 | 日韩xxxxxxxxx| 中文字幕 国产 一区 | 国产亚洲精品久久19p | 91九色精品| 五月天综合激情 | 国产精品中文字幕在线 | 性色在线视频 | 深爱五月激情网 | 国产第一页在线播放 | 九九久久电影 | 免费www视频 | 五月亚洲综合 | 精品国产一二三四区 | 欧美一级特黄aaaaaa大片在线观看 | 国产精品视频全国免费观看 | 国产一区二区日本 | 日韩黄色在线电影 | 中文字幕日韩有码 | 久久99欧美 | 亚洲日日射 | 亚洲一区欧美激情 | 丁香六月激情婷婷 | 天天爱天天操天天射 | .精品久久久麻豆国产精品 亚洲va欧美 | 97精品国产91久久久久久 | 成人全视频免费观看在线看 | 激情久久伊人 | 久草在线免费色站 | 国产精品1区2区3区在线观看 | 亚洲黄色精品 | 人人射人人澡 | 97色在线观看 | 日本一区二区高清不卡 | 亚洲春色综合另类校园电影 | 久久成人一区二区 | av在线电影网站 | 亚洲高清在线观看视频 | 一区二区三区在线免费播放 | 国产99一区二区 | 国产在线色站 | 色亚洲激情 | 依人成人综合网 | 成年人黄色在线观看 | 999超碰| 国产精品18毛片一区二区 | av大全在线免费观看 | 丝袜美腿亚洲综合 | 国产玖玖精品视频 | 一区二区三区视频网站 | 亚洲码国产日韩欧美高潮在线播放 | 999抗病毒口服液 | 欧美日韩亚洲在线 | 欧美性色黄大片在线观看 | 欧美另类v | 午夜精品一区二区三区免费 | 国产精品国产三级国产不产一地 | 久草在线高清视频 | 美女久久99 | 天天干天天干天天色 | 二区视频在线 | 狠狠色噜噜狠狠狠狠2021天天 | 久久黄页 | 日韩欧三级 | 深爱婷婷 | 免费看久久久 | 国产中文字幕av | 国产99久| 欧美一区二视频在线免费观看 | 99这里精品| 免费观看9x视频网站在线观看 | 久久精品视频网站 | 久久第四色 | av成人免费在线观看 | 九九热在线观看 | www.av小说| 免费看亚洲毛片 | 黄色三级网站在线观看 | 在线观看激情av | 激情电影影院 | 久久精品国产精品亚洲精品 | 国产在线国偷精品产拍免费yy | 国产精品久久久久久高潮 | 99r国产精品 | 国产成人61精品免费看片 | 国产一区二区在线播放 | 夜夜夜夜猛噜噜噜噜噜初音未来 | 亚洲美女久久 | 久久影院亚洲 | av黄色免费网站 | 国产色一区 | 国产色视频一区 | 美女久久久久久 | 精品国产欧美一区二区三区不卡 | 日本性生活一级片 | 亚洲资源在线观看 | 男女男视频 | 久久久久久久久久久免费av | 福利视频一区二区 | 欧美一级久久 | 久久国产免费看 | 9999毛片| 日韩中文字幕免费在线播放 | 日本久久精品视频 | 91九色视频在线播放 | 超碰免费观看 | 狠狠干综合 | 色综合久久中文综合久久牛 | 丁香激情综合久久伊人久久 | 天天干,夜夜操 | 婷婷成人在线 | 午夜精品久久久久久久99 | av看片在线观看 | 成年人在线播放视频 | 美女福利视频一区二区 | 天天干夜夜操视频 | 国产视频一区在线 | 欧美 亚洲 另类 激情 另类 | 国产精久久久久久妇女av | 久久免费精品一区二区三区 | 国产成人精品一区二 | 日韩免费在线观看网站 | 2023av| 午夜视频一区二区 | 人人爽人人干 | 五月婷婷欧美 | 欧美日韩国产精品一区 | 色妞色视频一区二区三区四区 | 久久99深爱久久99精品 | 亚洲黄色区 | 成人免费在线播放 | 97超碰免费 | 国产精品综合在线观看 | 中文字幕av在线免费 | www狠狠操 | 美女在线免费观看视频 | 四虎影视精品成人 | 免费精品在线视频 | 精品国偷自产国产一区 | 日韩中文在线观看 | 亚洲婷婷综合色高清在线 | 91热在线| 精品特级毛片 | 高清不卡免费视频 | 免费高清在线视频一区· | 91最新中文字幕 | 国产精品自产拍在线观看桃花 | 久久不卡电影 | 香蕉网在线观看 | 黄a在线观看 | 日韩av一区二区三区在线观看 | 久草久热 | av免费观看网址 | 日韩在线视频观看免费 | 免费av看片 | 米奇狠狠狠888 | 国产午夜视频在线观看 | 国产在线观看免费观看 | 麻豆国产精品视频 | 久久久久福利视频 | 欧美成人黄色 | 色综合中文综合网 | 激情五月婷婷网 | 国产 字幕 制服 中文 在线 | 久久伦理影院 | 成人在线电影观看 | 日韩三级免费 | 久久精品国产精品亚洲精品 | 日本在线中文 | 丝袜+亚洲+另类+欧美+变态 | 日本久久成人中文字幕电影 | 成人在线黄色电影 | 99成人免费视频 | 91香蕉国产 | 国产 日韩 中文字幕 | 免费看成人| 国内一级片在线观看 | 视频在线观看国产 | 免费大片黄在线 | 手机av看片 | 青草草在线视频 | 亚州中文av| 三级黄色免费片 | 色在线视频网 | 婷婷丁香色综合狠狠色 | www国产一区 | 久久精品首页 | 天天操综| 中文字幕av在线免费 | 就操操久久| 99久久一区 | 国产精品国产亚洲精品看不卡15 | 中文免费观看 | 午夜国产一区 | 精品伊人久久久 | 国产精品久久久久久爽爽爽 | 午夜体验区 | 国产一级二级三级视频 | 国产精品久久久久永久免费观看 | 美女免费网站 | 久久经典国产视频 | 字幕网资源站中文字幕 | 97在线免费 | 国产精品美女久久久久aⅴ 干干夜夜 | 国产中文视频 | 在线观看成人小视频 | 国产精品久久久久久久av电影 | 久久久久亚洲最大xxxx | 色综合久久88色综合天天人守婷 | av免费网站 | 久草在线资源网 | 亚洲va在线va天堂 | 久久男人视频 | 久射网| 日本动漫做毛片一区二区 | 96久久 | 亚洲丁香日韩 | 日韩高清av在线 | 亚洲欧美国产精品va在线观看 | 激情五月婷婷 | 在线视频亚洲 | 91成人精品国产刺激国语对白 | 午夜在线国产 | 亚洲欧洲精品一区 | 日韩高清在线一区二区三区 | 激情久久综合网 | 中文字幕视频播放 |