日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

k3s安装和卸载:轻量级K8S

發布時間:2025/1/21 编程问答 50 豆豆
生活随笔 收集整理的這篇文章主要介紹了 k3s安装和卸载:轻量级K8S 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

安裝

使用Docker

#先安裝docker curl https://releases.rancher.com/install-docker/19.03.sh | sh#通過--docker指定使用docker curl -sfL https://get.k3s.io | sh -s - --docker

離線安裝

下載這兩個文件: https://hub.fastgit.org/k3s-io/k3s/releases/tag/v1.21.7%2Bk3s1然后執行安裝腳本,跳過下載 INSTALL_K3S_SKIP_DOWNLOAD=true ./install.sh

卸載

已經添加到了環境變量中,所以可以直接使用卸載腳本

k3s-uninstall.sh #或是以下命令 k3s-agent-uninstall.sh

附安裝腳本

#!/bin/sh set -e set -o noglob# Usage: # curl ... | ENV_VAR=... sh - # or # ENV_VAR=... ./install.sh # # Example: # Installing a server without traefik: # curl ... | INSTALL_K3S_EXEC="--disable=traefik" sh - # Installing an agent to point at a server: # curl ... | K3S_TOKEN=xxx K3S_URL=https://server-url:6443 sh - # # Environment variables: # - K3S_* # Environment variables which begin with K3S_ will be preserved for the # systemd service to use. Setting K3S_URL without explicitly setting # a systemd exec command will default the command to "agent", and we # enforce that K3S_TOKEN or K3S_CLUSTER_SECRET is also set. # # - INSTALL_K3S_SKIP_DOWNLOAD # If set to true will not download k3s hash or binary. # # - INSTALL_K3S_FORCE_RESTART # If set to true will always restart the K3s service # # - INSTALL_K3S_SYMLINK # If set to 'skip' will not create symlinks, 'force' will overwrite, # default will symlink if command does not exist in path. # # - INSTALL_K3S_SKIP_ENABLE # If set to true will not enable or start k3s service. # # - INSTALL_K3S_SKIP_START # If set to true will not start k3s service. # # - INSTALL_K3S_VERSION # Version of k3s to download from github. Will attempt to download from the # stable channel if not specified. # # - INSTALL_K3S_COMMIT # Commit of k3s to download from temporary cloud storage. # * (for developer & QA use) # # - INSTALL_K3S_BIN_DIR # Directory to install k3s binary, links, and uninstall script to, or use # /usr/local/bin as the default # # - INSTALL_K3S_BIN_DIR_READ_ONLY # If set to true will not write files to INSTALL_K3S_BIN_DIR, forces # setting INSTALL_K3S_SKIP_DOWNLOAD=true # # - INSTALL_K3S_SYSTEMD_DIR # Directory to install systemd service and environment files to, or use # /etc/systemd/system as the default # # - INSTALL_K3S_EXEC or script arguments # Command with flags to use for launching k3s in the systemd service, if # the command is not specified will default to "agent" if K3S_URL is set # or "server" if not. The final systemd command resolves to a combination # of EXEC and script args ($@). # # The following commands result in the same behavior: # curl ... | INSTALL_K3S_EXEC="--disable=traefik" sh -s - # curl ... | INSTALL_K3S_EXEC="server --disable=traefik" sh -s - # curl ... | INSTALL_K3S_EXEC="server" sh -s - --disable=traefik # curl ... | sh -s - server --disable=traefik # curl ... | sh -s - --disable=traefik # # - INSTALL_K3S_NAME # Name of systemd service to create, will default from the k3s exec command # if not specified. If specified the name will be prefixed with 'k3s-'. # # - INSTALL_K3S_TYPE # Type of systemd service to create, will default from the k3s exec command # if not specified. # # - INSTALL_K3S_SELINUX_WARN # If set to true will continue if k3s-selinux policy is not found. # # - INSTALL_K3S_SKIP_SELINUX_RPM # If set to true will skip automatic installation of the k3s RPM. # # - INSTALL_K3S_CHANNEL_URL # Channel URL for fetching k3s download URL. # Defaults to 'https://update.k3s.io/v1-release/channels'. # # - INSTALL_K3S_CHANNEL # Channel to use for fetching k3s download URL. # Defaults to 'stable'.GITHUB_URL=https://github.com/k3s-io/k3s/releases STORAGE_URL=https://storage.googleapis.com/k3s-ci-builds DOWNLOADER=# --- helper functions for logs --- info() {echo '[INFO] ' "$@" } warn() {echo '[WARN] ' "$@" >&2 } fatal() {echo '[ERROR] ' "$@" >&2exit 1 }# --- fatal if no systemd or openrc --- verify_system() {if [ -x /sbin/openrc-run ]; thenHAS_OPENRC=truereturnfiif [ -x /bin/systemctl ] || type systemctl > /dev/null 2>&1; thenHAS_SYSTEMD=truereturnfifatal 'Can not find systemd or openrc to use as a process supervisor for k3s' }# --- add quotes to command arguments --- quote() {for arg in "$@"; doprintf '%s\n' "$arg" | sed "s/'/'\\\\''/g;1s/^/'/;\$s/\$/'/"done }# --- add indentation and trailing slash to quoted args --- quote_indent() {printf ' \\\n'for arg in "$@"; doprintf '\t%s \\\n' "$(quote "$arg")"done }# --- escape most punctuation characters, except quotes, forward slash, and space --- escape() {printf '%s' "$@" | sed -e 's/\([][!#$%&()*;<=>?\_`{|}]\)/\\\1/g;' }# --- escape double quotes --- escape_dq() {printf '%s' "$@" | sed -e 's/"/\\"/g' }# --- ensures $K3S_URL is empty or begins with https://, exiting fatally otherwise --- verify_k3s_url() {case "${K3S_URL}" in"");;https://*);;*)fatal "Only https:// URLs are supported for K3S_URL (have ${K3S_URL})";;esac }# --- define needed environment variables --- setup_env() {# --- use command args if passed or create default ---case "$1" in# --- if we only have flags discover if command should be server or agent ---(-*|"")if [ -z "${K3S_URL}" ]; thenCMD_K3S=serverelseif [ -z "${K3S_TOKEN}" ] && [ -z "${K3S_TOKEN_FILE}" ] && [ -z "${K3S_CLUSTER_SECRET}" ]; thenfatal "Defaulted k3s exec command to 'agent' because K3S_URL is defined, but K3S_TOKEN, K3S_TOKEN_FILE or K3S_CLUSTER_SECRET is not defined."fiCMD_K3S=agentfi;;# --- command is provided ---(*)CMD_K3S=$1shift;;esacverify_k3s_urlCMD_K3S_EXEC="${CMD_K3S}$(quote_indent "$@")"# --- use systemd name if defined or create default ---if [ -n "${INSTALL_K3S_NAME}" ]; thenSYSTEM_NAME=k3s-${INSTALL_K3S_NAME}elseif [ "${CMD_K3S}" = server ]; thenSYSTEM_NAME=k3selseSYSTEM_NAME=k3s-${CMD_K3S}fifi# --- check for invalid characters in system name ---valid_chars=$(printf '%s' "${SYSTEM_NAME}" | sed -e 's/[][!#$%&()*;<=>?\_`{|}/[:space:]]/^/g;' )if [ "${SYSTEM_NAME}" != "${valid_chars}" ]; theninvalid_chars=$(printf '%s' "${valid_chars}" | sed -e 's/[^^]/ /g')fatal "Invalid characters for system name:${SYSTEM_NAME}${invalid_chars}"fi# --- use sudo if we are not already root ---SUDO=sudoif [ $(id -u) -eq 0 ]; thenSUDO=fi# --- use systemd type if defined or create default ---if [ -n "${INSTALL_K3S_TYPE}" ]; thenSYSTEMD_TYPE=${INSTALL_K3S_TYPE}elseif [ "${CMD_K3S}" = server ]; thenSYSTEMD_TYPE=notifyelseSYSTEMD_TYPE=execfifi# --- use binary install directory if defined or create default ---if [ -n "${INSTALL_K3S_BIN_DIR}" ]; thenBIN_DIR=${INSTALL_K3S_BIN_DIR}else# --- use /usr/local/bin if root can write to it, otherwise use /opt/bin if it existsBIN_DIR=/usr/local/binif ! $SUDO sh -c "touch ${BIN_DIR}/k3s-ro-test && rm -rf ${BIN_DIR}/k3s-ro-test"; thenif [ -d /opt/bin ]; thenBIN_DIR=/opt/binfififi# --- use systemd directory if defined or create default ---if [ -n "${INSTALL_K3S_SYSTEMD_DIR}" ]; thenSYSTEMD_DIR="${INSTALL_K3S_SYSTEMD_DIR}"elseSYSTEMD_DIR=/etc/systemd/systemfi# --- set related files from system name ---SERVICE_K3S=${SYSTEM_NAME}.serviceUNINSTALL_K3S_SH=${UNINSTALL_K3S_SH:-${BIN_DIR}/${SYSTEM_NAME}-uninstall.sh}KILLALL_K3S_SH=${KILLALL_K3S_SH:-${BIN_DIR}/k3s-killall.sh}# --- use service or environment location depending on systemd/openrc ---if [ "${HAS_SYSTEMD}" = true ]; thenFILE_K3S_SERVICE=${SYSTEMD_DIR}/${SERVICE_K3S}FILE_K3S_ENV=${SYSTEMD_DIR}/${SERVICE_K3S}.envelif [ "${HAS_OPENRC}" = true ]; then$SUDO mkdir -p /etc/rancher/k3sFILE_K3S_SERVICE=/etc/init.d/${SYSTEM_NAME}FILE_K3S_ENV=/etc/rancher/k3s/${SYSTEM_NAME}.envfi# --- get hash of config & exec for currently installed k3s ---PRE_INSTALL_HASHES=$(get_installed_hashes)# --- if bin directory is read only skip download ---if [ "${INSTALL_K3S_BIN_DIR_READ_ONLY}" = true ]; thenINSTALL_K3S_SKIP_DOWNLOAD=truefi# --- setup channel valuesINSTALL_K3S_CHANNEL_URL=${INSTALL_K3S_CHANNEL_URL:-'https://update.k3s.io/v1-release/channels'}INSTALL_K3S_CHANNEL=${INSTALL_K3S_CHANNEL:-'stable'} }# --- check if skip download environment variable set --- can_skip_download() {if [ "${INSTALL_K3S_SKIP_DOWNLOAD}" != true ]; thenreturn 1fi }# --- verify an executable k3s binary is installed --- verify_k3s_is_executable() {if [ ! -x ${BIN_DIR}/k3s ]; thenfatal "Executable k3s binary not found at ${BIN_DIR}/k3s"fi }# --- set arch and suffix, fatal if architecture not supported --- setup_verify_arch() {if [ -z "$ARCH" ]; thenARCH=$(uname -m)ficase $ARCH inamd64)ARCH=amd64SUFFIX=;;x86_64)ARCH=amd64SUFFIX=;;arm64)ARCH=arm64SUFFIX=-${ARCH};;aarch64)ARCH=arm64SUFFIX=-${ARCH};;arm*)ARCH=armSUFFIX=-${ARCH}hf;;*)fatal "Unsupported architecture $ARCH"esac }# --- verify existence of network downloader executable --- verify_downloader() {# Return failure if it doesn't exist or is no executable[ -x "$(command -v $1)" ] || return 1# Set verified executable as our downloader program and return successDOWNLOADER=$1return 0 }# --- create temporary directory and cleanup when done --- setup_tmp() {TMP_DIR=$(mktemp -d -t k3s-install.XXXXXXXXXX)TMP_HASH=${TMP_DIR}/k3s.hashTMP_BIN=${TMP_DIR}/k3s.bincleanup() {code=$?set +etrap - EXITrm -rf ${TMP_DIR}exit $code}trap cleanup INT EXIT }# --- use desired k3s version if defined or find version from channel --- get_release_version() {if [ -n "${INSTALL_K3S_COMMIT}" ]; thenVERSION_K3S="commit ${INSTALL_K3S_COMMIT}"elif [ -n "${INSTALL_K3S_VERSION}" ]; thenVERSION_K3S=${INSTALL_K3S_VERSION}elseinfo "Finding release for channel ${INSTALL_K3S_CHANNEL}"version_url="${INSTALL_K3S_CHANNEL_URL}/${INSTALL_K3S_CHANNEL}"case $DOWNLOADER incurl)VERSION_K3S=$(curl -w '%{url_effective}' -L -s -S ${version_url} -o /dev/null | sed -e 's|.*/||');;wget)VERSION_K3S=$(wget -SqO /dev/null ${version_url} 2>&1 | grep -i Location | sed -e 's|.*/||');;*)fatal "Incorrect downloader executable '$DOWNLOADER'";;esacfiinfo "Using ${VERSION_K3S} as release" }# --- download from github url --- download() {[ $# -eq 2 ] || fatal 'download needs exactly 2 arguments'case $DOWNLOADER incurl)curl -o $1 -sfL $2;;wget)wget -qO $1 $2;;*)fatal "Incorrect executable '$DOWNLOADER'";;esac# Abort if download command failed[ $? -eq 0 ] || fatal 'Download failed' }# --- download hash from github url --- download_hash() {if [ -n "${INSTALL_K3S_COMMIT}" ]; thenHASH_URL=${STORAGE_URL}/k3s${SUFFIX}-${INSTALL_K3S_COMMIT}.sha256sumelseHASH_URL=${GITHUB_URL}/download/${VERSION_K3S}/sha256sum-${ARCH}.txtfiinfo "Downloading hash ${HASH_URL}"download ${TMP_HASH} ${HASH_URL}HASH_EXPECTED=$(grep " k3s${SUFFIX}$" ${TMP_HASH})HASH_EXPECTED=${HASH_EXPECTED%%[[:blank:]]*} }# --- check hash against installed version --- installed_hash_matches() {if [ -x ${BIN_DIR}/k3s ]; thenHASH_INSTALLED=$(sha256sum ${BIN_DIR}/k3s)HASH_INSTALLED=${HASH_INSTALLED%%[[:blank:]]*}if [ "${HASH_EXPECTED}" = "${HASH_INSTALLED}" ]; thenreturnfifireturn 1 }# --- download binary from github url --- download_binary() {if [ -n "${INSTALL_K3S_COMMIT}" ]; thenBIN_URL=${STORAGE_URL}/k3s${SUFFIX}-${INSTALL_K3S_COMMIT}elseBIN_URL=${GITHUB_URL}/download/${VERSION_K3S}/k3s${SUFFIX}fiinfo "Downloading binary ${BIN_URL}"download ${TMP_BIN} ${BIN_URL} }# --- verify downloaded binary hash --- verify_binary() {info "Verifying binary download"HASH_BIN=$(sha256sum ${TMP_BIN})HASH_BIN=${HASH_BIN%%[[:blank:]]*}if [ "${HASH_EXPECTED}" != "${HASH_BIN}" ]; thenfatal "Download sha256 does not match ${HASH_EXPECTED}, got ${HASH_BIN}"fi }# --- setup permissions and move binary to system directory --- setup_binary() {chmod 755 ${TMP_BIN}info "Installing k3s to ${BIN_DIR}/k3s"$SUDO chown root:root ${TMP_BIN}$SUDO mv -f ${TMP_BIN} ${BIN_DIR}/k3s }# --- setup selinux policy --- setup_selinux() {case ${INSTALL_K3S_CHANNEL} in *testing)rpm_channel=testing;;*latest)rpm_channel=latest;;*)rpm_channel=stable;;esacrpm_site="rpm.rancher.io"if [ "${rpm_channel}" = "testing" ]; thenrpm_site="rpm-testing.rancher.io"fi[ -r /etc/os-release ] && . /etc/os-releaseif [ "${ID_LIKE%%[ ]*}" = "suse" ]; thenrpm_target=slerpm_site_infix=microospackage_installer=zypperelif [ "${VERSION_ID%%.*}" = "7" ]; thenrpm_target=el7rpm_site_infix=centos/7package_installer=yumelserpm_target=el8rpm_site_infix=centos/8package_installer=yumfiif [ "${package_installer}" = "yum" ] && [ -x /usr/bin/dnf ]; thenpackage_installer=dnffipolicy_hint="please install:${package_installer} install -y container-selinux${package_installer} install -y https://${rpm_site}/k3s/${rpm_channel}/common/${rpm_site_infix}/noarch/k3s-selinux-0.4-1.${rpm_target}.noarch.rpm "if [ "$INSTALL_K3S_SKIP_SELINUX_RPM" = true ] || can_skip_download || [ ! -d /usr/share/selinux ]; theninfo "Skipping installation of SELinux RPM"elif [ "${ID_LIKE:-}" != coreos ] && [ "${VARIANT_ID:-}" != coreos ]; theninstall_selinux_rpm ${rpm_site} ${rpm_channel} ${rpm_target} ${rpm_site_infix}fipolicy_error=fatalif [ "$INSTALL_K3S_SELINUX_WARN" = true ] || [ "${ID_LIKE:-}" = coreos ] || [ "${VARIANT_ID:-}" = coreos ]; thenpolicy_error=warnfiif ! $SUDO chcon -u system_u -r object_r -t container_runtime_exec_t ${BIN_DIR}/k3s >/dev/null 2>&1; thenif $SUDO grep '^\s*SELINUX=enforcing' /etc/selinux/config >/dev/null 2>&1; then$policy_error "Failed to apply container_runtime_exec_t to ${BIN_DIR}/k3s, ${policy_hint}"fielif [ ! -f /usr/share/selinux/packages/k3s.pp ]; thenif [ -x /usr/sbin/transactional-update ]; thenwarn "Please reboot your machine to activate the changes and avoid data loss."else$policy_error "Failed to find the k3s-selinux policy, ${policy_hint}"fifi }install_selinux_rpm() {if [ -r /etc/redhat-release ] || [ -r /etc/centos-release ] || [ -r /etc/oracle-release ] || [ "${ID_LIKE%%[ ]*}" = "suse" ]; thenrepodir=/etc/yum.repos.dif [ -d /etc/zypp/repos.d ]; thenrepodir=/etc/zypp/repos.dfiset +o noglob$SUDO rm -f ${repodir}/rancher-k3s-common*.reposet -o noglobif [ -r /etc/redhat-release ] && [ "${3}" = "el7" ]; then$SUDO yum install -y yum-utils$SUDO yum-config-manager --enable rhel-7-server-extras-rpmsfi$SUDO tee ${repodir}/rancher-k3s-common.repo >/dev/null << EOF [rancher-k3s-common-${2}] name=Rancher K3s Common (${2}) baseurl=https://${1}/k3s/${2}/common/${4}/noarch enabled=1 gpgcheck=1 repo_gpgcheck=0 gpgkey=https://${1}/public.key EOFcase ${3} insle)rpm_installer="zypper --gpg-auto-import-keys"if [ "${TRANSACTIONAL_UPDATE=false}" != "true" ] && [ -x /usr/sbin/transactional-update ]; thenrpm_installer="transactional-update --no-selfupdate -d run ${rpm_installer}": "${INSTALL_K3S_SKIP_START:=true}"fi;;*)rpm_installer="yum";;esacif [ "${rpm_installer}" = "yum" ] && [ -x /usr/bin/dnf ]; thenrpm_installer=dnffi# shellcheck disable=SC2086$SUDO ${rpm_installer} install -y "k3s-selinux"fireturn }# --- download and verify k3s --- download_and_verify() {if can_skip_download; theninfo 'Skipping k3s download and verify'verify_k3s_is_executablereturnfisetup_verify_archverify_downloader curl || verify_downloader wget || fatal 'Can not find curl or wget for downloading files'setup_tmpget_release_versiondownload_hashif installed_hash_matches; theninfo 'Skipping binary downloaded, installed k3s matches hash'returnfidownload_binaryverify_binarysetup_binary }# --- add additional utility links --- create_symlinks() {[ "${INSTALL_K3S_BIN_DIR_READ_ONLY}" = true ] && return[ "${INSTALL_K3S_SYMLINK}" = skip ] && returnfor cmd in kubectl crictl ctr; doif [ ! -e ${BIN_DIR}/${cmd} ] || [ "${INSTALL_K3S_SYMLINK}" = force ]; thenwhich_cmd=$(command -v ${cmd} 2>/dev/null || true)if [ -z "${which_cmd}" ] || [ "${INSTALL_K3S_SYMLINK}" = force ]; theninfo "Creating ${BIN_DIR}/${cmd} symlink to k3s"$SUDO ln -sf k3s ${BIN_DIR}/${cmd}elseinfo "Skipping ${BIN_DIR}/${cmd} symlink to k3s, command exists in PATH at ${which_cmd}"fielseinfo "Skipping ${BIN_DIR}/${cmd} symlink to k3s, already exists"fidone }# --- create killall script --- create_killall() {[ "${INSTALL_K3S_BIN_DIR_READ_ONLY}" = true ] && returninfo "Creating killall script ${KILLALL_K3S_SH}"$SUDO tee ${KILLALL_K3S_SH} >/dev/null << \EOF #!/bin/sh [ $(id -u) -eq 0 ] || exec sudo $0 $@for bin in /var/lib/rancher/k3s/data/**/bin/; do[ -d $bin ] && export PATH=$PATH:$bin:$bin/aux doneset -xfor service in /etc/systemd/system/k3s*.service; do[ -s $service ] && systemctl stop $(basename $service) donefor service in /etc/init.d/k3s*; do[ -x $service ] && $service stop donepschildren() {ps -e -o ppid= -o pid= | \sed -e 's/^\s*//g; s/\s\s*/\t/g;' | \grep -w "^$1" | \cut -f2 }pstree() {for pid in $@; doecho $pidfor child in $(pschildren $pid); dopstree $childdonedone }killtree() {kill -9 $({ set +x; } 2>/dev/null;pstree $@;set -x;) 2>/dev/null }getshims() {ps -e -o pid= -o args= | sed -e 's/^ *//; s/\s\s*/\t/;' | grep -w 'k3s/data/[^/]*/bin/containerd-shim' | cut -f1 }killtree $({ set +x; } 2>/dev/null; getshims; set -x)do_unmount_and_remove() {set +xwhile read -r _ path _; docase "$path" in $1*) echo "$path" ;; esacdone < /proc/self/mounts | sort -r | xargs -r -t -n 1 sh -c 'umount "$0" && rm -rf "$0"'set -x }do_unmount_and_remove '/run/k3s' do_unmount_and_remove '/var/lib/rancher/k3s' do_unmount_and_remove '/var/lib/kubelet/pods' do_unmount_and_remove '/var/lib/kubelet/plugins' do_unmount_and_remove '/run/netns/cni-'# Remove CNI namespaces ip netns show 2>/dev/null | grep cni- | xargs -r -t -n 1 ip netns delete# Delete network interface(s) that match 'master cni0' ip link show 2>/dev/null | grep 'master cni0' | while read ignore iface ignore; doiface=${iface%%@*}[ -z "$iface" ] || ip link delete $iface done ip link delete cni0 ip link delete flannel.1 ip link delete flannel-v6.1 rm -rf /var/lib/cni/ iptables-save | grep -v KUBE- | grep -v CNI- | iptables-restore EOF$SUDO chmod 755 ${KILLALL_K3S_SH}$SUDO chown root:root ${KILLALL_K3S_SH} }# --- create uninstall script --- create_uninstall() {[ "${INSTALL_K3S_BIN_DIR_READ_ONLY}" = true ] && returninfo "Creating uninstall script ${UNINSTALL_K3S_SH}"$SUDO tee ${UNINSTALL_K3S_SH} >/dev/null << EOF #!/bin/sh set -x [ \$(id -u) -eq 0 ] || exec sudo \$0 \$@${KILLALL_K3S_SH}if command -v systemctl; thensystemctl disable ${SYSTEM_NAME}systemctl reset-failed ${SYSTEM_NAME}systemctl daemon-reload fi if command -v rc-update; thenrc-update delete ${SYSTEM_NAME} default firm -f ${FILE_K3S_SERVICE} rm -f ${FILE_K3S_ENV}remove_uninstall() {rm -f ${UNINSTALL_K3S_SH} } trap remove_uninstall EXITif (ls ${SYSTEMD_DIR}/k3s*.service || ls /etc/init.d/k3s*) >/dev/null 2>&1; thenset +x; echo 'Additional k3s services installed, skipping uninstall of k3s'; set -xexit fifor cmd in kubectl crictl ctr; doif [ -L ${BIN_DIR}/\$cmd ]; thenrm -f ${BIN_DIR}/\$cmdfi donerm -rf /etc/rancher/k3s rm -rf /run/k3s rm -rf /run/flannel rm -rf /var/lib/rancher/k3s rm -rf /var/lib/kubelet rm -f ${BIN_DIR}/k3s rm -f ${KILLALL_K3S_SH}if type yum >/dev/null 2>&1; thenyum remove -y k3s-selinuxrm -f /etc/yum.repos.d/rancher-k3s-common*.repo elif type zypper >/dev/null 2>&1; thenuninstall_cmd="zypper remove -y k3s-selinux"if [ "\${TRANSACTIONAL_UPDATE=false}" != "true" ] && [ -x /usr/sbin/transactional-update ]; thenuninstall_cmd="transactional-update --no-selfupdate -d run \$uninstall_cmd"fi\$uninstall_cmdrm -f /etc/zypp/repos.d/rancher-k3s-common*.repo fi EOF$SUDO chmod 755 ${UNINSTALL_K3S_SH}$SUDO chown root:root ${UNINSTALL_K3S_SH} }# --- disable current service if loaded -- systemd_disable() {$SUDO systemctl disable ${SYSTEM_NAME} >/dev/null 2>&1 || true$SUDO rm -f /etc/systemd/system/${SERVICE_K3S} || true$SUDO rm -f /etc/systemd/system/${SERVICE_K3S}.env || true }# --- capture current env and create file containing k3s_ variables --- create_env_file() {info "env: Creating environment file ${FILE_K3S_ENV}"$SUDO touch ${FILE_K3S_ENV}$SUDO chmod 0600 ${FILE_K3S_ENV}sh -c export | while read x v; do echo $v; done | grep -E '^(K3S|CONTAINERD)_' | $SUDO tee ${FILE_K3S_ENV} >/dev/nullsh -c export | while read x v; do echo $v; done | grep -Ei '^(NO|HTTP|HTTPS)_PROXY' | $SUDO tee -a ${FILE_K3S_ENV} >/dev/null }# --- write systemd service file --- create_systemd_service_file() {info "systemd: Creating service file ${FILE_K3S_SERVICE}"$SUDO tee ${FILE_K3S_SERVICE} >/dev/null << EOF [Unit] Description=Lightweight Kubernetes Documentation=https://k3s.io Wants=network-online.target After=network-online.target[Install] WantedBy=multi-user.target[Service] Type=${SYSTEMD_TYPE} EnvironmentFile=-/etc/default/%N EnvironmentFile=-/etc/sysconfig/%N EnvironmentFile=-${FILE_K3S_ENV} KillMode=process Delegate=yes # Having non-zero Limit*s causes performance problems due to accounting overhead # in the kernel. We recommend using cgroups to do container-local accounting. LimitNOFILE=1048576 LimitNPROC=infinity LimitCORE=infinity TasksMax=infinity TimeoutStartSec=0 Restart=always RestartSec=5s ExecStartPre=/bin/sh -xc '! /usr/bin/systemctl is-enabled --quiet nm-cloud-setup.service' ExecStartPre=-/sbin/modprobe br_netfilter ExecStartPre=-/sbin/modprobe overlay ExecStart=${BIN_DIR}/k3s \\${CMD_K3S_EXEC}EOF }# --- write openrc service file --- create_openrc_service_file() {LOG_FILE=/var/log/${SYSTEM_NAME}.loginfo "openrc: Creating service file ${FILE_K3S_SERVICE}"$SUDO tee ${FILE_K3S_SERVICE} >/dev/null << EOF #!/sbin/openrc-rundepend() {after network-onlinewant cgroups }start_pre() {rm -f /tmp/k3s.* }supervisor=supervise-daemon name=${SYSTEM_NAME} command="${BIN_DIR}/k3s" command_args="$(escape_dq "${CMD_K3S_EXEC}")>>${LOG_FILE} 2>&1"output_log=${LOG_FILE} error_log=${LOG_FILE}pidfile="/var/run/${SYSTEM_NAME}.pid" respawn_delay=5 respawn_max=0set -o allexport if [ -f /etc/environment ]; then source /etc/environment; fi if [ -f ${FILE_K3S_ENV} ]; then source ${FILE_K3S_ENV}; fi set +o allexport EOF$SUDO chmod 0755 ${FILE_K3S_SERVICE}$SUDO tee /etc/logrotate.d/${SYSTEM_NAME} >/dev/null << EOF ${LOG_FILE} {missingoknotifemptycopytruncate } EOF }# --- write systemd or openrc service file --- create_service_file() {[ "${HAS_SYSTEMD}" = true ] && create_systemd_service_file[ "${HAS_OPENRC}" = true ] && create_openrc_service_filereturn 0 }# --- get hashes of the current k3s bin and service files get_installed_hashes() {$SUDO sha256sum ${BIN_DIR}/k3s ${FILE_K3S_SERVICE} ${FILE_K3S_ENV} 2>&1 || true }# --- enable and start systemd service --- systemd_enable() {info "systemd: Enabling ${SYSTEM_NAME} unit"$SUDO systemctl enable ${FILE_K3S_SERVICE} >/dev/null$SUDO systemctl daemon-reload >/dev/null }systemd_start() {info "systemd: Starting ${SYSTEM_NAME}"$SUDO systemctl restart ${SYSTEM_NAME} }# --- enable and start openrc service --- openrc_enable() {info "openrc: Enabling ${SYSTEM_NAME} service for default runlevel"$SUDO rc-update add ${SYSTEM_NAME} default >/dev/null }openrc_start() {info "openrc: Starting ${SYSTEM_NAME}"$SUDO ${FILE_K3S_SERVICE} restart }# --- startup systemd or openrc service --- service_enable_and_start() {if [ -f "/proc/cgroups" ] && [ "$(grep memory /proc/cgroups | while read -r n n n enabled; do echo $enabled; done)" -eq 0 ];theninfo 'Failed to find memory cgroup, you may need to add "cgroup_memory=1 cgroup_enable=memory" to your linux cmdline (/boot/cmdline.txt on a Raspberry Pi)'fi[ "${INSTALL_K3S_SKIP_ENABLE}" = true ] && return[ "${HAS_SYSTEMD}" = true ] && systemd_enable[ "${HAS_OPENRC}" = true ] && openrc_enable[ "${INSTALL_K3S_SKIP_START}" = true ] && returnPOST_INSTALL_HASHES=$(get_installed_hashes)if [ "${PRE_INSTALL_HASHES}" = "${POST_INSTALL_HASHES}" ] && [ "${INSTALL_K3S_FORCE_RESTART}" != true ]; theninfo 'No change detected so skipping service start'returnfi[ "${HAS_SYSTEMD}" = true ] && systemd_start[ "${HAS_OPENRC}" = true ] && openrc_startreturn 0 }# --- re-evaluate args to include env command --- eval set -- $(escape "${INSTALL_K3S_EXEC}") $(quote "$@")# --- run the install process -- {verify_systemsetup_env "$@"download_and_verifysetup_selinuxcreate_symlinkscreate_killallcreate_uninstallsystemd_disablecreate_env_filecreate_service_fileservice_enable_and_start }

參考鏈接:https://docs.rancher.cn/docs/k3s/installation/airgap/_index/

總結

以上是生活随笔為你收集整理的k3s安装和卸载:轻量级K8S的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

新av在线 | 不卡视频一区二区三区 | 亚洲高清视频在线观看免费 | 国产手机视频精品 | 97网站| 91精品视屏 | www.天天色 | 免费看污在线观看 | 在线观看91精品视频 | 久久久高清一区二区三区 | 欧美日韩国产欧美 | 毛片网站在线看 | 中文字幕电影在线 | 高清免费在线视频 | 草久中文字幕 | 69国产成人综合久久精品欧美 | 久久999久久 | 亚洲激情视频在线观看 | 免费观看一区 | 日韩中字在线观看 | 日韩免费一级a毛片在线播放一级 | 久久精品79国产精品 | 人人玩人人添人人 | 成人动漫精品一区二区 | 91视频免费网址 | 国产群p| 一本一道久久a久久精品 | av在线一二三区 | 五月天激情综合网 | 国产高清视频在线免费观看 | www.五月天 | 91丨精品丨蝌蚪丨白丝jk | 国产精品系列在线播放 | 亚洲片在线资源 | 国产麻豆果冻传媒在线观看 | av免费网站在线观看 | 国产精品一二 | 视频成人永久免费视频 | 天天se天天cao天天干 | 美女黄频在线观看 | 久久综合久久综合这里只有精品 | av中文字幕在线免费观看 | 欧美日韩后 | 成人欧美一区二区三区黑人麻豆 | 精品久久久久久久久久国产 | 色婷婷电影 | 久草线| 日本九九视频 | 国产探花 | 久久久久久国产精品久久 | 国产精品18久久久久久久久 | 久久免费黄色大片 | 免费在线观看毛片网站 | 欧美日韩在线视频观看 | 在线精品视频在线观看高清 | 亚洲乱码久久久 | 精品视频中文字幕 | 精品福利视频在线观看 | 97视频在线观看播放 | 亚洲电影免费 | 中文一区二区三区在线观看 | 嫩草91影院| 久久精品电影网 | 日韩精品无 | 久久久久国产精品一区 | 久久夜色精品国产欧美一区麻豆 | 久久一区二区三区四区 | 成人国产精品久久久久久亚洲 | 日韩精品一区二区三区不卡 | 在线视频国产区 | 久久免费影院 | 日韩不卡高清视频 | 国产精品一区二区 91 | 欧美黑人xxxx猛性大交 | 91精品国产91p65 | 国产精品久久综合 | 天堂视频一区 | 久久视频在线观看中文字幕 | 国产精品久久久久免费观看 | 黄色片网站av | www一起操| 免费看搞黄视频网站 | 久久精品日韩 | 亚洲精品免费在线视频 | 99热这里只有精品国产首页 | 欧美日一级片 | 国产精品美| 亚洲电影av在线 | 天天天天色综合 | 久久综合电影 | 日韩在线观看第一页 | 中文字幕一区二区三区久久蜜桃 | 日韩在线不卡 | 国精产品999国精产品岳 | 91精品视频免费观看 | 成人a免费看 | 欧美国产不卡 | 欧美另类xxxxx | 中文字幕高清视频 | 青青看片 | 久久伦理网| 亚洲精品乱码久久久久 | 国产中文字幕一区二区 | 国产精品高清在线观看 | 国产精品视屏 | 亚洲性视频 | www178ccom视频在线 | 国产精品美女在线 | 欧美怡红院视频 | 99精品免费在线观看 | 亚洲mv大片欧洲mv大片免费 | 久久国产高清 | 亚洲国产视频在线 | 婷婷伊人五月 | 狠狠狠色丁香婷婷综合久久88 | 成片免费观看视频999 | 九色91福利 | 91精品天码美女少妇 | 婷婷5月色| 精品av网站 | 五月丁色 | 性色av一区二区三区在线观看 | 久久看片| 91亚洲精品久久久蜜桃借种 | 婷婷播播网 | 日韩av免费大片 | 99精品在线免费视频 | 久久久国产99久久国产一 | 在线激情影院一区 | 中文字幕久久久精品 | 97av在线 | 狠狠狠的干 | 免费色视频在线 | 国产美女视频一区 | 国产乱对白刺激视频不卡 | 国产日韩精品在线观看 | 久久精品中文字幕 | 色欧美综合| 中文字幕免费高清在线 | 色婷婷播放 | 96国产在线 | 日韩av线观看| 黄色一级性片 | 午夜视频在线网站 | 国产成人精品电影久久久 | 婷婷丁香激情五月 | 韩国一区视频 | 国产精品毛片一区二区在线 | 欧美美女一级片 | 日韩在线观看三区 | 国产品久精国精产拍 | 丁香花在线视频观看免费 | 精产嫩模国品一二三区 | 亚洲视频播放 | 香蕉视频最新网址 | 超黄视频网站 | 天天操网站 | 天天操天天添 | 婷婷中文字幕综合 | 天天天插 | 欧美作爱视频 | 久久国产成人午夜av影院宅 | 麻豆精品视频在线观看免费 | 中文字幕91在线 | 亚洲四虎在线 | 久日视频 | 成人夜晚看av | 97av色| 亚洲激情精品 | av免费在线观看1 | 欧美日韩视频在线播放 | 久久精品国产免费看久久精品 | 热久久这里只有精品 | 成人蜜桃视频 | 国产涩图 | 久久美女高清视频 | 久久视频一区 | 亚洲国产剧情 | 久久免费视频6 | 国产区精品视频 | 欧美成年人在线视频 | 天天爱天天射天天干天天 | 香蕉视频免费在线播放 | 色综合久久网 | 成人va天堂 | 91中文字幕在线播放 | 日韩在线观看三区 | 麻豆av一区二区三区在线观看 | 久久人人爽人人片av | 亚洲一级国产 | 亚洲91中文字幕无线码三区 | 国产一级一片免费播放放 | 国产精品久久久久久久久久免费看 | 国产区在线视频 | 国产精品久久久久久久久久不蜜月 | 黄色在线视频网址 | 色综合久久久久综合 | 日本精品二区 | 午夜久久久精品 | 天天视频色版 | 美女网站在线免费观看 | 国模精品一区二区三区 | 黄色app网站在线观看 | 日韩女同一区二区三区在线观看 | 国产极品尤物在线 | 少妇bbr搡bbb搡bbb | 天天干天天干天天射 | 西西大胆啪啪 | 超碰国产在线播放 | 亚洲国产午夜精品 | 一区二区三区精品久久久 | 亚洲一级电影视频 | 中文国产字幕在线观看 | 99久久精品费精品 | 久久亚洲综合国产精品99麻豆的功能介绍 | 国产成人精品一区二区三区网站观看 | 国内精品久久久久影院男同志 | 国产一区二区在线观看免费 | 日韩va亚洲va欧美va久久 | 在线 欧美 日韩 | 色亚洲激情 | 久久精品美女视频 | 亚洲欧美经典 | 97国产在线视频 | 夜夜视频 | 亚洲一区二区视频在线 | 国产一区二区久久久久 | 国产黄色精品在线观看 | 美女国产精品 | 在线观看日韩精品视频 | 美女免费视频观看网站 | 国产中文字幕网 | 亚洲午夜精品一区二区三区电影院 | 国产福利不卡视频 | 午夜视频免费 | 欧美日韩国产一区二区三区 | 亚洲永久字幕 | 视频二区在线视频 | 国产一区视频在线观看免费 | 国产视频中文字幕 | 少妇bbw搡bbbb搡bbb | 999久久久久久久久6666 | 欧美作爱视频 | 中文伊人 | 怡红院av久久久久久久 | 色婷婷在线播放 | 久操97 | 五月婷婷激情五月 | 国产精品久久久久久久久久妇女 | 97免费视频在线播放 | 91视频网址入口 | 亚洲欧美日韩国产精品一区午夜 | 国产美女永久免费 | 免费欧美 | 国产精品一区免费在线观看 | 日韩成人不卡 | 视频成人 | 精品国产免费av | 亚洲精品无 | 国产精品3 | 夜夜操天天干, | 久久国产成人午夜av影院宅 | 久久国产精品偷 | 国产精品一区二区免费看 | 成人免费观看视频网站 | 国产99久久久国产精品免费看 | 操老逼免费视频 | 人人擦| 99精品国产一区二区三区不卡 | 色就是色综合 | 一区在线观看 | 国产精品久久久久亚洲影视 | 91最新国产 | 国产精品自产拍在线观看网站 | 国产精品一区二区在线 | 麻豆视频网址 | 国产麻豆电影在线观看 | 亚洲国产高清视频 | 欧美日韩高清一区二区 国产亚洲免费看 | 国产一级二级在线观看 | 国产91av视频在线观看 | 又黄又爽又无遮挡免费的网站 | 久热av在线 | 日韩大片在线免费观看 | 在线韩国电影免费观影完整版 | 操碰av | 国产成人久久av免费高清密臂 | 亚洲国产美女精品久久久久∴ | 国产做爰视频 | 欧美色图亚洲图片 | 久久精品一区二区三区中文字幕 | 色综合婷婷久久 | 天天天天色射综合 | 成人黄色av免费在线观看 | 精品久久久久久亚洲综合网站 | 91成人观看| 狠狠色丁香久久婷婷综 | 欧美精品中文字幕亚洲专区 | 成人av在线网| 天天干天天看 | 毛片www| 成人免费亚洲 | 999国产精品视频 | 亚洲国产精品成人av | 日本二区三区在线 | 久久草av| 国产高清黄色 | 日本免费一二三区 | 欧美一级片免费观看 | 免费看黄电影 | 色多多污污 | 亚洲精品在线观看的 | 日日狠狠 | 99久久这里有精品 | 超碰成人免费电影 | 久久久免费观看完整版 | 高清av免费一区中文字幕 | 国产视频一区在线播放 | 视频一区视频二区在线观看 | 99久久精品国产一区 | av网站在线观看播放 | 在线国产激情视频 | 亚洲欧美综合精品久久成人 | 一区二区三区四区五区在线 | 五月天婷婷在线视频 | 亚洲激情av | 狠狠干婷婷 | 成人黄色片免费 | 麻豆国产精品一区二区三区 | 亚洲性少妇性猛交wwww乱大交 | 91视频在线免费下载 | 日韩一级电影网站 | 国产在线观看,日本 | 91久久国产综合精品女同国语 | 国产精品少妇 | 欧美做受高潮电影o | 亚洲少妇影院 | 久草在线这里只有精品 | 日本精品视频免费观看 | 最近中文字幕在线 | 国产精品久久99精品毛片三a | 一区二区三区播放 | 国产视频在线播放 | 天天操天天射天天插 | 黄色大片网| 精品999久久久 | 99免费国产 | 国产免费美女 | 免费在线视频一区二区 | 天天插天天干天天操 | 性色av一区二区三区在线观看 | 国产a免费 | 婷婷草 | 永久免费毛片 | 成人av电影免费在线播放 | 欧美日本一区 | 亚洲国产免费看 | 黄色a一级片 | 亚洲精品五月天 | 麻豆成人在线观看 | 日韩电影久久 | 色资源中文字幕 | 日韩爱爱网站 | 最近日本中文字幕a | 成人在线视频网 | 久久综合婷婷国产二区高清 | 久久久久久久久久久成人 | 久久黄色网页 | 美女又爽又黄 | 色综合小说 | 91av观看| 日韩aⅴ视频 | 亚洲欧美日韩国产精品一区午夜 | 99精品免费观看 | 狠狠撸电影 | 日韩精品你懂的 | av黄色亚洲 | 精品日韩在线 | 免费看黄电影 | 国产成人在线网站 | 99久久久久成人国产免费 | 爱情影院aqdy鲁丝片二区 | 亚洲少妇自拍 | 国产精品淫 | 色wwwww| 精品国产自在精品国产精野外直播 | 久久与婷婷 | 91精品国自产拍天天拍 | 色网站黄| 中文字幕免费观看视频 | 五月在线视频 | 亚洲久草在线视频 | 久久 一区 | 久久中文视频 | avwww在线观看 | 中文在线天堂资源 | 最新日韩视频在线观看 | 射九九 | 国产一级片毛片 | 夜夜狠狠| 天天射天天做 | 日韩高清成人在线 | 国产日韩精品在线观看 | 天天人人综合 | 中文字幕中文字幕中文字幕 | a视频在线观看免费 | 精品人人爽 | 中文字幕精| 中文字幕在线观看资源 | 最新av免费在线观看 | 日韩www在线 | 亚洲精品视 | 青青网视频 | 黄色一级在线视频 | 亚洲劲爆av| 99久久婷婷国产 | 高清av在线免费观看 | 亚洲国产欧美一区二区三区丁香婷 | 毛片一级免费一级 | 久久夜色精品国产欧美乱极品 | 人人人爽 | 国产99中文字幕 | 欧美专区亚洲专区 | 中文字幕久久精品亚洲乱码 | 在线电影a | 国产中文字幕久久 | 亚洲九九影院 | 中文字幕在线观看av | 一区二区网 | 国内精品久久久久久久 | 久久国产精品一区二区三区四区 | 国产一级视频在线观看 | 在线视频观看亚洲 | 免费日韩三级 | 久久久久久久久福利 | 综合婷婷丁香 | 午夜精品福利一区二区三区蜜桃 | 亚洲成人黄| 在线观看视频黄 | 欧美日韩久久一区 | 黄色日本免费 | 黄色特级片 | 香蕉视频啪啪 | 欧美了一区在线观看 | 日批视频在线观看免费 | 一本一本久久a久久精品综合 | 最近更新的中文字幕 | 波多野结衣视频一区二区 | 丁香久久综合 | 午夜av日韩 | 国产成人一区二区三区影院在线 | 一级片视频在线 | 中文字幕在线成人 | 最近中文字幕大全 | 国产亚洲精品久久久久久无几年桃 | 日日操操操 | 免费在线一区二区 | 91在线精品秘密一区二区 | 美女国内精品自产拍在线播放 | 精品uu| 久久一区二 | 久久国产一区二区三区 | 免费观看91 | 女人18毛片90分钟 | 九草视频在线观看 | 国产精品18久久久久久久网站 | 久久色网站 | av免费观看网站 | 爱av在线网 | 欧美电影黄色 | 国产剧情久久 | 日日草av | 91网在线| 日本爱爱免费视频 | 超碰在线网 | 国产精品久久久久婷婷二区次 | 久久午夜剧场 | 97碰视频| 六月色丁香 | 日韩中文字幕在线 | 国产成人精品网站 | 精品亚洲网 | 日韩av电影手机在线观看 | 国产亚洲永久域名 | 日本特黄一级片 | 丁香花中文字幕 | 亚洲最新在线 | 免费午夜av | 国产免费av一区二区三区 | 国产理论在线 | 国产日产在线观看 | 久久精品视频在线 | 日韩免费不卡av | 久久69精品久久久久久久电影好 | 黄网站免费大全入口 | 丁香六月伊人 | 婷婷久久婷婷 | 欧美a级在线 | av在线com| 五月天丁香视频 | 天天综合日日夜夜 | 日韩免费高清 | 亚洲人xxx | 激情网综合 | 黄色录像av| 国产资源| 人人舔人人爱 | 成人三级网站在线观看 | 69亚洲精品| 97国产精品亚洲精品 | 综合网天天 | 精品视频国产一区 | 成人亚洲精品国产www | 99久久精品午夜一区二区小说 | 欧美福利视频 | 人人插人人看 | 国产亚洲精品电影 | 特级大胆西西4444www | 成人a v视频 | 久久久久久久久久久久久影院 | 九草在线观看 | 在线免费观看视频你懂的 | 天天干天天摸天天操 | av天天草| 精品日韩中文字幕 | 国产精品日韩欧美一区二区 | 97狠狠操| 日韩精品一区二区三区免费观看视频 | 久久综合射 | 人人爽人人爽人人爽学生一级 | 国产精品视频久久久 | 亚洲精品久久久蜜桃直播 | 99精品国产在热久久下载 | 国产 日韩 欧美 中文 在线播放 | 欧美国产亚洲精品久久久8v | 欧美激情综合色 | 国产精品 国产精品 | 在线观看电影av | av高清影院 | 欧美精品久久天天躁 | 国产97在线播放 | 免费视频 你懂的 | 亚洲国产中文字幕在线视频综合 | 日本中文字幕一二区观 | 久久伊人国产精品 | 91在线影院 | 日韩免费成人av | 在线免费观看一区二区三区 | 97电影在线 | 在线日韩一区 | 免费在线观看不卡av | 国产精品视频地址 | 天堂av在线7 | 国产成人久久精品亚洲 | 欧美一区日韩精品 | 精品美女久久久久 | 激情久久影院 | 久久久午夜精品理论片中文字幕 | 女人18毛片a级毛片一区二区 | 成人电影毛片 | 97视频免费播放 | 手机av在线免费观看 | 婷婷在线不卡 | www久久久| 成人av动漫在线 | 亚洲另类久久 | 免费在线观看av的网站 | 欧美中文字幕第一页 | 三上悠亚一区二区在线观看 | 欧美午夜精品久久久久 | av免费观看网站 | 蜜臀av夜夜澡人人爽人人桃色 | 在线久草视频 | 欧美不卡在线 | 国产精品久久影院 | 91理论片午午伦夜理片久久 | 国产精品久久久久久久久免费 | 日本深夜福利视频 | 成人毛片一区 | 欧美一级xxxx | 天天操天天操天天操天天操 | 日韩二区三区在线 | www亚洲精品 | 久久亚洲日本 | 国产无套精品久久久久久 | 精品国产精品国产偷麻豆 | 国产一级h | 超碰人人草 | 天天干天天玩天天操 | 黄色www在线观看 | 亚洲综合黄色 | 亚洲欧洲精品久久 | 国产精品久久久久久久久久久免费看 | 日韩精品一区电影 | 免费观看午夜视频 | 久久99国产精品久久99 | 国产青草视频在线观看 | 麻豆高清免费国产一区 | 久久一区二区免费视频 | 国产黄 | 色就是色综合 | 国产欧美精品一区aⅴ影院 99视频国产精品免费观看 | 精品国产乱码久久久久久1区2匹 | 国产裸体无遮挡 | 精品免费99久久 | 黄色毛片视频 | 亚洲欧洲精品一区 | 免费久久99精品国产婷婷六月 | 开心激情网五月天 | 99精彩视频在线观看免费 | 四川bbb搡bbb爽爽视频 | 中文字幕在线看视频 | 欧美一级片在线播放 | 欧美 日韩精品 | 日韩视频精品在线 | 欧美日韩免费网站 | 亚洲天天综合网 | 亚洲在线综合 | 中文字幕日韩精品有码视频 | 狠狠天天 | 91视频91蝌蚪| 日本精品视频在线观看 | 亚洲 欧美变态 另类 综合 | 99在线高清视频在线播放 | 亚洲九九爱 | 日韩高清成人 | 狠狠操在线 | 久久久久女人精品毛片九一 | 国产精品麻豆三级一区视频 | bbw av| 国产不卡片 | 中文字幕一区在线观看视频 | 国际精品网 | 久久午夜精品视频 | 久久国产精品影视 | 丁香六月五月婷婷 | 国产一级片视频 | 五月天婷婷丁香花 | 91免费观看网站 | av一区二区三区在线播放 | 国产精品久久嫩一区二区免费 | 日韩网站在线 | 国产精品久久久久aaaa九色 | 九九热久久免费视频 | 夜夜视频欧洲 | 五月开心婷婷网 | 粉嫩av一区二区三区四区 | 五月激情六月丁香 | 欧美最新另类人妖 | 久久艹艹| 久久午夜电影网 | 亚洲91网站| 中文字幕日韩av | 天天干天天干天天射 | 日韩理论在线播放 | 久久av在线 | 综合色综合 | 成人在线视频网 | 特级毛片aaa | 高清国产午夜精品久久久久久 | 天天干天天色2020 | 一区二区三区免费在线观看 | 综合激情久久 | 五月宗合网 | 色综合久久久久久久久五月 | 五月婷网站 | 日韩午夜av| 五月婷婷毛片 | 亚洲黄网站 | 欧美日本中文字幕 | 日韩在线精品视频 | 在线国产中文字幕 | 精品国产伦一区二区三区免费 | 色a4yy| 亚洲精品久久久久中文字幕二区 | 国产精品一区二区三区久久 | 成年人免费av网站 | 久久久午夜精品理论片中文字幕 | 亚洲欧美色婷婷 | 亚洲婷婷综合色高清在线 | 精品电影一区二区 | 成人av免费看 | 中文字幕在线国产 | 成人av一二三区 | 久久久精品免费观看 | 九九交易行官网 | 欧美日韩视频观看 | 欧美精选一区二区三区 | 丁香电影小说免费视频观看 | 国产手机视频在线 | 亚洲三级在线 | 日韩av电影免费观看 | 免费看的国产视频网站 | 欧美va日韩va| 欧美激情片在线观看 | 国产成人一二三 | 欧美性生活免费看 | 麻豆免费精品视频 | 月下香电影 | 99国产精品一区二区 | 啪啪激情网 | 91丨九色丨高潮 | 国产理伦在线 | 国产手机免费视频 | 亚洲国产欧美一区二区三区丁香婷 | 在线之家免费在线观看电影 | 国产1区2区 | 91视频免费网站 | 西西4444www大胆无视频 | 国产 字幕 制服 中文 在线 | 亚洲电影久久久 | 中文字幕在线视频免费播放 | 国产精品剧情 | 国产精品国产三级国产aⅴ入口 | 久久综合欧美精品亚洲一区 | 久久高清| 天天操天天射天天添 | 在线精品视频在线观看高清 | 成人国产精品一区二区 | 久久精品国产亚洲 | 99热这里有 | 久久国产热视频 | 视频在线99 | 国产 日韩 中文字幕 | 国产96在线观看 | 四虎影视成人永久免费观看亚洲欧美 | 亚洲精品国精品久久99热 | 视频国产在线 | 激情视频免费在线 | 亚洲h在线播放在线观看h | 欧美日韩视频一区二区 | 婷婷丁香久久五月婷婷 | 亚洲黄色一级视频 | 中文字幕在线网址 | av在线免费观看不卡 | 毛片网站在线观看 | 中文字幕av日韩 | 欧美激情亚洲综合 | 伊人狠狠色丁香婷婷综合 | 成人国产一区二区 | 欧美成人一二区 | 欧美一级久久久 | 81国产精品久久久久久久久久 | 国产一级电影网 | 中文字幕色婷婷在线视频 | 69欧美视频 | 国产亚洲精品女人久久久久久 | 天天综合网国产 | 在线视频你懂得 | 日韩网站在线免费观看 | 亚洲精品国产精品乱码不99热 | 日本久久精品 | 久久99国产综合精品 | 亚洲成av片人久久久 | 麻豆免费在线视频 | 一级一片免费观看 | 欧美美女一级片 | 成人免费xxx在线观看 | 国产免费一区二区三区最新6 | 一级性视频 | 中文字幕一区二区三区四区 | 粉嫩高清一区二区三区 | 狠狠躁天天躁综合网 | 成年人免费在线观看 | 97超碰人人干 | 色婷婷国产精品一区在线观看 | 国产一级二级av | 国产成人精品在线播放 | 国产成人精品久久久久蜜臀 | 视频国产在线观看18 | 亚洲网久久 | 亚洲精品中文字幕视频 | 国产一区二区三区午夜 | 精品亚洲成a人在线观看 | 久久这里 | 亚洲毛片在线观看. | 97在线视频免费观看 | 国产日韩精品一区二区三区 | 欧美日韩高清在线一区 | 欧美日韩69| 亚洲午夜精 | 国内外成人在线 | 狠狠操91 | 日韩在线观看你懂得 | 亚洲欧洲一级 | 免费看毛片在线 | 日韩在线高清 | 午夜在线看片 | 国产日本在线播放 | 日p视频在线观看 | 久久综合九色综合97_ 久久久 | 欧美一区二区精美视频 | 欧美日韩亚洲第一页 | 欧美极度另类 | 久久久久久久久久久成人 | 国产精品久久久久久久久久久久 | 在线视频观看你懂的 | 久久免费精彩视频 | 久插视频| 91免费视频网站在线观看 | 在线观看国产福利片 | 中文字幕av网站 | 久久免费视频观看 | 丁香综合激情 | 韩国一区视频 | 欧美一级黄色片 | 操操综合网 | 亚洲 欧美 精品 | 色狠狠干| 久章操| 免费视频久久久久 | 极品中文字幕 | 国产三级午夜理伦三级 | 亚洲国产精品电影 | 在线亚洲成人 | 亚洲理论片 | 日本韩国欧美在线观看 | 免费高清在线观看成人 | 亚洲电影图片小说 | 亚洲一区 影院 | 欧美激情另类 | 天天操天天干天天爱 | 久久大片网站 | 91在线播放国产 | 免费成人在线视频网站 | 九九久久久久久久久激情 | 又紧又大又爽精品一区二区 | www免费黄色| 91精品啪在线观看国产81旧版 | 视频在线一区 | 午夜精品久久 | 右手影院亚洲欧美 | 一区二区三区四区在线 | 日韩精品一区二区三区免费观看 | 91精选在线观看 | 国产精品久久久久久爽爽爽 | 一级做a爱片性色毛片www | 播五月综合 | 一级片视频免费观看 | 天天操天天色天天射 | 免费看一级一片 | 日韩欧美在线视频一区二区三区 | 中文字幕一区二区三区精华液 | 久热电影| 九九热免费在线观看 | 久草免费在线观看视频 | 成人av在线资源 | 一二区精品 | 国产理论一区二区三区 | 韩国三级av在线 | 国产午夜三级 | 五月天开心 | 亚洲美女在线国产 | 亚洲人成在线电影 | 麻豆视频在线看 | 波多野结衣在线观看视频 | 黄色网址国产 | 91亚瑟视频 | 国产中的精品av小宝探花 | 免费能看的黄色片 | 欧美成人在线免费 | 韩日电影在线 | 国产视频在线免费 | 欧美巨乳波霸 | 四虎国产精品永久在线国在线 | 三级毛片视频 | 91精品免费看 | 国产香蕉久久精品综合网 | 久久网站最新地址 | 免费看的黄网站 | 免费网站黄 | 91精品啪在线观看国产81旧版 | 一级a性色生活片久久毛片波多野 | a级片网站| 日本动漫做毛片一区二区 | 国产精品亚洲精品 | 91成人免费看片 | free. 性欧美.com | 色香蕉视频 | 欧美在线a视频 | 成年人视频在线观看免费 | 91天天操 | 久久成人国产 | 久久爽久久爽久久av东京爽 | 国产精品久久网 | 在线观看电影av | 在线a视频免费观看 | 欧美三人交 | 欧美日韩免费网站 | 成人av资源在线 | 美腿丝袜一区二区三区 | 国产精品成久久久久 | 国产一级二级在线播放 | 免费国产在线观看 | 久久爱www.| 久久国产视频网站 | 日本性视频 | 精品国产一区二区三区av性色 | 一区二区三区动漫 | 五月婷婷六月综合 | 精品国产乱码久久 | av成人资源 | 精品a在线 | 91久久久国产精品 | 欧美 激情 国产 91 在线 | 99r在线播放| 欧美日韩国语 | 99精品国产福利在线观看免费 | 国产系列在线观看 | 视频成人永久免费视频 | 狠狠躁日日躁狂躁夜夜躁 | 三级av小说| 久久精品3 | 日韩高清网站 | 亚洲精品www| 国产精品99精品久久免费 | 韩国精品一区二区三区六区色诱 | 国产精品久久久久久一二三四五 | 四虎影视成人永久免费观看视频 | 色多多在线观看 | 超碰国产在线观看 | 最近的中文字幕大全免费版 | 国内外成人在线 | 中文字幕一区二区在线观看 | www.eeuss影院av撸 | 不卡的av | 最新国产精品拍自在线播放 | 国产精品自产拍 | 美女av电影 | 久久九精品 | 开心色激情网 | 99久久这里有精品 | 国产亚洲视频中文字幕视频 | 不卡精品| 99国产成+人+综合+亚洲 欧美 | 久草网站在线观看 | 日韩黄在线观看 | 久草免费在线视频 | 亚洲精品久久久久58 | 免费在线观看国产精品 | 色婷婷伊人 | 在线色视频小说 | 99热99re6国产在线播放 | 亚洲香蕉视频 | 国产精品va在线观看入 | 免费一级特黄毛大片 | 日本精品二区 | 久久久国产一区二区三区四区小说 | 久久国产精品99久久久久久老狼 | 国产精品欧美久久久久天天影视 | 97精品一区二区三区 | 五月天亚洲激情 | 免费国产一区二区视频 | 在线观看免费一区 | 成人毛片a| 在线看的av网站 | 在线 欧美 日韩 | 日韩电影中文字幕在线 | 深夜成人av | 精品亚洲午夜久久久久91 | 91精品一区国产高清在线gif | 最近2019好看的中文字幕免费 | 五月天久久久久久 | 色综合天天综合网国产成人网 | 深爱激情五月综合 | 日韩精品一区二区三区第95 | 国产 一区二区三区 在线 | 97视频在线观看成人 | 午夜av色| 成年人免费看的视频 | 国产99自拍 | 婷色| 亚洲永久精品在线观看 | 在线视频观看亚洲 | 亚洲激情网站免费观看 | 2023亚洲精品国偷拍自产在线 | 国产中文字幕国产 | 色综合亚洲精品激情狠狠 | 欧美激情视频在线免费观看 | 国产91国语对白在线 | 久久久资源网 | 久久久色| 97色在线观看| 国产精品18久久久久久不卡孕妇 | 国产麻豆果冻传媒在线观看 | 九九免费在线观看视频 | 激情电影影院 | av色综合| 亚洲精品资源在线观看 | 亚洲国内精品在线 | 久久精品九色 | 日韩在线在线 | 91在线播放国产 | 精品久久久一区二区 | 2018亚洲男人天堂 | 人人搞人人搞 | 亚洲精品av在线 | 日本少妇视频 |