日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 >

云计算大数据:Xen、KVM、VMware、hyper-v等虚拟化技术的比较

發布時間:2024/3/13 85 豆豆
生活随笔 收集整理的這篇文章主要介紹了 云计算大数据:Xen、KVM、VMware、hyper-v等虚拟化技术的比较 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

1、Xen、KVM、VMware、hyper-v等虛擬化技術的比較,xen和kvm,是開源免費的虛擬化軟件。

vmware是付費的虛擬化軟件。

hyper-v比較特別,是微軟windows 2008 R2附帶的虛擬化組件,如果你買了足夠的授權,hyper-v(包括hyper-v 2008 core)都可以免費使用。

如果是vmware或hyper-v虛擬windows系統,不管是虛擬化軟件本身,還是其中的子系統,都要支付許可費用。

如果是vmware或hyper-v虛擬linux,虛擬化軟件本身要支付許可費用,子系統可以用linux來節省成本。

如果是xen或kvm虛擬windows,其中的子系統要支付許可費用。

如果是xen或kvm虛擬linux,那么虛擬化軟件本身和其中的子系統無需產生任何費用。

從性能上來講,虛擬windows,如果都能得到廠商的支持,那么,性能優化可以不用擔心。這幾款軟件全都能達到主系統至少80%以上的性能(磁盤,CPU,網絡,內存),這時建議使用hyper-v來虛擬windows,微軟自身的產品,虛擬windows是絕對有優勢的。

如果是虛擬linux,建議首先使用xen,支持linux的半虛擬化,可以直接使用主系統的cpu和磁盤及網絡資源,達到較少的虛擬化調度操作,可以達到非常高的性能,但xen操作復雜,維護成本較高。其次我們推薦kvm來虛擬linux,linux本身支持kvm的virtio技術,可以達到少量的虛擬化調度操作,得到較高的系統性能。

不推薦使用hyper-v來虛擬linux,太多的不兼容性導致linux基本無法在hyper-v上跑。

如果以上產品我們不打算買廠商支持,其中vmware和hyper-v,是不建議使用的,主要是授權問題。

這時就剩下kvm和xen了,如果虛擬windows,建議使用kvm,我們可以從redhat那里免費拿到針對windows優化過的磁盤和網絡的驅動程序,可以達到較高的性能(幾乎與hyper-v性能持平)。而xen的windows優化驅動不是那么容易就能拿到的(由于redhat以后不支持xen了,看看novell是否放水了,呵呵,就開放程度上來講,redhat要好于novell)。

綜上所述, 在有授權的情況下,虛擬windows,建議使用hyper-v 在有授權的情況下,虛擬linux,建議使用xen,如考慮到需要降低管理維護和學習成本,建議使用kvm。

在沒有授權的情況下,虛擬windows,建議使用KVM

2、KVM基本介紹

在2010年4月發布的RHEL6.0版本中,去掉了XEN,這也許是第一個不包含Xen Hypervisor的知名linux發行版。KVM是指基于Linux內核的虛擬機(Kernel-base Virtual Machine),增加到Linux內核是Linux發展的一個重要里程碑,這也是第一個整合到Linux主線內核的虛擬化技術。在KVM模型中,每一個虛擬機都是一個由Linux調度程序管理的標準進程,你可以在用戶空間啟動客戶機操作系統,一個普通的Linux進程有兩種運行模式:內核和用戶,KVM增加了第三種模式:客戶模式(有自己的內核和用戶模式)。

1 KVM虛擬機的管理工具

準確的來說,KVM僅僅是Linux內核的一個模塊,管理和創建完整的KVM虛擬機,需要更多的輔助工具。

QEMU-KVM:在Linux系統中,首先我們可以用modprobe命令加載KVM模塊,如果用RPM安裝KVM軟件包,系統會在啟動時自動加載模塊,QEMU是一個強大的虛擬軟件,它可以虛擬不同的構架。

Virt-manager:盡管QEMU-KVM工具可以創建和管理KVM虛擬機,RedHat為KVM開發了更多的輔助工具,比如 libvirt libguestfs等,原因是QEMU工具效率不高,不易于使用。

2 安裝配置KVM相關軟件

2.1系統要求:

處理器需求:需要一臺可以運行最新linux內核的Intel處理器(含VT虛擬化技術)或AMD處理器(含SVM安全虛擬機技術的AMD處理器,也叫AMD-V)

[root@vfeelit ~]# cat /etc/redhat-release

CentOS release 6.4 (Final)

2.2檢查CPU:

[root@vfeelit ~]# egrep ‘vmx|svm’ /proc/cpuinfo

如果輸出的結果包含VMX,它是Intel處理器虛擬機技術標志:如果包含SVM,它是AMD處理器虛擬機技術的標志,如果你什么都沒有得到,那應你的系統并沒有支持虛擬化的處理,不能使用KVM,另處linux發行版本必須在64bit環境中才能使用KVM。

3 更新系統

yum update

yum upgrade

4 安裝KVM

[root@vfeelit ~]#yum -y install kvm python-virtinst libvirt bridge-utils virt-manager qemu-kvm-tools virt-viewer virt-v2v

[root@vfeelit ~]#vi /etc/sysconfig/selinux

SELINUX=disabled

[root@vfeelit ~]#reboot

5 重啟后確認libvirtd是否正常啟動

[root@vfeelit ~]# /etc/init.d/libvirtd restart

正在關閉 libvirtd 守護進程: [確定]

啟動 libvirtd 守護進程:2013-05-19 03:12:52.694+0000: 3070: info : libvirt version: 0.10.2, package: 18.el6_4.5 (CentOS BuildSystem , 2013-05-16-14:53:18, c6b7.bsys.dev.centos.org)

2013-05-19 03:12:52.694+0000: 3070: warning : virGetHostname:2265 : getaddrinfo failed for ‘vfeelit’: 未知的名稱或服務

[確定]

6 檢查KVM是否加載成功

顯示結果如下表示kvm模塊已經加載,如果沒有輸出信息,則表示沒有加載成功:

[root@vfeelit ~]# lsmod | grep kvm

kvm_intel 53484 0

kvm 316506 1 kvm_intel

7 檢查KVM是否成功安裝

[root@vfeelit ~]# virsh list --all ##–all關閉的也會顯示

Id 名稱 狀態


8 各版本查詢

[root@vfeelit ~]# kvm --version

bash: kvm: command not found

[root@vfeelit ~]# virt-install --version

0.600.0

[root@vfeelit ~]# virsh --version

0.10.2

9 修改qemu.conf配置

[root@vfeelit ~]# vi /etc/libvirt/qemu.conf

vnc_listen = "0.0.0.0"修改vnc監聽端口

二 配置網絡橋接

參考:http://www.techotopia.com/index. … ed_Bridge_Interface

1 安裝tunctl:

yum install -y tunctl

2 禁用網絡管理器:

chkconfig NetworkManager off ##和橋接有沖突,要關閉

service NetworkManager stop

3 修改eth0為物理網口,br0為橋接網口配置文件:

[root@vfeelit network-scripts]# cat ifcfg-br0

DEVICE=br0

TYPE=Bridge

BOOTPROTO=static

IPV6INIT=no

ONBOOT=yes

IPADDR=192.168.1.66

NETMASK=255.255.255.0

GATEWAY=192.168.1.1

DNS1=8.8.8.8

DELAY=0

[root@vfeelit network-scripts]# cat ifcfg-eth0

DEVICE=eth0

TYPE=Ethernet

BRIDGE=br0

BOOTPROTO=none

IPV6INIT=no

ONBOOT=yes

附加說明:這里配置成橋接方式,實際上本機的數據包發送是通過br0發送的,br0的TYPE是Bridge,其它的信息跟配置一個物理網卡一樣,本機的eth0通過橋接到br0(通過BRIDGE指定)進行通信,它根本不需要配置IP信息,實際上數據發送還是通過本機的物理網卡。

4 最后重啟網絡

[root@vfeelit network-scripts]# service network restart

5 查看橋接網絡

[root@vfeelit ~]# brctl show

bridge name bridge id STP enabled interfaces

br0 8000.0021cc6b6f2c no eth0

virbr0 8000.525400ac7ebe yes virbr0-nic

接口eth0通過br0進行橋接。birbr0-nic通過virbr0進行橋接,這個是默認的設置,當使用NAT時使用。

三 使用virt-install 工具安裝guest 系統

[root@vfeelit /]# virt-install --name=centos64 --ram 1024 --vcpus=2 --disk path=/var/lib/libvirt/images/centos64.img,size=10 --accelerate --cdrom /mnt/CentOS64.iso --graphics vnc,password=123456,port=5920 --network bridge=br0 --force --autostart

使用virt-install 工具,工具自動創建磁盤,默認是raw格式。

[root@vfeelit]# qemu-img info centos.img

image: centos.img

file format: raw

virtual size: 10G (10737418240 bytes)

disk size: 1.4G

1 可以通過virt-viewer查看安裝狀態:

[root@vfeelit virtual]# virt-viewer name

2 使用virt-install 工具安裝虛擬機后,在目錄/etc/libvirt/qemu/下生成xml 配置文件。

[root@vfeelit ~]# cd /etc/libvirt/qemu

[root@vfeelit ~]# cat centos64.xml

虛擬機類型

centos 虛擬機名稱

54da30ed-150d-514e-9803-4dc01bd50488 uuid唯一標示

1048576 指定虛擬機內存大小,給出了單位

2 虛擬機占用虛擬cpu個數,這里指物理cpu的核心數量

hvm 指定虛擬系統架構

啟動類型,從硬盤啟動

/usr/libexec/qemu-kvm 驅動程序,同上,使用的是qemu-kvm

指定磁盤類型

指定磁盤格式,這里是raw,也支持qcow2.

img文件路徑

磁盤文件標示,驅動類型

自動生成,可以手動指定。

橋接到哪一個接口

3 使用virsh工具管理生成的虛擬機

[root@vfeelit ~]# virsh start centos64 啟動虛擬機 reboot start shutdown

[root@vfeelit ~]# virsh list 列出當前運行的虛擬機

Id Name State


1 centos64 running

[root@vfeelit ~]# ll /var/lib/libvirt/qemu

total 12

srwxr-xr-x 1 root root 0 Aug 22 09:53 centos.monitor ##這里的文件,是libvirtd在重啟后,虛擬機也隨著自動重啟。

動態查詢kvm資源占用情況,每一臺VM,對應一個qemu-kvm進程

[root@vfeelit ~]# top -d 1 | grep kvm

4 截取的kvm進程信息

[root@vfeelit ~]# ps -aux | grep kvm

其他問題

1、圖形化配置:從菜單中啟動,或者運行virt-manager進入圖形管理界面,比較簡單,不過img的位置需要注意一下,kvm安裝后會有一個默認位置,不注意的話容易占滿空間。或者直接硬盤分區時單獨給/var分一個區。

2、虛擬機重新配置:

虛擬機的配置文件保存在/etc/libvirt/qemu目錄下,擴展名是xml。修改相應的文件即可重新配置虛擬機。

3、虛擬機備份及恢復:

備份:拷貝/etc/libvirt/qemu目錄下的xml配置文件,以及xml中設置的img文件。

恢復:進入virsh,執行define 目錄下的xml文件路徑

virsh # define /etc/libvirt/qemu/winxp.xml

4、開機自動啟動虛擬機:

[root@vfeelit qemu]# virsh autostart Winxp

5、克隆KVM虛擬機:

[root@vfeelit ~]# virt-clone -o Winxp -n winxpclong -f /var/lib/libvirt/images/winxpclong.img

(-o 原始客體的名稱,-n新客戶端的名稱,-f作為新客戶端磁盤映像的新文件)

6、虛擬機意外關機報下述錯誤:

[root@vfeelit qemu]# virsh start winxp

錯誤:開始域 winxp 失敗

錯誤:Unable to read from monitor: Connection reset by peer

解決方法:virsh managedsave-remove winxp

Virsh語法參考:

Autostart 自動開始一個域

Create 從一個 XML 文件創建一個域

Define 從一個 XML 文件定義(但不開始)一個域

edit 編輯某個域的 XML 配置

shutdown 關閉一個域

start 開始一個(以前定義的)非活躍的域

reboot 重新啟動一個域

suspend 掛起一個域

resume 重新恢復一個域

vncdisplay vnc 顯示

使用save來備份當前虛擬機的狀態:

[root@vfeelit images]# virsh save –bypass-cache RedHat /var/lib/libvirt/images/test.img –running

上面這個命令將RedHat的當前狀態保存到/opt/vm2_save文件中。–running參數表示下次restore回來的時候能夠自動啟動RedHat。

這個命令會導致RedHat被關閉。

現在還原:必須先關閉虛擬機

[root@vfeelit images]# virsh shutdown RedHat

[root@vfeelit images]# virsh restore /var/lib/libvirt/images/test.img –bypass-cache –running (還原時不要指定虛擬機名稱)

3、KVM自動部署及基本操作

隨著 IT 產業的不斷發展, IT 技術的不斷革新,近幾年虛擬化、云計算技術火熱,那我們今天來研究一下虛擬化技術,到底什么是虛擬化技術呢?我們為什么要使用虛擬化呢?

虛擬化 是指計算元件在虛擬的基礎上而不是真實的基礎上運行,是一個為了簡化管理,優化資源的解決方案。

虛擬化技術 可以擴大硬件的容量,簡化 軟件 的重新配置過程。 CPU 的 虛擬化技術 可以單 CPU 模擬多 CPU 并行,允許一個平臺同時運行多個操作系統,并且 應用程序 都可以在相互獨立的空間內運行而互不影響,從而顯著提高計算機的工作效率。

目前主流的虛擬化技術主要有: KVM 、 Xen 、 VMware 、 VirtualBox ,虛擬化技術也越來越廣泛的應用在企業中,今天我們來研究和復習一下 KVM 虛擬化集群的搭建。

1、系統版本:

CentOS 6.4 x86_64

2、處理器需求:

需要一臺可以運行最新 linux 內核的 Intel 處理器(含 VT 虛擬化技術)或 AMD 處理器(含 SVM 安全虛擬機技術的 AMD 處理器,也叫 AMD-V )

[root@kvm~]# cat /etc/redhat-release

CentOSrelease 6.4 (Final)

3、CPU 支持需求 :

[root@localhost~]# egrep ‘vmx|svm’ /proc/cpuinfo

如果輸出的結果包含 VMX ,它是 Intel 處理器虛擬機技術標志:如果包含 SVM ,它是 AMD 處理器虛擬機技術的標志,如果你什么都沒有得到,那應你的系統并沒有支持虛擬化的處理,不能使用 KVM ,另處 linux 發行版本必須在 64bit 環境中才能使用 KVM 。

4、KVM正式安裝:

這里直接使用腳本,比較方便快捷,了解更多可以參官方網站。(僅供參考,后期不斷優化)

#!/bin/sh

#Auto Make KVM Virtualization

#Author wugk 2013-12-06

#Defined Path

DAY_DIR=/data/backup/date +%Y%m%d

cat <

++++++++++++++++Welcome To Use Auto Install KVM Scripts ++++++++++++++++++

+++++++++++++++++++++++++This KVM Install Virtual ++++++++++++++++++++++++

+++++++++++++++++++++++++2013-12-06 Author wugk ++++++++++++++++++++++++++

EOF

KVM_SOFT=(

kvm python-virtinst libvirt bridge-utils virt-manager qemu-kvm-tools virt-viewer virt-v2v libguestfs-tools

)

NETWORK=(

HWADDR=`ifconfig eth0 |egrep “HWaddr|Bcast” |tr “\n” " "|awk ‘{print $5, 7 , 7, 7,NF}’|sed -e ‘s/addr://g’ -e ‘s/Mask://g’|awk '{print

$1}’`

IPADDR=`ifconfig eth0 |egrep “HWaddr|Bcast” |tr “\n” " "|awk ‘{print $5, 7 , 7, 7,NF}’|sed -e ‘s/addr://g’ -e ‘s/Mask://g’|awk '{print

$2}’`

NETMASK=`ifconfig eth0 |egrep “HWaddr|Bcast” |tr “\n” " "|awk ‘{print $5, 7 , 7, 7,NF}’|sed -e ‘s/addr://g’ -e ‘s/Mask://g’|awk '{print

$3}’`

GATEWAY=route -n|grep "UG"|awk '{print $2}'

)

#Check whether the system supports virtualization

egrep ‘vmx|svm’ /proc/cpuinfo >>/dev/null

if

[ “$?” -eq “0” ];then

echo ‘Congratulations, your system success supports virtualization !’

else

echo -e 'OH,your system does not support virtualization !\nPlease modify the BIOS virtualization options (Virtualization

Technology)’

exit 0

fi

if

[ -e /usr/bin/virsh ];then

echo “Virtualization is already installed ,Please exit …” ;exit 0

fi

yum -y install ${KVM_SOFT[@]}

/sbin/modprobe kvm

lsmod | grep kvm >>/dev/null

if

[ “$?” -eq “0” ];then

echo ‘KVM installation is successful !’

else

echo ‘KVM installation is falis,Please check …’

exit 1

fi

cd /etc/sysconfig/network-scripts/

mkdir -p $DAY_DIR

if [ ! -e $DAY_DIR/ifcfg-eth0 ];then

cp ifcfg-eth* $DAY_DIR/

fi

if

[ -e /etc/sysconfig/network-scripts/ifcfg-br0 ];then

echo “The ifcfg-br0 already exist ,Please wait exit …”

exit 2

else

cat >ifcfg-eth0 <

DEVICE=eth0

BOOTPROTO=none

${NETWORK[0]}

NM_CONTROLLED=no

ONBOOT=yes

TYPE=Ethernet

BRIDGE=“br0”

${NETWORK[1]}

${NETWORK[2]}

${NETWORK[3]}

USERCTL=no

EOF

cat >ifcfg-br0 <

DEVICE=“br0”

BOOTPROTO=none

${NETWORK[0]}

IPV6INIT=no

NM_CONTROLLED=no

ONBOOT=yes

TYPE=“Bridge”

${NETWORK[1]}

${NETWORK[2]}

${NETWORK[3]}

USERCTL=no

EOF

fi

echo ‘Your can restart Ethernet Service: /etc/init.d/network restart !’

echo ‘---------------------------------------------------------’

sleep 1

echo ‘Your can restart KVM Service : /etc/init.d/libvirtd restart !’

echo

echo -e "You can create a KVM virtual machine: \nvirt-install --name=centos01 --ram 512 --vcpus=1 --disk

path=/data/kvm/centos01.img,size=7,bus=virtio --accelerate --cdrom /data/iso/centos58.iso --vnc --vncport=5910 --vnclisten=0.0.0.0 –

network bridge=br0,model=virtio --noautoconsole"

自此KVM簡單安裝到此結束,安裝完畢,怎樣來創建一個虛擬機并且安裝呢,首先我們把需要安裝的系統ISO鏡像上傳到/data/iso目錄,然后新建/data/kvm虛擬機安裝目錄,然后啟動如下腳本:

virt-install --name=centos01 --ram 512 --vcpus=1 --disk path=/data/kvm/centos01.img,size=7,bus=virtio --accelerate --cdrom /data/iso/centos58.iso --vnc --vncport=5910 --vnclisten=0.0.0.0 --network bridge=br0,model=virtio

然后在客戶端(PC機)使用VNC客戶端連接KVM服務端5910端口,進行安裝系統即可。

當安裝完一臺后,如何快速啟動第二臺呢,這里只需要復制我們剛安裝的第一臺的兩個文件(/data/kvm/centos01.img /etc/libvirt/qemu/centos01.xml),然后做相應修改即可。

204720916.png

還可以使用命令克隆:

nohup virt-clone -o centos01 -n centos02 -f /data/kvm/centos02.img &

這樣就配置完畢,怎樣重啟兩臺虛擬機呢?命令如下:

(參數主要有reboot、start、shutdown)

virsh reboot centos01 (重啟)

virsh reboot centos02 (重啟)

virsh start centos01 (啟動)

virsh start centos02 (啟動)

當我們啟動新克隆的兩臺虛擬機,我們會發現網卡無法啟動,原因是因為克隆改變新虛擬機的MAC地址,故eth0無法啟動,新的虛擬機后網卡變成了eth1,那我們怎樣修改為eth0呢,使用如下腳本,執行,然后重啟網卡(或者重啟系統)即可。

#!/bin/sh

#Auto Set Centos6.x eth1 MAC to eth0

NET=/etc/udev/rules.d/70-persistent-net.rules

ETH0=/etc/sysconfig/network-scripts/ifcfg-eth0

sed -i ‘/eth0/s/SUBSYSTEM/#SUBSYSTEM/g’ $NET

HWADDR=grep eth1 $NET|awk '{print $4}'|awk -F'==' '{print $2}'|sed 's/\,//g'

sed -i “s/HWADDR.*/HWADDR=$HWADDR/g” $ETH0

sed -i -e ‘/^SUBSYSTEM/s/eth1/eth0/’ -e ‘/#SUBSYSTEM/s/eth0/eth1/’ -e ‘s/#SUBSYSTEM/SUBSYSTEM/’ $NET

#This script applies only two NIC configuration

COUNT=grep "SUBSYSTEM" $NET|awk '{print $NF}'|sed 's/[^0-9]//g'|awk 'NR==2'

if

[ $COUNT == 0 ];then

echo ‘The IP MAC Change Successfully !’

else

echo “The IP MAC Change Fails,Please rerun the Shell Scripts”

fi

KVM簡單操作就先介紹到這里,更多功能和維護在后期會更新。

本文參考如下文章,非常感謝:

http://koumm.blog.51cto.com/703525/1290191

http://g.51cto.com/netengineer/216414

4、KVM常見問題

1.error:no hypervisor options were found ofr this connection

this usually means that qemu or kvm is not installed on your machine,or the kvm kernel modules are not loaded.

解決方法:開啟bios虛擬化并加載modprobe kvm以及kvm_intel.

2.Unable to migrate guest: unsupported configuration: Domain requires KVM, but it is not available. Check that virtualization is enabled in the host BIOS, and host configuration is setup to load the kvm modules.

解決方法:方法同上.

3.Unable to migrate guest: Unable to allow access for disk path /img/musf-clone1-2-clone.img: No such file or directory

解決方法:遷移與被遷移主機的共享目錄一定要一樣.即server1目錄為/img server2目錄也要為/img.

4.Unable to migrate guest: unable to connect to server at ‘kvm3:49153’: Connection refused

解決方法:1.開啟防火墻上端口或關閉防火墻.

2.在virt-manager的遷移中添加遷移端口.

5.Unable to migrate guest: Timed out during operation: cannot acquire state change lock

解決方法:…求科普…而且是大部分虛擬機都可以遷移就一個不成…找不到北ing…

1.虛擬機起不來的情況下.使用kill -9 ps -ef|grep 'libvirtd --daemon'|grep -v grep |awk '{print $2}'殺死libvirt --daemon進程并重啟libvirtd --daemon

6.error: Unable to initialize network sockets. Check /var/log/messages or run without --daemon for more info.

事件還原:使用virtual host模式安裝完centos,并且yum安裝好vdsm之后,開啟vdsm不能,開啟libvirtd不能。顯示該錯誤如上。

解決方法:進入/etc/libvirt/libvirtd.conf修改listen_tls為0即可.

7.Host 25 installation failed. SSH command failed while executing at host ‘root@192.168.20.25’, refer to logs for further information。

事件還原:安裝vdsm之后從ovirt管理界面加入當前vdsm主機時出現錯誤。原因之一為vdsm-cli未安裝。安裝即可。

8.在ovirt-engine中添加data/nfs作為存儲域時并不能成功。

解決方法:1.可以試試查看一下將要共享的文件夾權限是否是vdsm:kvm。若不是使用chown -R命令即可。

authentication name

9.vdsm在加入ovirt時會使用sasl再次加密libvirt,所以使用virt-manager連接libvirt時需要輸入 authentication name & passowrd。

解決方法:使用saslpassword2 -a命令創建另一組認證名和密碼用于virt-manager對libvirt的訪問即可。

命令格式: saslpasswd2 -a libvirt 用戶名

10.部分主機創建虛擬機成功,開啟虛擬機時出現error…

VM CentOS6.3T is down. Exit message: internal error Process exited while reading console log output: bind(unix:/var/lib/libvirt/qemu/channels/CentOS6.3T.com.redhat.rhevm.vdsm): Permission denied chardev: opening backend “socket” failed

由于…/channels這個文件夾的權限是vdsm qemu。root用戶可能不能讀取并創建其中的文件。我采用的方法是手動在qemu.conf中注釋掉.user = root 以及 group = root并重啟libvirtd。

之后出現錯誤:VM CentOS6.3T is down. Exit message: internal error client socket is closed.

還有VM test is down. Exit message: cannot open file ‘/rhev/data-center/78e07dee-36bc-439b-b71e-72cfd87a2bb3/f84e3679-281e-41d4-9ea9-b8221085fa7b/images/2e93290e-f1b5-42b2-bdf6-fad695de2ccb/ef334a97-e01b-4d7c-afb0-814ffbe537f0’: Permission denied.

這兩個錯誤都是由于libvirt設置問題才報錯的.

我直接覆蓋了libvirtd.conf qemu.conf以及vdsm.conf文件.最近權限問題整的我焦頭爛額啊.以后再找具體錯誤.

1.系統(處理器)需求?

你將需要一臺運行最新Linux內核的Intel處理器(含VT虛擬化技術)或AMD處理器(含SVM安全虛擬機技術的AMD處理器, 也叫AMD-V)。

2.什么是Intel VT/AMD-V?

Intel VT和AMD’s AMD-V是一套與支持該技術的虛擬機監視器相結合的硬件增強特性(指令集擴展)。kvm可在原始硬件速度下通過運行完全隔離的虛擬機來執行任務。

3.如何確認處理器含有Intel VT或AMD-V技術?

在最新的Linux內核下運行: egrep ‘^flags.*(vmx|svm)’ /proc/CPUinfo

如有顯示,您的處理器具有VT功能。你也可以通過廠商網站查詢處理器型號的名稱(在/proc/cpuinfo)。

注:一些廠商禁止了機器BIOS中的VT選項, 這種方式下VT不能被重新打開。

./proc/cpuinfo僅從Linux 2.6.15(Intel)和Linux 2.6.16(AMD)開始顯示虛擬化方面的信息. 請使用uname -r命令查詢您的內核版本。

如有疑問, 請聯系硬件廠商。

4.kvm支持哪些用戶空間工具?

kvm使用稍改動的qemu程序來創建虛擬機. 一旦運行后, 虛擬機是一個標準的進程. 你可以使用top(1),kill(1),taskset(1)和類似的工具來管理虛擬機。

5.kvm支持哪些虛擬磁盤格式?

kvm從qemu繼承了豐富的磁盤格式, 包括裸映象(raw images), 原始qemu格式(qcow), VMware格式和更多。

6.kvm和Xen有何區別?

Xen是一個外部的hypervisor程序(虛擬機管理程序);它能夠控制虛擬機和給多個客戶機分配資源. 另一方面, kvm是linux的一部分, 可使用通常的linux調度器和內存管理. 這意味著kvm更小更易使用。

另一方面, Xen同時支持全虛擬化和半虛擬化(修改過的客戶機能有更好的性能). kvm當前不支持半虛擬化。

7.kvm和VMware有何區別?

VMware是一個專利產品. kvm是一個遵守GPL的自由(開源)軟件。

8.kvm和QEMU有何區別?

Qemu使用模擬器; kvm使用處理器擴展實現虛擬化。

Array.kvm有Windows上的版本嗎?

當前沒有。

10.kvm支持哪些內核版本?

kvm可以運行在最新的內核版本下(2.6.16或更高, 最好是用最新的內核)

11.我需要多什么RAM(內存)才能運行kvm?

你需要足夠的內存在主機上運行單個或多個虛擬機. 建議主機內存至少1GB。

12.KVM上的虛擬機支持哪些操作系統?

我們已經測試了Linux(32/64位)和Windows(32位), 其它也許能夠運行或不能運行。不支持64位的Windows操作系統, 該問題會在qemu-0.83發布和整合后修復。

Intel處理器上幾個Linux發行版在啟動時候會掛起。工作區需要取消grub中的splashscreen選項。

13.KVM支持動態遷移功能嗎(在不離線的情況下把虛擬機從一個主機移到另一個主機上)?

現在kvm支持非動態遷移,當內存數據需轉移的時候,系統需要停止。動態遷移功能正在開發當中。

14.kvm能夠在64為主機上運行32位的客戶機嗎? 什么是PAE?

kvm支持在64位主機上運行32位客戶機, 也可以是任何PAE或非PAE客戶機和主機組合。但不支持在32位主機上運行64位客戶機。

15.如果我對一個VM進程使用kill -Array將會發生什么?

從客戶機的角度來看,就如你猛地把電源線從主機上拔出一樣。從主機的角度來看,進程被殺掉,進程占用的所有資源被施放。

16.kvm支持SMP主機嗎?

支持。

17.如何安裝windows客戶機?

當前Windows客戶機安裝存在一點問題,問題在APIC的實現上。現在APIC由qemu來模擬, 而qemu還沒有完全整合到kvm虛擬cpu中。我們正加緊在kvm中實現APIC功能。

到現在, 啟動qemu請使用-no-acpi參數,如果你的客戶機需使用APIC HAL,建議參考下面步驟:

  • 關閉kvm運行客戶機(-no-kvm)
  • My Computer -> PropertIEs -> Hardware -> Device Manager -> [Whatever under Computer] -> Properties -> Update Driver -> Not at this time -> Next -> Install from a list -> Next -> Don’t search -> Next -> Standard PC -> Next.

    “Standard PC”是無acpi支持的HAL.

    18.Qumranet提供哪些產品?

    umranet是一家由Qequoia Capital和Norwest Venture Partners (NVP)投資的初創公司,當前公司處于準備運營當中(正在加緊開發公司的產品)。(T002)

    5、KVM使用經驗

    虛擬化技術已經成為未來計算機技術的一個重要的發展方向。linux在虛擬化方面已經有了很多中解決方案: VMware、 VirtualBox、Xen和KVM。KVM是一個全虛擬化的解決方案。可以在x86架構的計算機上實現虛擬化功能。但KVM需要CPU中虛擬化功能的支持,只可在具有虛擬化支持的CPU上運行。Xen也是Linux下的一個虛擬化解決方案,也將很快被編入內核中。Xen的實現方法是,運行支持Xen功能的kernel……

    一.KVM簡介

    虛擬化技術已經成為未來計算機技術的一個重要的發展方向.linux在虛擬化方面已經有了很多中解決方案,:VMware,VirtualBox,Xen和KVM。

    KVM是一個全虛擬化的解決方案。可以在x86架構的計算機上實現虛擬化功能。但KVM需要CPU中虛擬化功能的支持,只可在具有虛擬化支持的CPU上運行,即具有VT功能的Intel CPU和具有AMD-V功能的AMD CPU。

    Xen與KVM的比較

    Xen也是Linux下的一個虛擬化解決方案,也將很快被編入內核中。Xen的實現方法是,運行支持Xen功能的kernel,這個kernel是工作在Xen的控制之下,叫做Domain0,使用這個kernel啟動機器后,你可以在這個機器上使用qemu軟件,虛擬出多個系統。Xen的缺點是,如果你需要更新Xen的版本,你需要重新編譯整個內核,而且,稍有設置不慎,系統就無法啟動。

    相比較,KVM就簡化的多了。它不需要重新編譯內核,也不需要對當前kernel做任何修改,它只是幾個可以動態加載的.ko模塊。它結構更加精簡,代碼量更小,所以,出錯的可能性更小。并且在某些方面,性能比Xen更勝一籌。

    二.KVM的使用

    現在以Turbolinux 11版本為基礎,介紹KVM的使用方法。

    在安裝之前,你需要先確認,你的CPU是否支持虛擬化技術,執行:

    egrep ‘^flags.*(vmx|svm)’ /proc/cpuinfo

    如果有輸出返回,則表示,你的CPU支持虛擬化技術。

    1.KVM的安裝

    從官方網站下載KVM源碼包:http://kvm.qumranet.com/

    我們使用KVM-33版本

    tar zxf kvm-33.tar.gz

    cd kvm-33

    ./configure --prefix=/usr/local/kvm-33

    make

    make install

    make install后,kvm的模塊會安裝到/lib/modules/$KernelVersion/extra/目錄下.其他相關文件會安裝到/usr/local/kvm-33/目錄下。

    將kvm相關目錄連接到系統目錄中

    ln -s /usr/local/kvm-33/bin/* /usr/bin/

    ln -s /usr/local/kvm-33/lib/* /usr/lib/

    (若為x86_64系統,則執行: ln -s /usr/local/kvm-33/lib64/* /usr/lib64/)

    ln -s /usr/local/kvm-33/include/kvmctl.h /usr/include/

    ln -s /usr/local/kvm-33/include/linux/* /usr/include/linux/

    ln -s /usr/local/kvm-33/share/qemu /usr/share/

    2.KVM的使用

    a.你需要先建立一個映像文件,作為虛擬系統的硬盤

    mkdir /images

    cd /images

    /usr/bin/qemu-img -f qcow gtes11.img 20G

    b.創建網絡配置腳本

    echo ‘/sbin/ifconfig $1 10.0.1.1 netmask 255.255.255.0’ > /etc/qemu-ifup

    c.加載KVM模塊

    Intel CPU使用:

    modprobe kvm-intel

    AMD CPU使用:

    modprobe kvm-amd

    d.安裝虛擬系統

    /usr/bin/qemu-i386 -m 512 -k en-us -M pc -hda /images/gtes11.img -cdrom /iso/zuma-SP3-rc3-6-

    disc1-20061031.iso -net nic,vlan=1,model=rtl8139,macaddr=00:00:00:00:99:01 -net tap,vlan=1,ifname=tap0,

    script=/etc/qemu-ifup -vnc localhost:1 -boot d

    在另一個終端執行:

    vncviewer localhost:1

    參數分析:

    我們為虛擬系統分配512MB內存.使用gtes11.img作為它的第一塊硬盤,使用Turbolinux10.5的disc1作為它的光盤。

    并從光盤引導.它有一塊rtl8139的網卡,MAC地址為:00:00:00:00:99:01,并把這個網卡與主機的tap0接口連接。

    tap0接口使用/etc/qemu-ifup腳本進行初始化.虛擬系統的輸出作為一個vnc服務器,綁定在主機的localhost:1上。

    注:

    1.若為x86_64系統,則使用/usr/bin/qemu-system-x86_64 代替qemu-i386

    2.在64位系統上,可以安裝32位和64位的虛擬系統.但在32位系統上,只能安裝32位的虛擬系統。

    qemu參數介紹:

    -da 映像文件: 使用映像文件作為虛擬系統的第一塊硬盤.同樣還可以使用hdb,hdc,hdd指定第2,3,4塊硬盤。

    -drom 光盤映像文件: 使用光盤映像文件作為虛擬系統的光盤。

    -oot [a|c|d|n]: 設置虛擬系統的引導順序,a為軟驅,c為硬盤,d為光驅,n為網絡。

    • 內存大小: 設置虛擬系統使用的內存大小,單位為MB。

    • 語言: 設置虛擬系統鍵盤類型。

    -et nic[,vlan=n][,macaddr=addr][,model=type]

    建立一個虛擬網卡,并把它連接到VLAN的n端口上。

    -net tap[,vlan=n][,fd=h][,ifname=name][,script=file]

    把主機的TAP網絡接口連接到VLAN的n端口上,并使用script指定的腳本進行初始化。

    6、VNC Viewer 連接成功后閃退的解決方法

    2013年12月3日Linux技術VNCVNC ViewerVNC閃退1 Comment

    VNC是個不錯的工具,今天掏出VNC Viewer來連接一臺N久沒登陸的服務器看看,輸入密碼連上后直接閃退,可能是ColourLevel的問題。

    依次點Option–>Advanced–>Expert找到ColourLevel,默認值是pal8,修改為rgb222或full。

    重新連接,沒有問題了。

    yum grouplist 檢查已安裝的組

    yum groupinstall “X Window System”

    yum groupinstall “GNOME Desktop Environment”

    startX

    7、CentOS用yum安裝X Window

    安裝CentOS 5.6系統的時候我沒有先裝任何組件,現在用X Window,需要再安裝X Window,就可以啟動圖形界面了,但是默認的圖形界面是很簡陋的界面,可以根據需要再安裝GNOME或KDE桌面環境

    安裝X圖形界面

    #可查詢哪些組件是否已經安裝(可用來對照組件名稱)

    yum grouplist

    #安裝X圖形界面系統

    yum list 列出所有可安裝的軟件包 可以通過 yum grouplist 來查看可能批量安裝哪些列表 比如 #yum groupinstall “DNS Name Server” //安裝 bind 及 bind-chroot 套件

    yum groupinstall “X Window System” -y

    #安裝GNOME桌面環境

    yum groupinstall “GNOME Desktop Environment” -y

    #安裝KDE桌面環境

    yum groupinstall “KDE (K Desktop Environment)”

    卸載

    卸載GNOME桌面環境

    yum groupremove GNOME Desktop Environment’

    卸載KDE桌面環境

    yum groupremove ‘K Desktop Environment’

    啟動X圖形界面的方法

    1、startx

    2、設置開機自動啟動,修改/etc/inittab

    id:3:initdefault: ------> id:5:initdefault:

    3、init 5

    默認桌面環境選擇

    一、設置GNOME或者KDE為默認的啟動桌面環境

    方法1:修改/etc/sysconfig/desktop,根據需要將“DESKTOP”后面的參數設置為KDE或GNOME。

    方法2:在當前用戶目錄下建立“.xinitrc”這個文件,文件的內容就一行startkde或gnome-session。

    二、GNOME和KDE的切換

    1、如果需要切換到GNOME:

    #switchdesk gnome

    2、如果需要切換到KDE:

    #switchdesk kde

    2、如果需要切換到KDE:

    #startkde

    圖形界面與字符界面的切換

    在Linux中是有多控制臺的,其中前6個是字符界面,第七個是圖形界面。

    如果你需要切換到字符界面,可以使用CTRL+ALT+Fn來實現,其中Fn是F1-F6中的任何一個,

    當然如果你是在字符界面之間互相切換就沒必要CTRL了,直接ALT Fn

    8、安裝VNC

    yum -y install vnc vnc-server

    vim /etc/sysconfig/vncservers

    vncpasswd

    /etc/init.d/vncserver start

    9、vCPU數量配置

    vCPU,顧名思義,是虛擬CPU。 創建虛擬機時,需要配置vCPU資源。 因此vCPU是虛擬機的部件。 因此脫離VM,談論vCPU是沒有意義的。

    虛擬化管理系統如何調度vCPU,取決于系統內的虛擬機數目以及虛擬機配置的vCPU的情況。

    大致的情況如下:

    1、當系統內VM所需的vCPU總數少于物理CPU的核數(包括超線程Core)時,虛擬化管理系統為vCPU分配的資源不超過一個物理CPU核。 vCPU與物理核的分配關系可以是綁定的,也可能是動態的。

    比如服務器有20個核心,你創建了2個VM,每個VM 4個vCPU,那么這兩個VM最多能夠使用服務器的8個核心。

    2、當系統內的VM所需要的vCPU核大于物理CPU核數時,虛擬化管理系統首先按照時間片輪流調度一遍,然后如果還有剩余的CPU資源,則給所需要的vCPU。 比如系統配置了40個vCPU,只有20個物理核。那么平均每個vCPU獲取一個核心50%的資源。由于一些VM忙,一些VM空閑,虛擬化系統會在一個調度周期內,劃分出若干時間片,輪流給每個vCPU使用。忙的vCPU可以使用完整個時間片,而閑的vCPU用不完整個時間片,會提前釋放資源。這樣在一個調度周期內,對每個vCPU都調度一遍后還有空閑的時間,調度器會把用這剩余的資源去調度忙的vCPU。 這樣兼顧公平和效率。 這中調度算法具體下來,大致是如下效果:系統有1個CPU 2.0 Ghz,兩個VM,分配1個vCPU。 如果VM1 和 VM2都忙,那么各自相當于擁有一個1.0 Ghz的CPU。 如果VM1很忙,VM1只需要 500Mhz的處理能力,那么在VM1看來,相當于暫時獲得了 1.5Ghz的處理器。

    3、通過對Xen的測試,系統所有虛擬機的vCPU的總數目小于和等于CPU核數時,VM的性能是比較穩定的。 VM的vCPU基本上綁定到了一個CPU核。 當vCPU數目大于物理核數時,VM的性能穩定性變差。

    總結

    以上是生活随笔為你收集整理的云计算大数据:Xen、KVM、VMware、hyper-v等虚拟化技术的比较的全部內容,希望文章能夠幫你解決所遇到的問題。

    如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

    奇米777777 | 成年人在线看片 | 一区二区三区在线免费 | 91福利在线观看 | 欧美色就是色 | 又爽又黄在线观看 | 激情久久久久久久久久久久久久久久 | 黄a网站 | 91视频免费| 999久久久免费精品国产 | 国产一区二区在线免费播放 | 久久久久久网站 | 国产va在线 | 久久久久国产成人精品亚洲午夜 | 成人性生交大片免费观看网站 | 亚洲精品国产精品国自产 | 狠狠色狠狠色终合网 | 国产精品久久久久久久久久久久午夜 | 欧美成人xxx | 福利视频 | 日本精品久久久久 | 99九九热只有国产精品 | 日本三级中文字幕在线观看 | 亚洲精品欧洲精品 | 久久99久久99精品免观看粉嫩 | 免费在线成人 | 99在线精品视频观看 | 狠狠操在线 | 国产成人精品av久久 | 日本黄色一级电影 | 四虎影视欧美 | 欧美a级片网站 | 91亚·色 | 免费能看的av | www色av| 久精品视频 | 成人在线黄色电影 | 国产在线久草 | 五月婷婷久久综合 | 国内精品久久久久久久久久久久 | 日韩精品免费在线观看视频 | 午夜视频在线观看欧美 | 国产不卡网站 | 天天av在线播放 | 日韩欧美xx| 国产视频在线观看一区二区 | 香蕉影院在线播放 | 色av婷婷 | 日韩免费一级电影 | 91九色视频在线观看 | 久久免费视频在线观看30 | 一区二区精品久久 | 成 人 黄 色 免费播放 | 五月开心六月婷婷 | 四虎在线永久免费观看 | 中文字幕精品www乱入免费视频 | 久久久久免费网 | 麻豆国产精品一区二区三区 | 国产五月 | 91九色在线观看视频 | 免费在线观看国产精品 | 国产精品第2页 | 久久99国产精品自在自在app | 亚洲成a人片在线观看中文 中文字幕在线视频第一页 狠狠色丁香婷婷综合 | 国产1区在线观看 | 久久久久久美女 | 国产精品一区二区久久精品 | 日日操网站 | 狠狠插狠狠操 | 精品国产一区二区三区久久久蜜月 | 欧美日韩调教 | 狠日日| 国产精品 国内视频 | 深夜视频久久 | 色婷av| 亚洲成人精品国产 | 在线观看91av| 欧美日韩精品在线视频 | 成人黄色国产 | 中文字幕精品三级久久久 | 天天综合网天天 | a在线v| 伊人久久国产 | 精品伊人久久久 | 性色av免费在线观看 | 黄色免费高清视频 | 四虎影视成人永久免费观看视频 | 最新午夜 | 天天干,天天射,天天操,天天摸 | 国产亚洲精品bv在线观看 | 91九色在线观看视频 | 成人在线一区二区三区 | 午夜精品久久久久久久久久久久久久 | 日韩小视频 | 午夜av一区 | 91精品国产综合久久福利不卡 | 欧美日韩久久一区 | 中文字幕免费观看全部电影 | 91在线91 | 99 视频 高清 | 欧美国产不卡 | 丰满少妇麻豆av | 久久久久久在线观看 | 男女视频久久久 | 久久国产精品99国产精 | 96av麻豆蜜桃一区二区 | 在线国产精品视频 | 日韩欧美在线高清 | 521色香蕉网站在线观看 | 九九涩涩av台湾日本热热 | 日韩av综合网站 | 免费网站在线观看人 | 成年人免费看片网站 | 成人h视频在线 | 日韩免费在线观看视频 | 久久久久激情 | 亚洲黄色高清 | av大全在线观看 | av黄色影院 | 久久亚洲电影 | 日韩一区二区三区高清在线观看 | 天天天天天天天操 | 97香蕉久久超级碰碰高清版 | 99免费在线播放99久久免费 | 国产夫妻性生活自拍 | 久久手机免费视频 | 国产精品a级 | 亚洲精品在线一区二区三区 | 久久久国产网站 | 亚洲成人免费在线 | 婷婷5月色| 成人免费看视频 | 99久热在线精品视频观看 | 超碰免费成人 | 亚洲电影第一页av | 免费成人在线观看 | 青青河边草免费直播 | 蜜桃传媒一区二区 | 久久久综合精品 | 欧美另类交在线观看 | 久久av免费观看 | 欧美精品你懂的 | 免费的国产精品 | 人人草在线视频 | 国产视频一区二区在线观看 | 久久99亚洲精品久久久久 | 色综合中文综合网 | 色99色| 在线观看视频免费大全 | 久久久香蕉视频 | 91成人欧美 | 波多野结衣在线观看一区 | 91在线小视频 | 美女精品网站 | 日韩在线激情 | 久草在线综合 | 色综合久久99 | 欧美黑吊大战白妞欧美 | 亚洲作爱视频 | 中文在线免费看视频 | 免费黄色av片 | 涩五月婷婷 | 九九热视频在线 | 狠狠色噜噜狠狠 | 伊色综合久久之综合久久 | 黄网站色成年免费观看 | 成人av免费看 | 黄色一级性片 | 日韩精品一区二区三区水蜜桃 | 国产成人av片| 免费在线观看视频a | 欧美a级免费视频 | 高清国产午夜精品久久久久久 | 色天天综合久久久久综合片 | 久久综合天天 | 91视频91蝌蚪 | 亚洲更新最快 | 又黄又爽的免费高潮视频 | 色七七亚洲影院 | 成人午夜精品福利免费 | 91av免费看 | 成人va在线观看 | 中文字幕中文字幕在线中文字幕三区 | 婷婷激情综合 | 人人添人人| 国产精品视频大全 | 国产精品国产三级国产不产一地 | 婷色在线 | 国产精品久久久久一区二区 | 亚洲美女视频在线观看 | 最新国产精品亚洲 | 亚洲亚洲精品在线观看 | 97精品国产91久久久久久久 | 精品999在线观看 | 探花视频在线观看免费 | 精品国偷自产国产一区 | 免费黄av | 九九热视频在线 | 国产美女视频免费观看的网站 | 久久伊人综合 | 日日干夜夜干 | 国产录像在线观看 | 成人午夜电影久久影院 | 国产高清 不卡 | 99久久99久久 | 日韩三级免费观看 | 激情电影影院 | 色天天综合久久久久综合片 | 久久久久久黄色 | 亚洲综合五月 | 久久久免费观看 | 日韩免费网站 | 久久久久久国产精品999 | 中文在线字幕观看电影 | 一级成人网| 激情五月六月婷婷 | 日本性生活免费看 | 免费黄色a级毛片 | 免费国产亚洲视频 | 国产字幕av | 日韩精品中文字幕久久臀 | 手机在线观看国产精品 | 久久成人免费 | 亚洲国产精品日韩 | 成人在线播放网站 | 九九九在线观看 | 黄色一级大片在线免费看国产一 | 性色av一区二区三区在线观看 | 亚洲美女久久 | 久久综合狠狠综合久久激情 | www国产精品com | 国产99久久精品一区二区永久免费 | 中文字幕高清在线 | 国产91精品欧美 | 国产一区二区观看 | 在线香蕉视频 | 99热这里只有精品久久 | 国产91学生| av五月婷婷| 日韩免费电影一区二区 | 亚洲成色777777在线观看影院 | 91一区啪爱嗯打偷拍欧美 | 中文字幕免费观看 | 欧美伦理一区二区三区 | 一二三精品视频 | 久久久精品 一区二区三区 国产99视频在线观看 | 精品乱码一区二区三四区 | 在线观看亚洲免费视频 | 日韩有码欧美 | 91中文字幕在线视频 | 国产成人av在线 | 欧美日韩3p | 久久婷婷亚洲 | 在线免费高清一区二区三区 | 久久人人97超碰com | 蜜臀av在线一区二区三区 | 黄色a一级视频 | 国产对白av | 免费在线精品视频 | 欧美激情视频在线免费观看 | 91正在播放| 91亚州 | av免费在线播放 | 国产成人精品综合久久久久99 | 久久久在线 | 国产成人专区 | 亚洲欧洲av在线 | 免费看十八岁美女 | a级国产乱理论片在线观看 特级毛片在线观看 | 精品国产乱码 | 成人a视频片观看免费 | 国产福利一区二区三区在线观看 | 日本爱爱免费 | 午夜久久成人 | 99爱在线观看 | 久久成人一区二区 | www亚洲国产 | 免费高清国产 | 日本婷婷色 | 91视频高清| 视频在线观看一区 | 夜夜躁日日躁狠狠久久88av | 精品国产欧美 | 久久社区视频 | 国产一区影院 | 色七七亚洲影院 | 国产色在线 | 久久精品一区二区国产 | 91热精品| 伊人黄| 中文字幕在线播放日韩 | 99久久久国产精品美女 | 日韩在线免费 | 成人免费影院 | 国产一区在线免费观看 | 久久久久久不卡 | 免费的国产精品 | 97香蕉超级碰碰久久免费软件 | 91手机视频在线 | 奇米网444 | 探花视频在线观看+在线播放 | 99精品黄色片免费大全 | 在线观看日韩视频 | 久草在线视频看看 | 中文字幕视频在线播放 | 日日草天天草 | 国产午夜一级毛片 | 久久成人精品电影 | 久草新在线 | 欧美一级免费高清 | 在线看污网站 | 波多野结衣电影久久 | 99久久夜色精品国产亚洲96 | 99热.com | 波多野结衣一区二区 | 黄色成年 | 成人黄色大片在线免费观看 | 日韩理论视频 | 免费av网址在线观看 | 少妇bbbb搡bbbb搡bbbb | 日本老少交 | 日韩免费视频一区二区 | 欧美日韩视频一区二区三区 | 一级免费av| 亚洲第一区在线播放 | 久久国内精品 | 亚洲 欧美变态 另类 综合 | 国产.精品.日韩.另类.中文.在线.播放 | 国产福利免费在线观看 | 欧美日韩二三区 | 免费看一级黄色大全 | 国产精品免费高清 | 亚洲精品www. | 人人爽夜夜爽 | 国产99久久精品一区二区永久免费 | 最新av在线网站 | 婷婷久久亚洲 | 久久免费福利视频 | 亚洲午夜精品久久久久久久久 | 国产日产精品久久久久快鸭 | 日本黄色免费看 | 天天操天天干天天插 | 99精品偷拍视频一区二区三区 | 奇米四色影狠狠爱7777 | 久久久综合九色合综国产精品 | 日日干激情五月 | 在线观看免费高清视频大全追剧 | 91在线看网站 | 亚洲精品黄色片 | 国产福利资源 | 99av国产精品欲麻豆 | 在线精品国产 | 久久99久国产精品黄毛片入口 | 精品视频中文字幕 | 在线网站黄 | 超碰在线97国产 | 国产视频丨精品|在线观看 国产精品久久久久久久久久久久午夜 | 一级片免费在线 | 97在线免费视频观看 | 色偷偷中文字幕 | 亚洲国产中文字幕在线观看 | 啪啪资源 | 欧美中文字幕久久 | 午夜 在线 | 亚洲成av人片一区二区梦乃 | 久久久国产精品免费 | 四虎影视欧美 | 成人av电影免费在线观看 | 国产91精品一区二区麻豆网站 | 五月激情亚洲 | 久久精品亚洲国产 | 国产精品成人久久久久久久 | 91网页版在线观看 | 亚洲精品视| 美女网站黄免费 | 免费观看黄| 成人一级在线观看 | 国产区精品视频 | 黄色福利网 | 免费看成人av | 国内精品视频一区二区三区八戒 | 精品国产一区二区三区不卡 | 国产福利一区二区三区视频 | 欧美日韩国产在线精品 | 久久精品99国产国产 | 超碰个人在线 | 一区二区观看 | 国产精品video爽爽爽爽 | 日韩av线观看 | 亚洲成人精品国产 | 又湿又紧又大又爽a视频国产 | 99久久久久久| 999久久| 免费看黄视频 | 国产小视频在线观看 | 黄色大片av | 在线影院av| 亚洲精品高清在线 | 亚洲精品国产自产拍在线观看 | 午夜aaaa | 欧美va在线观看 | 91在线免费观看国产 | 国产精品2020 | 日韩欧美一区视频 | 综合天天网 | 亚洲热久久 | 亚洲永久在线 | 国产一性一爱一乱一交 | 精品国产乱码一区二区三区在线 | 中文字幕在线观看的网站 | 国产超碰在线 | 精品专区一区二区 | 国产理伦在线 | 国产最新福利 | 久久精品国产一区 | 欧美亚洲专区 | 天天干,天天插 | 色网站在线免费观看 | 福利一区在线 | av在线免费观看黄 | 亚洲第一中文字幕 | 亚洲福利精品 | 在线观看va | 国产永久免费 | 免费男女羞羞的视频网站中文字幕 | 中文字幕在线播放视频 | 日韩欧美区 | 天天插夜夜操 | 亚洲女同videos | 鲁一鲁影院 | 国产精品麻豆果冻传媒在线播放 | 人人爽久久涩噜噜噜网站 | 久久福利综合 | 中文亚洲欧美日韩 | 99久久夜色精品国产亚洲96 | 免费在线观看av片 | 国产在线观看不卡 | 日韩aa视频 | 国产成人在线免费观看 | 在线观看91 | 国内视频在线 | 亚洲国产精品久久 | 91黄色小视频 | 一区二区av | 夜色在线资源 | 精品国产一区二区三区免费 | 国产中文字幕在线观看 | 久久免费看视频 | 在线亚州 | 国产精品色在线 | 99在线热播精品免费99热 | 欧美在线观看视频一区二区 | 精品久久久久久国产 | 色妞色视频一区二区三区四区 | 欧美色综合天天久久综合精品 | 中文字幕一区二区三区四区视频 | 免费三级av | 97国产大学生情侣白嫩酒店 | www.色国产| 午夜精品久久久 | 日韩小视频 | 国产精品久久久久久久久久久久 | 狠狠躁日日躁狂躁夜夜躁 | 国产精品视频app | www.在线观看av | 久章草在线观看 | 亚洲精品国精品久久99热 | 麻豆传媒电影在线观看 | 成人黄色国产 | av电影在线观看完整版一区二区 | 五月天综合在线 | 激情av在线资源 | 8x成人在线| 九色视频自拍 | 国产日韩精品一区二区 | 天干啦夜天干天干在线线 | 欧美日韩中文字幕综合视频 | 91中文在线观看 | 午夜久久福利影院 | 成人av一区二区在线观看 | 国产日韩欧美在线观看 | 人人爽人人爽人人爽 | 亚洲精品麻豆 | 国产伦精品一区二区三区无广告 | 亚洲精品女人久久久 | 日韩视频免费在线观看 | 五月婷婷视频在线观看 | 欧美aaa一级 | 2024国产在线 | 在线观看黄色小视频 | 久久婷婷五月综合色丁香 | 4hu视频 | 日韩欧美一区二区不卡 | 日韩欧美电影在线观看 | www.色com| 九九九九九精品 | 97超碰人人干 | 日本中文在线 | 人人添人人澡人人澡人人人爽 | 97超级碰碰碰碰久久久久 | 国产成人精品久久二区二区 | 免费一级片观看 | 国产精品免费在线 | 国产成人三级在线 | 亚洲尺码电影av久久 | 久久艹综合| 午夜国产一区二区三区四区 | 人人爽人人爱 | 欧美激情精品久久久 | 一区二区三区四区在线免费观看 | 免费观看性生交 | 久久激情视频网 | 国产精品久久久久久久久久久久午夜 | 在线观看黄网站 | 日韩免费观看视频 | 在线视频日韩 | www.91av在线| 久热av在线 | 91麻豆精品国产 | 国产专区一 | 亚洲无吗av| 中文字幕成人av | 国产喷水在线 | 麻豆视频免费观看 | 国产视频一二区 | 欧美日韩一级久久久久久免费看 | av黄色亚洲 | 国产精品999久久久 久产久精国产品 | 亚洲免费在线视频 | 久久99在线观看 | 激情久久伊人 | 国产精品成人品 | 免费欧美 | 日本中文字幕在线电影 | av中文字幕网站 | 久久精品站 | 国产一区二区高清 | 久久99操| 在线中文字幕观看 | 午夜性色 | 五月天亚洲综合小说网 | 欧美亚洲国产一卡 | 美女激情影院 | 久久久黄色av | 亚洲国产日韩av | 国产精品不卡av | 狠狠色婷婷丁香六月 | 日韩欧美精品免费 | 99精品国产福利在线观看免费 | 国产免费大片 | 国产亚洲视频在线免费观看 | 国产视频精品在线 | 欧美整片sss | 最近中文字幕免费视频 | 国产高清视频免费 | 成人免费在线网 | 国产视频97 | 中文永久免费观看 | 国产又黄又猛又粗 | 在线播放亚洲 | 国产一区二区高清不卡 | 国产婷婷| 国产一区二区在线看 | 日韩视频一区二区 | 一区二区三区播放 | 日韩在线视频在线观看 | 黄色大片av | 粉嫩av一区二区三区免费 | 久久久高清一区二区三区 | 日韩精品视频在线观看免费 | 人人看人人草 | 免费看的黄色片 | 欧美最新大片在线看 | 成人毛片一区二区三区 | 精品国偷自产国产一区 | 国产精品美女免费看 | 日韩午夜剧场 | 丁香久久五月 | 丰满少妇麻豆av | 国产中文字幕久久 | av片无限看 | 久久国产精品99国产 | 国产日韩中文字幕在线 | 九九九视频在线 | 亚洲国产三级在线 | 亚洲在线视频网站 | 91久久国产自产拍夜夜嗨 | 中文字幕你懂的 | 成人av在线直播 | 色综合天天天天做夜夜夜夜做 | 亚洲高清在线精品 | 国产又粗又猛又黄视频 | 免费视频你懂的 | 日韩欧美在线观看一区二区 | 免费看色的网站 | 欧美性色19p | 欧美日韩国产一区二 | www日| 国内精品在线一区 | 亚洲三级国产 | 免费福利片2019潦草影视午夜 | 91自拍视频在线观看 | 午夜精品久久久久久久99婷婷 | 欧美日韩亚洲在线 | 99r在线精品 | 亚洲经典精品 | 久久久久久久99精品免费观看 | 27xxoo无遮挡动态视频 | www五月天| 狠狠色狠狠色综合系列 | 超碰av在线播放 | 伊人五月天综合 | 国产激情久久久 | 日韩精品中文字幕在线播放 | 91麻豆国产福利在线观看 | 色综合天天天天做夜夜夜夜做 | 在线观看久久久久久 | 欧美日韩国产一区二区三区在线观看 | 麻豆va一区二区三区久久浪 | 亚洲伊人第一页 | 国产亚洲精品久久久久久网站 | 欧美成人性网 | 天天人人 | 国产精品第54页 | 日韩剧情 | 69av久久| 丝袜护士aⅴ在线白丝护士 天天综合精品 | 在线免费观看涩涩 | 国产999精品视频 | 亚洲成av人影院 | 亚洲精品在线观看中文字幕 | 天天操天天操天天操 | av三区在线| 91在线影院 | 国内精品久久久久久久久久清纯 | 天天干视频在线 | 国产成人黄色片 | 96视频在线| 超碰97在线资源站 | 国产一区二区在线影院 | 成在线播放 | 色88久久| 久久国语露脸国产精品电影 | 成年人免费在线播放 | 欧美另类高潮 | 一本色道久久精品 | 国产亚洲亚洲 | 欧美性黑人 | 少妇bbw揉bbb欧美 | 婷婷亚洲五月色综合 | 天天天天爱天天躁 | av黄色av| 国产精品久久久久影院 | 在线观看中文字幕一区二区 | 国产精品久久久久久久免费大片 | 亚洲综合国产精品 | 日韩首页 | 成人91在线观看 | 在线播放 一区 | 99中文字幕视频 | 国产区网址 | 国产不卡在线播放 | 国产色爽 | 精品产品国产在线不卡 | 亚洲 欧美 另类人妖 | 婷婷色视频 | 一二三精品视频 | av免费片 | 久久久精品午夜 | 一区二区精品在线 | 国产一区高清在线 | 亚洲人成网站精品片在线观看 | 91av福利视频 | 91成熟丰满女人少妇 | 伊人五月 | 国产精品成人免费精品自在线观看 | 久草在线视频首页 | 精品一区精品二区 | 欧美不卡视频在线 | 久久久国产精品麻豆 | 午夜av免费观看 | 日韩黄色一级电影 | 色的网站在线观看 | 97精品国产91久久久久久 | 国产精品成人一区二区三区吃奶 | 在线观看国产www | 久久性生活片 | 亚洲另类交 | 国产在线精品福利 | 国产一区二区在线免费 | 国产高清在线不卡 | 91亚洲激情 | 91亚洲精品久久久蜜桃借种 | 久久婷婷综合激情 | free,性欧美 九九交易行官网 | 91亚色在线观看 | 蜜臀久久99精品久久久酒店新书 | 国产精品日韩精品 | 久草在线免费新视频 | 中文字幕在线免费观看 | 欧美亚洲一区二区在线 | 天天草天天干天天射 | 亚欧洲精品视频在线观看 | 在线91视频 | 91香蕉视频黄色 | 日韩试看 | 欧美日本不卡视频 | 在线影视 一区 二区 三区 | 日韩系列 | 久久a免费视频 | 亚洲在线视频观看 | 欧美色精品天天在线观看视频 | 久久久久久久久久影院 | 免费久久精品视频 | 久久久久视 | 欧美有色| 中文字幕在线观看第二页 | 成人蜜桃视频 | 五月婷婷综合在线视频 | 久久av免费 | 在线看日韩av | 亚洲国产资源 | 国产精品一区二区av麻豆 | 日日爽夜夜操 | 久久久久夜色 | 欧美日韩一区二区在线观看 | 91在线精品一区二区 | 在线免费观看不卡av | 99re亚洲国产精品 | av在线h | 精品日本视频 | 亚洲精品福利在线 | 日本h视频在线观看 | 国产精品亚洲视频 | 久香蕉 | 亚洲高清在线视频 | 婷婷av在线 | 久久久国产成人 | 超碰97免费观看 | 亚洲专区在线播放 | 精品三级av | 一区电影 | 色狠狠久久av五月综合 | 国产精品美女久久久久久久网站 | 中文字幕首页 | 91av视频播放 | 欧美 亚洲 另类 激情 另类 | 日韩精品观看 | 亚洲精品成人在线 | 精品视频国产 | 国产xxxx | 国产小视频免费在线网址 | 国产在线中文 | 国产欧美久久久精品影院 | 国产精品久久久久久久7电影 | 国产亚洲在 | 91在线视频免费播放 | 在线成人一区 | 91最新地址永久入口 | 日本精品视频在线 | 亚洲影院一区 | 中文字幕国产一区二区 | 国产精品a成v人在线播放 | 青青河边草免费观看完整版高清 | 看片一区二区三区 | 婷婷亚洲激情 | 亚洲欧美日韩一区二区三区在线观看 | 国产二区视频在线观看 | 久久五月网 | 久久精品美女视频 | 日韩在线中文字幕 | 亚洲黄色免费在线看 | 96av在线| 高潮久久久久久久久 | a级黄色片视频 | 免费成人av电影 | 久久精品视频在线免费观看 | 日本精品在线 | 黄色一级大片在线免费看产 | 韩日电影在线观看 | av一级片| 久久久精品免费看 | 香蕉视频最新网址 | 国内精品免费久久影院 | 亚洲精品tv久久久久久久久久 | 国产精品区免费视频 | 久久国产香蕉视频 | 色网站在线免费观看 | 最新日韩视频在线观看 | 精品久久久久久久久久岛国gif | 免费视频 你懂的 | 久草在线视频在线 | 国产主播99| 久福利 | 一区二区三区 中文字幕 | 日韩一级电影在线 | 国产一区二区免费在线观看 | 精品一区二区在线免费观看 | 色搞搞| 天天爱天天舔 | 玖玖爱免费视频 | 国产精品99久久免费观看 | 美女网站在线观看 | 97超碰在线人人 | 午夜色站| 久久一区国产 | 91久久久久久国产精品 | 国产成人一区二区啪在线观看 | 日韩a级黄色 | 人人射人人爱 | 色婷婷99 | 江苏妇搡bbbb搡bbbb | 在线观看中文字幕一区二区 | 爱色婷婷 | 国产亚洲精品久久网站 | www免费网站在线观看 | 成人精品影视 | 亚洲欧美日韩在线一区二区 | 一区二区三区精品在线视频 | 中文在线免费视频 | 成人免费观看视频大全 | 日韩欧美高清免费 | 少妇精品久久久一区二区免费 | 日韩午夜剧场 | 精品视频免费看 | 日韩精品一区二区三区第95 | 草在线 | 日本黄网站 | 丝袜网站在线观看 | 久久好看免费视频 | avwww在线观看| 中文国产在线观看 | 中文字幕av在线播放 | 国产二区视频在线 | av电影免费在线看 | 中文字幕中文字幕在线中文字幕三区 | 91黄色视屏| 三级av黄色 | 国产伦理剧 | 久久久久久久久久久免费视频 | 久艹视频免费观看 | 在线影院 国内精品 | 中文国产成人精品久久一 | 日本在线观看中文字幕 | 久久艹艹 | 91在线观看欧美日韩 | www色网站| 国产一区影院 | 欧洲成人av| 91丨九色丨国产女 | 久久综合久久久久88 | 欧美日韩中文在线视频 | 国产对白av | 精品国产一区二区三区久久久久久 | 久久免费国产精品1 | 一区二区成人国产精品 | 免费看污片| 精品一区二区av | 一区二区三区四区精品 | 国内精品久久久久影院优 | 日韩欧美国产精品 | 国产精品久久久久久麻豆一区 | 色悠悠久久综合 | 久久草av| 日韩动漫免费观看高清完整版在线观看 | 99久久婷婷国产综合精品 | 免费人成在线观看网站 | 在线看中文字幕 | 中文字幕在线资源 | 免费黄色在线播放 | 99久久电影 | 久久久免费精品国产一区二区 | 久久国产精品视频免费看 | 久草视频资源 | 五月色婷 | 久久 一区 | 亚洲一区久久久 | 亚洲精品乱码 | 天天操综合| www.黄色片.com | 国产区精品在线 | 成人在线观看免费 | 亚洲精品国产精品国自产 | 中文字幕在线观看日本 | 精品免费99久久 | 国产精品女同一区二区三区久久夜 | 久久免费视频5 | 欧美日韩裸体免费视频 | 欧美久久成人 | 午夜精品福利影院 | 精品五月天 | 免费三及片| 五月综合 | 亚洲亚洲精品在线观看 | 久久精视频| 天天射天天操天天 | 91精品一区二区三区蜜桃 | 日韩精选在线观看 | av网在线观看 | 亚洲精品久久久久中文字幕二区 | 丁香电影小说免费视频观看 | 国产色爽| 91在线视频网址 | 成人h动漫精品一区二 | 在线激情网 | 久久国产精品一区二区三区四区 | 精品国产一区二区三区久久 | 欧美成人日韩 | 99久热在线精品视频观看 | 人人dvd | 日韩精品欧美一区 | 久久精品国产成人 | 国产亚洲资源 | 免费视频一区二区 | а中文在线天堂 | 蜜臀av网址 | 午夜a区 | www.eeuss影院av撸 | 88av色| 国产精品久久久久三级 | 国产福利91精品张津瑜 | 久久免费视频1 | 久久久久免费精品国产小说色大师 | 99久久精品日本一区二区免费 | 日韩伦理片hd | 日韩黄色免费在线观看 | 999久久国产精品免费观看网站 | www视频在线观看 | 国产精品一区二区麻豆 | 久草青青在线观看 | 韩国精品一区二区三区六区色诱 | 深夜激情影院 | 91系列在线 | 中文字幕美女免费在线 | 在线观看免费国产小视频 | 99视频国产精品免费观看 | 成人久久久久 | www.国产高清| 日韩,中文字幕 | 久久精品美女视频网站 | 高潮久久久 | 欧美久久99| 91日韩精品一区 | 欧美成人在线网站 | 久久黄色影视 | 97在线影院 | 久草视频免费在线播放 | 久久草草热国产精品直播 | 91视频麻豆 | 免费福利片2019潦草影视午夜 | a黄色一级 | 日韩电影一区二区三区在线观看 | 8x成人在线 | 黄色一级免费电影 | 精品国产三级 | 国产又粗又猛又黄又爽视频 | 探花视频在线观看+在线播放 | 久久久国产毛片 | 九色91在线 | 国产一级做a | 天天操天天爽天天干 | 狠狠操导航 | 欧美精品xxx | 久久理论视频 | 91视频啪| 热re99久久精品国产66热 | 国产精品国产亚洲精品看不卡15 | 2019中文| 免费男女羞羞的视频网站中文字幕 | 天天色中文 | 精品视频国产 | 国产网红在线观看 | 国产第一福利 | 久久综合狠狠综合久久激情 | 奇米影视999 | 草 免费视频| 亚洲欧美成人网 | 国产视频在线观看一区 | 久久国产一二区 | a级片在线播放 | 国产我不卡 | 9797在线看片亚洲精品 | 在线观看精品一区 | 国产精品久久影院 | 国产精品福利午夜在线观看 | 亚洲精品国偷自产在线91正片 | 亚洲视频精品在线 | 日韩欧美视频在线免费观看 | 韩国av三级 | 91中文字幕视频 | 500部大龄熟乱视频使用方法 | 免费观看成年人视频 | 免费高清av在线看 | 97在线视频免费看 | 国产一区免费观看 | 欧美成人999 | 99麻豆视频| 97精品视频在线 |