日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

Heartbeat+httpd+NFS 实现高可用的Web服务器

發(fā)布時間:2023/12/4 编程问答 41 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Heartbeat+httpd+NFS 实现高可用的Web服务器 小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

一、環(huán)境

????系統(tǒng):CentOS 6.4x64位最小化安裝

????nfs:192.168.3.31

????node1:192.168.3.32

????node2:192.168.3.33

????vip:192.168.3.34

二、拓撲圖

三、前提條件

1.節(jié)點之間主機名互相解析

node1,node2:

[root@heatbeat-node1?~]#?cat?/etc/hosts 127.0.0.1???localhost?localhost.localdomain?localhost4?localhost4.localdomain4 ::1?????????localhost?localhost.localdomain?localhost6?localhost6.localdomain6 192.168.3.32?heatbeat-node1????node1 192.168.3.33?heatbeat-node2????node2

2.節(jié)點之間時間得同步

[root@heatbeat-node1?~]#?yum?-y?install?ntp [root@heatbeat-node1?~]#?ntpdate?asia.pool.ntp.org

3.節(jié)點之間配置SSH互信

node1:

[root@heatbeat-node1?~]#?ssh-keygen? [root@heatbeat-node1?~]#?ssh-copy-id?-i?.ssh/id_rsa.pub?root@heatbeat-node2 The?authenticity?of?host?'heatbeat-node2?(192.168.3.33)'?can't?be?established. RSA?key?fingerprint?is?5a:02:f0:4c:1d:97:2d:82:21:73:34:8e:ba:9c:97:d3. Are?you?sure?you?want?to?continue?connecting?(yes/no)??yes Warning:?Permanently?added?'heatbeat-node2,192.168.3.33'?(RSA)?to?the?list?of?known?hosts. root@heatbeat-node2's?password:? Now?try?logging?into?the?machine,?with?"ssh?'root@heatbeat-node2'",?and?check?in:.ssh/authorized_keysto?make?sure?we?haven't?added?extra?keys?that?you?weren't?expecting.[root@heatbeat-node1?~]#?vim?/etc/hosts [root@heatbeat-node1?~]#?ssh?node2 The?authenticity?of?host?'node2?(192.168.3.33)'?can't?be?established. RSA?key?fingerprint?is?5a:02:f0:4c:1d:97:2d:82:21:73:34:8e:ba:9c:97:d3. Are?you?sure?you?want?to?continue?connecting?(yes/no)??yes Warning:?Permanently?added?'node2'?(RSA)?to?the?list?of?known?hosts. Last?login:?Tue?Jun??2?11:44:02?2015?from?192.168.3.2 [root@heatbeat-node2?~]#?hostname heatbeat-node2

node2:

[root@heatbeat-node2?~]#?ssh-keygen? [root@heatbeat-node2?~]#?ssh-copy-id?-i?.ssh/id_rsa.pub?root@heatbeat-node1 [root@heatbeat-node2?~]#?ssh?node1 The?authenticity?of?host?'node1?(192.168.3.32)'?can't?be?established. RSA?key?fingerprint?is?87:ac:29:cf:62:38:27:13:b4:4b:79:d7:08:22:f8:9e. Are?you?sure?you?want?to?continue?connecting?(yes/no)??yes Warning:?Permanently?added?'node1'?(RSA)?to?the?list?of?known?hosts. Last?login:?Tue?Jun??2?11:43:52?2015?from?192.168.3.2 [root@heatbeat-node1?~]#?hostname heatbeat-node1

四、安裝相關(guān)軟件 (兩節(jié)點都要安裝)

1.heartbeat 安裝組件說明

  • heartbeat 核心組件 ?* ? ?

  • heartbeat-devel 開發(fā)包 ? ?

  • heartbeat-gui 圖形管理接口 * ? ?

  • heartbeat-ldirectord 為lvs高可用提供規(guī)則自動生成及后端realserver健康狀態(tài)檢查的組件 ? ?

  • heartbeat-pils 裝載庫插件接口 * ? ?

  • heartbeat-stonith 爆頭接口 *

注:帶*表示必須安裝

2.安裝heartbeat

node1,node2:

[root@heatbeat-node1?~]#?yum?install?heartbeat*?-y

3.安裝httpd

node1:

[root@heatbeat-node1?~]#?yum?install?httpd?-y [root@heatbeat-node1?~]#?echo?"ServerName?localhost:80"?>>/etc/httpd/conf/httpd.conf? [root@heatbeat-node1?~]#?service?httpd?start Starting?httpd:????????????????????????????????????????????[??OK??] [root@heatbeat-node1?~]#?echo?"<h1>node1.test.com</h1>"?>?/var/www/html/index.html [root@heatbeat-node1?~]#?iptables?-I?INPUT?-p?tcp?--dport?80?-j?ACCEPT [root@heatbeat-node1?~]#?service?iptables?save

測試

[root@heatbeat-node1?~]#?service?httpd?stop Stopping?httpd:????????????????????????????????????????????[??OK??] [root@heatbeat-node1?~]#?chkconfig?httpd?off

說明:測試完成后關(guān)閉服務(wù),并讓其開機不啟動(注,httpd由heartbeat管理)

node2:

[root@heatbeat-node2?~]#?yum?install?httpd?-y [root@heatbeat-node2?~]#?echo?"ServerName?localhost:80"?>>/etc/httpd/conf/httpd.conf? [root@heatbeat-node2?~]#?service?httpd?start Starting?httpd:????????????????????????????????????????????[??OK??] [root@heatbeat-node2?~]#?echo?"<h1>node2.test.com</h1>"?>?/var/www/html/index.html [root@heatbeat-node2?~]#?iptables?-I?INPUT?-p?tcp?--dport?80?-j?ACCEPT [root@heatbeat-node2?~]#?service?iptables?save

測試

[root@heatbeat-node2?~]#?service?httpd?stop Stopping?httpd:????????????????????????????????????????????[??OK??] [root@heatbeat-node2?~]#?chkconfig?httpd?off

說明:測試完成后關(guān)閉服務(wù),并讓其開機不啟動(注,httpd由heartbeat管理)

五、配置 heartbeat

1.配置文件說明

[root@heatbeat-node1?~]#?ls?/etc/ha.d/ harc??rc.d??README.config??resource.d??shellfuncs

說明:安裝好的heartbeat默認是沒有配置文件的,但提供了配置文件樣本

[root@heatbeat-node1?~]#?ll?/usr/share/doc/heartbeat-3.0.4/ total?144 -rw-r--r--?1?root?root??1873?Dec??3??2013?apphbd.cf -rw-r--r--?1?root?root???645?Dec??3??2013?authkeys -rw-r--r--?1?root?root??3701?Dec??3??2013?AUTHORS -rw-r--r--?1?root?root?58752?Dec??3??2013?ChangeLog -rw-r--r--?1?root?root?17989?Dec??3??2013?COPYING -rw-r--r--?1?root?root?26532?Dec??3??2013?COPYING.LGPL -rw-r--r--?1?root?root?10502?Dec??3??2013?ha.cf -rw-r--r--?1?root?root??5905?Dec??3??2013?haresources -rw-r--r--?1?root?root??2935?Dec??3??2013?README [root@heatbeat-node1?~]#?cd?/usr/share/doc/heartbeat-3.0.4/ [root@heatbeat-node1?heartbeat-3.0.4]#?cp?authkeys?ha.cf?haresources?/etc/ha.d/

說明:其中有三個配置文件是我們需要的分別為,authkeys、ha.cf、haresources

  • authkeys #是節(jié)點之間的認證key文件,我們不能讓什么服務(wù)器都加入集群中來,加入集群中的節(jié)點都是需要認證的

  • ha.cf #heartbeat的主配置文件

  • haresources #集群資源管理配置文件(在heartbeat所有版本中都是支持haresources來配置集群中的資源的)

2.配置authkeys文件

[root@heatbeat-node1?ha.d]#?dd?if=/dev/random??bs=512?count=1?|openssl?md5????#生成隨機秘鑰數(shù) 0+1?records?in 0+1?records?out 16?bytes?(16?B)?copied,?4.1404e-05?s,?386?kB/s (stdin)=?f5e377b9a3a4ae407467946ae1d694d5#編輯authkeys文件 [root@heatbeat-node1?ha.d]#?grep?-v?^#?authkeys? auth?1 1?md5?f5e377b9a3a4ae407467946ae1d694d5[root@heatbeat-node1?ha.d]#?chmod?600?authkeys????#修改密鑰文件的權(quán)限為600 [root@heatbeat-node1?ha.d]#?ll total?44 -rw-------?1?root?root???691?Jun??2?15:00?authkeys -rw-r--r--?1?root?root?10502?Jun??2?14:57?ha.cf -rwxr-xr-x?1?root?root???745?Dec??3??2013?harc -rw-r--r--?1?root?root??5905?Jun??2?14:57?haresources drwxr-xr-x?2?root?root??4096?Jun??2?14:46?rc.d -rw-r--r--?1?root?root???692?Dec??3??2013?README.config drwxr-xr-x?2?root?root??4096?Jun??2?14:46?resource.d -rw-r--r--?1?root?root??2082?May??6?18:52?shellfuncs

3.配置ha.cf文件

主要修改兩處(其它都可以默認):

(1).修改心跳信息的傳播方式(這里是組播)

mcast?eth0?225.100.100.100?694?1?0

(2).配置集群中的節(jié)點數(shù)

node????heatbeat-node1 node????heatbeat-node2

4.配置haresources文件

heatbeat-node1?IPaddr::192.168.3.34/24/eth0?httpd

5.復(fù)制以上三個配置文件到node2上

[root@heatbeat-node1?ha.d]#?scp?authkeys?ha.cf?haresources?node2:/etc/ha.d/ authkeys??????????????????????????????????????????????????????????????????????????????????????100%??691?????0.7KB/s???00:00???? ha.cf?????????????????????????????????????????????????????????????????????????????????????????100%???10KB??10.3KB/s???00:00???? haresources???????????????????????????????????????????????????????????????????????????????????100%?5954?????5.8KB/s???00:00?? [root@heatbeat-node1?ha.d]#?ssh?node2?ls?-l?/etc/ha.d total?44 -rw-------?1?root?root???691?Jun??3?10:33?authkeys -rw-r--r--?1?root?root?10545?Jun??3?10:33?ha.cf -rwxr-xr-x?1?root?root???745?Dec??3??2013?harc -rw-r--r--?1?root?root??5954?Jun??3?10:33?haresources drwxr-xr-x?2?root?root??4096?Jun??2?14:44?rc.d -rw-r--r--?1?root?root???692?Dec??3??2013?README.config drwxr-xr-x?2?root?root??4096?Jun??2?14:44?resource.d -rw-r--r--?1?root?root??2082?May??6?18:52?shellfuncs

6.啟動node1與node2

[root@heatbeat-node1?ha.d]#?service?heartbeat?start Starting?High-Availability?services:?INFO:??Resource?is?stopped Done. [root@heatbeat-node1?ha.d]#?ssh?node2?service?heartbeat?start Starting?High-Availability?services:?2015/06/03_10:36:56?INFO:??Resource?is?stopped Done.

六、測試Web集群

1.查看啟動的服務(wù)

[root@heatbeat-node1?ha.d]#?netstat?-anpt Active?Internet?connections?(servers?and?established) Proto?Recv-Q?Send-Q?Local?Address???????????????Foreign?Address?????????????State???????PID/Program?name??? tcp????????0??????0?0.0.0.0:111?????????????????0.0.0.0:*???????????????????LISTEN??????1142/rpcbind???????? tcp????????0??????0?0.0.0.0:22??????????????????0.0.0.0:*???????????????????LISTEN??????1294/sshd??????????? tcp????????0??????0?127.0.0.1:25????????????????0.0.0.0:*???????????????????LISTEN??????1426/master????????? tcp????????0??????0?0.0.0.0:56970???????????????0.0.0.0:*???????????????????LISTEN??????1160/rpc.statd?????? tcp????????0?????52?192.168.3.32:22?????????????192.168.3.2:7332????????????ESTABLISHED?1539/sshd??????????? tcp????????0??????0?:::111??????????????????????:::*????????????????????????LISTEN??????1142/rpcbind???????? tcp????????0??????0?:::80???????????????????????:::*????????????????????????LISTEN??????2348/httpd?????????? tcp????????0??????0?:::22???????????????????????:::*????????????????????????LISTEN??????1294/sshd??????????? tcp????????0??????0?::1:25??????????????????????:::*????????????????????????LISTEN??????1426/master????????? tcp????????0??????0?:::55609????????????????????:::*????????????????????????LISTEN??????1160/rpc.statd

2.查看IP

[root@heatbeat-node1?ha.d]#?ip?a 1:?lo:?<LOOPBACK,UP,LOWER_UP>?mtu?16436?qdisc?noqueue?state?UNKNOWN?link/loopback?00:00:00:00:00:00?brd?00:00:00:00:00:00inet?127.0.0.1/8?scope?host?loinet6?::1/128?scope?host?valid_lft?forever?preferred_lft?forever 2:?eth0:?<BROADCAST,MULTICAST,UP,LOWER_UP>?mtu?1500?qdisc?pfifo_fast?state?UP?qlen?1000link/ether?00:0c:29:23:44:ba?brd?ff:ff:ff:ff:ff:ffinet?192.168.3.32/24?brd?192.168.3.255?scope?global?eth0inet?192.168.3.34/24?brd?192.168.3.255?scope?global?secondary?eth0inet6?fe80::20c:29ff:fe23:44ba/64?scope?link?valid_lft?forever?preferred_lft?forever

3.測試

4.故障演示

1).關(guān)閉node1上的heartbeat

[root@heatbeat-node1?ha.d]#?service?heartbeat?stop????????#這關(guān)閉的是node1上的heartbeat服務(wù) Stopping?High-Availability?services:?Done.#查看node1的IP和服務(wù) [root@heatbeat-node1?ha.d]#?ip?a 1:?lo:?<LOOPBACK,UP,LOWER_UP>?mtu?16436?qdisc?noqueue?state?UNKNOWN?link/loopback?00:00:00:00:00:00?brd?00:00:00:00:00:00inet?127.0.0.1/8?scope?host?loinet6?::1/128?scope?host?valid_lft?forever?preferred_lft?forever 2:?eth0:?<BROADCAST,MULTICAST,UP,LOWER_UP>?mtu?1500?qdisc?pfifo_fast?state?UP?qlen?1000link/ether?00:0c:29:23:44:ba?brd?ff:ff:ff:ff:ff:ffinet?192.168.3.32/24?brd?192.168.3.255?scope?global?eth0inet6?fe80::20c:29ff:fe23:44ba/64?scope?link?valid_lft?forever?preferred_lft?forever [root@heatbeat-node1?ha.d]#?netstat?-anpt Active?Internet?connections?(servers?and?established) Proto?Recv-Q?Send-Q?Local?Address???????????????Foreign?Address?????????????State???????PID/Program?name??? tcp????????0??????0?0.0.0.0:111?????????????????0.0.0.0:*???????????????????LISTEN??????1142/rpcbind???????? tcp????????0??????0?0.0.0.0:22??????????????????0.0.0.0:*???????????????????LISTEN??????1294/sshd??????????? tcp????????0??????0?127.0.0.1:25????????????????0.0.0.0:*???????????????????LISTEN??????1426/master????????? tcp????????0??????0?0.0.0.0:56970???????????????0.0.0.0:*???????????????????LISTEN??????1160/rpc.statd?????? tcp????????0?????52?192.168.3.32:22?????????????192.168.3.2:7332????????????ESTABLISHED?1539/sshd??????????? tcp????????0??????0?192.168.3.32:51322??????????192.168.3.33:22?????????????TIME_WAIT???-??????????????????? tcp????????0??????0?:::111??????????????????????:::*????????????????????????LISTEN??????1142/rpcbind???????? tcp????????0??????0?:::22???????????????????????:::*????????????????????????LISTEN??????1294/sshd??????????? tcp????????0??????0?::1:25??????????????????????:::*????????????????????????LISTEN??????1426/master????????? tcp????????0??????0?:::55609????????????????????:::*????????????????????????LISTEN??????1160/rpc.statd??? #上面的結(jié)果顯示heartbeat的IP資源和httpd資源已被移除

2).查看node2上的IP和服務(wù)

[root@heatbeat-node1?ha.d]#?ssh?node2?hostname heatbeat-node2 [root@heatbeat-node1?ha.d]#?ssh?node2?ip?a 1:?lo:?<LOOPBACK,UP,LOWER_UP>?mtu?16436?qdisc?noqueue?state?UNKNOWN?link/loopback?00:00:00:00:00:00?brd?00:00:00:00:00:00inet?127.0.0.1/8?scope?host?loinet6?::1/128?scope?host?valid_lft?forever?preferred_lft?forever 2:?eth0:?<BROADCAST,MULTICAST,UP,LOWER_UP>?mtu?1500?qdisc?pfifo_fast?state?UP?qlen?1000link/ether?00:0c:29:e3:b1:f7?brd?ff:ff:ff:ff:ff:ffinet?192.168.3.33/24?brd?192.168.3.255?scope?global?eth0inet?192.168.3.34/24?brd?192.168.3.255?scope?global?secondary?eth0inet6?fe80::20c:29ff:fee3:b1f7/64?scope?link?valid_lft?forever?preferred_lft?forever#查看node2的服務(wù) [root@heatbeat-node1?ha.d]#?ssh?node2?netstat?-anpt Active?Internet?connections?(servers?and?established) Proto?Recv-Q?Send-Q?Local?Address???????????????Foreign?Address?????????????State???????PID/Program?name??? tcp????????0??????0?0.0.0.0:111?????????????????0.0.0.0:*???????????????????LISTEN??????1113/rpcbind???????? tcp????????0??????0?0.0.0.0:22??????????????????0.0.0.0:*???????????????????LISTEN??????1264/sshd??????????? tcp????????0??????0?127.0.0.1:25????????????????0.0.0.0:*???????????????????LISTEN??????1350/master????????? tcp????????0??????0?0.0.0.0:49086???????????????0.0.0.0:*???????????????????LISTEN??????1131/rpc.statd?????? tcp????????0?????80?192.168.3.33:22?????????????192.168.3.32:51322??????????ESTABLISHED?2419/sshd??????????? tcp????????0??????0?192.168.3.33:22?????????????192.168.3.32:51319??????????TIME_WAIT???-??????????????????? tcp????????0??????0?192.168.3.33:22?????????????192.168.3.2:7337????????????ESTABLISHED?1463/sshd??????????? tcp????????0??????0?:::111??????????????????????:::*????????????????????????LISTEN??????1113/rpcbind???????? tcp????????0??????0?:::80???????????????????????:::*????????????????????????LISTEN??????2381/httpd?????????? tcp????????0??????0?:::22???????????????????????:::*????????????????????????LISTEN??????1264/sshd??????????? tcp????????0??????0?::1:25??????????????????????:::*????????????????????????LISTEN??????1350/master????????? tcp????????0??????0?:::51270????????????????????:::*????????????????????????LISTEN??????1131/rpc.statd???? #結(jié)果表明IP資源和httpd資源已啟動

3).測試

從上面的結(jié)果能看出集群實現(xiàn)了web的高可用

七、給heartbeat提供一個共享存儲

1.配置NFS服務(wù)器

[root@nfs?~]#?mkdir?-pv?/web mkdir:?created?directory?`/web'#安裝nfs服務(wù) [root@nfs?~]#?yum?install?nfs-utils?rpcbind?-y [root@nfs?~]#?cat?/etc/exports? /web/ 192.168.3.0/24(ro,async) [root@nfs?~]#?echo?'<h1>Cluster?NFS?Server</h1>'?>/web/index.html [root@nfs?~]#?service?rpcbind?start Starting?rpcbind:??????????????????????????????????????????[??OK??] [root@nfs?~]#?service?nfs?start Starting?NFS?services:?????????????????????????????????????[??OK??] Starting?NFS?quotas:???????????????????????????????????????[??OK??] Starting?NFS?mountd:???????????????????????????????????????[??OK??] Starting?NFS?daemon:???????????????????????????????????????[??OK??] Starting?RPC?idmapd:???????????????????????????????????????[??OK??] [root@nfs?~]#?showmount?-e?192.168.3.31 Export?list?for?192.168.3.31: /web?192.168.3.0/24

2.節(jié)點測試掛載

node1:

[root@heatbeat-node1?~]#?mount?-t?nfs?192.168.3.31:/web?/mnt [root@heatbeat-node1?~]#?df?-h Filesystem????????????Size??Used?Avail?Use%?Mounted?on /dev/sda3??????????????18G??1.3G???16G???8%?/ tmpfs?????????????????495M?????0??495M???0%?/dev/shm /dev/sda1?????????????194M???28M??156M??16%?/boot 192.168.3.31:/web??????18G??1.2G???16G???8%?/mnt [root@heatbeat-node1?~]#?ls?/mnt/ index.html [root@heatbeat-node1?~]#?cat?/mnt/index.html? <h1>Cluster?NFS?Server</h1> [root@heatbeat-node1?~]#?umount?/mnt

node2:

[root@heatbeat-node2?~]#?mount?-t?nfs?192.168.3.31:/web?/mnt [root@heatbeat-node2?~]#?df?-h Filesystem????????????Size??Used?Avail?Use%?Mounted?on /dev/sda3??????????????18G??1.3G???16G???8%?/ tmpfs?????????????????495M?????0??495M???0%?/dev/shm /dev/sda1?????????????194M???28M??156M??16%?/boot 192.168.3.31:/web??????18G??1.2G???16G???8%?/mnt [root@heatbeat-node2?~]#?ls?/mnt/ index.html [root@heatbeat-node2?~]#?cat?/mnt/index.html? <h1>Cluster?NFS?Server</h1> [root@heatbeat-node2?~]#?umount?/mnt

3.修改haresource文件

#編輯配置文件 [root@heatbeat-node1?~]#?vim?/etc/ha.d/haresources? heatbeat-node1?IPaddr::192.168.3.34/24/eth0?Filesystem::192.168.3.31:/web::/var/www/html::nfs??httpd #這里的意思是在httpd服務(wù)器之前,掛載文件nfs系統(tǒng),將nfs文件系統(tǒng)掛載到/var/www/html目錄下

4.同步haresource配置文件

[root@heatbeat-node1?~]#?scp?/etc/ha.d/haresources?node2:/etc/ha.d/

5.重啟一下heartbeat

#重啟node2的服務(wù) [root@heatbeat-node1?~]#?ssh?node2?service?heartbeat?restart Stopping?High-Availability?services:?Done.Waiting?to?allow?resource?takeover?to?complete:Done.Starting?High-Availability?services:?2015/06/03_11:02:28?INFO:??Resource?is?stopped Done.#重啟node1的服務(wù) [root@heatbeat-node1?~]#?service?heartbeat?restart Stopping?High-Availability?services:?Done.Waiting?to?allow?resource?takeover?to?complete:Done.Starting?High-Availability?services:?INFO:??Resource?is?stopped Done.

6.查看一下端口

#這個時候資源服務(wù)應(yīng)該都在node1上 #查看httpd服務(wù) [root@heatbeat-node1?~]#?netstat?-anpt Active?Internet?connections?(servers?and?established) Proto?Recv-Q?Send-Q?Local?Address???????????????Foreign?Address?????????????State???????PID/Program?name??? tcp????????0??????0?0.0.0.0:111?????????????????0.0.0.0:*???????????????????LISTEN??????1142/rpcbind???????? tcp????????0??????0?0.0.0.0:22??????????????????0.0.0.0:*???????????????????LISTEN??????1294/sshd??????????? tcp????????0??????0?127.0.0.1:25????????????????0.0.0.0:*???????????????????LISTEN??????1426/master????????? tcp????????0??????0?0.0.0.0:33258???????????????0.0.0.0:*???????????????????LISTEN??????-??????????????????? tcp????????0??????0?0.0.0.0:56970???????????????0.0.0.0:*???????????????????LISTEN??????1160/rpc.statd?????? tcp????????0?????52?192.168.3.32:22?????????????192.168.3.2:7332????????????ESTABLISHED?1539/sshd??????????? tcp????????0??????0?192.168.3.32:814????????????192.168.3.31:2049???????????ESTABLISHED?-??????????????????? tcp????????0??????0?:::111??????????????????????:::*????????????????????????LISTEN??????1142/rpcbind???????? tcp????????0??????0?:::80???????????????????????:::*????????????????????????LISTEN??????5912/httpd?????????? tcp????????0??????0?:::22???????????????????????:::*????????????????????????LISTEN??????1294/sshd??????????? tcp????????0??????0?::1:25??????????????????????:::*????????????????????????LISTEN??????1426/master????????? tcp????????0??????0?:::55609????????????????????:::*????????????????????????LISTEN??????1160/rpc.statd?????? tcp????????0??????0?:::56927????????????????????:::*????????????????????????LISTEN??????-??????????????????? #查看nfs服務(wù) [root@heatbeat-node1?~]#?df?-h Filesystem????????????Size??Used?Avail?Use%?Mounted?on /dev/sda3??????????????18G??1.3G???16G???8%?/ tmpfs?????????????????495M?????0??495M???0%?/dev/shm /dev/sda1?????????????194M???28M??156M??16%?/boot 192.168.3.31:/web??????18G??1.2G???16G???8%?/var/www/html#查看IP資源 [root@heatbeat-node1?~]#?ip?a 1:?lo:?<LOOPBACK,UP,LOWER_UP>?mtu?16436?qdisc?noqueue?state?UNKNOWN?link/loopback?00:00:00:00:00:00?brd?00:00:00:00:00:00inet?127.0.0.1/8?scope?host?loinet6?::1/128?scope?host?valid_lft?forever?preferred_lft?forever 2:?eth0:?<BROADCAST,MULTICAST,UP,LOWER_UP>?mtu?1500?qdisc?pfifo_fast?state?UP?qlen?1000link/ether?00:0c:29:23:44:ba?brd?ff:ff:ff:ff:ff:ffinet?192.168.3.32/24?brd?192.168.3.255?scope?global?eth0inet?192.168.3.34/24?brd?192.168.3.255?scope?global?secondary?eth0inet6?fe80::20c:29ff:fe23:44ba/64?scope?link?valid_lft?forever?preferred_lft?forever

7.測試一下Web服務(wù)

測試結(jié)果能看出我們通過heartbeat已經(jīng)能夠正常訪問web共享站點了

8.模擬故障并測試

(1).停止node11上的heartbeat

[root@heatbeat-node1?~]#?service?heartbeat?stop Stopping?High-Availability?services:?Done.

(2).查看節(jié)點2的IP與服務(wù)

#查看node2 [root@heatbeat-node1?~]#?ssh?node2?ip?a 1:?lo:?<LOOPBACK,UP,LOWER_UP>?mtu?16436?qdisc?noqueue?state?UNKNOWN?link/loopback?00:00:00:00:00:00?brd?00:00:00:00:00:00inet?127.0.0.1/8?scope?host?loinet6?::1/128?scope?host?valid_lft?forever?preferred_lft?forever 2:?eth0:?<BROADCAST,MULTICAST,UP,LOWER_UP>?mtu?1500?qdisc?pfifo_fast?state?UP?qlen?1000link/ether?00:0c:29:e3:b1:f7?brd?ff:ff:ff:ff:ff:ffinet?192.168.3.33/24?brd?192.168.3.255?scope?global?eth0inet?192.168.3.34/24?brd?192.168.3.255?scope?global?secondary?eth0inet6?fe80::20c:29ff:fee3:b1f7/64?scope?link?valid_lft?forever?preferred_lft?forever [root@heatbeat-node1?~]#?ssh?node2?netstat?-anpt Active?Internet?connections?(servers?and?established) Proto?Recv-Q?Send-Q?Local?Address???????????????Foreign?Address?????????????State???????PID/Program?name??? tcp????????0??????0?0.0.0.0:111?????????????????0.0.0.0:*???????????????????LISTEN??????1113/rpcbind???????? tcp????????0??????0?0.0.0.0:38901???????????????0.0.0.0:*???????????????????LISTEN??????-??????????????????? tcp????????0??????0?0.0.0.0:22??????????????????0.0.0.0:*???????????????????LISTEN??????1264/sshd??????????? tcp????????0??????0?127.0.0.1:25????????????????0.0.0.0:*???????????????????LISTEN??????1350/master????????? tcp????????0??????0?0.0.0.0:49086???????????????0.0.0.0:*???????????????????LISTEN??????1131/rpc.statd?????? tcp????????0??????0?192.168.3.33:926????????????192.168.3.31:2049???????????ESTABLISHED?-??????????????????? tcp????????0?????80?192.168.3.33:22?????????????192.168.3.32:51327??????????ESTABLISHED?6572/sshd??????????? tcp????????0??????0?192.168.3.33:22?????????????192.168.3.2:7337????????????ESTABLISHED?1463/sshd??????????? tcp????????0??????0?:::111??????????????????????:::*????????????????????????LISTEN??????1113/rpcbind???????? tcp????????0??????0?:::80???????????????????????:::*????????????????????????LISTEN??????6546/httpd?????????? tcp????????0??????0?:::22???????????????????????:::*????????????????????????LISTEN??????1264/sshd??????????? tcp????????0??????0?::1:25??????????????????????:::*????????????????????????LISTEN??????1350/master????????? tcp????????0??????0?:::57119????????????????????:::*????????????????????????LISTEN??????-??????????????????? tcp????????0??????0?:::51270????????????????????:::*????????????????????????LISTEN??????1131/rpc.statd?????? [root@heatbeat-node1?~]#?ssh?node2?df?-h Filesystem????????????Size??Used?Avail?Use%?Mounted?on /dev/sda3??????????????18G??1.3G???16G???8%?/ tmpfs?????????????????495M?????0??495M???0%?/dev/shm /dev/sda1?????????????194M???28M??156M??16%?/boot 192.168.3.31:/web??????18G??1.2G???16G???8%?/var/www/html #通過以上結(jié)果能看出node2已全部接管所有資源

(3).測試服務(wù)

4).重新啟動node1上heartbeat

#node1重新啟動服務(wù) [root@heatbeat-node1?~]#?service?heartbeat?start Starting?High-Availability?services:?INFO:??Resource?is?stopped Done.#查看日志 [root@heatbeat-node1?~]#?tail?-f?/var/log/messages? Jun??3?11:10:33?heatbeat-node1?/usr/lib/ocf/resource.d//heartbeat/IPaddr(IPaddr_192.168.3.34)[6491]:?INFO:??Success Jun??3?11:10:33?heatbeat-node1?/usr/lib/ocf/resource.d//heartbeat/Filesystem(Filesystem_192.168.3.31:/web)[6599]:?INFO:??Resource?is?stopped Jun??3?11:10:33?heatbeat-node1?ResourceManager(default)[6372]:?info:?Running?/etc/ha.d/resource.d/Filesystem?192.168.3.31:/web?/var/www/html?nfs?start Jun??3?11:10:33?heatbeat-node1?Filesystem(Filesystem_192.168.3.31:/web)[6674]:?INFO:?Running?start?for?192.168.3.31:/web?on?/var/www/html Jun??3?11:10:33?heatbeat-node1?/usr/lib/ocf/resource.d//heartbeat/Filesystem(Filesystem_192.168.3.31:/web)[6666]:?INFO:??Success Jun??3?11:10:33?heatbeat-node1?ResourceManager(default)[6372]:?info:?Running?/etc/init.d/httpd??start Jun??3?11:10:33?heatbeat-node1?heartbeat:?[6359]:?info:?local?HA?resource?acquisition?completed?(standby). Jun??3?11:10:33?heatbeat-node1?heartbeat:?[6334]:?info:?Standby?resource?acquisition?done?[foreign]. Jun??3?11:10:33?heatbeat-node1?heartbeat:?[6334]:?info:?Initial?resource?acquisition?complete?(auto_failback) Jun??3?11:10:34?heatbeat-node1?heartbeat:?[6334]:?info:?remote?resource?transition?completed.

到此heartbeat的高可用已基本完成

轉(zhuǎn)載于:https://blog.51cto.com/ly36843/1657488

總結(jié)

以上是生活随笔為你收集整理的Heartbeat+httpd+NFS 实现高可用的Web服务器的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯,歡迎將生活随笔推薦給好友。

天天草天天操 | 国产免费av一区二区三区 | 亚洲国产人午在线一二区 | 亚洲 在线 | 成人黄色毛片视频 | 97色国产| 国产精品videossex国产高清 | 欧美极品裸体 | 很黄很色很污的网站 | 九九热只有这里有精品 | 日本 在线 视频 中文 有码 | 天堂av免费看 | 久久国产麻豆 | 国产精品电影一区二区 | 麻豆高清免费国产一区 | 天天躁天天操 | 狠狠gao| 91麻豆免费视频 | 热久久免费视频 | 久草在线视频国产 | 区一区二区三在线观看 | 婷婷色中文 | 成 人 黄 色视频免费播放 | 国产不卡精品 | 成人在线视| 国产成人精品一区二区三区福利 | 久久久久久综合 | 国产精品日韩在线播放 | 一区二区三区观看 | 就要干b | 很黄很污的视频网站 | 九色91视频 | av免费试看 | 亚洲在线精品 | 免费av网站在线 | 九月婷婷综合网 | 91aaa在线观看 | 国产亚洲日 | 欧美成年黄网站色视频 | 婷婷久久综合九色综合 | 超级碰碰碰免费视频 | 久久精品视频免费观看 | 天天做天天爱天天综合网 | 四虎影视成人永久免费观看亚洲欧美 | 亚洲精品免费在线视频 | 四虎永久国产精品 | 天天摸天天操天天爽 | 免费热情视频 | 久久av在线播放 | 国产精品99久久久久久人免费 | 国产高清免费观看 | 97色se| 91在线精品播放 | 国产精品免费久久久久久久久久中文 | 欧美另类性| 97在线免费 | 蜜臀精品久久久久久蜜臀 | 99c视频在线 | 国产高清免费视频 | 亚洲精品视频在线观看免费 | www久久国产 | 久久爱综合 | 日日夜夜综合 | 黄色午夜网站 | 在线观看网站你懂的 | 精品久久久免费视频 | 久草在线综合 | 在线精品在线 | 久久的色 | 日韩免费网址 | 国产99久久精品一区二区300 | 人人看人人艹 | 国产精品久久久久免费 | 国产一区二区久久久 | 中午字幕在线 | 午夜精品成人一区二区三区 | 国内精品小视频 | 黄色一级在线观看 | 精品二区久久 | 成人av电影免费 | 久久久电影网站 | 天堂久色 | 人人看看人人 | 免费观看第二部31集 | 人人干干人人 | 制服丝袜在线91 | 成片视频免费观看 | 久久激情小视频 | 天天搞夜夜骑 | 国产剧在线观看片 | 久久久久久高潮国产精品视 | 91成人网页版 | 国产我不卡| 亚洲精品玖玖玖av在线看 | 天天草综合 | 色噜噜日韩精品欧美一区二区 | 欧美一区二区精品在线 | 婷婷六月综合亚洲 | 日韩无在线 | 亚洲精品97 | 国产资源av | 中文字幕久久精品一区 | 国产精品欧美久久久久天天影视 | 国产成人精品福利 | 天天综合网 天天综合色 | 狠狠色丁香九九婷婷综合五月 | 日韩中文幕 | 天天爽夜夜爽人人爽一区二区 | 欧美日韩亚洲第一 | 中国一级片在线播放 | 在线视频观看亚洲 | 麻豆系列在线观看 | 在线免费观看亚洲视频 | 超碰在线观看av.com | 欧美a√大片 | av一区二区三区在线播放 | 久青草电影| 91在线你懂的 | 国产免费美女 | 免费看的黄色录像 | 日韩av免费观看网站 | 香蕉网站在线观看 | 人交video另类hd| 超级av在线 | 91黄色成人 | 亚洲精品动漫久久久久 | 久久亚洲日本 | 高清精品久久 | 欧美天天综合网 | 亚洲激情电影在线 | 久久久久久久久久影视 | 国产亚洲精品久久久久5区 成人h电影在线观看 | 91成人在线免费观看 | 久久精品视频网站 | 曰本三级在线 | 国产中文字幕一区二区三区 | 亚洲欧美视频在线播放 | 久久99深爱久久99精品 | 亚洲视频免费在线观看 | 91成人精品观看 | 又污又黄的网站 | 91精品视频在线观看免费 | 九九精品在线观看 | 久久久免费av| 久久97精品 | 激情网综合 | 日韩和的一区二在线 | 91精品啪在线观看国产 | av福利电影 | 91成人观看| 91在线一区 | 麻豆国产在线播放 | 免费日韩电影 | 99久视频 | 亚洲欧美日韩在线一区二区 | 中文字幕中文中文字幕 | 精品uu | 日韩毛片精品 | 日韩欧美在线一区二区 | 亚洲涩涩色 | 婷婷久月 | 99精品国产一区二区 | 日韩精品一区二区三区外面 | 综合av在线| 日日狠狠 | 特级毛片网 | 亚洲视频在线观看免费 | 欧美激情综合五月色丁香 | 一本一本久久a久久 | av中文字幕在线观看网站 | 国产中文字幕视频在线观看 | 欧美片网站yy | 韩国三级在线一区 | 国产精品久久久久久爽爽爽 | 在线观看视频h | 成人黄色免费在线观看 | 韩国av一区二区三区在线观看 | 在线看中文字幕 | 久久av中文字幕片 | 欧美一级视频免费看 | 91精品国产91p65| 亚洲va欧洲va国产va不卡 | 日韩在线观看第一页 | 亚洲午夜精品电影 | 国产黄免费| 久草www | 国产高清视频免费最新在线 | 亚洲成年人av | 天天综合导航 | 99视频精品免费视频 | 国产高清精 | 超薄丝袜一二三区 | 久久精品一区二区三 | 成人av免费网站 | 麻豆视频免费播放 | 日韩欧美在线视频一区二区三区 | 国产精品一区二区白浆 | 久久久久区 | 超碰国产在线播放 | 四虎在线观看 | 黄色大片日本 | 69中文字幕 | 国产精品毛片完整版 | 国产午夜视频在线观看 | 日韩免费一区二区 | 91成品人影院 | 丁香六月色 | 奇米影视8888在线观看大全免费 | 日韩毛片在线播放 | 精品国产三级a∨在线欧美 免费一级片在线观看 | 五月婷婷综 | 国产精品久久久久久久久久免费看 | 国产在线观看网站 | 成年人视频免费在线播放 | 久久国产精品99久久人人澡 | 91中文字幕在线 | 日韩免费视频播放 | 成人免费91 | 香蕉网在线播放 | 黄av免费在线观看 | 最近2019年日本中文免费字幕 | 国产精品欧美久久 | 91最新视频在线观看 | 国产在线观看午夜 | 99日精品| 波多野结衣在线播放一区 | 黄色大片免费播放 | 人人澡人摸人人添学生av | 在线观看免费91 | 亚洲精选在线观看 | 国产一级片免费视频 | 精品一区 在线 | 日韩av不卡在线播放 | 成年人在线免费看 | 日韩网站在线免费观看 | 国产一级淫片在线观看 | 国产 一区二区三区 在线 | 免费在线色视频 | 欧美亚洲精品在线观看 | 91精品国产综合久久福利 | 久久久久久国产一区二区三区 | 日本精品一| 国产99久久久精品视频 | 99精品偷拍视频一区二区三区 | 99国内精品 | 国产黄色精品在线 | 国产精品综合在线 | 欧美日韩高清一区 | 91成人在线看 | 国产免费久久精品 | 亚洲视频免费 | 青青草国产成人99久久 | 国产精品日韩高清 | 色丁香婷婷| 六月丁香激情综合色啪小说 | 国产美女免费视频 | 久久国产一区二区三区 | 日韩在线视频国产 | 中文字幕免费看 | 久在线观看 | 免费观看v片在线观看 | 国产91精品久久久久 | 色wwww| 91在线免费播放视频 | 青青草国产免费 | 综合av在线 | 中文字幕亚洲精品在线观看 | 91看片在线看片 | 国产中文 | 日韩一区视频在线 | 久久五月婷婷丁香 | 99久久精品免费看国产一区二区三区 | 国产成人精品不卡 | 国产.精品.日韩.另类.中文.在线.播放 | 成人免费中文字幕 | 国产永久免费观看 | 国产高清在线永久 | 久久精品国产亚洲aⅴ | 欧美日韩亚洲精品在线 | 亚洲一区二区三区毛片 | 精品资源在线 | 日韩精品一区二区免费 | 亚色视频在线观看 | 日韩在线观看精品 | 玖玖在线精品 | 国产精品99蜜臀久久不卡二区 | 欧洲精品码一区二区三区免费看 | www.久久99 | 五月婷婷欧美视频 | 国产亚洲精品久久19p | 国产成人精品av | 天堂av观看 | 国产精品s色 | 最近中文字幕在线中文高清版 | 午夜视频久久久 | 亚洲天堂视频在线 | 激情大尺度视频 | 中文字幕电影在线 | 99久久9| 91精品久久久久久综合五月天 | 亚洲精品美女久久久 | 欧美精品免费在线观看 | 国产精品一区二区三区免费视频 | av看片网 | av成人免费在线观看 | 激情视频免费在线 | 久久er99热精品一区二区三区 | 亚洲色综合 | 天天综合网在线观看 | 国产亚洲精品久久19p | 蜜臀久久99精品久久久久久网站 | 久热av在线| 久久婷婷综合激情 | 成人一级片视频 | 亚洲黄色三级 | 欧美一级免费片 | 99在线精品视频 | 啪啪小视频网站 | 少妇视频在线播放 | 少妇av片 | 亚洲一本视频 | 99999精品| 黄色小网站在线 | 久久久久99999| 亚洲 综合 精品 | 国产精品毛片一区视频播不卡 | 久久精品欧美一区 | 日韩av看片 | 精品久久久久久久久久久久 | 亚洲国产片色 | 国内久久精品视频 | 天天草综合网 | 色综合亚洲精品激情狠狠 | 国内精品久久久久影院日本资源 | 99热九九这里只有精品10 | 日韩理论在线视频 | 丁香六月婷婷开心婷婷网 | 国产成人精品av久久 | 91麻豆精品一区二区三区 | 99综合视频| 天天摸天天操天天爽 | 奇米网444 | 成人毛片a | 亚洲性xxxx| 色网站在线观看 | 亚洲欧美视频在线观看 | 欧美日韩性视频在线 | 精品国产人成亚洲区 | 超碰97成人 | 亚洲美女免费精品视频在线观看 | 5月丁香婷婷综合 | 高清免费在线视频 | 久久久在线观看 | 四虎成人精品永久免费av | 最新日韩电影 | 国产又黄又爽无遮挡 | 午夜精品一区二区三区在线播放 | 粉嫩一区二区三区粉嫩91 | 中文字幕在线人 | 成年人视频免费在线播放 | 成人av片免费观看app下载 | 婷婷日 | 亚洲不卡av一区二区三区 | 五月婷婷视频 | 久久久黄色免费网站 | 99国产精品久久久久久久久久 | 99热.com| 日本午夜在线观看 | 亚洲无人区小视频 | 九九九热精品免费视频观看 | 中文字幕在线观看网站 | 日本护士三级少妇三级999 | 成人午夜电影久久影院 | 超碰99在线 | 国产成人av一区二区三区在线观看 | 91精品久久久久久久久 | 久艹在线播放 | 欧美一区二区在线免费观看 | 国产小视频在线 | av在线进入| 在线 高清 中文字幕 | 成人毛片在线观看视频 | 久久久男人的天堂 | 韩国精品在线观看 | 国内精品视频在线 | 91精品国产99久久久久久红楼 | 成人三级网站在线观看 | 中文字幕一二三区 | 国产伦精品一区二区三区高清 | 国产精品久久艹 | 91爱爱网址 | 少妇bbr搡bbb搡bbb | 亚洲在线精品视频 | 国产一区二区视频在线 | 久久久九九 | 黄色大片国产 | 少妇搡bbbb搡bbb搡忠贞 | 麻豆视频免费入口 | 国内精品一区二区 | 久久综合影视 | 中文字幕制服丝袜av久久 | 久久免费黄色网址 | 久久综合色天天久久综合图片 | 99国产精品视频免费观看一公开 | 日日夜夜狠狠操 | 综合久久久久久久 | 操高跟美女 | 欧美整片sss | 欧美91视频 | 亚洲激情在线观看 | 成人中文字幕+乱码+中文字幕 | 友田真希av | 日韩美女黄色片 | 99热最新地址| 国产一级免费观看 | 中文字幕在线乱 | 久久久精品国产免费观看一区二区 | 97福利| 99久久精品国产免费看不卡 | 91丨九色丨国产女 | 国产欧美综合在线观看 | 91网免费观看 | 99久久精品久久久久久清纯 | 日韩精品久久中文字幕 | 麻豆传媒视频在线免费观看 | 探花视频在线观看 | av在线a | 久久精品视频在线免费观看 | 久久亚洲综合国产精品99麻豆的功能介绍 | 91视频免费看片 | 国产区网址 | 日日日爽爽爽 | 成人va视频 | 婷婷激情影院 | 亚洲一区av | 天天综合天天做 | 五月天丁香 | 99久久精品国产网站 | 免费高清无人区完整版 | av观看网站 | 天天综合色天天综合 | 黄色的视频 | 午夜影院在线观看18 | 久久久久久久免费看 | 欧美精品v国产精品 | 欧美一级片在线播放 | 亚洲精品白浆高清久久久久久 | 婷婷丁香激情五月 | 日韩av中文 | 久久久久高清毛片一级 | 中文字幕免费高清在线观看 | 九色91在线视频 | 中文字幕 国产视频 | 一区二区中文字幕在线观看 | 色综合久久五月天 | 日本中文字幕影院 | 99久久精品国产一区二区成人 | 麻豆91网站| 亚洲精品免费在线播放 | 91麻豆精品国产91 | 久久伦理影院 | 国产视频丨精品|在线观看 国产精品久久久久久久久久久久午夜 | 免费色视频网址 | 国产精品24小时在线观看 | 亚洲mv大片欧洲mv大片免费 | 亚洲小视频在线 | 欧美激情综合五月色丁香 | 亚洲伦理一区 | 欧美激情综合五月色丁香小说 | 97涩涩视频 | 免费中文字幕视频 | 日韩免费视频线观看 | 91视频在线播放视频 | 成人在线播放视频 | 成人理论电影 | 欧美一级电影片 | 最新动作电影 | 黄色一区二区在线观看 | 超碰97人人爱 | 午夜精品麻豆 | 二区三区精品 | 国产视频第二页 | 久久久午夜电影 | 91麻豆高清视频 | 2019中文字幕第一页 | 婷婷精品国产一区二区三区日韩 | 欧美一二三区在线观看 | 国产原创在线 | 99国产精品视频免费观看一公开 | 最新一区二区三区 | 中文字幕 国产 一区 | 亚洲自拍自偷 | 成人欧美亚洲 | 99精品国产福利在线观看免费 | 国产精品嫩草55av | 久久精品九色 | 久亚洲| 欧美日韩天堂 | 久久久久久黄 | 91精品在线麻豆 | 99热九九这里只有精品10 | 国产成人免费观看久久久 | 丁香婷婷久久久综合精品国产 | 欧美一级免费 | 一区二区三区免费在线播放 | 天堂在线视频免费观看 | 成人一区不卡 | 在线看片一区 | www.狠狠干 | 四虎成人精品永久免费av | 国产破处在线播放 | 麻豆一区在线观看 | 91日韩精品视频 | 国产精品免费麻豆入口 | 久久婷婷一区 | 久久福利精品 | 精品亚洲视频在线 | 九九热免费观看 | 日韩欧美高清免费 | 精品久久久久久久久亚洲 | 日韩在线视频不卡 | 亚洲第一中文网 | 亚洲欧洲美洲av | 久久久久久久久久久影视 | 99 久久久久 | 98超碰在线| 人人玩人人弄 | 色综合色综合久久综合频道88 | 91资源在线| 一区二区电影在线观看 | 欧美一级日韩免费不卡 | 欧美国产不卡 | 欧美精品在线一区二区 | 国产成人精品在线 | 国产91亚洲 | 久久综合免费视频 | 成年人免费在线看 | 精品国产乱码久久久久久三级人 | 国产区在线视频 | 欧美色图东方 | 久久新视频 | 最新久久免费视频 | 青青河边草免费观看 | 中文字幕在线视频第一页 | 五月婷婷香蕉 | 国产成人久久 | 在线亚洲精品 | 国产区久久 | 婷婷色综合色 | 日韩亚洲在线 | 伊人五月综合 | 日日摸日日添夜夜爽97 | 久久视频6| 国产高清在线精品 | 视频在线精品 | 国产va在线 | 日日干夜夜干 | 91丨九色丨国产女 | 欧美大片在线看免费观看 | 久久99免费观看 | 亚洲日韩欧美视频 | 91免费看片黄 | 天天天综合网 | 日韩av电影中文字幕在线观看 | 操操操综合 | 天天色天天操综合网 | 婷婷九月激情 | av久久在线 | 午夜在线国产 | 欧美日韩一区三区 | 激情影音先锋 | av片在线看 | 伊人五月| 中文av资源站| 午夜123 | 免费的成人av | av片中文| 成人在线播放av | 国产精品久久久久永久免费看 | 国产一区二区三区免费视频 | 国产亚洲日 | www.玖玖玖| 久久艹在线 | 韩日av在线| 色综合天天色综合 | 亚洲国产97在线精品一区 | 91精品久久久久久久久久入口 | 国产精品mm | 香蕉影院在线播放 | 亚洲精品高清视频在线观看 | 国产在线精品国自产拍影院 | 国产成人精品av在线 | 日韩精品一区二区不卡 | 国产小视频免费在线观看 | 亚洲免费在线播放视频 | 久草在线播放视频 | 国产精品亚洲人在线观看 | 伊人永久在线 | 成年一级片 | 日本在线观看一区 | 色中色亚洲 | 国产精彩在线视频 | 午夜天使 | 久久久久久久久免费视频 | 久久私人影院 | 最近在线中文字幕 | 国内外成人免费在线视频 | 久久夜色精品国产亚洲aⅴ 91chinesexxx | 日韩一级精品 | 久久精品国产一区二区三 | 成 人 黄 色 片 在线播放 | 免费男女羞羞的视频网站中文字幕 | 国产经典av| 天天综合色 | 伊人影院99| 天天爽人人爽夜夜爽 | 制服丝袜在线 | 国产精品自在线 | 国产精品一区二区视频 | 久久一区二区三区超碰国产精品 | 国产特级毛片aaaaaa高清 | 99精品在线视频观看 | 涩涩网站在线看 | 成人黄大片 | 99精品欧美一区二区 | 日日日操操 | 国产日产精品久久久久快鸭 | 国产精品观看 | 人人视频网站 | 亚洲精品免费在线观看 | 91亚洲视频在线观看 | 免费高清在线观看电视网站 | av中文在线影视 | 91最新视频在线观看 | 少妇搡bbbb搡bbb搡aa | 黄色电影网站在线观看 | 97网在线观看| 国产99精品在线观看 | 午夜精品福利一区二区三区蜜桃 | 日日操网站 | 国产福利午夜 | 国产免费作爱视频 | 日韩av一区二区三区四区 | 18pao国产成视频永久免费 | 欧美日韩国产一区二区在线观看 | 国产一区欧美在线 | 亚洲欧美视频一区二区三区 | 久草在线视频免赞 | 人人爽久久涩噜噜噜网站 | 日韩在线高清免费视频 | 国产精彩视频一区二区 | 国产成人区| 国产精品视频999 | 亚洲免费一级电影 | 91九色视频网站 | 日本中文在线播放 | 成人免费观看在线视频 | av福利在线| 中文字幕在线视频国产 | 免费看一级特黄a大片 | 免费久久99精品国产婷婷六月 | 久久精品麻豆 | 激情av综合 | 一区 二区 精品 | 狠狠操狠狠插 | 久久国产亚洲精品 | 91精品视频一区 | 五月天国产精品 | 国产精品成人aaaaa网站 | 亚洲永久精品国产 | 精品av网站| 亚洲伊人成综合网 | 精品人人爽 | 香蕉精品视频在线观看 | 国产人在线成免费视频 | 色综合久久88色综合天天免费 | 国产精品福利视频 | 亚洲精品免费在线 | 亚洲一区精品二人人爽久久 | 国产成人久久精品一区二区三区 | 日韩欧美观看 | 日韩综合一区二区 | 黄色99视频 | 国产精品美女久久久久久免费 | 人人搞人人搞 | 国产片免费在线观看视频 | 久久黄视频 | 中文字幕精品www乱入免费视频 | 亚洲国产成人高清精品 | 国产欧美在线一区二区三区 | 日韩在线电影观看 | 国产视频中文字幕在线观看 | 日韩精品无码一区二区三区 | 色综合久久久 | 成人一区二区三区在线观看 | 久久视频免费看 | 日韩精品第1页 | 91超碰免费在线 | 久久精品1区2区 | 在线一二区| 日本不卡一区二区 | 91视频免费视频 | 欧美性生活免费看 | 国产不卡网站 | 91爱爱电影 | 麻豆影视在线免费观看 | 伊香蕉大综综综合久久啪 | 超碰国产在线 | 中文字幕一区二区在线观看 | 免费亚洲视频在线观看 | 亚洲丝袜一区二区 | 久久精品欧美 | 成人观看视频 | 午夜精品99久久免费 | 日本三级不卡 | 国产裸体视频bbbbb | 久久久久欧美精品 | av久久久久久 | 一区二区视频电影在线观看 | 女人18片毛片90分钟 | 久久撸在线视频 | 国产亚洲精品福利 | 色综合久久中文字幕综合网 | 欧美日韩一区二区在线观看 | 狠狠干狠狠艹 | 制服丝袜一区二区 | 久久久久女人精品毛片九一 | 国产在线免费观看 | 精品一区二区免费 | 在线免费高清 | av在线看片 | 中文字幕av有码 | 日韩毛片久久久 | 爱情影院aqdy鲁丝片二区 | 久久久久国产一区二区三区四区 | 综合色婷婷| 伊人五月在线 | www.99久久.com | 亚洲在线观看av | 免费在线观看黄 | 99久久婷婷| 人人艹视频 | av在线一二三区 | av在线进入| 国产中文字幕一区 | 91精品久久久久久综合五月天 | 精品产品国产在线不卡 | 亚洲免费国产 | 国产高清视频在线播放 | 免费观看全黄做爰大片国产 | 91一区啪爱嗯打偷拍欧美 | 亚洲综合色丁香婷婷六月图片 | se视频网址 | 国产黄免费在线观看 | 成人免费视频在线观看 | 日韩三级一区 | 国产 在线 高清 精品 | 激情丁香久久 | 国产精品国产三级国产专区53 | 日韩一区二区三区不卡 | 亚洲精品在线免费播放 | 国产一区在线免费观看视频 | 亚洲国产成人在线观看 | 免费成人在线观看视频 | 亚洲毛片一区二区三区 | 国产午夜精品一区二区三区嫩草 | 精品久久久免费 | 久久欧美精品 | 免费高清影视 | 日本午夜在线亚洲.国产 | 成在人线av| 日韩精品视频免费在线观看 | 日韩一区二区三免费高清在线观看 | 日韩精品一区二区三区高清免费 | 人人玩人人弄 | 丁香婷婷亚洲 | 日本精品久久 | 永久免费观看视频 | 免费在线观看黄网站 | 久久国产精品免费一区 | 四虎影视www | 伊人婷婷久久 | 中文字幕视频 | 一区二区三区四区五区在线 | 国产精华国产精品 | av电影一区 | 激情av资源网 | 国产69精品久久99不卡的观看体验 | 日本中出在线观看 | 国产精品精品久久久久久 | 国产爽妇网 | 日韩高清精品免费观看 | 97精品久久人人爽人人爽 | 色婷婷福利视频 | 国产精品美乳一区二区免费 | 亚洲精品国产精品乱码不99热 | 在线黄色国产 | 少妇av网 | 国产精品久久久久久久久久久不卡 | 婷婷六月久久 | 狠狠干夜夜操 | 91精品视频网站 | 午夜精品久久久久久久99 | 精品久久久久久久久中文字幕 | 99免费在线视频 | 91成人在线视频 | 蜜臀aⅴ精品一区二区三区 久久视屏网 | 精品久久久久一区二区国产 | 精品久久综合 | 中文字幕国产精品一区二区 | 在线免费中文字幕 | 亚洲精品乱码久久久久久 | 午夜久久久久 | 91av99| 色婷婷激情综合 | 国产精品一区二区三区四 | 亚洲国产精品电影 | 黄色午夜 | 人人cao| 一区二区精品国产 | 91pony九色丨交换 | 国产福利中文字幕 | 日本性久久 | 欧美激情综合色 | 国产视频九色蝌蚪 | 97视频在线免费播放 | 日本在线视频网址 | 国产成人一区二区三区影院在线 | 亚洲欧美乱综合图片区小说区 | 亚洲理论电影网 | 亚洲91精品| 麻豆视频免费入口 | 国产成人一区二区精品非洲 | 激情视频区 | 一区二区三区免费在线观看视频 | 国产精品99爱 | 欧美另类交在线观看 | 丁香综合激情 | 色久av| 日本3级在线观看 | 五月婷婷深开心 | 欧美一区二区免费在线观看 | 美女视频a美女大全免费下载蜜臀 | 人人爽人人乐 | 中文字幕精品视频 | 免费高清国产 | 日本字幕网 | 欧美国产精品一区二区 | 正在播放 国产精品 | 国产精品一区二区你懂的 | 久久成人在线 | 在线a人片免费观看视频 | 亚洲一区二区三区在线看 | 亚州欧美视频 | 国产一区二区三区免费观看视频 | 在线观看免费国产小视频 | 欧美精品免费在线观看 | 三级黄色a | 国产成人精品一区二区三区 | 国产精品久久久久久久久久白浆 | 久久99精品国产一区二区三区 | 日本免费久久高清视频 | 亚洲免费黄色 | 精品亚洲va在线va天堂资源站 | 国产精品白浆视频 | 网站你懂的 | 亚洲麻豆精品 | 狠狠做深爱婷婷综合一区 | 久草视频在线资源 | 高清有码中文字幕 | 国产在线高清视频 | 天天做天天爱天天爽综合网 | 六月婷色 | 亚洲精品456在线播放乱码 | 在线播放精品一区二区三区 | 91成人在线观看高潮 | 中文字幕成人网 | 精品久久网 | 日韩中文字幕免费视频 | 国产日韩精品欧美 | 特级a老妇做爰全过程 | 国模一区二区三区四区 | 成人av资源 | 亚洲综合视频在线播放 | 国产精品久久久久久婷婷天堂 | 色综合久久综合中文综合网 | 国产黄在线播放 | 亚洲精品视频在线 | 国产色影院| 黄色午夜网站 | .国产精品成人自产拍在线观看6 | 一区在线观看 | 午夜 久久 tv | 91亚洲精品久久久蜜桃借种 | 91免费版在线观看 | 亚洲精品99久久久久中文字幕 | 波多野结衣在线视频一区 | 国产中年夫妇高潮精品视频 | 久久精品99国产国产 | 天天干天天综合 | 在线亚洲免费视频 | 公与妇乱理三级xxx 在线观看视频在线观看 | 99色在线视频 | 久久国产精品网站 | 久久国语露脸国产精品电影 | 日韩r级在线| 久久婷五月| 国产无套精品久久久久久 | 美女视频黄免费 | 在线天堂中文www视软件 | 亚洲欧美激情精品一区二区 | 国产精品自在欧美一区 | 岛国av在线| 免费看黄电影 | 五月激情丁香图片 | 国产精品系列在线观看 | 天天操夜夜爱 | 九色91在线| 国产亚洲va综合人人澡精品 | 免费美女久久99 | 亚洲a免费 | 91高清完整版在线观看 | 国产亚洲午夜高清国产拍精品 | 久久久久久视频 | 中文字幕在线播放一区 | 国产精品99久久久久久小说 | 国产a精品| 久久99国产精品 | 婷婷伊人五月 | 成人a免费看 | 精品一区二三区 | 国产婷婷色 | 国产特黄色片 | 国产精品成人av在线 | 国产高清视频色在线www | 国产免费中文字幕 | 亚洲激情综合 | 日韩在线观看中文 | 狠狠色丁香婷婷综合橹88 | 香蕉视频在线免费 | 成人9ⅰ免费影视网站 | 99久久久国产精品 | 91av在线看| 国产三级午夜理伦三级 | 国产精品免费高清 | 国产精品久久久一区二区三区网站 | 韩国av一区二区三区在线观看 | 日韩高清毛片 | 波多野结衣在线观看视频 | 欧美激情另类 | 亚洲精品国偷拍自产在线观看蜜桃 | 久久这里只有精品视频99 | 久久久午夜精品理论片中文字幕 | 中文字幕a在线 | 国产香蕉在线 | 欧美巨大荫蒂茸毛毛人妖 | 超碰com| 久久国产日韩 | 人人澡人人爽欧一区 | adc在线观看| 亚洲毛片一区二区三区 | 亚洲 欧美 91 | 国产精品嫩草影视久久久 | 91精品国产九九九久久久亚洲 | 国产 视频 久久 | 九色91在线视频 | 激情五月激情综合网 | 精品 一区 在线 | 97在线成人| 五月激情视频 | 国产高清久久久 | 91资源在线免费观看 | 一区二区三区影院 | 亚洲精品午夜久久久久久久 | 免费a v观看 | 懂色av一区二区在线播放 | 久久精品国产精品亚洲 | 国产精品视频地址 | 最近中文字幕在线播放 | 亚洲成人精品在线观看 | 国产无限资源在线观看 | 色婷婷丁香 | 99热精品在线观看 | 激情五月六月婷婷 | 欧美日韩久久不卡 | 日韩中文字幕视频在线观看 | 久草资源免费 | 精品一区精品二区 | 一区二区三区在线观看 | 午夜国产在线 | 婷婷丁香色| 99视频在线精品免费观看2 | 久久精品屋 | 日韩电影一区二区三区在线观看 | 色网站免费在线观看 | 久久综合电影 | 三级大片网站 | 欧美视频99 |