日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

ZooKeeper管理员指南——部署与管理ZooKeeper

發布時間:2024/10/12 编程问答 60 豆豆
生活随笔 收集整理的這篇文章主要介紹了 ZooKeeper管理员指南——部署与管理ZooKeeper 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

本文以ZooKeeper3.4.3版本的官方指南為基礎:http://zookeeper.apache.org/doc/r3.4.3/zookeeperAdmin.html,補充一些作者運維實踐中的要點,圍繞ZK的部署和運維兩個方面講一些管理員需要知道的東西。本文并非一個ZK搭建的快速入門,關于這方面,可以查看《ZooKeeper快速搭建》

1.部署

本章節主要講述如何部署ZooKeeper,包括以下三部分的內容:

1. 系統環境

2. 集群模式的配置

3. 單機模式的配置

系統環境和集群模式配置這兩節內容大體講述了如何部署一個能夠用于生產環境的ZK集群。如果僅僅是想在單機上將ZK運行起來,進行一些開發與測試,那么第三部分或許是你的菜。

1.1系統環境

1.1.1平臺支持

平 臺

運行client

運行server

開發環境

生產環境

GNU/Linux

Sun Solaris

FreeBSD

ⅹ,對nio的支持不好

Win32

MacOSX

注:運行client是指作為客戶端,與server進行數據通信,而運行server是指將ZK作為服務器部署運行。

1.1.2軟件環境

ZooKeeper Server是一個Java語言實現的分布式協調服務框架,因此需要6或更高版本的JDK支持。集群的機器數量方面,寬泛的講,其實是任意臺機器都可以部署運行的,注意,這里并沒有說一定要奇數臺機器哦!通常情況下,建議使用3臺獨立的Linux服務器構成的一個ZK集群。

1.2集群模式的配置

為了確保ZooKeeper服務的穩定與可靠性,通常是搭建成一個ZK集群來對外提供服務。關于ZooKeeper,需要明確一個很重要的特性:集群中只要有過半的機器是正常工作的,那么整個集群對外就是可用的(本文下面就用“過半存活即可用”來代替這個特性吧^-^)。正是基于這個特性,建議是將ZK集群的機器數量控制為奇數較為合適。為什么選擇奇數臺機器,我們可以來看一下,假如是4臺機器構成的ZK集群,那么只能夠允許集群中有一個機器down掉,因為如果down掉2臺,那么只剩下2臺機器,顯然沒有過半。而如果是5臺機器的集群,那么就能夠對2臺機器down掉的情況進行容災了。

你可以按照以下步驟來配置一個ZK機器,更多詳細步驟請查看《ZooKeeper快速搭建》:

1. 安裝JDK。相關鏈接:http://java.sun.com/javase/downloads/index.jsp

2. 設置Java heap 大小。避免內存與磁盤空間的交換,能夠大大提升ZK的性能,設置合理的heap大小則能有效避免此類空間交換的觸發。在正式發布上線之前,建議是針對使用場景進行一些壓力測試,確保正常運行后內存的使用不會觸發此類交換。通常在一個物理內存為4G的機器上,最多設置-Xmx為3G。

3. 下載安裝ZooKeeper,相關鏈接:http://zookeeper.apache.org/releases.html

4. 配置文件zoo.cfg。初次使用zookeeper,按照如下這個簡單配置即可:

  • tickTime=2000?
  • dataDir=/var/lib/zookeeper/?
  • clientPort=2181?
  • initLimit=5?
  • syncLimit=2?server.1=zoo1:2888:3888?
  • server.2=zoo2:2888:3888?
  • server.3=zoo3:2888:3888?
  • 本文后續章節會對這些參數進行詳細的介紹,這里只是簡單說幾點:

    ? ?A. 集群中的每臺機器都需要感知整個集群是由哪幾臺機器組成的,在配置文件中,可以按照這樣的格式,每行寫一個機器配置:server.id=host:port:port. 關于這個id,我們稱之為Server ID,標識host機器在集群中的機器序號,在每個ZK機器上,我們需要在數據目錄(數據目錄就是dataDir參數指定的那個目錄)下創建一個myid文件,myid中就是這個Server ID數字。

    ? ?B. 在ZooKeeper的設計中,集群中任意一臺機器上的zoo.cfg文件的內容都是一致的。因此最好是用SVN把這個文件管理起來,保證每個機器都能共享到一份相同的配置。

    5. 關于myid文件。myid文件中只有一個數字,即一個Server ID。例如,server.1 的myid文件內容就是“1”。注意,請確保每個server的myid文件中id數字不同,并且和server.id=host:port:port中的id一致。另外,id的范圍是1~255。

    6. 至此,配置文件基本ok,可以嘗試使用如下命令來啟動zookeeper了:

  • $?java?-cp?zookeeper.jar:lib/slf4j-api-1.6.1.jar:lib/slf4j-log4j12-1.6.1.jar:lib/log4j-1.2.15.jar:conf?\?org.apache.zookeeper.server.quorum.QuorumPeerMainzoo.cfg?
  • 注意,不同的ZK版本,依賴的log4j和slf4j版本也是不一樣的,請看清楚自己的版本后,再執行上面這個命令。QuorumPeerMain類會啟動ZooKeeper Server,同時,JMX MB也會被啟動,方便管理員在JMX管理控制臺上進行ZK的控制。這里有對ZK JMX的詳細介紹:http://zookeeper.apache.org/doc/r3.4.3/zookeeperJMX.html. ?另外,完全可以有更簡便的方式,直接使用%ZK_HOME%/bin 中的腳本啟動即可。

  • ./zkServer.sh?start?
  • 7. 連接ZK host來檢驗部署是否成功。

    ? ?A. Java語言的話,可以通過運行這個命令來檢測:

  • $?java?-cp?zookeeper.jar:lib/slf4j-api-1.6.1.jar:lib/slf4j-log4j12-1.6.1.jar:lib/log4j-1.2.15.jar:conf:src/java/lib/jline-0.9.94.jar?\?org.apache.zookeeper.ZooKeeperMain?-server?127.0.0.1:2181?
  • ? ?B. 如果是C語言的話,方法如下:

  • $?make?cli_st?
  • $?make?cli_mt?
  • 然后按照的這樣的方式連接ZK:$ cli_mt 127.0.0.1:2181。無論運行哪種客戶端,最終都是一個類似于文件系統的命令行操作。

    注意:除了上面這種檢測方法,其實%ZK_HOME%/bin也有其它腳本,下面這個命令執行后,就進入了zookeeper樹狀結構的文件系統中。

  • ./zkCli.sh?
  • 另外,還有一種方式,能夠查看ZK服務器當前狀態,如下,這個能夠很好的看出目前這個機器的運行情況了:

  • $?echo?stat|nc?localhost?2181?
  • Zookeeper?version:?3.4.3-1240972,?built?on?02/06/2012?10:48?GMT?
  • Clients:?
  • /127.0.0.1:40293[0](queued=0,recved=1,sent=0)?
  • ?
  • Latency?min/avg/max:?1/2/3?
  • Received:?4?
  • Sent:?3?
  • Outstanding:?0?
  • Zxid:?0×200000006?
  • Mode:?leader?
  • Node?count:?4?
  • 1.3單機模式的配置

    如果你想安裝一個ZooKeeper來進行開發測試,通常可以使用單機模式來啟動ZK。大體的步驟和上面說的是一樣了,除了配置文件會更加簡單一些。詳細的配置方法可以查看這里:http://zookeeper.apache.org/doc/r3.4.3/zookeeperStarted.html#sc_InstallingSingleMode

    2.運 維

    本章節主要要講述如何更好地運維ZooKeepr,大致包含以下幾部分內容:

    ? ?2.1. 部署方案的設計

    ? ?2.2.?日常運維

    ? ?2.3. Server的自檢恢復

    ? ?2.4. 監控

    ? ?2.5. 日志管理

    ? ?2.6. 數據加載出錯

    ? ?2.7. 配置參數詳解

    ? ?2.8. 常用的四字命令

    ? ?2.9. 數據文件管理

    ? ?2.10. 注意事項

    2.1 部署方案的設計

    我們常說的ZooKeeper能夠提供高可用分布式協調服務,是要基于以下兩個條件:

    ? ??1. 集群中只有少部分的機器不可用。這里說的不可用是指這些機器或者是本身down掉了,或者是因為網絡原因,有一部分機器無法和集群中其它絕大部分的機器通信。例如,如果ZK集群是跨機房部署的,那么有可能一些機器所在的機房被隔離了。

    ? ?2. 正確部署ZK server,有足夠的磁盤存儲空間以及良好的網絡通信環境。

    下面將會從集群和單機兩個維度來說明,幫助zookeeper管理員盡可能地提高ZK集群的可用性。

    2.1.1集群維度

    在上面提到的“過半存活即可用”特性中已經講到過,整個集群如果對外要可用的話,那么集群中必須要有過半的機器是正常工作并且彼此之間能夠正常通信。基于這個特性,那么如果想搭建一個能夠允許F臺機器down掉的集群,那么就要部署一個由2xF+1 臺機器構成的ZK集群。因此,一個由3臺機器構成的ZK集群,能夠在down掉一臺機器后依然正常工作,而5臺機器的集群,能夠對兩臺機器down掉的情況容災。注意,如果是一個6臺機器構成的ZK集群,同樣只能夠down掉兩臺機器,因為如果down掉3臺,剩下的機器就沒有過半了。基于這個原因,ZK集群通常設計部署成奇數臺機器。

    所以,為了盡可能地提高ZK集群的可用性,應該盡量避免一大批機器同時down掉的風險,換句話說,最好能夠為每臺機器配置互相獨立的硬件環境。舉個例子,如果大部分的機器都掛在同一個交換機上,那么這個交換機一旦出現問題,將會對整個集群的服務造成嚴重的影響。其它類似的還有諸如:供電線路,散熱系統等。其實在真正的實踐過程中,如果條件允許,通常都建議嘗試跨機房部署。畢竟多個機房同時發生故障的機率還是挺小的。

    2.1.2 單機維度

    對于ZK來說,如果在運行過程中,需要和其它應用程序來競爭磁盤,CPU,網絡或是內存資源的話,那么整體性能將會大打折扣。

    首先來看看磁盤對于ZK性能的影響。客戶端對ZK的更新操作都是永久的,不可回退的,也就是說,一旦客戶端收到一個來自server操作成功的響應,那么這個變更就永久生效了。為做到這點,ZK會將每次更新操作以事務日志的形式寫入磁盤,寫入成功后才會給予客戶端響應。明白這點之后,你就會明白磁盤的吞吐性能對于ZK的影響了,磁盤寫入速度制約著ZK每個更新操作的響應。為了盡量減少ZK在讀寫磁盤上的性能損失,不仿試試下面說的幾點:

    ? ?A、使用單獨的磁盤作為事務日志的輸出(比如我們這里的ZK集群,使用單獨的掛載點用于事務日志的輸出)。事務日志的寫性能確實對ZK性能,尤其是更新操作的性能影響很大,所以想辦法搞到一個單獨的磁盤吧!ZK的事務日志輸出是一個順序寫文件的過程,本身性能是很高的,所以盡量保證不要和其它隨機寫的應用程序共享一塊磁盤,盡量避免對磁盤的競爭。

    ? ?B、盡量避免內存與磁盤空間的交換。如果希望ZK能夠提供完全實時的服務的話,那么基本是不允許操作系統觸發此類swap的。因此在分配JVM堆大小的時候一定要非常小心,具體在本文最后的“注意事項”章節中有講到。

    2.2 日常運維

    對zookeeper運維是一個長期積累經驗的過程,希望以下幾點對廣大ZK運維人員有一定的幫助:

    2.2.1 清理數據目錄

    上文中提到dataDir目錄指定了ZK的數據目錄,用于存儲ZK的快照文件(snapshot)。另外,默認情況下,ZK的事務日志也會存儲在這個目錄中。在完成若干次事務日志之后(在ZK中,凡是對數據有更新的操作,比如創建節點,刪除節點或是對節點數據內容進行更新等,都會記錄事務日志),ZK會觸發一次快照(snapshot),將當前server上所有節點的狀態以快照文件的形式dump到磁盤上去,即snapshot文件。這里的若干次事務日志是可以配置的,默認是100000,具體參看下文中關于配置參數“snapCount”的介紹。

    考慮到ZK運行環境的差異性,以及對于這些歷史文件,不同的管理員可能有自己的用途(例如作為數據備份),因此默認ZK是不會自動清理快照和事務日志,需要交給管理員自己來處理。這里是我們用的清理方法,保留最新的66個文件,將它寫到crontab中,每天凌晨2點觸發一次:

  • #!/bin/bash?
  • ?
  • #snapshot?file?dir?
  • dataDir=/home/yinshi.nc/test/zk_data/version-2?
  • #tran?log?dir?
  • dataLogDir=/home/yinshi.nc/test/zk_log/version-2?
  • #zk?log?dir?
  • logDir=/home/yinshi.nc/test/logs?
  • #Leave?66?files?
  • count=66?
  • count=$[$count+1]?
  • ls?-t?$dataLogDir/log.*?|?tail?-n?+$count?|?xargs?rm?-f?
  • ls?-t?$dataDir/snapshot.*?|?tail?-n?+$count?|?xargs?rm?-f?
  • ls?-t?$logDir/zookeeper.log.*?|?tail?-n?+$count?|?xargs?rm?-f?
  • ?
  • #find?/home/yinshi.nc/taokeeper/zk_data/version-2?-name?“snap*”?-mtime?+1?|?xargs?rm?-f?
  • #find?/home/yinshi.nc/taokeeper/zk_logs/version-2?-name?“log*”?-mtime?+1?|?xargs?rm?-f?
  • #find?/home/yinshi.nc/taokeeper/logs/?-name?“zookeeper.log.*”?-mtime?+1?|?xargs?rm?–f?
  • 其實,僅管ZK沒有自動幫我們清理歷史文件,但是它的還是提供了一個叫PurgeTxnLog的 工具類,實現了一種簡單的歷史文件清理策略,可以在這里看一下他的使用方法:http://zookeeper.apache.org/doc/r3.4.3/api/index.html簡單使用如下:

  • java?-cp?zookeeper.jar:lib/slf4j-api-1.6.1.jar:lib/slf4j-log4j12-1.6.1.jar:lib/log4j-1.2.15.jar:conf?org.apache.zookeeper.server.PurgeTxnLog<dataDir><snapDir>?-n?<count>?
  • 最后一個參數表示希望保留的歷史文件個數,注意,count必須是大于3的整數。可以把這句命令寫成一個定時任務,以便每天定時執行清理。

    注意: 從3.4.0版本開始, zookeeper提供了自己清理歷史文件的功能了,相關的配置參數是autopurge.snapRetainCount和autopurge.purgeInterval,在本文后面會具體說明。更多關于zookeeper的日志清理,可以閱讀這個文章《ZooKeeper日志清理》

    2.2.2 ZK程序日志

    這里說兩點,ZK默認是沒有向ROLLINGFILE文件輸出程序運行時日志的,需要我們自己在conf/log4j.properties中配置日志路徑。另外,沒有特殊要求的話,日志級別設置為INFO或以上,我曾經測試過,日志級別設置為DEBUG的話,性能影響很大!

    2.3 Server的自檢恢復

    ZK運行過程中,如果出現一些無法處理的異常,會直接退出進程,也就是所謂的快速失敗(fail fast)模式。在上文中有提到,“過半存活即可用”的特性使得集群中少數機器down掉后,整個集群還是可以對外正常提供服務的。另外,這些down掉的機器重啟之后,能夠自動加入到集群中,并且自動和集群中其它機器進行狀態同步(主要就是從Leader那里同步最新的數據),從而達到自我恢復的目的。

    因此,我們很容易就可以想到,是否可以借助一些工具來自動完成機器的狀態檢測與重啟工作。回答是肯定的,這里推薦兩個工具: Daemontools(http://cr.yp.to/daemontools.html) 和 SMF(http://en.wikipedia.org/wiki/Service_Management_Facility),能夠幫助你監控ZK進程,一旦進程退出后,能夠自動重啟進程,從而使down掉的機器能夠重新加入到集群中去~

    2.4 監控

    有幾種方法:

    ? ??1、?ZK提供一些簡單但是功能強大的4字命令,通過對這些4字命令的返回內容進行解析,可以獲取不少關于ZK運行時的信息。

    ? ??2、用jmx也能夠獲取一些運行時信息,詳細可以查看這里:http://zookeeper.apache.org/doc/r3.4.3/zookeeperJMX.html

    ? ??3、淘寶網已經實現的一個ZooKeeper監控——TaoKeeper,已開源,在這里:http://rdc.taobao.com/team/jm/archives/1450,主要功能如下:

    ? ? ? ?A、機器CPU/MEM/LOAD的監控

    ? ? ? ?BZK日志目錄所在磁盤空間監控

    ? ? ? ?C單機連接數的峰值報警

    ? ? ? ?D單機Watcher數的峰值報警

    ? ? ? ?E節點自檢

    ? ? ? ?FZK運行時信息展示

    2.5 日志管理

    ZK使用log4j作為日志系統,conf目錄中有一份默認的log4j配置文件,注意,這個配置文件中還沒有開啟ROLLINGFILE文件輸出,配置下即可。其它關于log4j的詳細介紹,可以移步到log4j的官網:http://logging.apache.org/log4j/1.2/manual.html#defaultInit

    2.6加載數據出錯

    ZK在啟動的過程中,首先會根據事務日志中的事務日志記錄,從本地磁盤加載最后一次提交時候的快照數據,如果讀取事務日志出錯或是其它問題(通常在日志中可以看到一些IO異常),將導致server將無法啟動。碰到類似于這種數據文件出錯導致無法啟動服務器的情況,一般按照如下順序來恢復:

    ? ??1確認集群中其它機器是否正常工作,方法是使用“stat”這個命令來檢查:echo stat|nc ip 2181

    ? ??2如果確認其它機器是正常工作的(這里要說明下,所謂正常工作還是指集群中有過半機器可用),那么可以開始刪除本機的一些數據了,刪除$dataDir/version-2和$dataLogDir/version-2 兩個目錄下的所有文件。

    重啟server。重啟之后,這個機器就會從Leader那里同步到最新數據,然后重新加入到集群中提供服務。

    2.7 配置參數詳解(主要是%ZOOKEEPER_HOME%/conf/zoo.cfg文件)

    參數名

    說明

    clientPort

    ?

    客戶端連接server的端口,即對外服務端口,一般設置為2181吧。

    ?

    dataDir

    ?

    存儲快照文件snapshot的目錄。默認情況下,事務日志也會存儲在這里。建議同時配置參數dataLogDir, 事務日志的寫性能直接影響zk性能。

    ?

    tickTime

    ?

    ZK中的一個時間單元。ZK中所有時間都是以這個時間單元為基礎,進行整數倍配置的。例如,session的最小超時時間是2*tickTime。

    ?

    dataLogDir

    ?

    事務日志輸出目錄。盡量給事務日志的輸出配置單獨的磁盤或是掛載點,這將極大的提升ZK性能。 (No Java system property)

    ?

    globalOutstandingLimit

    ?

    最大請求堆積數。默認是1000。ZK運行的時候, 盡管server已經沒有空閑來處理更多的客戶端請求了,但是還是允許客戶端將請求提交到服務器上來,以提高吞吐性能。當然,為了防止Server內存溢出,這個請求堆積數還是需要限制下的。 (Java system property:?zookeeper.globalOutstandingLimit.)

    ?

    preAllocSize

    ?

    預先開辟磁盤空間,用于后續寫入事務日志。默認是64M,每個事務日志大小就是64M。如果ZK的快照頻率較大的話,建議適當減小這個參數。(Java system property:zookeeper.preAllocSize)

    ?

    snapCount

    ?

    每進行snapCount次事務日志輸出后,觸發一次快照(snapshot), 此時,ZK會生成一個snapshot.*文件,同時創建一個新的事務日志文件log.*。默認是100000.(真正的代碼實現中,會進行一定的隨機數處理,以避免所有服務器在同一時間進行快照而影響性能)(Java system property:zookeeper.snapCount)

    ?

    traceFile

    ?

    用于記錄所有請求的log,一般調試過程中可以使用,但是生產環境不建議使用,會嚴重影響性能。(Java system property:requestTraceFile)

    ?

    maxClientCnxns

    ?

    單個客戶端與單臺服務器之間的連接數的限制,是ip級別的,默認是60,如果設置為0,那么表明不作任何限制。請注意這個限制的使用范圍,僅僅是單臺客戶端機器與單臺ZK服務器之間的連接數限制,不是針對指定客戶端IP,也不是ZK集群的連接數限制,也不是單臺ZK對所有客戶端的連接數限制。指定客戶端IP的限制策略,這里有一個patch,可以嘗試一下:http://rdc.taobao.com/team/jm/archives/1334(No Java system property)

    ?

    clientPortAddress

    ?

    對于多網卡的機器,可以為每個IP指定不同的監聽端口。默認情況是所有IP都監聽clientPort指定的端口。New in 3.3.0

    ?

    minSessionTimeoutmaxSessionTimeout

    ?

    Session超時時間限制,如果客戶端設置的超時時間不在這個范圍,那么會被強制設置為最大或最小時間。默認的Session超時時間是在2 *?tickTime ~ 20 * tickTime這個范圍?New in 3.3.0

    ?

    fsync.warningthresholdms

    ?

    事務日志輸出時,如果調用fsync方法超過指定的超時時間,那么會在日志中輸出警告信息。默認是1000ms。(Java system property:fsync.warningthresholdms)?New in 3.3.4

    ?

    autopurge.purgeInterval

    ?

    在上文中已經提到,3.4.0及之后版本,ZK提供了自動清理事務日志和快照文件的功能,這個參數指定了清理頻率,單位是小時,需要配置一個1或更大的整數,默認是0,表示不開啟自動清理功能。(No Java system property)?New in 3.4.0

    ?

    autopurge.snapRetainCount

    ?

    這個參數和上面的參數搭配使用,這個參數指定了需要保留的文件數目。默認是保留3個。(No Java system property)?New in 3.4.0

    ?

    electionAlg

    ?

    在之前的版本中, 這個參數配置是允許我們選擇leader選舉算法,但是由于在以后的版本中,只會留下一種“TCP-based version of fast leader election”算法,所以這個參數目前看來沒有用了,這里也不詳細展開說了。(No Java system property)

    ?

    initLimit

    ?

    Follower在啟動過程中,會從Leader同步所有最新數據,然后確定自己能夠對外服務的起始狀態。Leader允許F在initLimit時間內完成這個工作。通常情況下,我們不用太在意這個參數的設置。如果ZK集群的數據量確實很大了,F在啟動的時候,從Leader上同步數據的時間也會相應變長,因此在這種情況下,有必要適當調大這個參數了。(No Java system property)

    ?

    syncLimit

    ?

    在運行過程中,Leader負責與ZK集群中所有機器進行通信,例如通過一些心跳檢測機制,來檢測機器的存活狀態。如果L發出心跳包在syncLimit之后,還沒有從F那里收到響應,那么就認為這個F已經不在線了。注意:不要把這個參數設置得過大,否則可能會掩蓋一些問題。(No Java system property)

    ?

    leaderServes

    ?

    默認情況下,Leader是會接受客戶端連接,并提供正常的讀寫服務。但是,如果你想讓Leader專注于集群中機器的協調,那么可以將這個參數設置為no,這樣一來,會大大提高寫操作的性能。(Java system property: zookeeper.leaderServes)。

    ?

    server.x=[hostname]:nnnnn[:nnnnn]

    ?

    這里的x是一個數字,與myid文件中的id是一致的。右邊可以配置兩個端口,第一個端口用于F和L之間的數據同步和其它通信,第二個端口用于Leader選舉過程中投票通信。 (No Java system property)

    ?

    group.x=nnnnn[:nnnnn]weight.x=nnnnn

    ?

    對機器分組和權重設置,可以?參見這里(No Java system property)

    ?

    cnxTimeout

    ?

    Leader選舉過程中,打開一次連接的超時時間,默認是5s。(Java system property: zookeeper.cnxTimeout)

    zookeeper.DigestAuthenticationProvider .superDigest

    ZK權限設置相關,具體參見《使用super身份對有權限的節點進行操作》?和?《ZooKeeper權限控制》

    ?

    skipACL

    ?

    對所有客戶端請求都不作ACL檢查。如果之前節點上設置有權限限制,一旦服務器上打開這個開頭,那么也將失效。(Java system property:zookeeper.skipACL)

    ?

    forceSync

    ?

    這個參數確定了是否需要在事務日志提交的時候調用FileChannel.force來保證數據完全同步到磁盤。(Java system property:zookeeper.forceSync)

    ?

    jute.maxbuffer

    ?

    每個節點最大數據量,是默認是1M。這個限制必須在server和client端都進行設置才會生效。(Java system property:jute.maxbuffer)

    ?

    2.8 常用的四字命令

    參數名

    說明

    conf

    輸出server的詳細配置信息。New in 3.3.0

  • $>echo?conf|nc?localhost?2181?
  • clientPort=2181?
  • dataDir=/home/test/taokeeper/zk_data/version-2?
  • dataLogDir=/test/admin/taokeeper/zk_log/version-2?
  • tickTime=2000?
  • maxClientCnxns=1000?
  • minSessionTimeout=4000?
  • maxSessionTimeout=40000?
  • serverId=2?
  • initLimit=10?
  • syncLimit=5?
  • electionAlg=3?
  • electionPort=3888?
  • quorumPort=2888?
  • peerType=0?
  • cons

    輸出指定server上所有客戶端連接的詳細信息,包括客戶端IP,會話ID等。?New in 3.3.0類似于這樣的信息:

  • $>echo?cons|nc?localhost?2181?
  • /1.2.3.4:43527[1](queued=0,recved=152802,sent=152806,sid=0x2389e662b98c424,lop=PING,est=1350385542196,to=6000,lcxid=0×114,lzxid=0xffffffffffffffff,lresp=1350690663308,llat=0,minlat=0,avglat=0,maxlat=483)?
  • ……?
  • crst 功能性命令。重置所有連接的統計信息。New in 3.3.0
    dump 這個命令針對Leader執行,用于輸出所有等待隊列中的會話和臨時節點的信息。
    envi 用于輸出server的環境變量。包括操作系統環境和Java環境。
    ruok 用于測試server是否處于無錯狀態。如果正常,則返回“imok”,否則沒有任何響應。 注意:ruok不是一個特別有用的命令,它不能反映一個server是否處于正常工作。“stat”命令更靠譜。
    stat 輸出server簡要狀態和連接的客戶端信息。
    srvr

    和stat類似,New in 3.3.0

  • $>echo?stat|nc?localhost?2181?
  • Zookeeper?version:?3.3.5-1301095,?built?on?03/15/2012?19:48?GMT?
  • Clients:?
  • /10.2.3.4:59179[1](queued=0,recved=44845,sent=44845)?
  • ?
  • Latency?min/avg/max:?0/0/1036?
  • Received:?2274602238?
  • Sent:?2277795620?
  • Outstanding:?0?
  • Zxid:?0xa1b3503dd?
  • Mode:?leader?
  • Node?count:?37473?

  • $>echo?srvr|nc?localhost?2181?
  • Zookeeper?version:?3.3.5-1301095,?built?on?03/15/2012?19:48?GMT?
  • Latency?min/avg/max:?0/0/980?
  • Received:?2592698547?
  • Sent:?2597713974?
  • Outstanding:?0?
  • Zxid:?0xa1b356b5b?
  • Mode:?follower?
  • Node?count:?37473?

  • srst 重置server的統計信息。
    wchs

    列出所有watcher信息概要信息,數量等:New in 3.3.0

  • $>echo?wchs|nc?localhost?2181?
  • 3890?connections?watching?537?paths?
  • Total?watches:6909?
  • wchc

    列出所有watcher信息,以watcher的session為歸組單元排列,列出該會話訂閱了哪些path:New in 3.3.0

  • $>echo?wchc|nc?localhost?2181?
  • 0x2389e662b97917f?
  • /mytest/test/path1/node1?
  • 0x3389e65c83cd790?
  • /mytest/test/path1/node2?
  • 0x1389e65c7ef6313?
  • /mytest/test/path1/node3?
  • /mytest/test/path1/node1?
  • wchp

    列出所有watcher信息,以watcher的path為歸組單元排列,列出該path被哪些會話訂閱著:New in 3.3.0

  • $>echo?wchp|nc?localhost?2181?
  • /mytest/test/path1/node?
  • 0x1389e65c7eea4f5?
  • 0x1389e65c7ee2f68?
  • /mytest/test/path1/node2?
  • 0x2389e662b967c29?
  • /mytest/test/path1/node3?
  • 0x3389e65c83dd2e0?
  • 0x1389e65c7f0c37c?
  • 0x1389e65c7f0c364?
  • 注意,wchc和wchp這兩個命令執行的輸出結果都是針對session的,對于運維人員來說可視化效果并不理想,可以嘗試將cons命令執行輸出的信息整合起來,就可以用客戶端IP來代替會話ID了,具體可以看這個實現:http://rdc.taobao.com/team/jm/archives/1450

    mntr

    輸出一些ZK運行時信息,通過對這些返回結果的解析,可以達到監控的效果。New in 3.4.0

  • $?echo?mntr?|?nc?localhost?2185?
  • zk_version?3.4.0?
  • zk_avg_latency?0?
  • zk_max_latency?0?
  • zk_min_latency?0?
  • zk_packets_received?70?
  • zk_packets_sent?69?
  • zk_outstanding_requests?0?
  • zk_server_state?leader?
  • zk_znode_count?4?
  • zk_watch_count?0?
  • zk_ephemerals_count?0?
  • zk_approximate_data_size?27?
  • zk_followers?4?–?only?exposed?by?the?Leader?
  • zk_synced_followers?4?–?only?exposed?by?the?Leader?
  • zk_pending_syncs?0?–?only?exposed?by?the?Leader?
  • zk_open_file_descriptor_count?23?–?only?available?on?Unix?platforms?
  • zk_max_file_descriptor_count?1024?–?only?available?on?Unix?platforms?
  • 2.9 數據文件管理

    默認情況下,ZK的數據文件和事務日志是保存在同一個目錄中,建議是將事務日志存儲到單獨的磁盤上。

    2.9.1數據目錄

    ZK的數據目錄包含兩類文件:

    ? ??A、myid – 這個文件只包含一個數字,和server id對應。

    ? ??B、snapshot. - 按zxid先后順序的生成的數據快照。

    集群中的每臺ZK server都會有一個用于惟一標識自己的id,有兩個地方會使用到這個id:myid文件和zoo.cfg文件中。myid文件存儲在dataDir目錄中,指定了當前server的server id。在zoo.cfg文件中,根據server id,配置了每個server的ip和相應端口。Zookeeper啟動的時候,讀取myid文件中的server id,然后去zoo.cfg 中查找對應的配置。

    zookeeper在進行數據快照過程中,會生成 snapshot文件,存儲在dataDir目錄中。文件后綴是zxid,也就是事務id。(這個zxid代表了zk觸發快照那個瞬間,提交的最后一個事務id)。注意,一個快照文件中的數據內容和提交第zxid個事務時內存中數據近似相同。僅管如此,由于更新操作的冪等性,ZK還是能夠從快照文件中恢復數據。數據恢復過程中,將事務日志和快照文件中的數據對應起來,就能夠恢復最后一次更新后的數據了。

    2.9.2事務日志目錄

    dataLogDir目錄是ZK的事務日志目錄,包含了所有ZK的事務日志。正常運行過程中,針對所有更新操作,在返回客戶端“更新成功”的響應前,ZK會確保已經將本次更新操作的事務日志寫到磁盤上,只有這樣,整個更新操作才會生效。每觸發一次數據快照,就會生成一個新的事務日志。事務日志的文件名是log.,zxid是寫入這個文件的第一個事務id。

    2.9.3文件管理

    不同的zookeeper server生成的snapshot文件和事務日志文件的格式都是一致的(無論是什么環境,或是什么樣的zoo.cfg 配置)。因此,如果某一天生產環境中出現一些古怪的問題,你就可以把這些文件下載到開發環境的zookeeper中加載起來,便于調試發現問題,而不會影響生產運行。另外,使用這些較舊的snapshot和事務日志,我們還能夠方便的讓ZK回滾到一個歷史狀態。

    另外,ZK提供的工具類LogFormatter能夠幫助可視化ZK的事務日志,幫助我們排查問題,關于事務日志的可以化,請查看這個文章《可視化zookeeper的事務日志》.

    需要注意的一點是,zookeeper在運行過程中,不斷地生成snapshot文件和事務日志,但是不會自動清理它們,需要管理員來處理。(ZK本身只需要使用最新的snapshot和事務日志即可)關于如何清理文件,上面章節“日常運維”有提到。

    2.10 注意事項

    2.10.1 保持Server地址列表一致

    ? ??A、客戶端使用的server地址列表必須和集群所有server的地址列表一致。(如果客戶端配置了集群機器列表的子集的話,也是沒有問題的,只是少了客戶端的容災。)

    ? ??B、集群中每個server的zoo.cfg中配置機器列表必須一致。

    2.10.2 獨立的事務日志輸出

    對于每個更新操作,ZK都會在確保事務日志已經落盤后,才會返回客戶端響應。因此事務日志的輸出性能在很大程度上影響ZK的整體吞吐性能。強烈建議是給事務日志的輸出分配一個單獨的磁盤。

    2.10.3 配置合理的JVM堆大小

    確保設置一個合理的JVM堆大小,如果設置太大,會讓內存與磁盤進行交換,這將使ZK的性能大打折扣。例如一個4G內存的機器的,如果你把JVM的堆大小設置為4G或更大,那么會使頻繁發生內存與磁盤空間的交換,通常設置成3G就可以了。當然,為了獲得一個最好的堆大小值,在特定的使用場景下進行一些壓力測試。

    本文出自 “專欄:Paxos與ZooKeeper” 博客,請務必保留此出處http://nileader.blog.51cto.com/1381108/1032157

    轉載于:https://www.cnblogs.com/jamesf/p/4751469.html

    總結

    以上是生活随笔為你收集整理的ZooKeeper管理员指南——部署与管理ZooKeeper的全部內容,希望文章能夠幫你解決所遇到的問題。

    如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

    色综合久久88色综合天天6 | 6080yy午夜一二三区久久 | 美女网站色在线观看 | 六月丁香婷婷久久 | 久久视频中文字幕 | 91精品国产99久久久久久久 | 亚洲精品免费在线 | 国产玖玖精品视频 | 久久99精品久久久久久久久久久久 | 免费热情视频 | 香蕉视频网站在线观看 | 免费韩国av | 日韩成人精品一区二区 | 亚洲高清精品在线 | 国产麻豆视频 | 精品久久久久久久久久久久久久久久 | 欧美精品在线观看免费 | 黄色免费网站 | 欧美精品v国产精品 | 亚洲狠狠干 | 国产精品不卡在线观看 | 国产成人免费高清 | 六月婷婷网 | 久久久久久久久久久久久9999 | 亚洲午夜av久久乱码 | 97国产小视频 | 最新av网址大全 | 国产精品国内免费一区二区三区 | 久久国产a| 久久久久久久久久久久亚洲 | 欧美激情视频免费看 | 国产精品乱码久久 | 99视频在线观看一区三区 | 九九久久影视 | 日韩动漫免费观看高清完整版在线观看 | 久久综合视频网 | 在线 你懂 | 色噜噜在线观看视频 | 美女在线免费视频 | 又大又硬又黄又爽视频在线观看 | 狠狠色丁香婷婷综合欧美 | 久久免费视频这里只有精品 | 久久综合之合合综合久久 | 久久99精品久久久久久秒播蜜臀 | 在线观看精品国产 | 日本二区三区在线 | 天天操天天干天天综合网 | 一区二区三区在线视频111 | 米奇狠狠狠888| 国产精品va在线观看入 | 天天干天天做天天操 | 国产毛片在线 | 国产成人黄色网址 | 在线精品观看国产 | 99热精品国产一区二区在线观看 | 久影院| 久久9精品 | 久久丁香网 | 亚洲 中文 欧美 日韩vr 在线 | 色婷婷综合久久久久中文字幕1 | 国产欧美日韩一区 | 国产黄色电影 | 夜夜操天天干, | 在线视频欧美亚洲 | 精品嫩模福利一区二区蜜臀 | 国产第一页福利影院 | 玖玖精品在线 | 国产精品免费大片视频 | 国产视频日韩 | 久久久久久免费毛片精品 | 精品主播网红福利资源观看 | 麻豆视频在线 | 成人动图 | 国内精品久久久久 | av免费看在线 | 国产精品 久久 | 东方av免费在线观看 | 日本深夜福利视频 | 国产精品一区免费看8c0m | 黄色成人av | 成人在线免费看视频 | 国产1区2区3区精品美女 | 欧美在线视频一区二区 | 黄色国产精品 | 美女在线观看网站 | 麻豆视频免费版 | 91插插影库| 国产精品久久久久久久久久久免费 | 99精品视频网 | 成人免费一区二区三区在线观看 | 丁香 婷婷 激情 | 日韩在线观看视频免费 | 欧美激情综合五月色丁香小说 | 免费在线观看av电影 | 精品国产乱码久久久久久三级人 | 亚洲视频一区二区三区在线观看 | 最近2019中文免费高清视频观看www99 | 蜜臀av性久久久久av蜜臀妖精 | 亚洲一区日韩在线 | 国产中文在线观看 | 国产在线va| 91免费的视频在线播放 | 中文在线www | 天天天天射 | 91成人黄色| 日韩在线视频免费观看 | 91毛片在线观看 | 亚洲高清免费在线 | 国产女人免费看a级丨片 | 国产精品区免费视频 | 日本久久久亚洲精品 | 久久综合久久八八 | 午夜体验区 | av在线免费在线 | 久久久影院官网 | 亚洲va欧美va人人爽春色影视 | 在线不卡视频 | 97**国产露脸精品国产 | 久久久久久久久久久久久久免费看 | 超碰人人99 | 欧美伦理一区二区三区 | 日本中文字幕在线一区 | 久久人人爽人人人人片 | 国产91在线 | 美洲 | 久久久久久久久久久高潮一区二区 | 日韩理论片中文字幕 | 亚洲精品女人久久久 | 国产精品亚州 | 毛片随便看| 国产二级视频 | 欧美一级久久 | 天天干,夜夜操 | 视频三区 | 黄色美女免费网站 | 日韩免费一级电影 | 久久天天操 | 欧美少妇bbwhd | 欧美激情综合五月色丁香 | 久久99精品国产91久久来源 | 天天色视频| 黄网av在线| av在线播放中文字幕 | 欧美99精品| 蜜桃视频色 | 精品国产精品一区二区夜夜嗨 | 香蕉网址| 免费三级a| 久久精品高清视频 | 久久免费视频精品 | 国产精品久久久久影院 | 日韩精品短视频 | 国产成人一区二区啪在线观看 | 奇米网在线观看 | 成人午夜剧场在线观看 | 亚洲在线免费视频 | 国产污视频在线观看 | 久久国产经典视频 | 九九免费在线观看视频 | 激情五月婷婷 | 97视频在线观看成人 | 色5月婷婷| 免费观看一级一片 | 日韩va亚洲va欧美va久久 | 精品婷婷 | 丁香六月在线 | 人人看97| 九九有精品 | 国产成人精品午夜在线播放 | www狠狠操 | 亚洲 欧美 变态 国产 另类 | 97人人人人 | 免费h在线观看 | 美女久久久久久久久久 | 日韩在线字幕 | 国产成人不卡 | 在线一区观看 | 最近高清中文字幕在线国语5 | 成人97视频 | 久久精品国产亚洲精品2020 | 97精品国自产拍在线观看 | 成人cosplay福利网站 | 天堂av免费看 | 一区二区伦理 | 91精品国产综合久久福利不卡 | 丁香婷婷激情 | 亚洲视频在线观看网站 | 日韩a在线播放 | 免费黄色网址大全 | 欧美视屏一区二区 | 欧美性色黄大片在线观看 | 国产成人免费在线观看 | 天堂av在线网站 | 在线亚洲激情 | 国产一区二区在线免费观看 | 亚洲国产一区二区精品专区 | 精品国产欧美一区二区 | 色多多污污在线观看 | 精品国产aⅴ一区二区三区 在线直播av | 久久久免费高清视频 | 激情五月婷婷激情 | 久久久黄视频 | 日韩电影中文 | 欧美亚洲成人免费 | 超碰在线个人 | 亚洲人成在线观看 | 中文字幕av在线免费 | 国产精品一区二区电影 | 久久丁香| 五月婷在线观看 | 99精品国产亚洲 | 四虎永久免费网站 | 色婷婷激情五月 | 久久久免费高清视频 | 缴情综合网五月天 | 1024手机在线看 | 天天射天天操天天色 | 国产精品18久久久久久vr | 黄网站www| 黄色成人小视频 | 在线激情小视频 | 一区免费观看 | 人人草在线视频 | 国产一区二区免费在线观看 | 精品视频免费在线 | 欧美九九九| 日韩精品在线播放 | 久久99热精品 | 最新三级在线 | 婷婷丁香六月天 | 日韩成人精品在线观看 | 在线综合色| 在线成人看片 | 国产不卡精品 | 国产高清在线看 | 天天色天天射天天综合网 | 四虎国产精 | 国产精彩在线视频 | 精品久久久久久久久亚洲 | 99精品一区二区 | 精品国产亚洲在线 | 国产无遮挡猛进猛出免费软件 | 99精品在线视频播放 | 日韩国产精品久久久久久亚洲 | 99久久精品国产一区二区成人 | 欧美激情第一区 | 国产一二三区在线观看 | 欧美日韩一级久久久久久免费看 | 91系列在线观看 | 五月婷网 | 国产精品 日韩精品 | 992tv在线成人免费观看 | 欧美一级片免费 | 91久久丝袜国产露脸动漫 | 色停停五月天 | 午夜10000 | 日p在线观看| 亚洲视频分类 | 久草在线资源免费 | 久久99久久99精品 | 中文字幕av一区二区三区四区 | 久久精品牌麻豆国产大山 | 五月综合激情 | 在线成人短视频 | 日本中文在线 | 国产一区二区影院 | 天天插天天色 | 亚洲精区二区三区四区麻豆 | 日韩网站一区二区 | 久久天天拍 | 波多野结衣在线视频一区 | 久久99亚洲精品久久 | 国产亚洲资源 | 午夜av在线免费 | 久久99久久99精品免费看小说 | 成人网在线免费视频 | 国产精品2020 | 亚洲精品视频在线观看免费视频 | 亚洲国产精品成人av | 国产一区av在线 | 久久精品草 | 成人午夜电影网 | 精品国产一区二区三区久久久蜜臀 | 91在线免费看片 | 亚洲天天在线日亚洲洲精 | 亚洲色图av| 久久96国产精品久久99漫画 | www日韩在线观看 | 成人免费观看视频大全 | 精品久久久久久久久久久久久久久久 | 在线观看黄污 | 黄色一级免费网站 | 午夜丁香视频在线观看 | 国产成人精品一区二区三区免费 | av看片网| 免费成人黄色片 | 一区二区网| 激情欧美丁香 | 五月天丁香 | 一区二区av | 最新91在线视频 | 狠狠干网站 | 天天射一射| 亚洲视频大全 | 天天操天天色综合 | 久久无码av一区二区三区电影网 | 日日干天天爽 | 亚洲va欧美va人人爽 | 亚洲另类视频 | 99久热| 九色porny真实丨国产18 | 国产综合91| 特级西西444www大胆高清无视频 | 国产一及片 | 久久精品香蕉视频 | 欧美精品国产综合久久 | av免费网站| 久久五月天色综合 | 99这里只有精品99 | 国产女v资源在线观看 | 中文在线中文a | 六月激情久久 | 91福利视频久久久久 | 国产精品mv | 亚洲美女视频在线观看 | 伊人干综合 | 亚洲人成网站精品片在线观看 | 青青河边草免费视频 | 日日日日干 | 五月婷婷中文 | 精品一区二三区 | 成年人在线免费看片 | 亚洲成av人片在线观看 | 国产精品一区二区在线免费观看 | a黄色 | 国产免费二区 | 丁香 婷婷 激情 | 欧美日韩在线视频一区二区 | av成人在线电影 | 日韩免费b | 玖玖视频精品 | 少妇av网 | 久草视频免费在线观看 | 99热这里只有精品在线观看 | 国产一区二区在线观看视频 | 久久久久亚洲精品男人的天堂 | 深夜福利视频在线观看 | 欧美国产日韩激情 | 国产精品mm | 亚洲国产日韩一区 | 亚洲在线激情 | 欧美一级片免费在线观看 | 六月丁香婷婷在线 | 在线观看av网站 | 中文字幕在线播放第一页 | 免费精品视频在线 | 色天天综合久久久久综合片 | 亚洲黄网址 | 久久国产精品免费观看 | 麻豆手机在线 | 91成年人在线观看 | 91av99| 天天操夜夜摸 | 国产又黄又猛又粗 | 精品久久久久久国产 | 国产免费亚洲高清 | 手机在线欧美 | 在线视频久久 | 精品一区久久 | 国产视频1区2区3区 久久夜视频 | 天天综合视频在线观看 | 激情久久综合网 | 精品国产资源 | 99综合电影在线视频 | 欧美一区二区三区在线看 | 成人免费在线播放视频 | 最近中文字幕国语免费av | 韩国一区二区在线观看 | 99精品国产福利在线观看免费 | 91久久影院| 91丨九色丨91啦蝌蚪老版 | 免费午夜视频在线观看 | 国内成人精品视频 | 91精品国产92久久久久 | 国产一级黄色免费看 | 狠狠干天天操 | 国产成人精品一区二区三区网站观看 | 国产午夜一级毛片 | 国产91免费在线 | 亚洲伦理中文字幕 | av中文字幕亚洲 | 欧美伦理电影一区二区 | 国产a国产a国产a | 久久精品久久精品久久精品 | 午夜少妇 | 狠狠艹夜夜干 | 欧美大片在线观看一区 | 看片的网址 | 91在线视频播放 | 精品亚洲免费视频 | 久久精品网址 | 久久伊人免费视频 | 操操操夜夜操 | 国产亚州av | 久久免费精品一区二区三区 | 狠狠躁日日躁狂躁夜夜躁 | 最新色视频 | 黄色综合 | 免费黄色小网站 | 一区二区三区久久精品 | 精品久久91 | 精品国产理论 | 久久在线电影 | 91精品国自产在线 | 亚洲人成人在线 | 久久国产精品精品国产色婷婷 | 婷婷六月在线 | 国产精品久久电影观看 | 日韩欧美在线观看一区 | 欧美色噜噜噜 | 免费在线黄| 国内外成人在线视频 | 欧美精品一区二区三区四区在线 | 人人澡澡人人 | 国产一区在线视频 | 美女在线免费视频 | 日韩精品一区二区三区外面 | 西西大胆免费视频 | 中文字幕在线字幕中文 | 国产免费大片 | 人人要人人澡人人爽人人dvd | 色视频在线观看免费 | 午夜色大片在线观看 | 国产午夜精品一区二区三区嫩草 | 国产99在线播放 | 91九色在线视频观看 | 天堂av在线免费 | 日韩极品在线 | 中文字幕av免费 | 色婷婷激情五月 | 丁香花中文字幕 | 99视频精品 | 久久精品国产免费看久久精品 | 亚洲精品成人av在线 | 国产精品资源在线 | 经典三级一区 | 有码视频在线观看 | www.亚洲激情.com | 欧美一区二区视频97 | 国产在线视频一区二区三区 | 国产高清免费在线播放 | 91精品在线免费视频 | 黄色片亚洲 | a级片久久久 | 成人精品视频久久久久 | 国产美女精品人人做人人爽 | 久久观看免费视频 | 久久精品免费观看 | 国产亚洲视频在线观看 | 日韩久久精品一区 | 国产91精品看黄网站 | 丁香五香天综合情 | 久久夜色精品国产欧美乱 | 久久久久欧美精品 | 日本久久免费视频 | 91麻豆精品国产午夜天堂 | 国产中的精品av小宝探花 | 国产精品专区在线观看 | 99久久精品免费一区 | 亚洲视频播放 | 嫩小bbbb摸bbb摸bbb | 国产大陆亚洲精品国产 | 日韩美av在线 | 99在线看 | 欧美日韩另类在线 | 97碰在线视频 | 香蕉一区 | 亚洲精品在线观看视频 | 不卡的av片 | 久久调教视频 | 天天干天天做天天爱 | 高清不卡一区二区在线 | 国产小视频免费观看 | 国产精品网站一区二区三区 | 色狠狠综合天天综合综合 | 免费福利视频网站 | 国产极品尤物在线 | 在线小视频你懂的 | 免费看久久久 | 国产精品久久伊人 | 国产永久免费高清在线观看视频 | 国产黄色免费在线观看 | 日韩网站一区 | 亚洲免费av在线播放 | 99久久精品国产免费看不卡 | 国产区 在线| 色婷婷久久一区二区 | 亚洲另类xxxx | 麻豆成人小视频 | 日本精品一区二区三区在线观看 | 久久久免费国产 | 久久精品艹 | 久草视频中文在线 | 久久这里精品视频 | 天天综合网在线观看 | 制服丝袜成人在线 | 日韩久久一区二区 | 久久综合视频网 | 欧美精品国产综合久久 | 精品999在线 | 中文字幕 影院 | 中文字幕av在线电影 | 五月天婷婷在线视频 | 在线免费视频你懂的 | 色噜噜狠狠色综合中国 | 丝袜+亚洲+另类+欧美+变态 | 日日夜夜91 | 中文网丁香综合网 | 国产淫片免费看 | 亚洲高清视频一区二区三区 | 一区二区视频电影在线观看 | 日本精品xxxx | 精品一区二区影视 | 99久在线精品99re8热视频 | 69绿帽绿奴3pvideos | 日韩一区二区免费播放 | 黄色三级在线观看 | 国产成人高清在线 | 波多野结衣精品在线 | 美女精品久久久 | 97成人在线观看视频 | 国产亚洲精品久久久久久 | 免费看wwwwwwwwwww的视频 久久久久久99精品 91中文字幕视频 | 国产精品va最新国产精品视频 | 91桃色在线免费观看 | 国产精品夜夜夜一区二区三区尤 | 日本在线观看视频一区 | www.成人sex| 日本深夜福利视频 | 一二区精品 | 亚洲女人av | 中文字幕在线观看免费观看 | 亚洲v欧美v国产v在线观看 | 日韩激情中文字幕 | 欧美一级片在线观看视频 | 最新日韩在线 | 国产一级视屏 | 99国产精品久久久久久久久久 | 精品久久网| 99视频免费在线观看 | 欧美日韩中 | 日本护士三级少妇三级999 | 午夜精品久久久久久久久久久 | 激情视频一区二区 | 99在线精品视频 | 中文字幕视频播放 | 婷婷色5月| 国产精品成人免费 | 四虎国产精品免费观看视频优播 | 久久国产成人午夜av影院宅 | 国产免费嫩草影院 | 最新免费av在线 | 91探花视频 | 亚洲天天做 | 亚洲精品国偷拍自产在线观看蜜桃 | 天天操夜夜曰 | 国产亚洲欧美在线视频 | 在线观看第一页 | 97人人添人澡人人爽超碰动图 | 96亚洲精品久久 | 日韩精品一区二 | 欧美极品久久 | 99久久久久久 | 欧美精品在线一区二区 | av在线看网站 | 国产精品中文久久久久久久 | 婷婷射五月 | 狠狠色伊人亚洲综合成人 | 日韩天天干| 天堂在线免费视频 | a视频在线看 | 99视频在线播放 | 久久精品专区 | 成人h动漫精品一区二 | 狠狠色香婷婷久久亚洲精品 | 成人h在线 | 在线日韩精品视频 | 97超碰中文 | 涩涩网站在线观看 | 在线观看国产日韩欧美 | 婷婷伊人网 | 手机在线黄色网址 | 亚洲国产精品500在线观看 | 色婷婷www| 国产视频2区 | 五月天,com| 免费av片在线 | 欧美 日韩 视频 | 国产999久久久 | 亚洲在线看| 国产日本在线观看 | 99视频免费在线观看 | 人人爽久久涩噜噜噜网站 | 精品国产亚洲一区二区麻豆 | 久久精品国产第一区二区三区 | 91人人人 | 制服丝袜成人在线 | 久久视频免费在线 | 天天干夜夜夜操天 | www.夜色321.com| 日韩在线观看第一页 | 久久精品欧美日韩精品 | 激情小说网站亚洲综合网 | 国产成人精品一区二区在线观看 | 欧美极品少妇xxxxⅹ欧美极品少妇xxxx亚洲精品 | 国产美女久久 | 91精品色 | 久久久96 | 国产高清在线永久 | 天天做天天爱夜夜爽 | 国产无遮挡又黄又爽馒头漫画 | 久久精品国产免费看久久精品 | 亚洲国产剧情av | 久久久999 | 免费在线观看av网址 | 亚洲精品2区 | 国产aa免费视频 | 婷婷色av| 中文字幕黄网 | 97精品国产91久久久久久久 | 91久久精品一区二区二区 | 在线国产片 | 激情久久五月天 | 国产色视频 | 日本视频久久久 | 夜夜夜夜猛噜噜噜噜噜初音未来 | 日韩久久视频 | 91重口视频 | 国产五月色婷婷六月丁香视频 | 免费看黄色毛片 | av黄色av| 日韩一级黄色大片 | 国产精品一区在线观看你懂的 | 免费av 在线 | 27xxoo无遮挡动态视频 | 日本丶国产丶欧美色综合 | 日日日操操| 久久久免费毛片 | av成人在线看 | 国产一级做a | 成人wwwxxx视频 | av大全免费在线观看 | 91私密视频| 在线播放亚洲激情 | 99久久久国产精品美女 | a午夜在线| 国产精久久 | 国内精品久久久久久 | 99久久精品国产免费看不卡 | 亚洲欧美日本一区二区三区 | 97操操| 国产精品一级视频 | 亚洲精品乱码久久久久久写真 | 亚洲在线资源 | 91在线视频播放 | 国产精品都在这里 | 麻豆91精品91久久久 | 婷婷视频导航 | 丁香视频 | 婷婷亚洲激情 | 久久伊人五月天 | 国产精品美女 | 99热在线国产精品 | 四虎8848免费高清在线观看 | 婷婷久久丁香 | 国产精品永久久久久久久www | 亚洲无毛专区 | 97色综合| 国产人成在线视频 | av中文字幕电影 | 视频一区二区免费 | 黄色影院在线免费观看 | av福利电影 | 91成人精品一区在线播放 | 亚洲动漫在线观看 | 色婷婷国产在线 | 99久久久久久 | 伊人天天综合 | 97在线精品| 欧美日韩免费观看一区二区三区 | 成人97人人超碰人人99 | 久草在线精品观看 | 国产中文字幕一区 | 亚洲干| 国产69精品久久久久久久久久 | 精品一区91 | 九九久久精品视频 | 综合天堂av久久久久久久 | 日日噜噜噜噜夜夜爽亚洲精品 | 操操操日日日干干干 | 一区二区三区四区五区在线 | 欧美天天综合网 | 久久呀 | 91热精品视频| 玖玖精品在线 | 色天天综合网 | 97超碰人人澡 | 九九久久精品视频 | 成人国产精品免费观看 | 国产精品爽爽久久久久久蜜臀 | 日韩在线视频不卡 | 干干操操| 精品一区二区三区在线播放 | 二区在线播放 | 亚洲成人精品久久 | 欧美一级视频一区 | 九热精品| 亚洲激情 在线 | 99热在 | 毛片基地黄久久久久久天堂 | 在线电影a | 中文字幕无吗 | 中文字幕高清免费日韩视频在线 | 粉嫩aⅴ一区二区三区 | 国内偷拍精品视频 | 久久久福利视频 | 92国产精品久久久久首页 | 精品视频资源站 | 521色香蕉网站在线观看 | 欧美夫妻性生活电影 | 午夜少妇av | 五月激情天 | 国产精品亚洲片夜色在线 | av在线电影播放 | 男女免费视频观看 | a√资源在线 | 一级免费观看 | 日韩在线观看一区二区三区 | 亚洲开心色 | 精品一区在线看 | 国产精品自产拍在线观看中文 | 日韩一区二区三区高清免费看看 | 麻豆视屏| 成年人在线观看网站 | 成人免费ⅴa | 国产成视频在线观看 | 一本一道久久a久久精品蜜桃 | 97超碰人人干 | 久久99精品热在线观看 | 五月婷婷丁香在线观看 | 国产免费叼嘿网站免费 | 国产精品免费大片视频 | 国产午夜亚洲精品 | 日韩乱码在线 | 国产精品自产拍在线观看中文 | 久久蜜臀一区二区三区av | 欧美一级免费在线 | 探花视频在线观看免费 | 亚洲经典中文字幕 | 免费观看性生活大片 | 91.dizhi永久地址最新 | 欧美激情视频在线观看免费 | 精品一二三区 | 国产精品欧美久久久久天天影视 | 欧美精品久久久久久 | 久久99深爱久久99精品 | 国产在线免费 | 精品一区 精品二区 | 成人日批视频 | 国产午夜精品福利视频 | 欧洲一区精品 | 久久久国产一区二区三区 | 久草在线免费播放 | 国产毛片久久久 | 91亚洲精品久久久蜜桃 | 久久夜靖品 | 热久久免费国产视频 | 亚洲理论在线观看 | 久久精品资源 | 中文字幕黄色网址 | 91精品一区国产高清在线gif | 中文字幕在线观看一区 | 日韩视频在线观看视频 | 婷婷久草| 久久人人爽人人爽人人 | 免费又黄又爽视频 | 婷婷资源站 | 欧美亚洲国产一卡 | 三级av片 | 免费观看性生活大片3 | 在线观看亚洲电影 | 精品麻豆入口免费 | 午夜私人影院久久久久 | 国产aa精品 | 国产精品久久一卡二卡 | 91成人在线看 | 久久超碰免费 | 国产一区二区三区免费观看视频 | 欧美极品少妇xxxxⅹ欧美极品少妇xxxx亚洲精品 | 99久久精品日本一区二区免费 | 在线免费观看国产视频 | 九月婷婷人人澡人人添人人爽 | 激情一区二区三区欧美 | 国产最新在线 | 欧美午夜寂寞影院 | 免费久草视频 | av中文字幕日韩 | 在线观看视频在线 | 色欧美视频 | 中国美女一级看片 | 五月婷婷激情五月 | 香蕉在线影院 | 欧美性色黄大片在线观看 | 欧美成人精品欧美一级乱黄 | 午夜 久久 tv | 高清av在线免费观看 | 成人亚洲欧美 | 久久激情五月婷婷 | 亚洲国产人午在线一二区 | 视频一区二区在线 | 久久99精品国产 | 国产高清视频色在线www | 亚洲一区二区91 | 国产精品毛片久久久久久 | 欧美精品乱码久久久久久 | 久久99久久99精品免费看小说 | 日韩xxxxxxxxx | 日韩无在线| 一级黄色大片 | 国产在线播放一区二区三区 | 美女网站在线观看 | 日韩有码欧美 | 亚洲一区二区高潮无套美女 | 一二三区av | 国产精品精品 | 成人av电影在线播放 | 在线99| 能在线看的av | 国产精品不卡在线播放 | 亚洲国产三级在线 | 国产精品99久久久久久武松影视 | 日韩中文字幕在线不卡 | 亚洲欧美在线视频免费 | 国产精品免费观看视频 | 欧美日韩久久不卡 | 日韩在线观看一区二区 | av免费网站| 久久怡红院 | 日本精品久久久久中文字幕 | 插综合网 | 精品久久久久久国产偷窥 | 日韩av电影手机在线观看 | 欧美一级性生活片 | 久久96国产精品久久99软件 | 日韩精品免费在线视频 | 麻豆传媒视频在线 | 国产一级黄色av | 久久不卡免费视频 | 成人欧美一区二区三区在线观看 | 成人一级免费电影 | 91成人破解版 | 国产黄a三级三级三级三级三级 | 午夜av影院 | 亚洲精品一区二区18漫画 | 免费av片在线 | 欧美综合在线视频 | 久久久黄视频 | 免费观看十分钟 | 国产精品1区 | 亚洲精欧美一区二区精品 | 激情综合网婷婷 | 欧美日韩国产一区二区在线观看 | 久久精彩免费视频 | 麻豆91精品91久久久 | 天天综合网国产 | 尤物一区二区三区 | 亚洲成人国产精品 | 国产精品资源在线观看 | 久久99久国产精品黄毛片入口 | 欧美黄色免费 | 国产不卡av在线 | 亚洲2019精品 | 国产无套一区二区三区久久 | av在线一级| 国产极品尤物在线 | 91看片在线播放 | 狠狠狠的干| 国产麻豆精品在线观看 | 九九视频精品在线 | 91爱爱视频 | 日本乱码在线 | 久久看视频| 9ⅰ精品久久久久久久久中文字幕 | 91精品视频播放 | 亚洲美女精品视频 | 99性视频 | 午夜国产福利在线 | 国产精品一区二区在线观看 | 高清国产午夜精品久久久久久 | 亚洲视频久久久 | 国产一级久久久 | 国产精品嫩草影视久久久 | av线上看 | 丝袜美腿在线播放 | 欧美日韩在线免费视频 | 热久久免费视频精品 | 日韩国产欧美在线视频 | 中文字幕123区 | 久久在现视频 | 国产精品中文字幕在线 | 天天综合成人网 | 精品久久久久久综合 | avav片| 天天干国产| 国产一级在线免费观看 | 91av免费观看 | 2021av在线| 亚洲国产精品资源 | 中文资源在线观看 | 欧美午夜a | 五月婷激情| 亚洲人精品午夜 | 国产成人久久av免费高清密臂 | 网站免费黄 | 久久久久久久99 | 欧美激情第一页xxx 午夜性福利 | 激情久久久久 | 午夜精品久久久久久久久久久 | 亚洲精品免费视频 | 亚洲精品日韩一区二区电影 | 国产亚洲字幕 | 中文久草 | 精品视频久久 | 四虎影视av | 超级碰碰免费视频 | 亚洲精品网页 | 国产精品11 | 九色自拍视频 | 在线观看黄污 | 国产一区网| 久久99精品久久久久久秒播蜜臀 | 日日射av | 麻豆视频国产 | 香蕉一区| 国产精品黄色 | 色综合久久88色综合天天免费 | 狠狠插天天干 | 最新中文字幕在线播放 | 九九久久精品视频 | 免费看亚洲毛片 | 蜜臀久久99精品久久久久久网站 | 91毛片视频 | 国产在线污| 911免费视频 | 欧美少妇xxxxxx | 狠狠色噜噜狠狠狠狠2022 | 中文字幕在线观看不卡 | 午夜视频一区二区三区 | 精品国产区在线 | 国产精品久久久久久久午夜 | 91精品蜜桃 | 久久久久北条麻妃免费看 | 免费黄色网址大全 | 天天插天天 | 欧美人zozo| 亚洲成人一二三 | 久精品视频 | 国产成人在线观看 | 日日干夜夜草 | 一区二区三区动漫 | 日本久久免费电影 | av天天草| 天天干天天做天天操 | 波多野结衣在线播放视频 | 国产又粗又长的视频 | 91福利社区在线观看 | 成片免费观看视频999 | av网站地址 | 久久午夜剧场 | 综合av在线| 日韩视频免费观看高清完整版在线 | 五月宗合网 | 国产区免费在线 | 天天插天天干天天操 | 国产精品一区二区久久国产 | 亚洲色图 校园春色 | 在线观看一区视频 | 久久精品中文 | 91精品国自产在线观看欧美 | 久久一区二区三区四区 | 久久婷婷视频 | av观看免费在线 | 国产999精品久久久久久 | 美女久久久久久久久久 | 黄色三级免费观看 | 在线亚洲观看 | 国产91在线 | 美洲 | 九九精品在线观看 | 天躁狠狠躁 |