JAVA分布式篇2——Zookeeper

1、簡介

Zookeeper是一個開源的分布式（多臺服務器干一件事）的，為分布式應用提供協調服務的 Apache項目

2、工作機制

• Zookeeper從設計模式角度來理解：是一個基于觀察者模式（一個人干活，有人盯著他）設計的分 布式服務管理框架

  • 存儲 和 管理 大家都關心的數據 然后接受觀察者的注冊
  • 通知已經注冊的那些觀察者做出相應的反應

• Zookeeper = 文件系統 + 通知機制

• 類似美團

  • 商家營業并入駐
  • 獲取到當前營業的飯店列表
  • 服務器節點下線
  • 服務器節點上下線事件通知
  • 重新再去獲取服務器列表，并注冊監聽

3、特點

• 是一個leader和多個follower來組成的集群
• 集群中只要有半數以上的節點存活，Zookeeper就能正常工作（5臺服務器掛2臺，沒問題；4臺服 務器掛2臺，就停止）
• 全局數據一致性，每臺服務器都保存一份相同的數據副本，無論client連接哪臺server，數據都是 一致的
• 數據更新原子性，一次數據要么成功，要么失敗（不成功便成仁）
• 實時性，在一定時間范圍內，client能讀取到最新數據
• 更新的請求按照順序執行，會按照發送過來的順序，逐一執行（發來123，執行123，而不是321 或者別的）

4、應用場景

• 統一命名服務
• 統一配置管理
• 服務器節點動態上下線
• 軟負載均衡

5、下載安裝（linux）

zookeeper官網下載：https://downloads.apache.org/zookeeper/

zookeeper3.6.3 百度云：https://pan.baidu.com/s/1OM0Lq2rm-8qcd8nb8TGfEg提取碼：izco

linux需要有jdk

移動zookeeper

mv /root/apache-zookeeper-3.6.3-bin.tar.gz /usr/local/apache-zookeeper-3.6.3-bin.tar.gz

解壓zookeeper

tar -zxvf apache-zookeeper-3.6.3-bin.tar.gz

zookeeper目錄下創建文件夾

mkdir zkData mkdir zkLog

拷貝配置文件

cp zoo_sample.cfg zoo.cfg vim zoo.cfg

添加配置

dataDir=/usr/local/apache-zookeeper-3.6.3-bin/zkData dataLogDir=/usr/local/apache-zookeeper-3.6.3-bin/zkLog

啟動

[root@VM-16-14-centos bin]# ./zkServer.sh start /usr/bin/java ZooKeeper JMX enabled by default Using config: /usr/local/apache-zookeeper-3.6.3-bin/bin/../conf/zoo.cfg Starting zookeeper ... STARTED

測試

[root@VM-16-14-centos bin]# jps 1898 QuorumPeerMain 1981 Jps [root@VM-16-14-centos bin]# netstat -apn | grep 2181 tcp6 0 0 :::2181 :::* LISTEN 1898/java [root@VM-16-14-centos bin]# ./zkServer.sh status /usr/bin/java ZooKeeper JMX enabled by default Using config: /usr/local/apache-zookeeper-3.6.3-bin/bin/../conf/zoo.cfg Client port found: 2181. Client address: localhost. Client SSL: false. Mode: standalone

啟動客戶端

[root@VM-16-14-centos bin]# ./zkCli.sh[zk: localhost:2181(CONNECTED) 0] ls ls [-s] [-w] [-R] path [zk: localhost:2181(CONNECTED) 1] ls / [zookeeper] [zk: localhost:2181(CONNECTED) 2] quit

6、配置參數詳解

• tickTime =2000：通信心跳數，Zookeeper服務器與客戶端心跳時間，單位毫秒，服務器之間或客戶端與服務器之間維持心跳的時間間隔，也就 是每個tickTime時間就會發送一個心跳，時間單位為毫秒
• initLimit =10：LF初始通信時限，集群中的Follower跟隨者服務器與Leader領導者服務器之間，啟動時能容忍的最多心跳數，10*2000（10個心跳時間）如果領導和跟隨者沒有發出心跳通信，就視為失效的連接，領導 和跟隨者徹底斷開
• syncLimit =5：LF同步通信時限，集群啟動后，Leader與Follower之間的最大響應時間單位，假如響應超過syncLimit * tickTime->10秒，Leader就認為Follwer已經死掉，會將Follwer從服務器列表中刪除
• dataDir：數據文件目錄+數據持久化路徑 主要用于保存Zookeeper中的數據
• dataLogDir：日志文件目錄
• clientPort =2181：客戶端連接端口 監聽客戶端連接的端口

7、節點及其類型

7.1、節點

• ZooKeeper數據模型的結構與linux文件系統很類似，整體上可以看作是一棵樹，每個節點稱做一 個ZNode（ZookeeperNode）
• 每一個ZNode默認能夠存儲1MB的數據（元數據），每個ZNode的路徑都是唯一的
• 元數據（Metadata），又稱中介數據、中繼數據，為描述數據的數據（data about data），主要是描述數據屬性（property）的信息，用來支持如指示存儲位置、歷史數據、 資源查找、文件記錄等功能

7.2、節點類型

7.2.1、持久型

• 持久化目錄節點（persistent）客戶端與zookeeper斷開連接后，該節點依舊存在
• 持久化順序編號目錄節點（persistent_sequential）客戶端與zookeeper斷開連接后，該節 點依舊存在，創建znode時設置順序標識，znode名稱后會附加一個值，順序號是一個單調 遞增的計數器，由父節點維護，例如：Znode001，Znode002…

7.2.2、短暫型

• 臨時目錄節點（ephemeral）客戶端和服務器端斷開連接后，創建的節點自動刪除
• 臨時順序編號目錄節點（ephemeral_sequential）客戶端與zookeeper斷開連接后，該節點 被刪除，創建znode時設置順序標識，znode名稱后會附加一個值，順序號是一個單調遞增 的計數器，由父節點維護，例如：Znode001，Znode002…

8、分布式部署

8.1、編號配置

在zkData目錄下書寫myid文件（依次寫上編號1、2、3）

vim myid

8.2、zoo.cfg配置

# The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that can pass between # sending a request and getting an acknowledgement syncLimit=5 # the directory where the snapshot is stored. # do not use /tmp for storage, /tmp here is just # example sakes. dataDir=/usr/local/apache-zookeeper-3.6.3-bin/zkData # the port at which the clients will connect clientPort=2181 # the maximum number of client connections. # increase this if you need to handle more clients #maxClientCnxns=60 # # Be sure to read the maintenance section of the # administrator guide before turning on autopurge. # # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance # # The number of snapshots to retain in dataDir #autopurge.snapRetainCount=3 # Purge task interval in hours # Set to "0" to disable auto purge feature #autopurge.purgeInterval=1## Metrics Providers # # https://prometheus.io Metrics Exporter #metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider #metricsProvider.httpPort=7000 #metricsProvider.exportJvmInfo=true #cluster quorumListenOnAllIPs=true server.1=101.34.116.9:2888:3888 server.2=106.54.85.216:2888:3888 server.3=81.70.1.65:2888:3888

server.A=B:C:D

• A：一個數字，表示第幾號服務器（集群模式下配置的/opt/zookeeper/zkData/myid文件里面的數據就是A的值）
• B：服務器的ip地址
• C：與集群中Leader服務器交換信息的端口
• D：選舉時專用端口，萬一集群中的Leader服務器掛了，需要一個端口來重新進行選舉，選 出一個新的Leader，而這個端口就是用來執行選舉時服務器相互通信的端口

8.3、啟動

[root@VM-8-13-centos bin]# ./zkServer.sh start /usr/bin/java ZooKeeper JMX enabled by default Using config: /usr/local/apache-zookeeper-3.6.3-bin/bin/../conf/zoo.cfg Starting zookeeper ... STARTED [root@VM-8-13-centos bin]# jps 29545 QuorumPeerMain 29597 Jps [root@VM-8-13-centos bin]# ./zkServer.sh status /usr/bin/java ZooKeeper JMX enabled by default Using config: /usr/local/apache-zookeeper-3.6.3-bin/bin/../conf/zoo.cfg Client port found: 2181. Client address: localhost. Client SSL: false. Mode: leader [root@VM-0-3-centos bin]# ./zkServer.sh start /usr/bin/java ZooKeeper JMX enabled by default Using config: /usr/local/apache-zookeeper-3.6.3-bin/bin/../conf/zoo.cfg Starting zookeeper ... STARTED [root@VM-0-3-centos bin]# ./zkServer.sh status /usr/bin/java ZooKeeper JMX enabled by default Using config: /usr/local/apache-zookeeper-3.6.3-bin/bin/../conf/zoo.cfg Client port found: 2181. Client address: localhost. Client SSL: false. Mode: follower [root@VM-16-14-centos bin]# ./zkServer.sh start /usr/bin/java ZooKeeper JMX enabled by default Using config: /usr/local/apache-zookeeper-3.6.3-bin/bin/../conf/zoo.cfg Starting zookeeper ... STARTED [root@VM-16-14-centos bin]# jps 29545 QuorumPeerMain 29597 Jps [root@VM-16-14-centos bin]# ./zkServer.sh status /usr/bin/java ZooKeeper JMX enabled by default Using config: /usr/local/apache-zookeeper-3.6.3-bin/bin/../conf/zoo.cfg Client port found: 2181. Client address: localhost. Client SSL: false. Mode: follower

8.4、問題解決

• 檢查配置文件
• ping一下服務器
• 查看一下防火墻是否在關閉狀態
  • 查看防火墻狀態：firewall-cmd --state
  • 啟動防火墻：systemctl start firewalld
  • 關閉防火墻：systemctl stop firewalld.service
  • 禁止防火墻開機啟動：systemctl disable firewalld.service

9、客戶端操作

9.1、客戶端啟動

./zkCli.sh

9.2、幫助

[zk: localhost:2181(CONNECTED) 0] help ZooKeeper -server host:port -client-configuration properties-file cmd argsaddWatch [-m mode] path # optional mode is one of [PERSISTENT, PERSISTENT_RECURSIVE] - default is PERSISTENT_RECURSIVEaddauth scheme authclose config [-c] [-w] [-s]connect host:portcreate [-s] [-e] [-c] [-t ttl] path [data] [acl]delete [-v version] pathdeleteall path [-b batch size]delquota [-n|-b] pathget [-s] [-w] pathgetAcl [-s] pathgetAllChildrenNumber pathgetEphemerals pathhistory listquota pathls [-s] [-w] [-R] pathprintwatches on|offquit reconfig [-s] [-v version] [[-file path] | [-members serverID=host:port1:port2;port3[,...]*]] | [-add serverId=host:port1:port2;port3[,...]]* [-remove serverId[,...]*]redo cmdnoremovewatches path [-c|-d|-a] [-l]set [-s] [-v version] path datasetAcl [-s] [-v version] [-R] path aclsetquota -n|-b val pathstat [-w] pathsync pathversion Command not found: Command not found help

9.3、基本命令

#查看當前znode中所包含的內容 [zk: localhost:2181(CONNECTED) 1] ls / [zookeeper] #查看當前節點詳細數據 [zk: localhost:2181(CONNECTED) 2] ls -s / [zookeeper] cZxid = 0x0 ctime = Thu Jan 01 08:00:00 CST 1970 mZxid = 0x0 mtime = Thu Jan 01 08:00:00 CST 1970 pZxid = 0x0 cversion = -1 dataVersion = 0 aclVersion = 0 ephemeralOwner = 0x0 dataLength = 0 numChildren = 1

• cZxid：創建節點的事務 每次修改ZooKeeper狀態都會收到一個zxid形式的時間戳，也就是ZooKeeper事務ID。 事務ID是ZooKeeper中所有修改總的次序。 每個修改都有唯一的zxid，如果zxid1小于zxid2，那么zxid1在zxid2之前發生
• ctime：被創建的毫秒數(從1970年開始)
• mZxid：最后更新的事務zxid
• mtime：最后修改的毫秒數(從1970年開始)
• pZxid：最后更新的子節點zxid
• cversion：創建版本號，子節點修改次數
• dataVersion：數據變化版本號
• aclVersion：權限版本號
• ephemeralOwner：如果是臨時節點，這個是znode擁有者的session id，如果不是臨時節點 則是0
• dataLength：數據長度 numChildren：子節點數

#創建節點 [zk: localhost:2181(CONNECTED) 3] create /china Created /china [zk: localhost:2181(CONNECTED) 4] create /usa Created /usa [zk: localhost:2181(CONNECTED) 5] ls / [china, usa, zookeeper] #獲得節點的值 [zk: localhost:2181(CONNECTED) 6] create /china/nanyang "home" Created /china/nanyang [zk: localhost:2181(CONNECTED) 7] get /china/nanyang home #創建短暫節點 [zk: localhost:2181(CONNECTED) 8] create -e /xxx Created /xxx #創建帶序號的節點 [zk: localhost:2181(CONNECTED) 9] create -s /uk Created /uk0000000003 [zk: localhost:2181(CONNECTED) 10] create -s /uk Created /uk0000000004 #獲取值，設置值，監聽值的變化 [zk: localhost:2181(CONNECTED) 11] set /usa "short" [zk: localhost:2181(CONNECTED) 12] get /usa short#（另一個機器） [zk: localhost:2181(CONNECTED) 1] addWatch /usa [zk: localhost:2181(CONNECTED) 2] WATCHER::WatchedEvent state:SyncConnected type:NodeDataChanged path:/usa # 刪除節點 [zk: localhost:2181(CONNECTED) 13] delete /usa [zk: localhost:2181(CONNECTED) 14] ls / [china, uk0000000003, uk0000000004, xxx, zookeeper] [zk: localhost:2181(CONNECTED) 15] create /uk0000000003/uk Created /uk0000000003/uk [zk: localhost:2181(CONNECTED) 16] deleteall /uk0000000003

10、API

10.1、導入依賴

<dependencies><!--zookeeper--><dependency><groupId>org.apache.zookeeper</groupId><artifactId>zookeeper</artifactId><version>3.6.3</version></dependency><dependency><groupId>org.apache.logging.log4j</groupId><artifactId>log4j-core</artifactId><version>2.14.0</version></dependency><!--junit--><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>4.13</version><scope>test</scope></dependency> </dependencies>

10.2、創建節點

public class ZookeeperTest {private String con="101.34.116.9:2181,106.54.85.216:2181,81.70.1.65:2181";//單位毫秒private int time=60*1000;private ZooKeeper zooKeeper;@Beforepublic void zookeeper() throws IOException {Watcher watcher=(watchedEvent)->System.out.println("監聽到了變化");zooKeeper = new ZooKeeper(con, time, watcher);}@Testpublic void createNode() throws KeeperException, InterruptedException {String s = zooKeeper.create("/idea", "idea".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);System.out.println(s);} }

• 一個ACL對象就是一個Id和permission對
• 類似linux的文件權限，不同的是共有5種操作：CREATE、READ、WRITE、DELETE、ADMIN(對應更改ACL的權限)
  • OPEN_ACL_UNSAFE：創建開放節點，允許任意操作 （用的最少，其余的權限用的很 少）
  • READ_ACL_UNSAFE：創建只讀節點
  • CREATOR_ALL_ACL：創建者才有全部權限
• CreateMode.PERSISTENT：持久型節點

10.3、查詢節點

@Test public void selectNode() throws KeeperException, InterruptedException {byte[] data = zooKeeper.getData("/idea", false, new Stat());System.out.println(new String(data)); }

10.4、修改節點

@Test public void updateNode() throws KeeperException, InterruptedException {Stat stat = zooKeeper.setData("/idea", "idea1".getBytes(), 0);System.out.println(stat); } [zk: localhost:2181(CONNECTED) 18] ls -s /idea [] cZxid = 0x100000013 ctime = Thu Jul 29 16:43:11 CST 2021 mZxid = 0x100000013 mtime = Thu Jul 29 16:43:11 CST 2021 pZxid = 0x100000013 cversion = 0 dataVersion = 0 aclVersion = 0 ephemeralOwner = 0x0 dataLength = 4 numChildren = 0 [zk: localhost:2181(CONNECTED) 19] ls -s /idea [] cZxid = 0x100000013 ctime = Thu Jul 29 16:43:11 CST 2021 mZxid = 0x10000001b mtime = Thu Jul 29 17:09:11 CST 2021 pZxid = 0x100000013 cversion = 0 dataVersion = 1 aclVersion = 0 ephemeralOwner = 0x0 dataLength = 5 numChildren = 0

10.5、刪除節點

@Test public void deleteNode() throws KeeperException, InterruptedException {zooKeeper.delete("/idea",1); } [zk: localhost:2181(CONNECTED) 21] create /athens Created /athens 監聽到了變化 xxx uk0000000004 zookeeper china 監聽到了變化

10.6、判斷節點

@Test public void existsNode() throws KeeperException, InterruptedException {Stat exists = zooKeeper.exists("/china", false);System.out.println(exists); }

11、監聽器

也是美團等的工作模式

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-Dj4aI8pH-1627572451887)(C:\Users\yoya\AppData\Roaming\Typora\typora-user-images\image-20210729223559847.png)]

12、分布式鎖

• redis：高性能
• zookeeper：高可用（可靠性）

12.1、傳統鎖

12.2、分布式鎖

12.3、實現秒殺（ssm）

待補

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的JAVA分布式篇2——Zookeeper的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。