如何使用

Zookeeper 作為一個分布式的服務(wù)框架，主要用來解決分布式集群中應(yīng)用系統(tǒng)的一致性問題，它能提供基于類似于文件系統(tǒng)的目錄節(jié)點樹方式的數(shù)據(jù)存儲，但是 Zookeeper 并不是用來專門存儲數(shù)據(jù)的，它的作用主要是用來維護(hù)和監(jiān)控你存儲的數(shù)據(jù)的狀態(tài)變化。通過監(jiān)控這些數(shù)據(jù)狀態(tài)的變化，從而可以達(dá)到基于數(shù)據(jù)的集群管理，后面將會詳細(xì)介紹 Zookeeper 能夠解決的一些典型問題，這里先介紹一下，Zookeeper 的操作接口和簡單使用示例。

?

常用接口列表

客戶端要連接 Zookeeper 服務(wù)器可以通過創(chuàng)建 org.apache.zookeeper. ZooKeeper 的一個實例對象，然后調(diào)用這個類提供的接口來和服務(wù)器交互。

前面說了 ZooKeeper 主要是用來維護(hù)和監(jiān)控一個目錄節(jié)點樹中存儲的數(shù)據(jù)的狀態(tài)，所有我們能夠操作 ZooKeeper 的也和操作目錄節(jié)點樹大體一樣，如創(chuàng)建一個目錄節(jié)點，給某個目錄節(jié)點設(shè)置數(shù)據(jù)，獲取某個目錄節(jié)點的所有子目錄節(jié)點，給某個目錄節(jié)點設(shè)置權(quán)限和監(jiān)控這個目錄節(jié)點的狀態(tài)變化。

這些接口如下表所示：

表 1 org.apache.zookeeper. ZooKeeper 方法列表
方法名方法功能描述

String?create(String?path, byte[]?data,?List<ACL>?acl,CreateMode?createMode)	創(chuàng)建一個給定的目錄節(jié)點 path, 并給它設(shè)置數(shù)據(jù)，CreateMode?標(biāo)識有四種形式的目錄節(jié)點，分別是 PERSISTENT：持久化目錄節(jié)點，這個目錄節(jié)點存儲的數(shù)據(jù)不會丟失；PERSISTENT_SEQUENTIAL：順序自動編號的目錄節(jié)點，這種目錄節(jié)點會根據(jù)當(dāng)前已近存在的節(jié)點數(shù)自動加 1，然后返回給客戶端已經(jīng)成功創(chuàng)建的目錄節(jié)點名；EPHEMERAL：臨時目錄節(jié)點，一旦創(chuàng)建這個節(jié)點的客戶端與服務(wù)器端口也就是 session 超時，這種節(jié)點會被自動刪除；EPHEMERAL_SEQUENTIAL：臨時自動編號節(jié)點
Stat?exists(String?path, boolean?watch)	判斷某個 path 是否存在，并設(shè)置是否監(jiān)控這個目錄節(jié)點，這里的 watcher 是在創(chuàng)建 ZooKeeper 實例時指定的 watcher，exists方法還有一個重載方法，可以指定特定的watcher
Stat?exists(String?path,Watcher?watcher)	重載方法，這里給某個目錄節(jié)點設(shè)置特定的 watcher，Watcher 在 ZooKeeper 是一個核心功能，Watcher 可以監(jiān)控目錄節(jié)點的數(shù)據(jù)變化以及子目錄的變化，一旦這些狀態(tài)發(fā)生變化，服務(wù)器就會通知所有設(shè)置在這個目錄節(jié)點上的 Watcher，從而每個客戶端都很快知道它所關(guān)注的目錄節(jié)點的狀態(tài)發(fā)生變化，而做出相應(yīng)的反應(yīng)
void?delete(String?path, int?version)	刪除 path 對應(yīng)的目錄節(jié)點，version 為 -1 可以匹配任何版本，也就刪除了這個目錄節(jié)點所有數(shù)據(jù)
List<String>getChildren(String?path, boolean?watch)	獲取指定 path 下的所有子目錄節(jié)點，同樣?getChildren方法也有一個重載方法可以設(shè)置特定的 watcher 監(jiān)控子節(jié)點的狀態(tài)
Stat?setData(String?path, byte[]?data, int?version)	給 path 設(shè)置數(shù)據(jù)，可以指定這個數(shù)據(jù)的版本號，如果 version 為 -1 怎可以匹配任何版本
byte[]?getData(String?path, boolean?watch,?Stat?stat)	獲取這個 path 對應(yīng)的目錄節(jié)點存儲的數(shù)據(jù)，數(shù)據(jù)的版本等信息可以通過 stat 來指定，同時還可以設(shè)置是否監(jiān)控這個目錄節(jié)點數(shù)據(jù)的狀態(tài)
voidaddAuthInfo(String?scheme, byte[]?auth)	客戶端將自己的授權(quán)信息提交給服務(wù)器，服務(wù)器將根據(jù)這個授權(quán)信息驗證客戶端的訪問權(quán)限。
Stat?setACL(String?path,List<ACL>?acl, int?version)	給某個目錄節(jié)點重新設(shè)置訪問權(quán)限，需要注意的是 Zookeeper 中的目錄節(jié)點權(quán)限不具有傳遞性，父目錄節(jié)點的權(quán)限不能傳遞給子目錄節(jié)點。目錄節(jié)點 ACL 由兩部分組成：perms 和 id。 Perms 有 ALL、READ、WRITE、CREATE、DELETE、ADMIN 幾種? 而 id 標(biāo)識了訪問目錄節(jié)點的身份列表，默認(rèn)情況下有以下兩種： ANYONE_ID_UNSAFE = new Id("world", "anyone") 和 AUTH_IDS = new Id("auth", "") 分別表示任何人都可以訪問和創(chuàng)建者擁有訪問權(quán)限。
List<ACL>getACL(String?path,Stat?stat)	獲取某個目錄節(jié)點的訪問權(quán)限列表

?

除了以上這些上表中列出的方法之外還有一些重載方法，如都提供了一個回調(diào)類的重載方法以及可以設(shè)置特定 Watcher 的重載方法，具體的方法可以參考 org.apache.zookeeper. ZooKeeper 類的 API 說明。

?

基本操作

下面給出基本的操作 ZooKeeper 的示例代碼，這樣你就能對 ZooKeeper 有直觀的認(rèn)識了。下面的清單包括了創(chuàng)建與 ZooKeeper 服務(wù)器的連接以及最基本的數(shù)據(jù)操作：

?ZooKeeper 基本的操作示例

// 創(chuàng)建一個與服務(wù)器的連接ZooKeeper zk = new ZooKeeper("localhost:" + CLIENT_PORT, ClientBase.CONNECTION_TIMEOUT, new Watcher() { // 監(jiān)控所有被觸發(fā)的事件public void process(WatchedEvent event) { System.out.println("已經(jīng)觸發(fā)了" + event.getType() + "事件！"); } }); // 創(chuàng)建一個目錄節(jié)點zk.create("/testRootPath", "testRootData".getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.PERSISTENT); // 創(chuàng)建一個子目錄節(jié)點zk.create("/testRootPath/testChildPathOne", "testChildDataOne".getBytes(),Ids.OPEN_ACL_UNSAFE,CreateMode.PERSISTENT); System.out.println(new String(zk.getData("/testRootPath",false,null))); // 取出子目錄節(jié)點列表System.out.println(zk.getChildren("/testRootPath",true)); // 修改子目錄節(jié)點數(shù)據(jù)zk.setData("/testRootPath/testChildPathOne","modifyChildDataOne".getBytes(),-1); System.out.println("目錄節(jié)點狀態(tài)：["+zk.exists("/testRootPath",true)+"]"); // 創(chuàng)建另外一個子目錄節(jié)點zk.create("/testRootPath/testChildPathTwo", "testChildDataTwo".getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.PERSISTENT); System.out.println(new String(zk.getData("/testRootPath/testChildPathTwo",true,null))); // 刪除子目錄節(jié)點zk.delete("/testRootPath/testChildPathTwo",-1); zk.delete("/testRootPath/testChildPathOne",-1); // 刪除父目錄節(jié)點zk.delete("/testRootPath",-1); // 關(guān)閉連接zk.close();

?

輸出的結(jié)果如下：

已經(jīng)觸發(fā)了 None 事件！testRootData [testChildPathOne] 目錄節(jié)點狀態(tài)：[5,5,1281804532336,1281804532336,0,1,0,0,12,1,6] 已經(jīng)觸發(fā)了 NodeChildrenChanged 事件！testChildDataTwo 已經(jīng)觸發(fā)了 NodeDeleted 事件！ 已經(jīng)觸發(fā)了 NodeDeleted 事件！

當(dāng)對目錄節(jié)點監(jiān)控狀態(tài)打開時，一旦目錄節(jié)點的狀態(tài)發(fā)生變化，Watcher 對象的 process 方法就會被調(diào)用。

?

ZooKeeper 典型的應(yīng)用場景

Zookeeper 從設(shè)計模式角度來看，是一個基于觀察者模式設(shè)計的分布式服務(wù)管理框架，它負(fù)責(zé)存儲和管理大家都關(guān)心的數(shù)據(jù)，然后接受觀察者的注冊，一旦這些數(shù)據(jù)的狀態(tài)發(fā)生變化，Zookeeper 就將負(fù)責(zé)通知已經(jīng)在 Zookeeper 上注冊的那些觀察者做出相應(yīng)的反應(yīng)，從而實現(xiàn)集群中類似 Master/Slave 管理模式，關(guān)于 Zookeeper 的詳細(xì)架構(gòu)等內(nèi)部細(xì)節(jié)可以閱讀 Zookeeper 的源碼

下面詳細(xì)介紹這些典型的應(yīng)用場景，也就是 Zookeeper 到底能幫我們解決那些問題？下面將給出答案。

?

統(tǒng)一命名服務(wù)（Name Service）

分布式應(yīng)用中，通常需要有一套完整的命名規(guī)則，既能夠產(chǎn)生唯一的名稱又便于人識別和記住，通常情況下用樹形的名稱結(jié)構(gòu)是一個理想的選擇，樹形的名稱結(jié)構(gòu)是一個有層次的目錄結(jié)構(gòu)，既對人友好又不會重復(fù)。說到這里你可能想到了 JNDI，沒錯 Zookeeper 的 Name Service 與 JNDI 能夠完成的功能是差不多的，它們都是將有層次的目錄結(jié)構(gòu)關(guān)聯(lián)到一定資源上，但是 Zookeeper 的 Name Service 更加是廣泛意義上的關(guān)聯(lián)，也許你并不需要將名稱關(guān)聯(lián)到特定資源上，你可能只需要一個不會重復(fù)名稱，就像數(shù)據(jù)庫中產(chǎn)生一個唯一的數(shù)字主鍵一樣。

Name Service 已經(jīng)是 Zookeeper 內(nèi)置的功能，你只要調(diào)用 Zookeeper 的 API 就能實現(xiàn)。如調(diào)用 create 接口就可以很容易創(chuàng)建一個目錄節(jié)點。

?

配置管理（Configuration Management）

配置的管理在分布式應(yīng)用環(huán)境中很常見，例如同一個應(yīng)用系統(tǒng)需要多臺 PC Server 運行，但是它們運行的應(yīng)用系統(tǒng)的某些配置項是相同的，如果要修改這些相同的配置項，那么就必須同時修改每臺運行這個應(yīng)用系統(tǒng)的 PC Server，這樣非常麻煩而且容易出錯。

像這樣的配置信息完全可以交給 Zookeeper 來管理，將配置信息保存在 Zookeeper 的某個目錄節(jié)點中，然后將所有需要修改的應(yīng)用機器監(jiān)控配置信息的狀態(tài)，一旦配置信息發(fā)生變化，每臺應(yīng)用機器就會收到 Zookeeper 的通知，然后從 Zookeeper 獲取新的配置信息應(yīng)用到系統(tǒng)中。

圖 2. 配置管理結(jié)構(gòu)圖
?

?

集群管理（Group Membership）

Zookeeper 能夠很容易的實現(xiàn)集群管理的功能，如有多臺 Server 組成一個服務(wù)集群，那么必須要一個“總管”知道當(dāng)前集群中每臺機器的服務(wù)狀態(tài)，一旦有機器不能提供服務(wù)，集群中其它集群必須知道，從而做出調(diào)整重新分配服務(wù)策略。同樣當(dāng)增加集群的服務(wù)能力時，就會增加一臺或多臺 Server，同樣也必須讓“總管”知道。

Zookeeper 不僅能夠幫你維護(hù)當(dāng)前的集群中機器的服務(wù)狀態(tài)，而且能夠幫你選出一個“總管”，讓這個總管來管理集群，這就是 Zookeeper 的另一個功能 Leader Election。

它們的實現(xiàn)方式都是在 Zookeeper 上創(chuàng)建一個 EPHEMERAL 類型的目錄節(jié)點，然后每個 Server 在它們創(chuàng)建目錄節(jié)點的父目錄節(jié)點上調(diào)用?getChildren(String?path, boolean?watch) 方法并設(shè)置 watch 為 true，由于是 EPHEMERAL 目錄節(jié)點，當(dāng)創(chuàng)建它的 Server 死去，這個目錄節(jié)點也隨之被刪除，所以 Children 將會變化，這時?getChildren上的 Watch 將會被調(diào)用，所以其它 Server 就知道已經(jīng)有某臺 Server 死去了。新增 Server 也是同樣的原理。

Zookeeper 如何實現(xiàn) Leader Election，也就是選出一個 Master Server。和前面的一樣每臺 Server 創(chuàng)建一個 EPHEMERAL 目錄節(jié)點，不同的是它還是一個 SEQUENTIAL 目錄節(jié)點，所以它是個 EPHEMERAL_SEQUENTIAL 目錄節(jié)點。之所以它是 EPHEMERAL_SEQUENTIAL 目錄節(jié)點，是因為我們可以給每臺 Server 編號，我們可以選擇當(dāng)前是最小編號的 Server 為 Master，假如這個最小編號的 Server 死去，由于是 EPHEMERAL 節(jié)點，死去的 Server 對應(yīng)的節(jié)點也被刪除，所以當(dāng)前的節(jié)點列表中又出現(xiàn)一個最小編號的節(jié)點，我們就選擇這個節(jié)點為當(dāng)前 Master。這樣就實現(xiàn)了動態(tài)選擇 Master，避免了傳統(tǒng)意義上單 Master 容易出現(xiàn)單點故障的問題。

圖 3. 集群管理結(jié)構(gòu)圖
?

這部分的示例代碼如下，完整的代碼請看附件：

?Leader Election 關(guān)鍵代碼

void findLeader() throws InterruptedException { byte[] leader = null; try { leader = zk.getData(root + "/leader", true, null); } catch (Exception e) { logger.error(e); } if (leader != null) { following(); } else { String newLeader = null; try { byte[] localhost = InetAddress.getLocalHost().getAddress(); newLeader = zk.create(root + "/leader", localhost, ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL); } catch (Exception e) { logger.error(e); } if (newLeader != null) { leading(); } else { mutex.wait(); } } }

?

共享鎖（Locks）

共享鎖在同一個進(jìn)程中很容易實現(xiàn)，但是在跨進(jìn)程或者在不同 Server 之間就不好實現(xiàn)了。Zookeeper 卻很容易實現(xiàn)這個功能，實現(xiàn)方式也是需要獲得鎖的 Server 創(chuàng)建一個 EPHEMERAL_SEQUENTIAL 目錄節(jié)點，然后調(diào)用?getChildren方法獲取當(dāng)前的目錄節(jié)點列表中最小的目錄節(jié)點是不是就是自己創(chuàng)建的目錄節(jié)點，如果正是自己創(chuàng)建的，那么它就獲得了這個鎖，如果不是那么它就調(diào)用exists(String?path, boolean?watch) 方法并監(jiān)控 Zookeeper 上目錄節(jié)點列表的變化，一直到自己創(chuàng)建的節(jié)點是列表中最小編號的目錄節(jié)點，從而獲得鎖，釋放鎖很簡單，只要刪除前面它自己所創(chuàng)建的目錄節(jié)點就行了。

圖 4. Zookeeper 實現(xiàn) Locks 的流程圖
?

同步鎖的實現(xiàn)代碼如下，完整的代碼請看附件：

同步鎖的關(guān)鍵思路

加鎖： ZooKeeper 將按照如下方式實現(xiàn)加鎖的操作： 1 ） ZooKeeper 調(diào)用 create （）方法來創(chuàng)建一個路徑格式為“ _locknode_/lock- ”的節(jié)點，此節(jié)點類型為sequence （連續(xù)）和 ephemeral （臨時）。也就是說，創(chuàng)建的節(jié)點為臨時節(jié)點，并且所有的節(jié)點連續(xù)編號，即“ lock-i ”的格式。 2 ）在創(chuàng)建的鎖節(jié)點上調(diào)用 getChildren （）方法，來獲取鎖目錄下的最小編號節(jié)點，并且不設(shè)置 watch 。 3 ）步驟 2 中獲取的節(jié)點恰好是步驟 1 中客戶端創(chuàng)建的節(jié)點，那么此客戶端獲得此種類型的鎖，然后退出操作。 4 ）客戶端在鎖目錄上調(diào)用 exists （）方法，并且設(shè)置 watch 來監(jiān)視鎖目錄下比自己小一個的連續(xù)臨時節(jié)點的狀態(tài)。 5 ）如果監(jiān)視節(jié)點狀態(tài)發(fā)生變化，則跳轉(zhuǎn)到第 2 步，繼續(xù)進(jìn)行后續(xù)的操作，直到退出鎖競爭。解鎖： ZooKeeper 解鎖操作非常簡單，客戶端只需要將加鎖操作步驟 1 中創(chuàng)建的臨時節(jié)點刪除即可。

?

同步鎖的關(guān)鍵代碼

void getLock() throws KeeperException, InterruptedException{ List<String> list = zk.getChildren(root, false); String[] nodes = list.toArray(new String[list.size()]); Arrays.sort(nodes); if(myZnode.equals(root+"/"+nodes[0])){ doAction(); } else{ waitForLock(nodes[0]); } } void waitForLock(String lower) throws InterruptedException, KeeperException {Stat stat = zk.exists(root + "/" + lower,true); if(stat != null){ mutex.wait(); } else{ getLock(); } }

?

隊列管理

Zookeeper 可以處理兩種類型的隊列：

當(dāng)一個隊列的成員都聚齊時，這個隊列才可用，否則一直等待所有成員到達(dá)，這種是同步隊列。

隊列按照 FIFO 方式進(jìn)行入隊和出隊操作，例如實現(xiàn)生產(chǎn)者和消費者模型。

同步隊列用 Zookeeper 實現(xiàn)的實現(xiàn)思路如下：

創(chuàng)建一個父目錄 /synchronizing，每個成員都監(jiān)控標(biāo)志（Set Watch）位目錄 /synchronizing/start 是否存在，然后每個成員都加入這個隊列，加入隊列的方式就是創(chuàng)建 /synchronizing/member_i 的臨時目錄節(jié)點，然后每個成員獲取 / synchronizing 目錄的所有目錄節(jié)點，也就是 member_i。判斷 i 的值是否已經(jīng)是成員的個數(shù)，如果小于成員個數(shù)等待 /synchronizing/start 的出現(xiàn)，如果已經(jīng)相等就創(chuàng)建 /synchronizing/start。

用下面的流程圖更容易理解：

圖 5. 同步隊列流程圖
?

同步隊列的關(guān)鍵代碼如下，完整的代碼請看附件：

同步隊列

void addQueue() throws KeeperException, InterruptedException{ zk.exists(root + "/start",true); zk.create(root + "/" + name, new byte[0], Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL); synchronized (mutex) { List<String> list = zk.getChildren(root, false); if (list.size() < size) { mutex.wait(); } else { zk.create(root + "/start", new byte[0], Ids.OPEN_ACL_UNSAFE,CreateMode.PERSISTENT); } } }

?

當(dāng)隊列沒滿是進(jìn)入 wait()，然后會一直等待 Watch 的通知，Watch 的代碼如下：

public void process(WatchedEvent event) { if(event.getPath().equals(root + "/start") &&event.getType() == Event.EventType.NodeCreated){ System.out.println("得到通知"); super.process(event); doAction(); } }

?

FIFO 隊列用 Zookeeper 實現(xiàn)思路如下：

實現(xiàn)的思路也非常簡單，就是在特定的目錄下創(chuàng)建 SEQUENTIAL 類型的子目錄 /queue_i，這樣就能保證所有成員加入隊列時都是有編號的，出隊列時通過 getChildren( ) 方法可以返回當(dāng)前所有的隊列中的元素，然后消費其中最小的一個，這樣就能保證 FIFO。

下面是生產(chǎn)者和消費者這種隊列形式的示例代碼，完整的代碼請看附件：

?生產(chǎn)者代碼

boolean produce(int i) throws KeeperException, InterruptedException{ ByteBuffer b = ByteBuffer.allocate(4); byte[] value; b.putInt(i); value = b.array(); zk.create(root + "/element", value, ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT_SEQUENTIAL); return true; }

消費者代碼

int consume() throws KeeperException, InterruptedException{ int retvalue = -1; Stat stat = null; while (true) { synchronized (mutex) { List<String> list = zk.getChildren(root, true); if (list.size() == 0) { mutex.wait(); } else { Integer min = new Integer(list.get(0).substring(7)); for(String s : list){ Integer tempValue = new Integer(s.substring(7)); if(tempValue < min) min = tempValue; } byte[] b = zk.getData(root + "/element" + min,false, stat); zk.delete(root + "/element" + min, 0); ByteBuffer buffer = ByteBuffer.wrap(b); retvalue = buffer.getInt(); return retvalue; } } } }

?

總結(jié)

Zookeeper 作為 Hadoop 項目中的一個子項目，是 Hadoop 集群管理的一個必不可少的模塊，它主要用來控制集群中的數(shù)據(jù)，如它管理 Hadoop 集群中的 NameNode，還有 Hbase 中 Master Election、Server 之間狀態(tài)同步等。

本文介紹的 Zookeeper 的基本知識，以及介紹了幾個典型的應(yīng)用場景。這些都是 Zookeeper 的基本功能，最重要的是 Zoopkeeper 提供了一套很好的分布式集群管理的機制，就是它這種基于層次型的目錄樹的數(shù)據(jù)結(jié)構(gòu)，并對樹中的節(jié)點進(jìn)行有效管理，從而可以設(shè)計出多種多樣的分布式的數(shù)據(jù)管理模型，而不僅僅局限于上面提到的幾個常用應(yīng)用場景。

?

來源：?http://www.cnblogs.com/ggjucheng/p/3370359.html

轉(zhuǎn)載于:https://www.cnblogs.com/tuanz/p/8709647.html

總結(jié)

以上是生活随笔為你收集整理的Zookeeper Api(java)入门与应用的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。