zookeeper框架——Java API开发

约定不等于承诺〃 2022-05-15 14:35 188阅读 0赞

# 一、基本运用 #

org.apache.zookeeper.Zookeeper是客户端入口主类，负责建立与server的会话。它提供了表 1 所示几类主要方法 ：

<table style="width:0px;"> 
 <tbody> 
 <tr> 
 <td style="width:126pt;"> 功能 </td> 
 <td style="width:240.7pt;"> 描述 </td> 
 </tr> 
 <tr> 
 <td style="width:126pt;"> create </td> 
 <td style="width:240.7pt;"> 在本地目录树中创建一个节点 </td> 
 </tr> 
 <tr> 
 <td style="width:126pt;"> delete </td> 
 <td style="width:240.7pt;"> 删除一个节点 </td> 
 </tr> 
 <tr> 
 <td style="width:126pt;"> exists </td> 
 <td style="width:240.7pt;"> 测试本地是否存在目标节点 </td> 
 </tr> 
 <tr> 
 <td style="width:126pt;"> get/set data </td> 
 <td style="width:240.7pt;"> 从目标节点上读取&nbsp;/&nbsp;写数据 </td> 
 </tr> 
 <tr> 
 <td style="width:126pt;"> get/set ACL </td> 
 <td style="width:240.7pt;"> 获取&nbsp;/&nbsp;设置目标节点访问控制列表信息 </td> 
 </tr> 
 <tr> 
 <td style="width:126pt;"> get children </td> 
 <td style="width:240.7pt;"> 检索一个子节点上的列表 </td> 
 </tr> 
 <tr> 
 <td style="width:126pt;"> sync </td> 
 <td style="width:240.7pt;"> 等待要被传送的数据 </td> 
 </tr> 
 </tbody> 
</table>

下面以基本的增删改查来演示，首先主体框架为：

public class SimpleZkClient {
    
    	private static final String connectString="Hadoop003:2181,hadoop004:2181,hadoop005:2181";
    	private static final int sessionTimeout = 2000;
    
    	ZooKeeper zkClient = null;
    	@Before
    	public void init() throws Exception {
            //Watcher 看基本介绍里面的监听讲解，这里在初始化时就创建监听事件，然后在运行下面的程序时，如果node有改变就会把监听事件打印出来
    		zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
    			@Override
    			public void process(WatchedEvent event) {
    				// 收到事件通知后的回调函数（应该是我们自己的事件处理逻辑）
    				System.out.println(event.getType() + "---" + event.getPath());
    				try {
    					zkClient.getChildren("/", true);//true为启动监听，false不见他，后面都是
    				} catch (Exception e) {
    				}
    			}
    		});
    	}	
    }

注意：在这里不能配成Ip+port，因为zookeeper绑定的是hostname，而不是Ip，否则会报错

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMTcyMTMz_size_16_color_FFFFFF_t_70][]

*  **创建数据节点到zk中**

@Test
    public void testCreate() throws KeeperException, InterruptedException {
    	// 参数1：要创建的节点的路径 参数2：节点大数据 参数3：节点的权限 参数4：节点的类型
    	String nodeCreated = zkClient.create("/eclipse", "hellozk".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
    	//上传的数据可以是任何类型，但都要转成byte[]
    }

*  **判断znode是否存在**

@Test	
    public void testExist() throws Exception{
    	Stat stat = zkClient.exists("/eclipse", false);
    	System.out.println(stat==null?"not exist":"exist");
    }

*  **获取子节点**

@Test
 public void getChildren() throws Exception {
 	List<String> children = zkClient.getChildren("/", true);
 	for (String child : children) {
 		System.out.println(child);
 	}
 	Thread.sleep(Long.MAX_VALUE);
 }

*  **获取znode的数据**

@Test
    public void getData() throws Exception {
    	byte[] data = zkClient.getData("/eclipse", false, null);
    	System.out.println(new String(data));
    }

*  **删除znode**

@Test
    public void deleteZnode() throws Exception {
    	//参数2：指定要删除的版本，-1表示删除所有版本
    	zkClient.delete("/eclipse", -1);
    }

*  **修改znode**

@Test
    public void setData() throws Exception {
    	zkClient.setData("/app1", "imissyou angelababy".getBytes(), -1);
    	byte[] data = zkClient.getData("/app1", false, null);
    	System.out.println(new String(data));
    }

# 二、zookeeper应用案例 #

## 1、实现分布式应用的(主节点HA)及客户端动态更新主节点状态 ##

某分布式系统中，主节点可以有多台，可以动态上下线，任意一台客户端都能实时感知到主节点服务器的上下线。就是在服务器端，每次服务器端上线（启动）时，就会到zookeeper上注册自己（就是创建node节点）注意这个node节点应该是短暂型的，即服务端断开连接后就删除（设置的超时时间）；然后在客户端，就监听服务端创建node节点的父节点，然后启动监听，就可以用来感知服务器端动态上下线了。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMTcyMTMz_size_16_color_FFFFFF_t_70 1][]

*  **首先服务器端实现如下：**

public class DistributedServer {
    	private static final String connectString="hadoop003:2181,hadoop004:2181,hadoop005:2181";
    	private static final int sessionTimeout = 2000;
    	private static final String parentNode = "/servers";
    
    	private ZooKeeper zk = null;
    
    	/**
    	 * 创建到zk的客户端连接
    	 * 
    	 * @throws Exception
    	 */
    	public void getConnect() throws Exception {
    
    		zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
    			@Override
    			public void process(WatchedEvent event) {
    				// 收到事件通知后的回调函数（应该是我们自己的事件处理逻辑）
    				System.out.println(event.getType() + "---" + event.getPath());
    				try {
    					zk.getChildren("/", true);
    				} catch (Exception e) {
    				}
    			}
    		});
    
    	}
    
    	/**
    	 * 向zk集群注册服务器信息
    	 * 
    	 * @param hostname
    	 * @throws Exception
    	 */
    	public void registerServer(String hostname) throws Exception {
    
    		String create = zk.create(parentNode + "/server", hostname.getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
    		System.out.println(hostname + "is online.." + create);
    
    	}
    
    	/**
    	 * 业务功能,这里没有
    	 * 
    	 * @throws InterruptedException
    	 */
    	public void handleBussiness(String hostname) throws InterruptedException {
    		System.out.println(hostname + "start working.....");
    		Thread.sleep(Long.MAX_VALUE);
    	}
    	
    	public static void main(String[] args) throws Exception {
    
    		// 获取zk连接
    		DistributedServer server = new DistributedServer();
    		server.getConnect();
    
    		// 利用zk连接注册服务器信息
    		server.registerServer(args[0]);
    
    		// 启动业务功能
    		server.handleBussiness(args[0]);
    
    	}
    }

说明：这里我们把服务器的名字放在了/server目录下面，要先创建该目录才行，然后在运行时main要传入服务名的参数，eclipse运行main传入参数

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMTcyMTMz_size_16_color_FFFFFF_t_70 2][]

然后客户端实现如下：

public class DistributedClient {
 
 	private static final String connectString="hadoop003:2181,hadoop004:2181,hadoop005:2181";
 	private static final int sessionTimeout = 2000;
 	private static final String parentNode = "/servers";
 	// 注意:加volatile的意义何在？就会操作堆内存，也就是当客户端有多个时，所有客户端使用的该内存一样，保证数据一致性。
 	private volatile List<String> serverList;
 	private ZooKeeper zk = null;
 
 	/**
 	 * 创建到zk的客户端连接
 	 * 
 	 * @throws Exception
 	 */
 	public void getConnect() throws Exception {
 
 		zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
 			@Override
 			public void process(WatchedEvent event) {
 				// 收到事件通知后的回调函数（应该是我们自己的事件处理逻辑）
 				try {
 					//重新更新服务器列表，并且注册了监听
 					getServerList();
 
 				} catch (Exception e) {
 				}
 			}
 		});
 
 	}
 
 	/**
 	 * 获取服务器信息列表
 	 * 
 	 * @throws Exception
 	 */
 	public void getServerList() throws Exception {
 
 		// 获取服务器子节点信息，并且对父节点进行监听
 		List<String> children = zk.getChildren(parentNode, true);
 
 		// 先创建一个局部的list来存服务器信息
 		List<String> servers = new ArrayList<String>();
 		for (String child : children) {
 			// child只是子节点的节点名，所以不监听，监听父节点，得子节点的改变情况；监听子节点得子节点里面的数据改变情况
 			byte[] data = zk.getData(parentNode + "/" + child, false, null);
 			servers.add(new String(data));
 		}
 		// 把servers赋值给成员变量serverList，已提供给各业务线程使用
 		serverList = servers;
 		
 		//打印服务器列表
 		System.out.println(serverList);
 		
 	}
 
 	/**
 	 * 业务功能
 	 * 
 	 * @throws InterruptedException
 	 */
 	public void handleBussiness() throws InterruptedException {
 		System.out.println("client start working.....");
 		Thread.sleep(Long.MAX_VALUE);
 	}
 	
 	
 	public static void main(String[] args) throws Exception {
 
 		// 获取zk连接
 		DistributedClient client = new DistributedClient();
 		client.getConnect();
 		// 获取servers的子节点信息（并监听），从中获取服务器信息列表
 		client.getServerList();
 
 		// 业务线程启动
 		client.handleBussiness();
 		
 	}
 }

## 2、分布式共享锁的简单实现 ##

当多个客户端同时竞争某一资源时就要进行加锁操作，但是在分布式系统中应该如何加锁呢？可以采用zookeeper来辅助完成，下面是其实现思路：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMTcyMTMz_size_16_color_FFFFFF_t_70 3][]

public class DistributedClientLock {
 	
 
 	// 会话超时
 	private static final int SESSION_TIMEOUT = 2000;
 	// zookeeper集群地址
 	private String hosts = "hadoop003:2181,hadoop004:2181,hadoop005:2181";
 	private String groupNode = "locks";
 	private String subNode = "sub";
 	private boolean haveLock = false;
 
 	private ZooKeeper zk;
 	// 记录自己创建的子节点路径
 	private volatile String thisPath;
 
 	/**
 	 * 连接zookeeper
 	 */
 	public void connectZookeeper() throws Exception {
 		zk = new ZooKeeper(hosts, SESSION_TIMEOUT, new Watcher() {
 			public void process(WatchedEvent event) {
 				try {
 
 					// 判断事件类型，此处只处理子节点变化事件
 					if (event.getType() == EventType.NodeChildrenChanged && event.getPath().equals("/" + groupNode)) {
 						//获取子节点，并对父节点进行监听
 						List<String> childrenNodes = zk.getChildren("/" + groupNode, true);
 						String thisNode = thisPath.substring(("/" + groupNode + "/").length());
 						// 去比较是否自己是最小id
 						Collections.sort(childrenNodes);
 						if (childrenNodes.indexOf(thisNode) == 0) {
 							//访问共享资源处理业务，并且在处理完成之后删除锁
 							doSomething();
 							
 							//重新注册一把新的锁
 							thisPath = zk.create("/" + groupNode + "/" + subNode, null, Ids.OPEN_ACL_UNSAFE,
 									CreateMode.EPHEMERAL_SEQUENTIAL);
 						}
 					}
 				} catch (Exception e) {
 					e.printStackTrace();
 				}
 			}
 		});
 
 		// 1、程序一进来就先注册一把锁到zk上
 		thisPath = zk.create("/" + groupNode + "/" + subNode, null, Ids.OPEN_ACL_UNSAFE,
 				CreateMode.EPHEMERAL_SEQUENTIAL);
 
 		// wait一小会，便于观察
 		Thread.sleep(new Random().nextInt(1000));
 
 		// 从zk的锁父目录下，获取所有子节点，并且注册对父节点的监听
 		List<String> childrenNodes = zk.getChildren("/" + groupNode, true);
 
 		//如果争抢资源的程序就只有自己，则可以直接去访问共享资源 
 		if (childrenNodes.size() == 1) {
 			doSomething();
 			thisPath = zk.create("/" + groupNode + "/" + subNode, null, Ids.OPEN_ACL_UNSAFE,
 					CreateMode.EPHEMERAL_SEQUENTIAL);
 		}
 	}
 
 	/**
 	 * 处理业务逻辑，并且在最后释放锁
 	 */
 	private void doSomething() throws Exception {
 		try {
 			System.out.println("gain lock: " + thisPath);
 			Thread.sleep(2000);
 			// do something
 		} finally {
 			System.out.println("finished: " + thisPath);
 			zk.delete(this.thisPath, -1);
 		}
 	}
 
 	public static void main(String[] args) throws Exception {
 		DistributedClientLock dl = new DistributedClientLock();
 		dl.connectZookeeper();
 		Thread.sleep(Long.MAX_VALUE);
 	}
 }

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMTcyMTMz_size_16_color_FFFFFF_t_70]: /images/20220503/bcd4d1cbe3784854b53ae859c3676879.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMTcyMTMz_size_16_color_FFFFFF_t_70 1]: /images/20220503/20c4fb7d0bac4a65bf4727e98625a5ab.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMTcyMTMz_size_16_color_FFFFFF_t_70 2]: /images/20220503/300a5a238b68467bb5b3a0e8f4f8a9e1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMTcyMTMz_size_16_color_FFFFFF_t_70 3]: /images/20220503/5b32f12e21334668a891bc28da45ab01.png