zookeeper笔记

落日映苍穹つ 2021-11-27 00:42 147阅读 0赞

### 1. 概念 ###

*  概述： Zookeeper 是一个开源的分布式，为分布式应用提供协调服务的Apache项目.
 *  工作机制： Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。
 *  特点：
    
     *  一个领导者（Leader）,多个跟随者(Follower)组成的集群
     *  集群中只要有半数以上结点存活，Zookeeper集群就能正常服务。
     *  全局数据一致： 每个Server保存一份相同的数据副本，Client无论链接到哪个Server,数据都是一致的。
     *  更新请求顺序进行，来自同一个Client的更新按其发送顺序依次执行。
     *  数据更新原子性，一次数据更新要么成功，要么失败
     *  实时性，在一定时间范围内，Client能读到最新数据
 *  数据结构： 树形结构，Zookeeper数据模型的结构与Unix文件系统很类似，整体上可以看作是一棵树，每个节点称为一个ZNode，每一个ZNode默认能够存储1MB的数据，每个ZNode都可以通过其路径唯一标识。
 *  应用：
    
     *  统一命名服务：在分布式环境下，经常需要对应用/服务进行统一命名，便于识别。
     *  统一配置管理：
        
         *  分布式环境下，配置文件同步非常常见
            
             *  一般要求一个集群中，所有节点的配置信息是一致的
             *  对配置文件修改后，希望能够快速同步到各个节点上
         *  配置管理可交由Zookeeper实现
            
             *  可将配置信息写入Zookeeper上的Znode
             *  各个客户端服务器监听这个Znode
             *  一旦Znode中的数据被修改，Zookeeper将通知给各个客户端服务器
     *  统一集群管理
        
         *  分布式环境中，实时掌握每个节点的状态是必要的
            
             *  可根据节点实时章台做出一些调整
         *  Zookeeper可以实现实时监控节点状态变化
            
             *  可将节点信息写入Zookeeper上的一个Znode
             *  监听这个Znode可获取它的实时状态变化
     *  服务器动态上下线
        
         *  客户端实时洞察到服务器上下线的变化
     *  软负载均衡
        
         *  在Zookeeper中记录每台服务器的访问数，让访问数最少的服务器去处理最新的客户端请求

### 2. Zookeeper内部原理 ###

*  选举机制：
    
     *  半数机制：集群中半数以上机器存活，集群可用，所以Zookeeper适合安装奇数台服务器
     *  Zookeeper虽然在配置文件中并没有指定Master和Slave，但是，Zookeeper工作时，是一个节点为Leader，其它则为Follower，Leader是通过内部的选举机制临时产生的。
     *  可以想象，几台服务器依序启动的例子。
 *  节点类型：
    
     *  持久（Persistent）:又分为普通持久、 持久化顺序编号（顺序号是一个单调递增的计数器，由父节点维护）。客户端和服务器端断开链接后，创建的节点不删除
     *  短暂（Ephemeral）:又分为普通短暂、短暂化顺序编号，客户端和服务器断开链接后，创建的节点自己删除
     *  在分布式系统中，顺序号可以被用于为所有的事件进行全局排序，这样客户端可以通过顺序号推断事件的顺序。
 *  Stat结构体
    
     *  czxid- 引起这个znode创建的zxid，创建节点的事务的zxid
     *  ctime - znode被创建的毫秒数(从1970年开始)
     *  mzxid - znode最后更新的zxid
     *  mtime - znode最后修改的毫秒数(从1970年开始)
     *  pZxid-znode最后更新的子节点zxid
     *  cversion - znode子节点变化号，znode子节点修改次数
     *  dataversion - znode数据变化号
     *  aclVersion - znode访问控制列表的变化号
     *  ephemeralOwner- 如果是临时节点，这个是znode拥有者的session id。如果不是临时节点则是0
     *  dataLength- znode的数据长度
     *  numChildren - znode子节点数量
 *  监听原理
    
     *  首先，要有一个main()线程
     *  在main线程中创建Zookeeper客户端，这时就会创建两个线程，一个负责网络链接通信(connect)，一个负责监听(listener)
     *  通过coonect线程将注册的监听的事件发送给Zookeeper
     *  在Zookeeper的注册监听器列表中将注册的监听事件添加到列表中，
     *  zookeeper监听到由数据或路径变化，就会将这个消息发送给listener线程
     *  listener线程内部调用了process()方法
 *  写数据流程：
    
     *  Client向Zookeeper的Server1上写数据，发送一个写的请求，
     *  如果Server1不是一个leader，那么Server1会把接受到的请求进一步转发给leader，因为每个zookeeper的server里面有一个是leader，这个leader会将写的请求广播给各个server，比如server1和server2，各个server写成功就会通知leader
     *  当leader收到大多数server数据写成功，那么就说数据写成功了，如果这里三个节点的话，只要有两个节点数据写成功了，那么就认为数据写成功了，写成功之后，leader会告诉server1数据写成功了。
     *  server1会进一步通知client数据写成功了，这时就认为整个写操作成功了。

### 3. Zookeeper分布式安装以及命令行 ###

*  下载地址： [http://zookeeper.apache.org/index.html][http_zookeeper.apache.org_index.html]
 *  机器规划： 在Slave1.MHadoop、Slave2.MHadoop、Slave3.MHadoop三台机器上安装zookeeper集群。
 *  解压： 在Slave1.MHadoop上安装解压zookeeper安装包。

[hadoop@Slave1 usr]$ tar -zxf /opt/sofeware/zookeeper-3.4.8.tar.gz -C /opt/modules/

*  修改配置文件名字：拷贝conf下的zoo\_sample.cfg副本，改名为zoo.cfg。

[hadoop@Slave1 usr zookeeper-3.4.10]$ cp conf/zoo_sample.cfg conf/zoo.cfg

*  修改配置文件内容：

#dataDir属性设置zookeeper的数据文件存放的目录：
    dataDir=/usr/zookeeper-3.4.10/zkData
    
    #指定zookeeper集群中各个机器的信息：
    server.1=Slave1.Hadoop:2888:3888
    server.2=Slave2.Hadoop:2888:3888
    server.3=Slave3.Hadoop:2888:3888

*  创建myid文件:在dataDir所指定的目录下创一个名为myid的文件，文件内容为server点后面的数字。

[MHadoop@Slave1 zookeeper-3.4.10]$ touch zkData/myid
    [MHadoop@Slave1 zookeeper-3.4.10]$ echo 1 >> zkData/myid 
    [MHadoop@Slave1 zookeeper-3.4.10]$ cat zkData/myid 
    1

*  分发到其它机器

[MHadoop@Slave1 zookeeper-3.4.10]$ scp -r /usr/zookeeper-3.4.10 Slave2.MHadoop:/usr/zookeeper-3.4.10
    [MHadoop@Slave1 zookeeper-3.4.10]$ scp -r /usr/zookeeper-3.4.10 Slave3.MHadoop:/usr/zookeeper-3.4.10

*  在其它机器上修改myid:
    
     *  在/usr/zookeeper-3.4.10/zkData
     *  \#vi myid ，编写机器的ID编号，改成相应的集群的ID编号，例如：1
 *  启动zookeeper集群：需要在各个机器上分别启动zookeeper。

[MHadoop@Slave1 zookeeper-3.4.10]$ bin/zkServer.sh start
    [MHadoop@Slave2 zookeeper-3.4.10]$ bin/zkServer.sh start
    [MHadoop@Slave3 zookeeper-3.4.10]$ bin/zkServer.sh start

*  客户端命令行操作：
    
     *  启动客户端： bin/zkCli.sh
     *  显示所有操作命令： help
     *  查看当前znode中所包含的内容: ls /
     *  查看当前节点详细数据：ls2 /
     *  创建普通节点： create /xxx “xxx”
     *  创建短暂节点： create -e /xxx “xx”
     *  创建带序号的节点： create -s /xxx “xx”
     *  修改节点数据值： set /xxx “new data”
     *  节点的值的变化监听： get /xxx watch
     *  节点的子节点变化监听（路径变化）:ls /xxx watch
     *  删除节点： delete /xxx/xxx
     *  递归删除节点： rmr /xxx
     *  查看节点状态: stat xxx

### 4. Zookeeper的API应用 ###

*  创建节点
 *  获取节点并监控节点的变化
 *  判断节点是否存在

package com.zcs.ZookeeperDemo;
    
    import java.io.IOException;
    import java.util.List;
    
    import org.apache.zookeeper.CreateMode;
    import org.apache.zookeeper.KeeperException;
    import org.apache.zookeeper.WatchedEvent;
    import org.apache.zookeeper.Watcher;
    import org.apache.zookeeper.ZooDefs.Ids;
    import org.apache.zookeeper.ZooKeeper;
    import org.apache.zookeeper.data.Stat;
    import org.junit.Before;
    import org.junit.Test;
    
    /** * Hello world! * */
    public class TestZookeeper 
    { 
        private String connectString = "172.21.3.211:2181,172.21.3.212:2181,172.21.3.213:2181";
    	private int sessionTimeout = 90000;
    	private ZooKeeper zooKeeper;
     
    
    	@Before
         public void init() throws IOException { 
        	 zooKeeper = new ZooKeeper(connectString, sessionTimeout, new Watcher() { 
    			
    			@Override
    			public void process(WatchedEvent event) { 
    				// TODO Auto-generated method stub
    // List<String> children = null;
    // try { 
    // children = zooKeeper.getChildren("/", true);
    // } catch (KeeperException e) { 
    // // TODO Auto-generated catch block
    // e.printStackTrace();
    // } catch (InterruptedException e) { 
    // // TODO Auto-generated catch block
    // e.printStackTrace();
    // }
    // for(String child : children) { 
    // System.out.println(child);
    // }
    // System.out.println("------------分割线--------------");
    			}
    		});
         }
    	
    	//1.创建节点
    	@Test
    	public void createNode() throws KeeperException, InterruptedException { 
    		String path = zooKeeper.create("/zcc", "test".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
    		System.out.println(path);
    	}
    	//2.获取子节点并监控节点的变化
    	@Test
    	public void getDataAndWatch() throws KeeperException, InterruptedException { 
    		List<String> children = zooKeeper.getChildren("/", true);
    		for(String child : children) { 
    			System.out.println(child);
    		}
    		//使之程序处于监控状态
    		Thread.sleep(Long.MAX_VALUE);
    	}
    	//3.判断节点是否存在
    	@Test
    	public void exists() throws KeeperException, InterruptedException { 
    		Stat stat = zooKeeper.exists("/zcs", false);
    		System.out.println(stat == null ? "not exist" : "exist");
    	}
         
    }

*  服务器动态上下线案例分析：
    
     *  服务端启动时，去注册信息
     *  启动就去getChildren，获取当前在线服务器的列表，并且注册监听
     *  服务器节点上下线
     *  服务器节点上下线通知
     *  process()\{\}重新获取服务端列表，并且注册监听
 *  DistributeServer .java

package com.zcs.ZookeeperDemo;
    
    import java.io.IOException;
    import java.util.Set;
    
    import org.apache.zookeeper.CreateMode;
    import org.apache.zookeeper.KeeperException;
    import org.apache.zookeeper.WatchedEvent;
    import org.apache.zookeeper.Watcher;
    import org.apache.zookeeper.ZooKeeper;
    import org.apache.zookeeper.ZooDefs.Ids;
    
    public class DistributeServer { 
    
    	public static void main(String[] args) throws IOException, KeeperException, InterruptedException { 
    		// TODO Auto-generated method stub
    		DistributeServer server = new DistributeServer();
    		// 1. 连接zookeeper集群
    		server.getConnect();
    		// 2. 注册节点
    		server.regist(args[0]);
    		// 3. 业务逻辑处理
    		server.business();
    	}
    	
    
    	private void business() throws InterruptedException { 
    		// TODO Auto-generated method stub
    		Thread.sleep(Long.MAX_VALUE);
    	}
    
    
    	private void regist(String hostname) throws KeeperException, InterruptedException { 
    		// TODO Auto-generated method stub
    		String create = zooKeeper.create("/servers/server", hostname.getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
    		System.out.println(hostname +" is online..");
    	}
    
    	private String connectString = "172.21.3.211:2181,172.21.3.212:2181,172.21.3.213:2181";
    	private int sessionTimeout = 90000;
    	private ZooKeeper zooKeeper;
    
    	private void getConnect() throws IOException { 
    		// TODO Auto-generated method stub
    		zooKeeper = new ZooKeeper(connectString, sessionTimeout, new Watcher() { 
    			
    			@Override
    			public void process(WatchedEvent event) { 
    				// TODO Auto-generated method stub
    				
    			}
    		});
    	}
    
    }

*  DistributeClient .java

package com.zcs.ZookeeperDemo;
    
    import java.io.IOException;
    import java.util.ArrayList;
    import java.util.Iterator;
    import java.util.List;
    
    import org.apache.zookeeper.KeeperException;
    import org.apache.zookeeper.WatchedEvent;
    import org.apache.zookeeper.Watcher;
    import org.apache.zookeeper.ZooKeeper;
    
    public class DistributeClient { 
    	public static void main(String[] args) throws IOException, KeeperException, InterruptedException { 
    		DistributeClient client = new DistributeClient();
    		// 1.获取集群连接
    		client.getConnect();
    		// 2.注册监听
    		client.getChildren();
    		// 3. 业务逻辑处理
    		client.business();
    	}
    
    	private void business() throws InterruptedException { 
    		// TODO Auto-generated method stub
    		Thread.sleep(Long.MAX_VALUE);
    	}
    
    	private void getChildren() throws KeeperException, InterruptedException { 
    		// TODO Auto-generated method stub
    		List<String> children = zooKeeper.getChildren("/servers", true);
    		ArrayList<String> hosts = new ArrayList<String>();
    		for (String child : children) { 
    			byte[] data = zooKeeper.getData("/servers/"+child, false, null);
    			hosts.add(new String(data));
    		}
    
    		System.out.println(hosts);
    
    	}
    
    	private String connectString = "172.21.3.211:2181,172.21.3.212:2181,172.21.3.213:2181";
    	private int sessionTimeout = 90000;
    	private ZooKeeper zooKeeper;
    
    	private void getConnect() throws IOException { 
    		// TODO Auto-generated method stub
    		  zooKeeper = new ZooKeeper(connectString, sessionTimeout, new Watcher() { 
    			
    			@Override
    			public void process(WatchedEvent event) { 
    				// TODO Auto-generated method stub
    				try { 
    					getChildren();
    				} catch (KeeperException e) { 
    					// TODO Auto-generated catch block
    					e.printStackTrace();
    				} catch (InterruptedException e) { 
    					// TODO Auto-generated catch block
    					e.printStackTrace();
    				}
    			}
    		});
    	}
    }

[http_zookeeper.apache.org_index.html]: http://zookeeper.apache.org/index.html