ZooKeeper

ZooKeeper 是一个分布式的、开放源码的分布式应用程序协同服务,其设计目标是将那些复杂且容易出错的分布式一致性服务封装起来,构成一个高效可靠的原语集,并以一系列简单易用的接口提供给用户使用。

其核心思想是 **用一棵统一的层次化 znode 数据树(data tree)把分布式一致性问题封装成简单可靠的原语**,让开发者通过类文件系统的接口即可实现锁、选主、配置管理等协同机制,而无需自己处理底层的协调细节。

传统自建分布式协调(如手工实现锁、心跳检测、主从选举)往往复杂且容易出错、难以维护;ZooKeeper 提供统一的树形原语与临时/顺序节点等机制,让分布式协同变得简单可靠。

ZooKeeper 3.8.4 · Curator 5.1.0

1. 概述

1.1 简介

ZooKeeper 是一个分布式的、开放源码的分布式应用程序协同服务。ZooKeeper 的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来,构成一个高效可靠的原语集,并以一系列简单易用的接口提供给用户使用。

1.2 数据模型

ZooKeeper 的数据模型是层次模型。层次模型常见于文件系统。层次模型和 key-value 模型是两种主流的数据模型。ZooKeeper 使用文件系统模型主要基于以下两点考虑:

  1. 文件系统的树形结构便于表达数据之间的层次关系。
  2. 文件系统的树形结构便于为不同的应用分配独立的命名空间(namespace)。

ZooKeeper 的层次模型称作 data tree。Data tree 的每个节点叫做 znode。不同于文件系统,每个节点都可以保存数据。每个节点都有一个版本(version),版本从 0 开始计数。

如上图所示的 data tree 中有两个子树,一个用于应用 1(/app1)和另一个用于应用 2(/app2)。

应用 1 的子树实现了一个简单的组成员协议:每个客户端进程 pi 创建一个 znode p_i 在 /app1 下,只要 /app1/p_i 存在就代表进程 pi 在正常运行。

1.3 data tree 接口

ZooKeeper 对外提供一个用来访问 data tree 的简化文件系统 API:

  • 使用 UNIX 风格的路径名来定位 znode,例如 /A/X 表示 znode A 的子节点 X。
  • znode 的数据只支持全量写入和读取,没有像通用文件系统那样支持部分写入和读取。
  • data tree 的所有 API 都是 wait-free 的,正在执行中的 API 调用不会影响其他 API 的完成。
  • data tree 的 API 都是对文件系统的 wait-free 操作,不直接提供锁这样的分布式协同机制。但是 data tree 的 API 非常强大,可以用来实现多种分布式协同机制。

1.4 znode 分类

一个 znode 可以是持久性的,也可以是临时性的,znode 节点也可以是顺序性的。每一个顺序性的 znode 关联一个唯一的单调递增整数,因此 ZooKeeper 主要有以下 4 种 znode:

类型 说明
持久性的 znode(PERSISTENT) ZooKeeper 宕机,或者 client 宕机,这个 znode 一旦创建就不会丢失。
临时性的 znode(EPHEMERAL) ZooKeeper 宕机了,或者 client 在指定的 timeout 时间内没有连接 server,都会被认为丢失。
持久顺序性的 znode(PERSISTENT_SEQUENTIAL) 除具备持久性 znode 的特点外,znode 的名字具备顺序性。
临时顺序性的 znode(EPHEMERAL_SEQUENTIAL) 除具备临时性 znode 的特点外,znode 的名字具备顺序性。
**小结** znode 的「持久/临时」决定生命周期,「顺序」决定名字是否带单调递增序号,二者可组合出四种节点类型。

2. 安装与配置 ZooKeeper

下载地址:https://archive.apache.org/dist/zookeeper/stable/

2.1 下载与解压

> tar -zxvf apache-zookeeper-3.8.4-bin.tar.gz
>
> mv apache-zookeeper-3.8.4-bin zookeeper
>
> rm apache-zookeeper-3.8.4-bin

2.2 配置文件 zoo.cfg

把 conf 目录下的 zoo_sample.cfg 重命名为 zoo.cfg,然后修改配置。

# 心跳检查的时间 2秒
tickTime=2000
# 初始化时 连接到服务器端的间隔次数,总时间10*2=20秒
initLimit=10
# ZK Leader 和follower 之间通讯的次数,总时间5*2=10秒
syncLimit=5
# 存储内存中数据快照的位置,如果不设置参数,更新事务日志将被存储到默认位置。
dataDir=/data/zookeeper
# ZK 服务器端的监听端口  
clientPort=2181

2.3 环境变量与启动

配置以下环境变量 vim /etc/profile :

export ZOOKEEPER_HOME=/root/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf
> `source /etc/profile`

运行 zookeeper

[root@localhost bin]# zkServer.sh start
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /root/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... already running as process 1024705.

检查 ZooKeeper 日志是否有出错信息:

[root@localhost zookeeper]# cd logs/
[root@localhost logs]# grep -E -i "((exception)|(error))" *

2.4 客户端命令

> zkCli.sh -server localhost:2181

命令基本语法如下:

命令 说明
help 显示所有操作命令
ls path 使用 ls 命令查看当前 znode 中所包含的内容
ls2 path 查看当前节点数据并能看到更新次数等数据
create 普通创建;-s 含有序列,-e 临时节点(重启或者超时消失)
get path 获取节点的值
set 设置节点的值
stat 查看节点状态
delete 删除节点
rmr 递归删除节点
deleteall path 删除所有节点

3. Curator 客户端

3.1 引入依赖

<dependency>
    <groupId>org.apache.curator</groupId>
    <artifactId>curator-framework</artifactId>
    <version>5.1.0</version>
</dependency>
<dependency>
    <groupId>org.apache.curator</groupId>
    <artifactId>curator-recipes</artifactId>
    <version>5.1.0</version>
</dependency>

3.2 创建连接

//失败一次休眠3秒,最多重试3次
ExponentialBackoffRetry retry = new ExponentialBackoffRetry(3000, 10);

CuratorFramework client = 
    CuratorFrameworkFactory.newClient("192.168.3.133:2181", 60 * 1000, 15 * 1000, retry);
//开启服务端
client.start();
CuratorFramework nClient = CuratorFrameworkFactory.builder()
    .sessionTimeoutMs(60 * 1000)
    .connectionTimeoutMs(15 * 1000)
    .connectString("192.168.3.133:2181")
    .retryPolicy(retry).build();
nClient.start();

3.3 创建节点

withMode 创建节点的模式,forPath 创建节点的 path。

String path = client.create().withMode(CreateMode.CONTAINER).forPath("/app1");

byte[] bytes = client.getData().forPath("/app1"); //获取数据

3.4 修改数据

使用版本号可以防止多个进程修改 data 而产生错误。

Stat status = new Stat();
client.getData().storingStatIn(status).forPath("/app1");

int version = status.getAversion();
client.setData().withVersion(version).forPath("/app1","test".getBytes());

3.5 删除节点

//删除单个节点
client.delete().forPath("/app1");
//删除节点及以下所有子节点
client.delete().deletingChildrenIfNeeded().forPath("/app1");
//必须删除成功
client.delete().guaranteed().forPath("/app1");
//回调
client.delete().guaranteed().inBackground((client,event)->{
    System.out.println("event = " + event);
}).forPath("/app1");

4. Watcher 事件处理器

一个 Watcher 监听器在向服务端完成注册后,当服务端的一些事件触发了这个 Watcher,那么就会向指定客户端发送一个事件通知,来实现分布式的通知功能。客户收到服务器的通知后,Curator 会封装一个 WatchedEvent 事件实例,传递给监听器的回调方法 process(WatchedEvent event)。

4.1 WatchedEvent 属性

WatchedEvent 包含了三个基本属性:

  1. 通知状态(keeperState)
  2. 事件类型(EventType)
  3. 节点路径(path)

注意,WatchedEvent 并不是直接从 ZooKeeper 集群直接传递过来的事件实例,而是 Curator 封装过的事件实例。WatchedEvent 类型没有实现序列化接口 java.io.Serializable,因此不能用于网络传输。ZooKeeper 集群直接网络传输传递过来的事件实例是一个 WatcherEvent 类型的实例,这个传输实例和 Curator 封装过的 WatchedEvent 实例,在名称上有一个字母之差,而且功能也是一样的,都表示的是同一个事物,都是对一个服务端事件的封装。

4.2 监听示例

感知自身节点变化:

final NodeCache nodeCache = new NodeCache(client,"/app");
nodeCache.getListenable().addListener(()->{
    byte[] data = nodeCache.getCurrentData().getData();
    System.out.println(new String(data));
});
nodeCache.start();

感知子节点变化:

PathChildrenCache pathChildrenCache = new PathChildrenCache(client,"/app",true);
pathChildrenCache.getListenable().addListener((client,event)->{
    PathChildrenCacheEvent.Type type = event.getType();
    if (type.equals(PathChildrenCacheEvent.Type.CHILD_UPDATED)){
        byte[] data = event.getData().getData();
        System.out.println(new String(data));
    }
});
pathChildrenCache.start();

感知子节点与自身节点变化:

TreeCache treeCache = new TreeCache(client,"/app");
treeCache.getListenable().addListener((client,event)->{
    byte[] data = event.getData().getData();
    System.out.println(new String(data));
});
treeCache.start();

5. 分布式锁实现

  • 利用 ZooKeeper 可以创建临时带序号节点的特性来实现一个分布式锁。
  • 多个系统的多个线程都要在此目录下创建临时的顺序节点,因为 Zk 会为我们保证节点的顺序性,所以可以利用节点的顺序性来对不同线程的先来后到进行判断。此时,在分布式下应该添加锁的线程就是 zk 指定目录下序号最小的临时序列节点所代表的线程。
  • 当每个线程请求对应资源时,都需要先在 zk 指定目录下创建临时顺序节点,然后获取当前目录下最小的节点序号(加锁的线程),判断最小节点是不是当前节点(判断是不是自己),如果是那么获取锁成功,如果不是那么获取锁失败。
  • 获取锁失败的线程获取当前节点上一个临时顺序节点,并对对此节点进行监听。当该节点删除的时候(上一个线程执行结束删除或者是掉线 zk 删除临时节点)这个线程会获取到通知,代表获取到了锁。
**注意** 每个节点都只监听它的上一个节点即可,而不是监听序号最小的节点。因为临时节点都是带序号的,而且序号不会回退,所以只需要监听比其小 1 的节点。只要比它小 1 的节点被清除,则它就可以拿到资源去操作。
public class Ticket implements Runnable{
    private Integer number = 10;

    private InterProcessMutex lock;

    public Ticket(){
        ExponentialBackoffRetry retry = new ExponentialBackoffRetry(3000, 10);
        CuratorFramework client = CuratorFrameworkFactory.builder()
                .sessionTimeoutMs(60 * 1000)
                .connectionTimeoutMs(15 * 1000)
                .connectString("192.168.3.133:2181")
                .retryPolicy(retry).build();
        client.start();
        lock = new InterProcessMutex(client,"/lock");
    }

    @Override
    public void run() {
        while (true){
            //加锁
            try {
                lock.acquire(3, TimeUnit.SECONDS);
                if (number > 0){
                    System.out.println("number = " + number);
                    number--;
                }
            } catch (Exception e) {
                throw new RuntimeException(e);
            }finally {
                //释放锁
                try {
                    lock.release();
                } catch (Exception e) {
                    throw new RuntimeException(e);
                }
            }

        }
    }
}

6. 集群搭建

6.1 角色说明

ZooKeeper 集群模式一共有三种类型的角色:

角色 说明
Leader 处理所有的事务请求(写请求),可以处理读请求,集群中只能有一个 Leader。
Follower 只能处理读请求,同时作为 Leader 的候选节点;如果 Leader 宕机,Follower 节点要参与到新的 Leader 选举中,有可能成为新的 Leader 节点。
Observer 只能处理读请求,不能参与选举。

6.2 部署步骤

安装 jdk、zookeeper,并准备三个节点目录:

> mkdir zooclu
>
> cp -r zookeeper zooclu/zoo1
>
> cp -r zoo1/ ./zoo2/
>
> cp -r zoo1/ ./zoo3/

更改 dataDir 目录和 ClientPort,并写入 myid:

> /root/zooclu/zoo1/logs
>
> /root/zooclu/zoo2/logs
>
> /root/zooclu/zoo2/logs
>
> CLientPort 2181 2182 2183
>
> echo 1 > /root/zooclu/zoo1/logs/myid
>
> echo 2 > /root/zooclu/zoo2/logs/myid
>
> echo 3 > /root/zooclu/zoo3/logs/myid
>
> 服务间通信端口     服务器投票选举接口
>
> server.1 = 192.168.3.133:2881:3881
>
> server.2 = 192.168.3.133:2882:3882
>
> server.3 = 192.168.3.133:2883:3883

启动并查看状态:

> /root/zooclu/zoo1/bin/zkServer.sh start
>
> /root/zooclu/zoo2/bin/zkServer.sh start
>
> /root/zooclu/zoo3/bin/zkServer.sh start
>
> 查看状态
>
> /root/zooclu/zoo1/bin/zkServer.sh status
>
> /root/zooclu/zoo2/bin/zkServer.sh status
>
> /root/zooclu/zoo3/bin/zkServer.sh status
集群状态

一句话总结:ZooKeeper 通过统一的层次化 znode 数据树与临时/顺序节点等原语,为分布式系统提供简单可靠的协调服务,可据此实现配置管理、Watcher 监听、分布式锁与高可用集群。