Twitter雪花算法SnowFlake介绍

谁借莪１个温暖的怀抱￠ 2022-11-21 15:10 284阅读 0赞

最近了解到SnowFlake算法，网上查了查资料，这里记录一下。

前言

  1.    分布式系统中，有一些需要使用全局唯一ID的场景，这种时候为了防止ID冲突可以使用36位的UUID，但是UUID有一些缺点，首先他相对比较长，另外UUID一般是无序的。  
  2.    有些时候我们希望能使用一种简单一些的ID，并且希望ID能够按照时间有序生成。  
  3.    而twitter的SnowFlake解决了这种需求，最初Twitter把存储系统从MySQL迁移到Cassandra，因为Cassandra没有顺序ID生成机制，所以开发了这样一套全局唯一ID生成服务。

1 理解分布式id生成算法SnowFlake

1.1 概述

SnowFlake算法生成id的结果是一个64bit大小的整数，它的结构如下图：

49709d8c204a19b797710b4a5b02c3d5.png

0 - 41位时间戳 - 5位数据中心标识 - 5位机器标识 - 12位序列号

说明：

  • 1) 1位，不用。二进制中最高位为1的都是负数，但是我们生成的id一般都使用整数，所以这个最高位固定是0

  • 2) 41位，用来记录时间戳（毫秒）。

    1.    41位可以表示2^41−1个数字，如果只用来表示正整数（计算机中正数包含0），可以表示的数值范围是：0 至 2^41−1，减1是因为可表示的数值范围是从0开始算的，而不是1。
    3.    也就是说41位可以表示2^41−1个毫秒的值，转化成单位年则是(2^41−1)/(1000∗60∗60∗24∗365)=69年

  • 3) 10位，用来记录工作机器id。

    1.    可以部署在2^10=1024个节点，包括5位datacenterId和5位workerId
    3.    5位（bit）可以表示的最大正整数是2^5−1=31，即可以用0、1、2、3、....31这32个数字，来表示不同的datecenterId或workerId

  • 4) 12位，序列号，用来记录同毫秒内产生的不同id。

    1.     12位（bit）可以表示的最大正整数是2^12−1=4095，即可以用0、1、2、3、....4094这4095个数字，来表示同一机器同一时间截（毫秒)内产生的4095个ID序号
    3.      由于在Java中64bit的整数是long类型，所以在Java中SnowFlake算法生成的id就是long来存储的。

1.2 雪花算法的作用

SnowFlake可以保证：

  1. 所有生成的id按时间趋势递增
  3. 整个分布式系统内不会产生重复id（因为有datacenterId和workerId来做区分）

2 算法实现（Java）

Twitter官方给出的算法实现 是用Scala写的，这里不做分析，可自行查看。

Java版算法实现：搬运自煲煲菜的博客

2.1 实现1

  1. public class IdWorker{
  3.     //下面两个每个5位，加起来就是10位的工作机器id
  4.     private long workerId;    //工作id
  5.     private long datacenterId;   //数据id
  6.     //12位的序列号
  7.     private long sequence;
  9.     public IdWorker(long workerId, long datacenterId, long sequence){
  10.         // sanity check for workerId
  11.         if (workerId > maxWorkerId || workerId < 0) {
  12.             throw new IllegalArgumentException(String.format("worker Id can't be greater than %d or less than 0",maxWorkerId));
  13.         }
  14.         if (datacenterId > maxDatacenterId || datacenterId < 0) {
  15.             throw new IllegalArgumentException(String.format("datacenter Id can't be greater than %d or less than 0",maxDatacenterId));
  16.         }
  17.         System.out.printf("worker starting. timestamp left shift %d, datacenter id bits %d, worker id bits %d, sequence bits %d, workerid %d",
  18.                 timestampLeftShift, datacenterIdBits, workerIdBits, sequenceBits, workerId);
  20.         this.workerId = workerId;
  21.         this.datacenterId = datacenterId;
  22.         this.sequence = sequence;
  23.     }
  25.     //初始时间戳
  26.     private long twepoch = 1288834974657L;
  28.     //长度为5位
  29.     private long workerIdBits = 5L;
  30.     private long datacenterIdBits = 5L;
  31.     //最大值
  32.     private long maxWorkerId = -1L ^ (-1L << workerIdBits);
  33.     private long maxDatacenterId = -1L ^ (-1L << datacenterIdBits);
  34.     //序列号id长度
  35.     private long sequenceBits = 12L;
  36.     //序列号最大值
  37.     private long sequenceMask = -1L ^ (-1L << sequenceBits);
  39.     //工作id需要左移的位数，12位
  40.     private long workerIdShift = sequenceBits;
  41.    //数据id需要左移位数 12+5=17位
  42.     private long datacenterIdShift = sequenceBits + workerIdBits;
  43.     //时间戳需要左移位数 12+5+5=22位
  44.     private long timestampLeftShift = sequenceBits + workerIdBits + datacenterIdBits;
  46.     //上次时间戳，初始值为负数
  47.     private long lastTimestamp = -1L;
  49.     public long getWorkerId(){
  50.         return workerId;
  51.     }
  53.     public long getDatacenterId(){
  54.         return datacenterId;
  55.     }
  57.     public long getTimestamp(){
  58.         return System.currentTimeMillis();
  59.     }
  61.      //下一个ID生成算法
  62.     public synchronized long nextId() {
  63.         long timestamp = timeGen();
  65.         //获取当前时间戳如果小于上次时间戳，则表示时间戳获取出现异常
  66.         if (timestamp < lastTimestamp) {
  67.             System.err.printf("clock is moving backwards.  Rejecting requests until %d.", lastTimestamp);
  68.             throw new RuntimeException(String.format("Clock moved backwards.  Refusing to generate id for %d milliseconds",
  69.                     lastTimestamp - timestamp));
  70.         }
  72.         //获取当前时间戳如果等于上次时间戳（同一毫秒内），则在序列号加一；否则序列号赋值为0，从0开始。
  73.         if (lastTimestamp == timestamp) {
  74.             sequence = (sequence + 1) & sequenceMask;
  75.             if (sequence == 0) {
  76.                 timestamp = tilNextMillis(lastTimestamp);
  77.             }
  78.         } else {
  79.             sequence = 0;
  80.         }
  82.         //将上次时间戳值刷新
  83.         lastTimestamp = timestamp;
  85.         /**
  86.           * 返回结果：
  87.           * (timestamp - twepoch) << timestampLeftShift) 表示将时间戳减去初始时间戳，再左移相应位数
  88.           * (datacenterId << datacenterIdShift) 表示将数据id左移相应位数
  89.           * (workerId << workerIdShift) 表示将工作id左移相应位数
  90.           * | 是按位或运算符，例如：x | y，只有当x，y都为0的时候结果才为0，其它情况结果都为1。
  91.           * 因为个部分只有相应位上的值有意义，其它位上都是0，所以将各部分的值进行 | 运算就能得到最终拼接好的id
  92.         */
  93.         return ((timestamp - twepoch) << timestampLeftShift) |
  94.                 (datacenterId << datacenterIdShift) |
  95.                 (workerId << workerIdShift) |
  96.                 sequence;
  97.     }
  99.     //获取时间戳，并与上次时间戳比较
  100.     private long tilNextMillis(long lastTimestamp) {
  101.         long timestamp = timeGen();
  102.         while (timestamp <= lastTimestamp) {
  103.             timestamp = timeGen();
  104.         }
  105.         return timestamp;
  106.     }
  108.     //获取系统时间戳
  109.     private long timeGen(){
  110.         return System.currentTimeMillis();
  111.     }
  113.     //---------------测试---------------
  114.     public static void main(String[] args) {
  115.         IdWorker worker = new IdWorker(1,1,1);
  116.         for (int i = 0; i < 30; i++) {
  117.             System.out.println(worker.nextId());
  118.         }
  119.     }
  121. }

2.2 实现2

java版的雪花算法：

  1. public class SnowFlake {
  3.     /**
  4.      * 起始的时间戳:这个时间戳自己随意获取，比如自己代码的时间戳
  5.      */
  6.     private final static long START_STMP = 1543903501000L;
  8.     /**
  9.      * 每一部分占用的位数
  10.      */
  11.     private final static long SEQUENCE_BIT = 12; //序列号占用的位数
  12.     private final static long MACHINE_BIT = 5;  //机器标识占用的位数
  13.     private final static long DATACENTER_BIT = 5;//数据中心占用的位数
  15.     /**
  16.      * 每一部分的最大值：先进行左移运算，再同-1进行异或运算；异或：相同位置相同结果为0，不同结果为1
  17.      */
  18.      /** 用位运算计算出最大支持的数据中心数量：31 */
  19.     private final static long MAX_DATACENTER_NUM = -1L ^ (-1L << DATACENTER_BIT);
  21.     /** 用位运算计算出最大支持的机器数量：31 */
  22.     private final static long MAX_MACHINE_NUM = -1L ^ (-1L << MACHINE_BIT);
  24.     /** 用位运算计算出12位能存储的最大正整数：4095 */
  25.     private final static long MAX_SEQUENCE = -1L ^ (-1L << SEQUENCE_BIT);
  27.     /**
  28.      * 每一部分向左的位移
  29.      */
  31.      /** 机器标志较序列号的偏移量 */
  32.     private final static long MACHINE_LEFT = SEQUENCE_BIT;
  34.     /** 数据中心较机器标志的偏移量 */
  35.     private final static long DATACENTER_LEFT = SEQUENCE_BIT + MACHINE_BIT;
  37.     /** 时间戳较数据中心的偏移量 */
  38.     private final static long TIMESTMP_LEFT = DATACENTER_LEFT + DATACENTER_BIT;
  40.     private static long datacenterId;  //数据中心
  41.     private static long machineId;    //机器标识
  42.     private static long sequence = 0L; //序列号
  43.     private static long lastStmp = -1L;//上一次时间戳
  45.      /** 此处无参构造私有，同时没有给出有参构造，在于避免以下两点问题：
  46.            1、私有化避免了通过new的方式进行调用，主要是解决了在for循环中通过new的方式调用产生的id不一定唯一问题问题，因为用于             记录上一次时间戳的lastStmp永远无法得到比对；
  47.            2、没有给出有参构造在第一点的基础上考虑了一套分布式系统产生的唯一序列号应该是基于相同的参数
  48.       */
  49.     private SnowFlake(){}
  51.     /**
  52.      * 产生下一个ID
  53.      *
  54.      * @return
  55.      */
  56.     public static synchronized long nextId() {
  57.           /** 获取当前时间戳 */
  58.         long currStmp = getNewstmp();
  60.         /** 如果当前时间戳小于上次时间戳则抛出异常 */
  61.         if (currStmp < lastStmp) {
  62.             throw new RuntimeException("Clock moved backwards.  Refusing to generate id");
  63.         }
  64.          /** 相同毫秒内 */
  65.         if (currStmp == lastStmp) {
  66.             //相同毫秒内，序列号自增
  67.             sequence = (sequence + 1) & MAX_SEQUENCE;
  68.             //同一毫秒的序列数已经达到最大
  69.             if (sequence == 0L) {
  71.                     /** 获取下一时间的时间戳并赋值给当前时间戳 */
  72.                 currStmp = getNextMill();
  73.             }
  74.         } else {
  75.             //不同毫秒内，序列号置为0
  76.             sequence = 0L;
  77.         }
  78.          /** 当前时间戳存档记录，用于下次产生id时对比是否为相同时间戳 */
  79.         lastStmp = currStmp;
  82.         return (currStmp - START_STMP) << TIMESTMP_LEFT //时间戳部分
  83.                 | datacenterId << DATACENTER_LEFT      //数据中心部分
  84.                 | machineId << MACHINE_LEFT            //机器标识部分
  85.                 | sequence;                            //序列号部分
  86.     }
  88.     private static long getNextMill() {
  89.         long mill = getNewstmp();
  90.         while (mill <= lastStmp) {
  91.             mill = getNewstmp();
  92.         }
  93.         return mill;
  94.     }
  96.     private static long getNewstmp() {
  97.         return System.currentTimeMillis();
  98.     }
  100. }

#

参考：

https://github.com/twitter-archive/snowflake

https://juejin.im/post/6844903783437172743

https://oss.navercorp.com/works-mobile/oneapp-proxy/releases

https://github.com/beyondfengyu/SnowFlake

发表评论

表情：
评论列表 （有 0 条评论，284人围观）

还没有评论，来说两句吧...

相关阅读

    相关 雪花算法Snowflake

    Snowflake ，雪花算法是由Twitter开源的分布式ID生成算法 ，以划分命名空间的方式将 64-bit位分割成多个部分 ，每个部分代表不同的含义。而 Java中64b

    心已赠人心已赠人/ 0 赞/ 145 阅读