高性能高可用的分布式唯一ID服务——mooon-uniq-id

女爷i 2022-06-17 14:12 162阅读 0赞

# 目录 #

目录 1

1. 前言 1

2. 名词 1

3. 功能 1

4. 唯一性原理 2

5. 系统结构 2

5.1. mooon-uniq-agent 2

5.2. mooon-uniq-master 2

6. 限制 3

7. 核心思想 4

8. 编译&安装 4

9. 启动&运行 5

10. 编程使用 5

# 1. 前言 #

源码位置：[https://github.com/eyjian/mooon/tree/master/application/uniq\_id][https_github.com_eyjian_mooon_tree_master_application_uniq_id]。

mooon-uniq-id可单机运行，也可以由1~255台机器组成集群分布式运行。性能极高，单机批量取（每批限定最多100个），每秒可提供**2000****万**个唯一ID服务，单个取每秒可以提供**20****万**唯一ID服务。

mooon-uniq-id还具极高的可用性，只要有一台机器正常即可正常提供服务。

# 2. 名词 #

Lable 机器标签

# 3. 功能 #

mooon-uniq-id提供64位无符号整数唯一ID和类似于订单号、流水号的字符串唯一ID。

# 4. 唯一性原理 #

mooon-uniq-id生成的唯一ID通过以下公式保证：

<table> 
 <tbody> 
 <tr> 
 <td> 唯一ID&nbsp;=&nbsp;机器唯一标签&nbsp;+&nbsp;本机递增序列号&nbsp;+&nbsp;系统时间 </td> 
 </tr> 
 </tbody> 
</table>

机器唯一标签自动生成，取值从1~255，故最多支持255台机器组成集群。时间粒度为小时，单台机器一小时内的递增序列号值为536870911个，只要一小时内提供的唯一ID数不超过536870911个即是安全的。如果需求超过536870911，则可以扩展到分钟的粒度，mooon-uniq-id保留了6位供用户自由支配，这保留的6位可以用于存储分钟值。

# 5. 系统结构 #

mooon-uniq-id的实现为**单进程无线程**，**UDP**实现简单高效。采用**弱主架构**，这种架构下，master在一段时间内不可用，完全不影响正常服务。租期为多长，即可允许多长时间内master不可用，比如租期为7天，则7天内master不可用都不影响正常服务，agent为master的依赖非常低，因此叫弱主架构。

mooon-uniq-id由mooon-uniq-agent和mooon-uniq-master组成弱主架构，为保证可用性mooon-uniq-agent至少1台以上，而且只要有一台可以用即整体可用。

而mooon-uniq-master一般可部署2台形成主备，实际上部署一台也完全无问题，因为mooon-uniq-master只要在租期内恢复正常即可。

## 5.1. mooon-uniq-agent ##

对外提供获取唯一ID服务的是mooon-uniq-agent，至少应当部署2台，以提供必要的可用性，部署的越多可用性越高，同时每秒提供的唯一ID个数也越多，支撑的并发数也越大。

mooon-uniq-agent在能够对外服务之前，都必须先从mooon-uniq-master租约到机器标签，否则不能服务。

## 5.2. mooon-uniq-master ##

mooon-uniq-master负责租约的管理，包括租约的初始化、租约的分配和租约的过期管理和回收。

默认情况下，mooon-uniq-agent每隔1分钟以心跳的形式向mooon-uniq-master续租机器标签，可以通过命令行参数“\--interval”修改续租间隔，参数值的单位为秒，默认值为600即1分钟。

mooon-uniq-master将机器标签存储在MySQL表中，各机器标签的状态也存储在MySQL表中。mooon-uniq-master对MySQL有依赖，但也不是强依赖，因为只要在租期内可以成功续租或新租成功即可，而一旦集群上线后，99.999%的时间都只是续租。

在启动mooon-uniq-master之前，需要先创建好如下3个MySQL库和表：

<table> 
 <tbody> 
 <tr> 
 <td> --&nbsp;CREATE&nbsp;DATABASE&nbsp;IF&nbsp;NOT&nbsp;EXISTS&nbsp;uniq_id&nbsp;DEFAULT&nbsp;CHARSET&nbsp;utf8&nbsp;COLLATE&nbsp;utf8_general_ci; &nbsp; --&nbsp;Label资源池表 --&nbsp;mooon-uniq-master第一次启动时会初始化表t_label_pool DROP&nbsp;TABLE&nbsp;IF&nbsp;EXISTS&nbsp;t_label_pool; CREATE&nbsp;TABLE&nbsp;t_label_pool&nbsp;( &nbsp;&nbsp;&nbsp;&nbsp;f_label&nbsp;TINYINT&nbsp;UNSIGNED&nbsp;NOT&nbsp;NULL, &nbsp;&nbsp;&nbsp;&nbsp;PRIMARY&nbsp;KEY&nbsp;(f_label) ); &nbsp; --&nbsp;Label在线表 --&nbsp;f_label为主键，保证同一时间不可能有两个IP租赁同一个Label， --&nbsp;但一个IP可能同时持有一个或多个过期的Label，和一个当前有效的Label DROP&nbsp;TABLE&nbsp;IF&nbsp;EXISTS&nbsp;t_label_online; CREATE&nbsp;TABLE&nbsp;t_label_online&nbsp;( &nbsp;&nbsp;&nbsp;&nbsp;f_label&nbsp;TINYINT&nbsp;UNSIGNED&nbsp;NOT&nbsp;NULL, &nbsp;&nbsp;&nbsp;&nbsp;f_ip&nbsp;CHAR(16)&nbsp;NOT&nbsp;NULL, &nbsp;&nbsp;&nbsp;&nbsp;f_time&nbsp;DATETIME&nbsp;NOT&nbsp;NULL, &nbsp;&nbsp;&nbsp;&nbsp;PRIMARY&nbsp;KEY&nbsp;(f_label), &nbsp;&nbsp;&nbsp;&nbsp;KEY&nbsp;idx_ip(f_ip), &nbsp;&nbsp;&nbsp;&nbsp;KEY&nbsp;idx_time(f_time) ); &nbsp; --&nbsp;Label日志表 --&nbsp;记录租约和续租情况 DROP&nbsp;TABLE&nbsp;IF&nbsp;EXISTS&nbsp;t_label_log; CREATE&nbsp;TABLE&nbsp;t_label_log&nbsp;( &nbsp;&nbsp;&nbsp;&nbsp;f_id&nbsp;BIGINT&nbsp;NOT&nbsp;NULL&nbsp;AUTO_INCREMENT, &nbsp;&nbsp;&nbsp;&nbsp;f_label&nbsp;TINYINT&nbsp;UNSIGNED&nbsp;NOT&nbsp;NULL, &nbsp;&nbsp;&nbsp;&nbsp;f_ip&nbsp;CHAR(16)&nbsp;NOT&nbsp;NULL, &nbsp;&nbsp;&nbsp;&nbsp;f_event&nbsp;TINYINT&nbsp;NOT&nbsp;NULL, &nbsp;&nbsp;&nbsp;&nbsp;f_time&nbsp;DATETIME&nbsp;NOT&nbsp;NULL, &nbsp;&nbsp;&nbsp;&nbsp;PRIMARY&nbsp;KEY&nbsp;(f_id), &nbsp;&nbsp;&nbsp;&nbsp;KEY&nbsp;idx_label(f_label), &nbsp;&nbsp;&nbsp;&nbsp;KEY&nbsp;idx_ip(f_ip), &nbsp;&nbsp;&nbsp;&nbsp;KEY&nbsp;idx_event(f_event), &nbsp;&nbsp;&nbsp;&nbsp;KEY&nbsp;idx_time(f_time) ); </td> 
 </tr> 
 </tbody> 
</table>

# 6. 限制 #

ID具备唯一性，但不具备递增性。

# 7. 核心思想 #

要保证ID的唯一性，最关键是要保证同一个机器标签不能同时出现在多台机器上。mooon-uniq-id的实现引入租约，每台mooon-uniq-agent在服务之前需要先成功租约到机器标签，在租约期内独占标签，并且可以在租期内续租。

在租期后，每个机器标签还有一段冻结期，处于冻结期的机器标签不会被租约。

通过这样的一种机制保证了机器标签的安全性，只要每台mooon-uniq-agent保证序列号在该机器上唯一，那么两者相结合即保证了整体上的唯一性。

序列号总是有限的，为保证永久的唯一性，在组成唯一ID时，加上了时间共同组成唯一性。

# 8. 编译&安装 #

mooon-uniq-id依赖mooon基础库，使用git或TortoiseGit下载mooon库源码：

[https://github.com/eyjian/mooon/tree/master/mooon][https_github.com_eyjian_mooon_tree_master_mooon]

同样，使用git或TortoiseGit下载mooon-uniq-id源码：

[https://github.com/eyjian/mooon/tree/master/application/uniq\_id][https_github.com_eyjian_mooon_tree_master_application_uniq_id]

两者均采用CMake编译，且编译方法相同，先编译mooon基础库，编译和安装步骤：

1) 进入源代码目录，执行cmake生成Makefile文件，安装目录指定为/usr/local/mooon：

cmake -DCMAKE\_BUILD\_TYPE=Debug -DCMAKE\_INSTALL\_PREFIX=/usr/local/mooon .

2) 执行make编译源代码：

make

3) 在make成功后，执行“make install”完成安装：

<table> 
 <tbody> 
 <tr> 
 <td> /usr/local/mooon ├──&nbsp;bin ├──&nbsp;CMake.common ├──&nbsp;include │&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;└──&nbsp;mooon │&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;├──&nbsp;net │&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;├──&nbsp;sys │&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;└──&nbsp;utils └──&nbsp;lib &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;└──&nbsp;libmooon.a </td> 
 </tr> 
 </tbody> 
</table>

接着编译和安装mooon-uniq-id，方法相同，安装路径也请指定为/usr/local/mooon。

# 9. 启动&运行 #

简单点可以放到crontab中自动拉起，比如借助process\_monitor.sh（下载：[https://github.com/eyjian/mooon/blob/master/mooon/shell/process\_monitor.sh][https_github.com_eyjian_mooon_blob_master_mooon_shell_process_monitor.sh]）的监控和自动重启功能：

<table> 
 <tbody> 
 <tr> 
 <td> *&nbsp;*&nbsp;*&nbsp;*&nbsp;*&nbsp;/usr/local/bin/process_monitor.sh&nbsp;"/usr/local/uniq_id/bin/uniq_master"&nbsp;"/usr/local/uniq_id/bin/uniq_master&nbsp;--db_host=127.0.0.1&nbsp;--db_port=3306&nbsp;--db_user=zhangsan&nbsp;--db_pass='zS2018'&nbsp;--db_name=uniq_id" *&nbsp;*&nbsp;*&nbsp;*&nbsp;*&nbsp;/usr/local/bin/process_monitor.sh&nbsp;"/usr/local/uniq_id/bin/uniq_agent"&nbsp;"/usr/local/uniq_id/bin/uniq_agent&nbsp;--master_nodes=192.168.31.33.225.168.251:16200,192.168.31.35:16200" </td> 
 </tr> 
 </tbody> 
</table>

# 10. 编程使用 #

可以参考uniq\_test.cpp或uniq\_stress.cpp使用mooon-uniq-id，如：

<table> 
 <tbody> 
 <tr> 
 <td> bool&nbsp;polling&nbsp;=&nbsp;false;&nbsp;//&nbsp;轮询还是随机选择mooon-uniq-agent const&nbsp;uint32_t&nbsp;timeout_milliseconds&nbsp;=&nbsp;200; const&nbsp;uint8_t&nbsp;retry_times&nbsp;=&nbsp;5; &nbsp; //&nbsp;注意：需要捕获CSyscallException和CException两种异常 try { &nbsp;&nbsp;&nbsp;&nbsp;//&nbsp;agent_nodes为mooon-uniq-agent连接信息，多个间以逗号分隔，注意不要包含空格： &nbsp;&nbsp;&nbsp;&nbsp;//&nbsp;如：192.168.1.31:6200,192.168.1.32:6200,192.168.1.33:6200 &nbsp;&nbsp;&nbsp;&nbsp;mooon::CUniqId&nbsp;uniq_id(agent_nodes,&nbsp;timeout_milliseconds,&nbsp;retry_times,&nbsp;polling); &nbsp; &nbsp;&nbsp;&nbsp;&nbsp;//&nbsp;取交易流水号 &nbsp;&nbsp;&nbsp;&nbsp;// &nbsp;&nbsp;&nbsp;&nbsp;//&nbsp;%L&nbsp;为取mooon-uniq-agent的机器标签，每个mooon-uniq-agent不会有相同的标签 &nbsp;&nbsp;&nbsp;&nbsp;//&nbsp;%Y&nbsp;为YYYY格式的年，如2017 &nbsp;&nbsp;&nbsp;&nbsp;//&nbsp;%M&nbsp;为MM格式的月，如：04或12等 &nbsp;&nbsp;&nbsp;&nbsp;//&nbsp;%D&nbsp;为DD格式的日，如：01或31等 &nbsp;&nbsp;&nbsp;&nbsp;//&nbsp;%m&nbsp;为mm格式的分钟，如：09或59等 &nbsp;&nbsp;&nbsp;&nbsp;//&nbsp;%H&nbsp;为hh格式的小时，24小时制，如：03或23等 &nbsp;&nbsp;&nbsp;&nbsp;//&nbsp;%5S&nbsp;表示取5位的序列号，不足时前补0 &nbsp;&nbsp;&nbsp;&nbsp;std::string&nbsp;transaction_id&nbsp;=&nbsp;uniq_id.get_transaction_id("%L%Y%M%D%m%5S"); &nbsp;&nbsp;&nbsp;&nbsp;fprintf(stdout,&nbsp;"%s\n",&nbsp;transaction_id.c_str()); &nbsp; &nbsp;&nbsp;&nbsp;&nbsp;//&nbsp;取8字节无符号整数值 &nbsp;&nbsp;&nbsp;&nbsp;const&nbsp;uint64_t&nbsp;uniq_id&nbsp;=&nbsp;uniq_id.get_uniq_id(); &nbsp;&nbsp;&nbsp;&nbsp;union&nbsp;mooon::UniqID&nbsp;uid; &nbsp;&nbsp;&nbsp;&nbsp;uid.value&nbsp;=&nbsp;uniq_id; &nbsp;&nbsp;&nbsp;&nbsp;fprintf(stdout,&nbsp;"id:&nbsp;%"&nbsp;PRIu64"&nbsp;=&gt;&nbsp;%s\n",&nbsp;uniq_id,&nbsp;uid.id.str().c_str()); } catch&nbsp;(mooon::sys::CSyscallException&amp;&nbsp;ex) { &nbsp;&nbsp;&nbsp;&nbsp;fprintf(stderr,&nbsp;"%s\n",&nbsp;ex.str().c_str()); } catch&nbsp;(mooon::utils::CException&amp;&nbsp;ex) { &nbsp;&nbsp;&nbsp;&nbsp;fprintf(stderr,&nbsp;"%s\n",&nbsp;ex.str().c_str()); } </td> 
 </tr> 
 </tbody> 
</table>

[https_github.com_eyjian_mooon_tree_master_application_uniq_id]: https://github.com/eyjian/mooon/tree/master/application/uniq_id
[https_github.com_eyjian_mooon_tree_master_mooon]: https://github.com/eyjian/mooon/tree/master/mooon
[https_github.com_eyjian_mooon_blob_master_mooon_shell_process_monitor.sh]: https://github.com/eyjian/mooon/blob/master/mooon/shell/process_monitor.sh