携程阿波罗配置中心apollo源码阅读杂记

短命女 2022-04-14 04:41 481阅读 0赞

### biubiubiu ###

*  随便说说
 *  基本介绍
 *  ScheduledExecutorService
 *  简易版配置中心
 *  队列+批处理
 *  Google轻量级IOC框架Guice
 *  DeferredResult简单的发布订阅
 *  Sets 两个集合的交集差集
 *  RateLimiter 限流器

# 随便说说 #

好久没写博客了，惭愧惭愧，最近公司在用携程的apollo配置中心，还是挺好用的，但是一开始以为只能在portal修改配置，所以产生的自研配置中心的念头，我觉得apollo还是挺完善稳定的并且开源了，java开发，使用SpringCloud框架，完全可以基于它做二次开发，就开始看源码了，看着看着发现apollo是支持openapi调用的，这下好了，啥都不用做了。看源码过程中也有很多收获，这么完善的配置中心，只依赖的mysql数据库，利用mysql实现了简单的mq（AdminService向ConfigService下发配置）和配置中心（ServerConfig）功能，非常值得借鉴。这里记录一下看源码过程中新接触的小知识点（`我才不会承认是强行发博客呢口享！`）

# 基本介绍 #

对阿波罗的了解主要来自以下三个来源：

> [http://www.iocoder.cn/categories/Apollo/][http_www.iocoder.cn_categories_Apollo]  
> [https://github.com/ctripcorp/apollo/wiki/Apollo配置中心介绍][https_github.com_ctripcorp_apollo_wiki_Apollo]  
> [https://cloud.tencent.com/developer/article/1063232][https_cloud.tencent.com_developer_article_1063232]

看完这三个就可以对apollo有个比较透彻的认识了，毕竟也不是什么复杂的系统，没有用到什么高深的技术，平民技术解决实际问题什么的最值得学习了，不过文档比较长，我也稍作总结吧

1.  基于SpringCloud开发
2.  共有12个module，其中最主要的是portal，config，admin，这三个是要作为web服务启动并注册的，其他的都是依赖。eureka整合在config里面了所以要先启动它。
3.  portal就是网站操作界面，自己一个单独的库，主要存放RBAC信心
4.  admin和config一个库，主要存放配置信息，admin负责写，config负责读。portal收到用户对配置的操作之后会通知admin写，admin写完了通知config去读，config把配置推送到client（咱们的服务）
5.  配置有这么几个层级：app->cluster（默认default）->namespace（默认application）->item（具体每个配置项）
6.  apollo支持管理各个环境（dev，fat，prod等等）的配置，部署的时候共用portal，各个环境各自部署自己的admin+config，这样的好处是各个环境的配置在一个界面上就可以统一管理，权限也是按照环境来的，所以不要每个环境各自完整布一套，没必要

# ScheduledExecutorService #

Spring里面一般定时器只会想到@Schedual，以后多一种选择啦！

ScheduledExecutorService executorService =
            Executors.newScheduledThreadPool(1, ApolloThreadFactory.create("ConfigRefresher", true));
    
        executorService
            .scheduleWithFixedDelay(() -> { 
              try { 
                propertySources.forEach(RefreshablePropertySource::refresh);
              } catch (Throwable t) { 
                logger.error("Refresh configs failed.", t);
                Tracer.logError("Refresh configs failed.", t);
              }
            }, CONFIG_REFRESH_INTERVAL, CONFIG_REFRESH_INTERVAL, TimeUnit.SECONDS);

# 简易版配置中心 #

为什么做配置中心还要自己实现个配置中心呢，因为自己调自己会无限递归啊哈哈哈哈哈哈哈哈  
把数据库里的配置定时读到`ConfigurableEnvironment`中：

1.  首先你得有一个`MapPropertySource`，但是它不会自己更新啊，所以我们写个类继承它，里面加个refresh方法，从数据库读取配置塞进去
2.  把咱们自己的PropertySource放到注入的ConfigurableEnvironment中去，然后用第一个小知识点里的代码调用refresh做定时更新。

# 队列+批处理 #

google guava的`Queues.drain`用法，学到了

auditExecutorService.submit(() -> { 
          while (!auditStopped.get() && !Thread.currentThread().isInterrupted()) { 
            List<ConsumerAudit> toAudit = Lists.newArrayList();
            try { 
              Queues.drain(audits, toAudit, BATCH_SIZE, BATCH_TIMEOUT, BATCH_TIMEUNIT);
              if (!toAudit.isEmpty()) { 
                consumerService.createConsumerAudits(toAudit);
              }
            } catch (Throwable ex) { 
              Tracer.logError(ex);
            }
          }

# Google轻量级IOC框架Guice #

现在只要提到依赖注入DI，控制反转Ioc，除了Spring还是Spring，现在才知道还有Guice这股清流，这样不依赖spring也可以玩了

> [https://baijiahao.baidu.com/s?id=1588240131494978979&wfr=spider&for=pc][https_baijiahao.baidu.com_s_id_1588240131494978979_wfr_spider_for_pc]

# DeferredResult简单的发布订阅 #

这玩意简直是打开了新世界的大门，原来后端服务还能这么玩。  
apollo客户端如何感知配置的变化呢？并不是像我们的第一反应一样定时轮询，因为定时轮询的间隔一定不会短，假如一千个客户端，每秒检查一次，一个1000qps的服务就这么出来了。它使用长连接，我们的客户端直接发起一个请求道configService，收到请求会直接hold住，到达60秒没有变更就返回，如果中途有变更也会立即返回（还非常细腻的处理了惊群效应），这样就可以很及时的收到变化通知了。  
但是这里面还有一个问题，1000个客户端就要，应用服务器要保持1000个请求的处理线程吗，这就是DeferredResult的作用了，请求不会长时间占用服务连接池，提高服务器的吞吐量，详见:

> [https://www.cnblogs.com/shihaiming/p/5856477.html][https_www.cnblogs.com_shihaiming_p_5856477.html]

# Sets 两个集合的交集差集 #

guava中的Sets工具：

// 交集
    Set<String> commonKeys = Sets.intersection(previousKeys, currentKeys);
    // 差集
    Set<String> newKeys = Sets.difference(currentKeys, commonKeys);
    // 并集
    Set<String> newKeys = Sets.union(currentKeys, commonKeys);

# RateLimiter 限流器 #

跟java中的`Semaphore`有点类似  
限制日志打印速率或者请求速率  
不得不感叹guava的强大，东西是真的多

– 未完待续

[http_www.iocoder.cn_categories_Apollo]: http://www.iocoder.cn/categories/Apollo/
[https_github.com_ctripcorp_apollo_wiki_Apollo]: https://github.com/ctripcorp/apollo/wiki/Apollo%E9%85%8D%E7%BD%AE%E4%B8%AD%E5%BF%83%E4%BB%8B%E7%BB%8D
[https_cloud.tencent.com_developer_article_1063232]: https://cloud.tencent.com/developer/article/1063232
[https_baijiahao.baidu.com_s_id_1588240131494978979_wfr_spider_for_pc]: https://baijiahao.baidu.com/s?id=1588240131494978979&wfr=spider&for=pc
[https_www.cnblogs.com_shihaiming_p_5856477.html]: https://www.cnblogs.com/shihaiming/p/5856477.html