《企业IT架构转型之道》笔记

叁歲伎倆 2022-12-28 00:37 310阅读 0赞

### 《企业IT架构转型之道》笔记 ###

*  1 介绍
 *   *  1.1 作者
     *  1.2 书籍
 *  2 知识点汇总
 *   *  烟囱式架构
     *  分布式架构
     *  共享式架构
     *  中台
     *  “厚平台，薄应用”架构
 *  3 阿里IT架构转型过程
 *  > 起因
 *   *  1 阿里中台战略引发的思考
     *   *  1.1 阿里巴巴共享业务事业部的发展史
         *  1.2 企业信息中心发展的症结
         *   *  烟囱式”系统建设模式
             *  烟囱式”系统建设弊端
             *  核心矛盾
             *  业务支持一直是企业信息中心的组织职能
     *  2 构建业务中台的基础——共享服务体系
     *   *  2.1 回归SOA的本质——服务重用
         *  2.2 服务需要不断的业务滋养
         *  2.3 共享服务体系是培育业务创新的土壤
         *  2.4 赋予业务快速创新和试错能力
         *   *  中台的类比
             *  中台威力示例--聚划算
 *  > 搭建
 *   *  3 分布式服务框架的选择
     *   *  3.1 淘宝平台“服务化”历程
         *  3.2 “中心化”与“去中心化”服务框架的对比
         *  3.3 阿里巴巴分布式服务框架HSF
         *  3.4 关于微服务
     *  4 共享服务中心建设原则
     *   *  4.1 淘宝的共享服务中⼼概貌
         *  4.2 什么是服务中心
         *  4.3 服务中心的划分原则
         *   *  一些基本原则
     *  5 数据拆分实现数据库能力线性扩展
     *   *  5.1 数据库瓶颈阻碍业务的持续发展
         *  5.2 数据库分库分表的实践
     *  6 异步化与缓存原则
     *   *  6.1 业务流程异步化
         *  6.2 数据库事务异步化
         *  6.3 事务与柔性事务
         *  6.4 大促秒杀活动催生缓存技术的高度使用
     *  7 打造数字化运营能力
     *   *  7.1 业务服务化带来的问题
         *  7.2 鹰眼平台的架构
     *  7.3 埋点和输出⽇志
     *  7.4 海量⽇志分布式处理平台
     *  8 打造平台稳定性能力
     *   *  8.1 限流和降级
         *  8.2 流量调度
         *  8.3 业务开关
     *  9 共享服务中心对内和对外的协作共享
     *   *  9.5 业务中台绩效考核
 *  > 应用
 *   *  10 大型央企互联网转型
 *  4 资料补充
 *   *  4.1 2015年年中，马云携高管，拜访Supercell
     *  4.2 SOA 面向服务的架构
 *  5 个人感悟
 *   *  5.1 更快更全熟悉业务，才能更好创新，中台是土壤
     *  5.2 量变引起质变，降低试错成本并建立良性反馈
     *  5.3 兵马未动、粮草先行
     *  5.4 简单化、可重用、敏捷、数据交互流畅
     *  5.5 一体化亦或是分布式由场景决定
     *  5.6 心跳+报警
     *  5.7 问题定位
 *  参考

# 1 介绍 #

## 1.1 作者 ##

钟华（花名：古谦）阿里巴巴中间件首席架构师，15年中间件领域行业经验。对传统企业IT建设和互联网架构都有较为深入的理解，有着扎实的理论基础和丰富的实战经验，多次作为总架构师协助大型传统企业打造业务中台项目，为企业实现“互联网+”转型提供了科学的发展方向和强有力的技术支持，项目涉及政府、制造业、金融、交通、媒体等多个领域。

## 1.2 书籍 ##

阿⾥巴巴电商系统的架构经历了烟囱式架构到分布式架构再到共享式架构的转变。

# 2 知识点汇总 #

## 烟囱式架构 ##

## 分布式架构 ##

## 共享式架构 ##

## 中台 ##

中台是居于前台和后台之间。

## “厚平台，薄应用”架构 ##

# 3 阿里IT架构转型过程 #

# > 起因 #

## 1 阿里中台战略引发的思考 ##

2015年年底，当⼤多数企业忙着进⾏年度⼯作总结和下⼀年规划时，阿⾥巴巴集团对外宣布全⾯启动阿⾥巴巴集团2018年中台战略，构建符合DT时代的更具创新性、灵活性的“⼤中台、⼩前台”组织机制和业务机制，即作为前台的⼀线业务会更敏捷、更快速适应瞬息万变的市场，⽽中台将集合整个集团的运营数据能⼒、产品技术能⼒，对各前台业务形成强⼒⽀撑。  
2015年年中，⻢云带领阿⾥巴巴集团的⾼管，拜访芬兰移动游戏公司Supercell。

### 1.1 阿里巴巴共享业务事业部的发展史 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 2]

### 1.2 企业信息中心发展的症结 ###

#### 烟囱式”系统建设模式 ####

大家看到了2008年时淘宝的技术团队同时⽀持着淘宝和天猫两⼤电商平台。1999年成立的B2B电商平台1688一直拥有自己的技术支持团队。阿里巴巴集团三大电商体系的技术支持架构如图。  
三套电商体系的架构完全独⽴，各⾃应⽤独⽴开发和运维。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 3]  
作者认为主要原因是开发团队考虑到电商模式的不同，所以独立建设；或者是新的业务团队认为在之前的电商平台基础上改造成支持新模式的电商平台会有太多的技术和业务的历史包袱，还不如重新构建。  
烟囱林立是很多企业转型的症结。

#### 烟囱式”系统建设弊端 ####

*  重复功能建设和维护带来的重复投资。
 *  打通“烟囱式”系统间交互的集成和协作成本高昂。
 *  不利于业务的沉淀和持续发展。

#### 核心矛盾 ####

系统业务需求响应的能力和企业本身业务发展对系统建设的要求不成比例。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 4]

#### 业务支持一直是企业信息中心的组织职能 ####

信息中心部门的话语权与行政级别不匹配，作者认为症结是，IT信息部门的⼈员不懂业务。  
信息中心部门的人员懂业务流程，但对业务的理解，进一步优化方向等难提出创新想法，也就难带来新的业务增长点。

## 2 构建业务中台的基础——共享服务体系 ##

### 2.1 回归SOA的本质——服务重用 ###

SOA理念最核⼼的价值：松耦合的服务带来业务的复用，通过服务的编排助力业务的快速响应和创新。  
只有各类服务在业务发展的过程中得到持续的演进、 功能逐步完善和增强，最终变为企业在该领域最为专业的IT资产时，才能真正达到SOA中所描述的业务的快速响应， 更好地维持业务创新。这些观念其实在SOA项目的初期都是被企业客户欣然接受的， 但一旦进入到项目实施层面， SOA的项目就沦为了实现多个系统间的集成。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 5]

### 2.2 服务需要不断的业务滋养 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 6]

### 2.3 共享服务体系是培育业务创新的土壤 ###

好的创新一定是基于企业的现状因地制宜， 而这决定了在很大程度上企业的创新会来自于企业内部， 而且提出创新的人一定是对行业有过人的认识和理解，才有可能提出创新的想法。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 7]

### 2.4 赋予业务快速创新和试错能力 ###

试错能力强，才能保证更多的业务创新。  
打造良好的试错中台，降低成本试错成本，增加创新功能的概率。Supercell公司除了企业文化鼓励大家进行业务创新和试错外，更是给业务创新团队提供了扎实的平台资源。

#### 中台的类比 ####

借助美军作战阵型演变来描述中台。  
美军在⼆战时，以军为单位作战；到了越战时，以营为单位作战；到了中东战争时，以7⼈或者11⼈的极⼩班排去作战，它是今天全世界范围内最灵活的军事组织，也是核⼼竞争⼒和打击能⼒最强的组织，如图2-4所⽰。美军之所以能灵活作战，敢放这么⼩的团队到前⾯，是因为有⾮常强的导弹指挥系统，有⾮常强⼤的中后台能⼒，能⽀持这样的⼩团队快速做判断，并且引领整个进攻完成。美军这样的战⽃阵型与阿⾥巴巴如今的“⼤中台、⼩前端”战略完全⼀致，与华为公司提的头狼团队也有异曲同⼯之妙。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 8]

*  团队协同效率最⾼。当团队进⾏作战时，最短时间内达成意⻅的统⼀和⾏动步调的⼀致，是团队强⼤战⽃⼒充分展现的必要条件。（最小内耗）
 *  对战机（商机）的把握更加敏锐。正如孟⼦所说的“⽣于忧患⽽死于安乐”，安逸舒适的环境往往容易消磨⼈的意志；但当环境变得⽐较恶劣，对于激发⼈的潜能和⽃志产⽣作⽤。
 *  调整⽅向更加快捷
 *  ⼀旦发现正确⽬标，全⼒投⼊扩⼤战果。这样的中台阵型，⼀旦前端的作战团队找到了正确的攻击⽬标，接下来发⽣的事情相信⼤家都能想到，⼀个远程呼唤，后端的中台炮⽕群会瞬间摧毁⽬标，这就是中台阵型发挥威⼒的最佳体现。所以你会发现现如今顶尖的互联⽹公司都在着⼒打造⾃⼰的业务中台，通过中台资源的优势，吸引那些有能⼒基于这些中台进⾏更好业务创新的⼈才加⼊，形成了公司搭舞台，各路英豪在这个舞台上展现⾃⼰才能的格局，这应该是接下来⼀段时间顶尖公司与顶尖⼈才间建⽴合作关系的最佳⽅式。

#### 中台威力示例–聚划算 ####

以上介绍的中台阵型对于业务快速创新和业务试错的最有代表性的⼀个事例要属阿⾥巴巴的团购业务。在2010年，随着当时市场上团购业务的蓬勃发展，阿⾥巴巴集团也决定构建⾃⼰的团购平台，当时在市场上早已经有了如美团、⾼朋等专业的团购⽹站，这⼀个新兴的业务模式，对阿⾥巴巴公司来说某种程度上也是⼀种尝试，所以当时阿⾥巴巴投⼊了包含产品经理、运营、开发的⼗⼏名员⼯进⾏基于淘宝和天猫商品的团购平台的建设，最终这个团购平台在1个半⽉后就成功上线！  
其他同类型的团购平台建设所投⼊的研发资源可能是阿⾥投⼊资源的⼏⼗倍，上线时间可能是阿⾥上线准备时间的好⼏倍，为什么会产⽣这样⼤的资源悬殊？最⼤的功劳就来⾃于已经正常运转两年的阿⾥共享服务体系。原本精⼼沉淀和打造的⽤户中⼼、商品中⼼、交易中⼼、评价中⼼等服务能⼒在其中都扮演了⾮常重要的⾓⾊，正因为利⽤了这些原本已经建设好的专业服务，使得阿⾥巴巴在投⼊如此少的⼈⼒资源和时间的情况下收获了其他公司数倍、甚⾄⼏⼗倍资源投⼊产出的结果。  
这个团购平台接下来的发展更加完美地诠释了中台阵型的威⼒，上线后的团购平台在短期内展现出了超出所有⼈想象的流量吸⼒之后，集团意识到这是⼀个⾮常重要的流量⼊⼝，⼤量的资源投⼊到这⼀新兴业务，结果是在短短的14个⽉后，这个原本⼗⼏⼈的⼩团队发展壮⼤成为了接近600⼈的事业部，这⼀团购平台就是阿⾥巴巴的“聚划算”团购平台，⽬前是与淘宝、天猫并驾⻬驱的三⼤电商事业部。

# > 搭建 #

## 3 分布式服务框架的选择 ##

### 3.1 淘宝平台“服务化”历程 ###

2007年，淘宝已经拥有超过500⼈的技术团队规模，整个淘宝⽹站是⼀个⼏百兆字节的WAR包，⼤⼩功能模块超过200个，在当时淘宝业务计划处于每隔⼏个⽉就翻倍的⾼速发展期，这样的应⽤架构给淘宝技术团队带来了⾮常⼤的压⼒。⼏百⼈维护⼀个WAR包的模式，带来了以下⼏个主要问题：  
1）项⽬团队间协同成本⾼，业务响应越来越慢。  
2）应⽤复杂度已超出⼈的认知负载。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 9]  
3）错误难于隔离。  
在淘宝的历史中发⽣过⼏起事故，是因为⼀些⾮核⼼功能的设计不合理、代码质量差引起整个淘宝平台的业务受到全⾯影响，其根本原因就是核⼼功能和⾮核⼼功能的代码都运⾏在同⼀个环境（同⼀个JVM）中，任何⼀个⼩的问题都有可能造成应⽤实例的崩溃，从⽽影响到整个淘宝平台的正常运⾏。  
4）数据库连接能⼒很难扩展。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 10]  
5）应⽤扩展成本⾼。  
淘宝在2007年10⽉开始了⼀系列的基于SOA理念新⼀代服务化框架研发以及采⽤业务模块逐步迁移的⽅式进⾏应⽤架构的改造⼯作。在14个⽉的时间内将原来单⼀应⽤的模式改造成为基于SOA理念的分布式服务架构。在应⽤部署形态上，由之前⼀个⼏百兆字节⼤⼩的WAR包部署模式改造成为上百个WAR包独⽴部署的服务化架构。这次改造被阿⾥巴巴同事称为“给⻜⾏中的⻜机换发动机”，也为后来的共享服务体系的建设打下了扎实的技术和理论基础。带来的益处如下：

*  降低不同模块开发团队间的协同成本，业务响应更迅捷。
 *  ⼤⼤降低系统间的耦合度以及整体复杂度，各个开发团队可专注于各⾃的业务模块。
 *  避免了个别模块的错误给整体带来的影响。
 *  ·业务拆分后解放了对单数据库集群连接数的能⼒依赖。
 *  做到针对性的业务能⼒扩容，减少不必要的资源浪费。

### 3.2 “中心化”与“去中心化”服务框架的对比 ###

SOA的主要特性：

*  ⾯向服务的分布式计算。
 *  服务间松散耦合。
 *  ⽀持服务的组装。
 *  服务注册和⾃动发现。
 *  以服务契约⽅式定义服务交互⽅式。  
    1）ESB模式的“中⼼化”服务架构的根本诉求。  
    2）“去中⼼化”分布式服务架构解决的问题。  
    因为⽤户群体是整个互联⽹公众，所以系统架构设计⼈员⾸先要解决的是系统扩展性的问题，然后才是更快地进⾏业务响应、更好地⽀持业务创新等。

1.服务调⽤⽅式的不同带来业务的响应和扩展成本  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 11]  
①服务调⽤者→②ESB（接受服务请求）→③服务提供者（服务处理）→④ESB（服务提供返回结果）→⑤服务调⽤者（服务返回）  
经过服务总线路由过的服务交互，共出现4次⽹络会话创建和数据传输，⽽“去中⼼化”服务架构中服务交互，⼀次服务的调⽤只有两次⽹路会话创建和数据传输，在⽹络上的开销整整减少了⼀半。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 12]  
拿⼤家熟知的淘宝订单创建举例，在淘宝上点击“⽴即下单”或“结算”按钮进⾏下订单的请求时，后端调⽤了200多个服务，也就是⼀次⻚⾯的请求产⽣了后端上百台不同服务器间的服务交互。试想⼀下，如果是采⽤服务总线的⽅式，每次服务请求都⽐直接交互的⽅式有⼀倍的⽹络开销，那我们可能很难体验到平均在200〜300毫秒就能看到订单创建成功的⻚⾯，如果⽤⼏秒，甚⾄更⻓时间创建订单，后果不堪设想。

2.“雪崩”效应束缚了“中⼼化”服务框架的扩展能⼒  
基于企业服务总线构建的服务体系，会成为企业服务调度的核⼼枢纽，面对互联⽹浪潮，会有越来越多的业务是⾯向互联⽹公众开放的，带来更多的服务调⽤和交互。  
更多的服务调⽤给企业服务总线带来了更多的服务路由压⼒，这时必然会采⽤集群部署的⽅式，对这些服务请求提供负载均衡和⾼可⽤性的保障。但是在这个表⾯看来万⽆⼀失的架构中，却隐藏着巨⼤的⻛险。  
就是服务器按照预估的访问峰值来部署，但是因为某⼀个应⽤对某个服务产⽣了不规范的服务调⽤，或有问题的服务提供造成服务所在的企业服务总线实例出现异常，也有可能是⼀台服务器的操作系统或硬件出现了故障，造成一台服务器软件或者硬件不能正常工作，其他的服务器压力陡增，会出现服务器被访问洪峰冲垮的灾难。  
⽽“去中⼼化”服务框架则可以避免因为个别问题波及整个平台的业务受影响，最多也只是部分服务出现问题，就算出现问题时也更容易定位问题和故障恢复。

### 3.3 阿里巴巴分布式服务框架HSF ###

阿⾥巴巴集团内部使⽤的分布式服务框架HSF（High Speed Framework，也有⼈戏称“好舒服”）已经被很多技术爱好者所熟知，⽬前已经⽀撑着近2000多个应⽤的运⾏。

HSF服务框架包含以下主要组件：

*  服务提供者
 *  服务调⽤者
 *  地址服务器
 *  配置服务器  
    配置服务器与所有服务者提供者和调⽤者均是⻓连接，采⽤⼼跳的⽅式可监控到各服务运⾏节点的状况，⼀旦出现服务提供者服务节点出现故障时，会⾃动推送更新后（将出问题的服务提供者服务节点信息从列表中删除）的服务提供者列表给相关的服务调⽤者端。
 *  Diamond服务器  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 13]
 *  服务节点对配置服务器列表的获取
 *  服务的注册发布
 *  服务规则的推送（如果需要）。  
    如果没有上⽂提到对于服务安全管控、流量控制等需求的时候，对于Diamond服务器的使⽤并不是必需的，在有这样的需求场景时，可通过Diamond服务器提供的规则设置界⾯，对指定服务的服务提供者和调⽤者设置相关的规则，⼀旦保存规则后，则此规则配置将会在5秒内推送到与所设置服务相关的服务节点上。
 *  服务交互

1.HSF框架采⽤Netty+Hession数据序列化协议实现服务交互  
2.HSF框架的容错机制  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 14]  
因为配置服务器是采⽤⻓连接的⽅式与服务节点进⾏⽹络通信，⼀旦发现有服务提供者实例出现故障，配置服务器在秒级就会感知到（如图3-6步骤⑤），此时会将出问题的这台服务提供者的信息从该服务的服务器列表中删除，并将更新后的服务器列表采⽤推送的⽅式同步给予该服务相关的所有服务调⽤者端（如图3-6步骤⑥），这样当下次服务调⽤者再进⾏此服务的调⽤时，就不会因为随机的⽅式再次对已经停⽌服务提供的服务器发起服务的调⽤。  
3.HSF框架的线性扩展⽀持  
当服务⾯对较⼤的服务调⽤压⼒或将要⾯临如双11⼤促、秒杀等活动前，已有的服务提供者各服务器⽔位（CPU、内存、IO等）处于⽐较⾼的情况或现有服务能⼒满⾜不了业务访问量的要求时，则需要通过增加服务节点数量的⽅式提升该服务的服务处理能⼒。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 15]

### 3.4 关于微服务 ###

微服务架构的典型特征：

*  分布式服务组成的系统。
 *  按照业务⽽不是技术来划分组织。
 *  做有⽣命的产品⽽不是项⽬。
 *  智能化服务端点与傻⽠式服务编排。
 *  ⾃动化运维。
 *  系统容错。
 *  服务快速演化。

## 4 共享服务中心建设原则 ##

### 4.1 淘宝的共享服务中⼼概貌 ###

淘宝的共享服务中⼼包括多个服务中⼼。最初有四⼤服务中⼼：⽤户中⼼（UIC）、商品中⼼（IC）、交易中⼼（TC）、店铺中⼼（SC）。随着业务的不断发展，越来越多的服务能⼒沉淀到了共享服务中⼼，⽐如后期的物流中⼼、营销中⼼、数据服务中⼼等。  
1.⽤户中⼼  
⽤户中⼼构建了整个阿⾥巴巴集团统⼀的⽤户体系，⽤户中⼼服务提供了统⼀的服务接⼝，即简化了上层业务的使⽤，也⽅便了接下来对⽤户的⼤数据分析。同时成⽴了专门负责⽤户中心运营的团队后，显著提升了对业务需求的响应效率；系统在实现解耦后，服务的稳定性和可扩展性都得到了极⼤的提⾼。  
2.商品中心  
淘宝的商品中心建设⾮常有代表意义，淘宝是平台型的电商，商品管理其实是最复杂的业务场景之⼀。  
商品库的数据库管理难度最⼤，商品中⼼需要对上层提供的服务能⼒包括以下⼏个⽅⾯：

*  商品描述能力。
 *  商品发布能力。
 *  商品管理能力。
 *  商品巡检的能力。
 *  商品数据数据分析的能力。
 *  商品评价的能力。  
    3.交易中心  
    交易中⼼是电商的交易业务领域的服务中⼼，包含交易相关的服务信息，⽐如购物⻋、交易流程、订单管理、⽀持、结算、营销等。  
    4.店铺中⼼  
    店铺中⼼承担了卖家店铺管理、店铺装修、店铺⽣命周期管理、店铺⽇常管理等业务，在店铺体系下，发展了淘宝最具活⼒的第三⽅店铺装修市场，这是平台化的最好实践。

### 4.2 什么是服务中心 ###

1.服务中⼼⼀定是不断发展的  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 16]  
2.服务中⼼中的服务形态多样性

*  依赖于接⼝的服务
 *  依赖于⼯具的服务
 *  依赖于数据的服务  
    3.⼀个服务中⼼可以进⼀步划分吗  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 17]

### 4.3 服务中心的划分原则 ###

确切地说，服务中⼼的划分原则更多的是架构设计经验总结，我们很难对⼀些具体的问题给⼀个精确的量化指标，但有⼀点，我很反对现在微服务中的LOC（Line Of Code）这种指标，即⽤代码的⾏数来衡量⼀个微服务落地的标准。架构本来就是⼀个追求平衡的艺术，不仅是设计原则上的平衡，还要在技术、成本、资源、性能、团队等各⽅⾯进⾏平衡，以最⾼效地解决主要问题。我认为这也是⼀名优秀架构师的必备特质，偏执地追求⼀个维度的完美肯定会在其他⽅⾯付出代价。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 18]  
共享服务中⼼的架构⽬的是通过业务拆分来降低系统的复杂性；通过服务共享来提供可重⽤性；通过服务化来达到业务⽀持的敏捷性；通过统⼀的数据架构来消除数据交互的屏障。

#### 一些基本原则 ####

1.⾼内聚、低耦合原则  
举⼀个例⼦，很多应⽤⼀般都有⼀个会员中⼼，在会员的业务中，会有⽤营销⼿段来保持会员的忠诚度和活跃度，有些⽤户会倾向于把积分独⽴出来建⽴⼀个独⽴的积分中⼼或者放到营销中⼼，有些⽤户会觉得积分直接放在会员中⼼和会员等级挂钩。这⾥如果是你的系统，你会选择怎么做？其实，从之前的项⽬实践来看，⼀般建议⽤户先不要独⽴积分中⼼出来，因为拆分出⼀个积分中⼼，意味着你把会员服务的粒度缩⼩了，但是你的积分业务还不⾜够丰富的时候其实就只剩下增、删、改查的服务需求，对这种服务中⼼，不建议⼀开始就独⽴出来⼀个服务中⼼，还是等积分相关业务发展到⾜够丰富的程度或者对其他业务中⼼影响已经不可忽略的时候再去拆分出来不迟。  
2.数据完整性原则  
这个原则其实和上⾯的“⾼内聚、低耦合”⼀脉相承，是把这个思想穿透到数据模型层⾯，因为服务化架构⼀个很重要的业务价值就是数据模型统⼀。  
3.业务可运营性原则  
服务中⼼⾸先是从业务出发，单纯的技术层⾯抽象出来的服务框架⼀般不作为⼀个可运营的服务中⼼。  
4.渐进性的建设原则  
渐进性的建设原则是从降低⻛险和实施难度这个⾓度出发，服务化架构本来就是⼀种敏捷的实践，我们是推荐⼩步快跑的⽅式逐步推进，不是轰轰烈烈地推翻重来。其实在分布式架构体系下，在企业互联⽹架构体系下，试错的成本已经降到⾜够低，渐进式的建设也是服务中⼼建设的⼀个重要原则。  
有些⼈会觉得服务中⼼是基础服务，应该是⾮常稳定的，所以⼀开始规划设计的时候应⽤了太多的设计原则，最后从设计上看的确很清晰，但是在实施阶段，可能会碰到拆得过细有延迟太⻓的问题，数据过于分散有数据库性能的问题和分布式事务的问题，服务接⼝过于庞⼤的问题。这些实践证明都不是好的服务化实践。我们推荐服务化从简单开始，只有真实的业务需求才会锤炼出稳定可靠的共享服务。

## 5 数据拆分实现数据库能力线性扩展 ##

### 5.1 数据库瓶颈阻碍业务的持续发展 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 19]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 20]

### 5.2 数据库分库分表的实践 ###

1.阿⾥巴巴分布式数据层平台发展和演变  
在2006年阿⾥巴巴B2B团队以开源⽅式研发了Cobar这⼀关系型数据的分布式处理系统。  
2008年阿⾥巴巴内部基于淘宝业务发展的需要，在Cobar的基础上重新研发了分布式数据层框架TDDL（Taobao Distributed Data Layer，外号：头都⼤了），针对分库分表场景，提供了对各种业务场景的⽀持更加完善，开发⼈员体验更加友好，管控能⼒⼤幅提升。  
⽬前TDDL已经成为阿⾥巴巴集团内部业务默认使⽤的分布式数据层中间件，⽀撑着今天阿⾥巴巴上千个应⽤，平均每天SQL调⽤超千亿次。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 21]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 22]  
在2014年，阿⾥巴巴已经研发出新⼀代分布式数据库产品DRDS（Distributed Relational Database Service），该产品相⽐TDDL在业务场景的⽀持、故障的定位、运维管控等⽅⾯⼜有了⼀个全⾯的提升，今天DRDS已经成为阿⾥云上⽤于解决关系型数据库线性扩展问题的标准云产品，服务了⼏百家阿⾥巴巴集团外部的客户。  
2.数据尽可能平均拆分  
⽽对于数据以什么样的维度进⾏拆分，⼤家看到很多场景中都是对业务数据的ID（⼤部分场景此ID是以⾃增的⽅式）进⾏哈希取模的⽅式将数据进⾏平均拆分，这个简单的⽅式确实在很多场景下都是⾮常合适的拆分⽅法，但并不是在所有的场景中这样拆分的⽅式都是最优选择。也就是说数据如何拆分并没有所谓的⾦科⽟律，更多的是需要结合业务数据的结构和业务场景来决定。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 23]  
3.尽量减少事务边界  
对不带分库分表键的SQL请求，会出现全表扫描。此时我们来解释⼀下这⾥“事务边界”的定义，所谓的事务边界即是指单个SQL语句在后端数据库上同时执⾏的数量，上⾯⽰例中就是事务边界⼤的典型⽰例，即⼀条SQL语句同时被推送到后端所有数据库中运⾏。事务边界的数量越⼤，会给系统带来以下弊端：

*  系统的锁冲突概率越⾼  
    如果事务边界⼤的SQL请求⽐较多，在⼀次SQL请求处理过程中⾃然对于后端的数据库操作的数据库记录覆盖⽐较⼴，当有多个类似的SQL请求并⾏执⾏时，则出现数据锁造成的资源访问互斥的概率会⼤⼤增加。
 *  系统越难以扩展
 *  ·整体性能越低  
    4.异构索引表尽量降低全表扫描频率  
    5.将多条件频繁查询引⼊搜索引擎平台  
    6.简单就是美

## 6 异步化与缓存原则 ##

异步化与缓存两个技术都与系统的性能有很⼤的关系，当今分布式应⽤架构中，如果不能很好地掌握这两项技术，所设计出的应⽤将很难有优质的性能表现。

### 6.1 业务流程异步化 ###

以淘宝的交易订单为例，⽬前淘宝的订单创建流程需要调⽤超过200个服务，如果按照之前所有业务逻辑均是在⼀个JVM中顺序执⾏的⽅式，要完成超过200次的远程服务调⽤，就算所有服务的调⽤时间都控制在20ms内返回结果，整个订单创建的时间也会超过4s，这个时间⻓度对于今天互联⽹时代的客户来说已经超过了忍耐极限。  
![在这里插入图片描述][20210102192944702.png]  
阿⾥巴巴内部使⽤消息中间件的⽅式实现了业务异步化，提⾼了服务的并发处理，从而大大减少整个业务请求处理所花的时间。⽬前淘宝平台从⽤户点击订单创建到返回订单创建成功的⻚⾯平均时间控制在300ms左右，让⽤户有⾮常好的⽤户体验，同时整个平台的吞吐量也会得到⼏何倍数的提升。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 24]

### 6.2 数据库事务异步化 ###

大的数据库事务对数据库的资源占⽤、表记录⻓时间被事务锁住带来的数据库请求排队。  
针对这类场景，解决平台性能问题的核⼼就是数据库事务的异步化。通俗来说，就是将⼤事务拆分成⼩事务，降低数据库的资源被⻓时间事务锁占⽤⽽造成的数据库瓶颈，就能⼤⼤提升平台的处理吞吐量和事务操作的响应时间。

### 6.3 事务与柔性事务 ###

### 6.4 大促秒杀活动催生缓存技术的高度使用 ###

对内存的数据操作时间⼀般是纳秒级，⽽传统的数据库访问中，⼀次SSD盘数据访问在⼏⼗微秒，⼀次SATA盘数据访问在⼏⼗毫秒，显然处理时间有数量级的差异，所以通过缓存（⼤部分缓存产品均是基于内存的数据存取实现）让应⽤具备更好的处理性能和系统吞吐率早已经在应⽤开发领域⼴泛使⽤。  
1.⼩库存商品秒杀典型架构  
⽐如库存为10个，秒杀价格为1元的⼿机则是典型的⼩库存商品秒杀活动。在这种类型的秒杀活动中，因为商品会在极短的瞬间库存会降到0，所以只要处理好商品的库存的扣减，不要出现商品超卖的情况就能平稳地度过这次秒杀活动。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 25]

## 7 打造数字化运营能力 ##

### 7.1 业务服务化带来的问题 ###

平台在出现错误的时候很难定位问题，甚⾄出现了问题没⼈承认。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 26]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 27]  
正是因为服务开发⼈员和业务架构师对于分布式服务调⽤跟踪⽅⾯的需要，阿⾥巴巴中间件团队历时两年多的时间打造了针对分布式服务调⽤链跟踪平台——“鹰眼”。  
在业界，跟淘宝的鹰眼类似的平台有不少，如Twitter的Zipkin，这⼀类平台的实现都起源于Google Dapper论⽂（http://research.google.com/pubs/pub36356.html）。  
如果我们把整个淘宝的分布式服务架构⽐喻为遍布全国的⾼速公路⽹络，每⼀次的⻚⾯请求都可以认为是⼀辆汽⻋在这个⾼速公路⽹络中穿⾏，把⾼速上的每⼀个收费站⽐喻为处理请求的服务。那么我们希望查看⼀辆汽⻋在⾼速上的⾏⾛轨迹的话，如何实现？最简单的⽅法就是在这辆⻋每次经过收费站的时候记录下⻋辆通过的时间和相关信息，并将这些信息统⼀发送到服务器端保存起来。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 28]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 29]  
今天的鹰眼平台记录了淘宝每天上千亿次的服务调⽤信息，⽇志信息来⾃超过500多个前端和后端应⽤，还有数百个数据库、缓存、存储，⽇志量超过3千亿⾏。同时以图形化的⽅式给服务的开发⼈员、运维⼈员、业务架构师提供了完善的服务调⽤跟踪信息，为服务出错后的快速定位、服务链路的性能优化、服务链路的流程优化等提供了⾮常有价值的参考数据。

### 7.2 鹰眼平台的架构 ###

淘宝构建的鹰眼架构如图所⽰，因为阿⾥巴巴内部安全规定，该架构图是2013年时对外介绍的架构，在近⼏年鹰眼平台发展过程中，对某些组件也进⾏了升级和替换，但总体的架构原理没有⼤的变化。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 30]  
鹰眼平台是阿⾥巴巴中间件团队⾃主研发的JStorm流式计算引擎，对应⽤集群接收到的⽇志进⾏内容的解析拆分，按照不同业务场景的需求将拆分后的数据保存到不同的存储系统中。对于需要对⽇志信息进⾏实时业务统计的需求，会将⽇志信息保存到HBase中，对接收到的⽇志信息进⾏实时的汇总计算，最后给鹰眼服务器提供实时业务统计数据，⽐如某⼀服务实时的QPS值、交易⾦额的实时变化等场景。

## 7.3 埋点和输出⽇志 ##

## 7.4 海量⽇志分布式处理平台 ##

## 8 打造平台稳定性能力 ##

### 8.1 限流和降级 ###

限流的作⽤相当于电路上的保险丝，当过载的时候掐掉⼀些流量，让系统有能⼒集中资源以较快的速度处理平台处理能⼒范围内的业务请求。也就是上⾯⼤促场景中，仅让1000万⽤户中的100万⽤户进⼊后端的处理流程中，将其余900万⽤户的请求通过队列排队或直接阻挡在平台处理单元之外的⽅式，保障平台能在处理能⼒范围内对100万的⽤户请求进⾏处理。  
阿⾥巴巴中间件团队针对这个问题，开发了线上压测⼯具，能更⽅便和准确地对服务的容量进⾏评估，即获取到该服务所能提供的最⼤处理能⼒。  
阿⾥巴巴是通过在Nginx上实现的扩展组件TMD（Taobao Missile Defense，淘宝导弹防御系统）实现了接⼊层限流的主要⼯作，TMD系统可通过域名类限流、cookie限流、⿊名单以及⼀些安全策略等很好地实现了在接⼊层的限流措施。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 31]

### 8.2 流量调度 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 32]

### 8.3 业务开关 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 33]

## 9 共享服务中心对内和对外的协作共享 ##

### 9.5 业务中台绩效考核 ###

1.服务稳定是重中之重  
2.业务创新推动业务发展  
3.服务接⼊量是衡量服务价值的重要考核  
4.客户满意度促动服务的提升

# > 应用 #

## 10 大型央企互联网转型 ##

厚平台+瘦前端  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 34]

# 4 资料补充 #

## 4.1 2015年年中，马云携高管，拜访Supercell ##

在2015年年中，⻢云带领阿⾥巴巴集团的⾼管，拜访了位于芬兰赫尔⾟基的移动游戏公司Supercell，这家号称是世界上最成功的移动游戏公司，以《部落战争》《海岛奇兵》《卡通农场》等游戏知名。Supercell是⼀家典型的以⼩团队模式进⾏游戏开发的公司，⼀般来说两个员⼯，或者5个员⼯，最多不超过7个员⼯组成独⽴的开发团队，称之为Cell（细胞），这也是公司名字Supercell（超级细胞）的由来。团队⾃⼰决定做什么样的产品，然后最快的时间推出产品的公测版，看看游戏是否受⽤户欢迎。如果⽤户不欢迎，迅速放弃这个产品，再进⾏新的尝试，期间⼏乎没有管理⾓⾊的介⼊。团队研发的产品失败后，不但不会受到惩罚，甚⾄会举办庆祝仪式，以庆祝他们从失败中学到了东⻄。使⽤这样的模式使得Supercell公司成为了年税前利润15亿美元的游戏公司，2015年App畅销排⾏榜上Top 10的游戏中，Supercell公司开发的游戏占据了榜单的⼤半江⼭。在笔者撰写此书时，2016年6⽉，中国腾讯公司以86亿美元收购了员⼯数不超过200⼈的Supercell公司84.3%的股权，每⼀名员⼯⼈均贡献的估值超过3.54亿⼈⺠币。  
这家游戏公司经过6年的时间将游戏开发过程中**公共、通⽤的游戏开发素材、算法做了很好的沉淀**，企业的⽂化充分⿎励员⼯进⾏创新，甚⾄进⾏试错，才使得他们在开发的众多游戏中以最快时间找到那些⽤户真正喜爱的游戏。这种强⼤的**业务试错能⼒**是Supercell相⽐于其他游戏公司最⼤的差别，也是最核⼼的竞争⼒。  
Supercell公司在多年的游戏研发中**积累了非常科学的研发⽅法和体系**，使得今天公司可以⽀持⼏个⼈的⼩团队在⼏周时间就能研发出⼀款新游戏，并进⾏公测。

## 4.2 SOA 面向服务的架构 ##

Service-Oriented Architecture，如今较火的微服务架构，是其衍生。

# 5 个人感悟 #

## 5.1 更快更全熟悉业务，才能更好创新，中台是土壤 ##

公司入职到转正，所在项目软件部分，3个人都走了，1换3，尴尬，然后我接受了3个人的工作，发现3个人2派系，2烟囱，在短时间参与多个复合机器人项目，更快、更全的熟悉业务，之后实现了图形编程的同步功能，视觉校准等功能。  
自己的这个经历就是更快过更全熟悉业务，然后产生的创新。同类产品有这些功能，但是具体实现需要熟悉业务，了解应用场景这样的支撑。  
自己通过高强度工作积累的优势，而作者是通过面向服务架构，调整关节点负责人所面对的业务流程，从而助力他们更快更全熟悉业务，这无疑是提供了创新的土壤。

## 5.2 量变引起质变，降低试错成本并建立良性反馈 ##

在保证一定质量的前提下，做更多业务，才能有更多机会去创新业务。  
同量资源下，试错成本越低，尝试次数越多，创新的机会才大。  
心流式反馈无疑能极大助力业务创新。

## 5.3 兵马未动、粮草先行 ##

先打仗再筹粮还是先筹粮再打仗，这是个问题。小打小闹，资源消耗少，可以先打仗再筹粮，该模式即使赢也是险胜。大型战争都是兵马未动，粮草先行。  
公司做项目亦然。先拉项目再凑基本的研发能力，即使项目完成，也是惊险一跃。备好基本的研发能力，再去承接项目，这是项目成功的基础。  
就如自己了解的一个服务机器人项目，底盘AGV除外，研发就两三人，多个项目，都未成功。

## 5.4 简单化、可重用、敏捷、数据交互流畅 ##

阿里共享服务中⼼的架构⽬的是通过业务拆分来降低系统的复杂性；通过服务共享来提供可重⽤性；通过服务化来达到业务⽀持的敏捷性；通过统⼀的数据架构来消除数据交互的屏障。  
一款成功的应用，需要好的架构，让系统变得简单；需要对业务抽象和归类，提高可重用性；用户体验功能时，服务能敏捷完成；数据合理处理，是的交互流畅。

## 5.5 一体化亦或是分布式由场景决定 ##

共享服务的架构是基于分布式架构，分布式架构解决了⼀体化架构在⼤规模应⽤上的问题，但是也引⼊了分布式事务、问题排查等⽅⾯的⼀些难题，所以在规划服务中⼼的时候，⼀定要综合评估业务层对服务中⼼在数据库、业务以及运营⽅⾯的需求和技术上需要的投⼊。  
一体化亦或是分布式由业务而生。

## 5.6 心跳+报警 ##

运⾏集群与ZooKeeper采⽤定时⼼跳的⽅式，将集群节点的运⾏状态以及任务完成的位点（即⽬前同步任务处理binlog的进度信息）信息同步到Zookeeper上，如果⼼跳信息异常或位点时间落后过⼤则⽴即报警。在抽取器和分发器发⽣任何错误复制任务⽴即转变成STANDBY状态，集群中其他机器上的服务在感知后会⽴即将⾃⼰启动，继续执⾏前⼀复制任务。

## 5.7 问题定位 ##

阿里的中台架构，服务问题定位，倚靠的是鹰眼平台，鹰眼平台记录了淘宝每天上千亿次的服务调⽤信息。  
协作机械臂领域，汇总问题（ID、关键字、类型等）到表中，软件HMI会显示日志信息，日志文件会记录总的日志信息，日志信息能在查询表查出。  
大的系统需要这样的鹰眼平台。

# 参考 #

1、[豆瓣–企业IT架构转型之道：阿里巴巴中台战略思想与架构实战][IT]  
2、[百科–SOA][SOA]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70]: /images/20221120/cf3e0de7fdb74428887a5bf9afa8ea03.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 1]: /images/20221120/4f2569fe33bd44c8a893f6ac6a0f79be.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20201212193628333.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20201214125121455.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20201214190719111.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/2020121419362984.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20201214194137791.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20201214202058447.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20210102123613503.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20210102160540768.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20210102160840506.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/20210102164015438.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 12]: https://img-blog.csdnimg.cn/20210102164147880.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 13]: https://img-blog.csdnimg.cn/20210102171323826.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 14]: https://img-blog.csdnimg.cn/20210102173215936.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 15]: https://img-blog.csdnimg.cn/20210102173458529.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 16]: https://img-blog.csdnimg.cn/20210102182033177.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 17]: https://img-blog.csdnimg.cn/20210102182640798.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 18]: https://img-blog.csdnimg.cn/20210102182918809.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 19]: https://img-blog.csdnimg.cn/20210102185304308.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 20]: https://img-blog.csdnimg.cn/20210102185540558.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 21]: https://img-blog.csdnimg.cn/20210102185918891.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 22]: https://img-blog.csdnimg.cn/20210102190022977.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 23]: https://img-blog.csdnimg.cn/2021010219031978.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[20210102192944702.png]: https://img-blog.csdnimg.cn/20210102192944702.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 24]: https://img-blog.csdnimg.cn/20210102193303237.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 25]: https://img-blog.csdnimg.cn/20210102200819693.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 26]: https://img-blog.csdnimg.cn/20210102201318685.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 27]: https://img-blog.csdnimg.cn/20210102201445161.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 28]: https://img-blog.csdnimg.cn/20210102201808265.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 29]: https://img-blog.csdnimg.cn/20210102201827699.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 30]: https://img-blog.csdnimg.cn/20210102202639437.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 31]: https://img-blog.csdnimg.cn/20210102204231564.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 32]: https://img-blog.csdnimg.cn/20210102204512963.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 33]: https://img-blog.csdnimg.cn/20210102204609723.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw_size_16_color_FFFFFF_t_70 34]: https://img-blog.csdnimg.cn/2021010220560786.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgwMzgw,size_16,color_FFFFFF,t_70
[IT]: https://book.douban.com/subject/27039508/
[SOA]: https://baike.baidu.com/item/SOA/2140650?fr=aladdin