spring cloud alibaba(看完即入门)——Sentinel篇

我会带着你远行 2023-10-01 16:07 19阅读 0赞

#### 目录 ####

*  六、Sentinel服务容错
 *   *  6.1、认识Sentinel
     *  6.2、Sentiner与hystrix的区别
     *  6.3、安装sentinel控制台
     *  6.4、整合微服务
     *   *  6.4.1、公共模块引入sentinel依赖
         *  6.4.2、配置控制台地址
     *  6.5、簇点链路
     *  6.6、限流规则
     *   *  1.1、添加限流规则
         *  1.2、限流高级配置
         *   *  1.2.1、流控模式
             *   *  链路
             *  1.2.2、流控效果
             *   *  warm up
                 *  排队等待
         *  1.3、热点参数限流
     *  6.7、隔离和降级
     *   *  1、feign整合sentinel
         *  2、线程隔离
     *  6.8、熔断降级
     *   *  1、熔断策略-慢调用
         *  2、熔断策略-异常比例、异常数
     *  6.9、授权规则
     *  6.10、自定义异常
     *  6.11、规则持久化
 *  spring cloud alibaba全部组件地址

## 六、Sentinel服务容错 ##

### 6.1、认识Sentinel ###

> 提供了流量控制、熔断降级、系统负载保护等多个维度来保障服务之间的稳定性

解决雪崩问题的常见方式：  
1、`超时处理`：设定超时时间，请求超过一定的时间没有响应就返回错误信息，不会无休止等待。  
2、`舱壁模式`：限定每个业务能使用的线程数，避免耗尽整个tomcat资源，因此也叫线程隔离。  
3、`熔断降级`：有断路器统计业务执行的异常比例，如果超出阈值则会熔断业务，拦截访问该业务的一切请求。  
4、`流量控制`：限制业务访问的QPS,避免服务因流量的突增而故障。

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16]

### 6.2、Sentiner与hystrix的区别 ###

<table> 
 <thead> 
  <tr> 
   <th>.</th> 
   <th>sentinel</th> 
   <th>hystrix</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><code>隔离策略</code></td> 
   <td>信号量隔离</td> 
   <td>线程池隔离 / 信号量隔离</td> 
  </tr> 
  <tr> 
   <td><code>熔断降级策略</code></td> 
   <td>基于慢调用比例或异常比例</td> 
   <td>基于失败比率</td> 
  </tr> 
  <tr> 
   <td>实时指标实现</td> 
   <td>滑动窗口</td> 
   <td>滑动窗口（基于RxJava）</td> 
  </tr> 
  <tr> 
   <td>规则配置</td> 
   <td>支持多种数据源</td> 
   <td>支持多种数据源</td> 
  </tr> 
  <tr> 
   <td>扩展性</td> 
   <td>多个扩展点</td> 
   <td>插件的形式</td> 
  </tr> 
  <tr> 
   <td>基于注解的支持</td> 
   <td>支持</td> 
   <td>支持</td> 
  </tr> 
  <tr> 
   <td><code>限流</code></td> 
   <td>基于QPS,支持基于调用关系的限流</td> 
   <td>有限的支持</td> 
  </tr> 
  <tr> 
   <td><code>流程整形</code></td> 
   <td>支持慢启动、匀速排队模式</td> 
   <td>不支持</td> 
  </tr> 
  <tr> 
   <td>系统自适应</td> 
   <td>支持</td> 
   <td>不支持</td> 
  </tr> 
  <tr> 
   <td><code>控制台</code></td> 
   <td>开箱即用、可配置规则、查看秒级监控、机器发现登</td> 
   <td>不完善</td> 
  </tr> 
 </tbody> 
</table>

### 6.3、安装sentinel控制台 ###

下载地址: [https://github.com/alibaba/Sentinel/releases][https_github.com_alibaba_Sentinel_releases]

启动jar包：`java -jar sentinel-dashboard-1.8.3.jar`

指定端口：`java -jar sentinel-dashboard-1.8.3.jar -Dserver.port=8090`

修改其他配置看官网: [https://sentinelguard.io/zh-cn/][https_sentinelguard.io_zh-cn]

访问 `localhost:8080` 默认账号密码都是：`sentinel`  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 1]

### 6.4、整合微服务 ###

启动微服务项目

#### 6.4.1、公共模块引入sentinel依赖 ####

<dependency>
         <groupId>com.alibaba.cloud</groupId>
         <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
     </dependency>

#### 6.4.2、配置控制台地址 ####

spring:
      application:
        name: mall-coupon
      cloud:
        sentinel:
          transport:
            dashboard: localhost:8080

此时访问该项目任意端点（接口），可以看到sentinel监控信息  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 2]

### 6.5、簇点链路 ###

> 簇点链路：就是项目内的调用链路，链路中被监控的每个接口就是一个资源。默认情况下sentinel会监控springMVC的每个端点（Endpoint），因此springmvc的每个端点就是调用链路中的一个资源

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 3]

### 6.6、限流规则 ###

#### 1.1、添加限流规则 ####

点击流控添加限流规则  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 4]  
上图表示的意思是：这个接口的单机QPS为5，即每秒只允许5次请求，超出的请求会被拦截并报错。

#### 1.2、限流高级配置 ####

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 5]

##### 1.2.1、流控模式 #####

`直接`：统计当前资源的请求，触发阈值时对当前资源直接限流，也是默认模式。

`关联`：统计与当前相关的另一个资源，触发阈值时，对当前资源限流。

`链路`：统计从指定链路访问到本资源的请求，触发阈值时，对指定链路限流

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 6]  
关联资源就是关联的资源超过阈值，我这个资源也跟着异常。这个好理解，我多做解释

###### 链路 ######

1、sentinel默认只标记Controller中的方法为资源，如果要标记其他方法，需要利用`@SentinelResource`注解，实例  
![在这里插入图片描述][664cac3cd4c644fa82bfcb2888f47915.png]

2、sentinel默认会将Controller方法做context整合，导致链路模式的流控失效，需要修改application.yml,添加配置

spring:
      cloud:
        sentinel:
          transport:
            dashboard: localhost:8080
          web-context-unify: false # 关闭context整合

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 7]此时会有两个query,我们设置query的流控，只要从一个入口做限制  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 8]配置query资源的限流  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 9]

##### 1.2.2、流控效果 #####

`快速失效`：达到阈值后，新的请求会被立即拒绝并抛出FlowException异常。是默认的处理方式。

`warm up`：预热模式，对超出阈值的请求同样是拒绝，并抛出异常。但这种模式阈值会动态变化，从一个较小的值逐渐增加到最大值。

`排队等待`：让所有请求按照先后次序排队执行，两个请求的间隔不能小于指定时长。

###### warm up ######

> warm up也叫预热模式，是应对服务冷却启动的一种方案。请求阈值初始值是 threshold/coldFactor,持续指定时长后，逐渐提高到threshould值。而coldFactor的默认值是3.

例如，我设置QPS的threshold的为10，预热时间为5秒，那么初始阈值就是10/3，也就是3，然后在5秒后逐渐增长到10.

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 10]设置  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 11]  
测试结果：成功条数会从3条慢慢增加到10

###### 排队等待 ######

> 当请求阈值超过QPS阈值时，快速失败和warm up会拒绝新的请求并抛出异常。而排队等待则是让所有请求进入一个队列中，然后按照阈值运行的时间间隔依此执行。后来的请求必须等待前面的请求执行完成，如果请求预期的等待时间超出最大时长，则会被拒绝。

例如：QPS = 5，意味着没200ms处理一个队列中的请求；timeout =2000,意味着预期等待超过2000ms的请求会被拒绝并抛出异常

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 12]![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 13]运行结果：每次执行10个请求，超过2000ms的请求会拒绝并抛出异常

#### 1.3、热点参数限流 ####

> 之前的限流是统计访问某个资源的所有请求，判断是否超过QPS阈值。而热点参数限流是分别统计参数值相同的请求，判断是否超过QPS法制。

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 14]注意热点参数限流对默认的springMVC资源无效，只能通过@SentinelResource注解的资源才有效  
![在这里插入图片描述][f2cfa0a11d7c428e96b3a7c6b4406cc5.png]注意要从这里配置  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 15]配置热点参数阈值  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 16]

### 6.7、隔离和降级 ###

> 虽然限流可以尽量避免因高并发而引起的服务故障，但服务还会因为其他原因故障。而要将这些故障控制在一定范围，避免雪崩，就要靠线程隔离（壁舱模式）和熔断降级手段了。

#### 1、feign整合sentinel ####

springcloud中，微服务调用都是通过Feign来实现的，因此做客户端保护必须整合Feign和sentinel。

**1.1、yml修改**

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 17]**1.2、编写FallbackFactory类实现feign接口**

在调用模块新建，因为feign接口也在这里

@Slf4j
    @Component
    public class MemberFallbackFactory implements FallbackFactory<MemberFeignService> {
        
    
    	@Override
    	public MemberFeignService create(Throwable throwable) {
        
    		return new MemberFeignService() {
        
    			@Override
    			public String memberFeignTest() {
        
    				log.error("查询用户异常",throwable); // 可以返回异常
    				return "查询异常";   // 自己想要返回啥就返回啥
    			}
    		};
    	}
    }

**1.3、注册Bean**  
新建配置类

public class DefaultFeignConfiguration {
        
    
    	@Bean // 就是我们刚刚new 一个新建的FallbackFactory类
    	public MemberFallbackFactory memberFallbackFactory(){
        
    		return new MemberFallbackFactory();
    	}
    }

**1.4、feign接口注解上新增fallbackFactory**

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 18]  
配置完后，要是feign接口（被调用者模块的接口）崩了，就会返回我们自己设置的返回值给前端，实现`服务熔断`

**测试**  
较feign接口（被调用模块接口）的项目关掉  
![在这里插入图片描述][320d5a92895f4997afd3f57ce8839a2f.png]

如果启动报循环依赖错误，是版本兼容问题，需切换版本  
我的版本：  
Spring boot : 2.3.2.RELEASE  
spring cloud : Hoxton.SR9  
spring cloud alibaba:2.2.6.RELEASE

#### 2、线程隔离 ####

**线程隔离有两种方式实现：**  
1、`线程池隔离`  
优点 : 支持主动超时、支持异步调用  
缺点 ：线程额外开销比较大  
场景：低扇出  
2、`信号量隔离`（sentinel默认采用）  
优点 : 轻量级、无额外开销  
缺点 ：不支持主动超时、不支持异步调用  
场景 : 高频调用、高扇出  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 19]  
**设置线程隔离**  
就是流控选择线程数  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 20]

### 6.8、熔断降级 ###

> 熔断降级是解决雪崩的手段问题的重要手段。其思路是由断路器统计服务调用的异常比例、慢请求比例，如果超出阈值则会`熔断`该服务。即拦截访问该服务的一切请求；而当服务恢复时，断路器会放行访问该服务的请求。

#### 1、熔断策略-慢调用 ####

断路器熔断策略有三种：慢调用、异常比例、异常数

`慢调用`：业务的响应时间长（RT）大于指定时长的请求认定为慢掉用。在指定时间内，如果请求数量超过设定的最小数量，慢调用比例大于设定的阈值，则触发熔断。  
例如：  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 21]解读：RT超过500ms的调用是慢调用，统计最近10000ms内的请求，如果请求超过10次，并且满调用比例不低于0.5，则触发熔断，熔断时长为5秒。然后进入half-open状态，放行一次请求做测试。

#### 2、熔断策略-异常比例、异常数 ####

`异常比例或异常数`：统计指定时间内的调用，如果调用次数超过指定请求数，并且出现的异常的比例达到设定的比例阈值（或超过指定异常数），则触发熔断。  
例如：  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 22]![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 23]

解读：统计最近1000ms内的请求，如果量超过10次，并且比例不低于0.4（或异常数不超过2次），则触发熔断，熔断时长为5秒。然后进入half-open状态，放行一次请求做测试。

### 6.9、授权规则 ###

授权规则可以对调用方的来源控制，有白名单和黑名单两种方式。

`白名单`：来源（origin）在白名单内的调用者运行访问  
`黑名单`：来源（origin）在黑名单内的调用者不允许调用

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 24]例如，我们限定只允许从网关来的请求访问某一个模块，那么流控应用中就填写网关的名称。

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 25]  
**测试**  
设置成请求头带有origin的就来自gateway，没有的就是来自浏览器，来判断来源。

**1、设置白名单**  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 26]

**2、新建类实现RequestOriginParser接口**

sentinel是通过RequestOriginParser 这个接口的parseOrigin来获取请求头资源的。

@Component
    public class HearderOriginParser implements RequestOriginParser {
        
    	@Override
    	public String parseOrigin(HttpServletRequest request) {
        
    		// 1、获取请求头
    		String origin = request.getHeader("origin");
    		// 2、非空判断
    		if (StringUtils.isBlank(origin)){
        
    			origin = "origin";
    		}
    		return origin;
    	}
    }

\*\* 3、网关加请求头\*\*  
使用过滤器使每个请求带有origin

不会的可以看我网关的博客 [网关][Link 1]  
![在这里插入图片描述][c0a92080af2245f982e06022029ec7f3.png]  
不从网关  
![在这里插入图片描述][4338e187e9bb4bacb676c0b141fcc17c.png]从网关  
![在这里插入图片描述][5a6e99b6ca7f4894af9a3adf71204713.png]

### 6.10、自定义异常 ###

> 默认情况下，发生限流、降级、授权拦截时，都会抛出异常到调用方。如果要自定义异常时的返回结果，需要实现BlockExceptionHandle接口。

BlockException包含了很多个类，分别对应不同场景

<table> 
 <thead> 
  <tr> 
   <th>异常</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>FlowException</td> 
   <td>限流异常</td> 
  </tr> 
  <tr> 
   <td>ParamFlowException</td> 
   <td>热点参数限流异常</td> 
  </tr> 
  <tr> 
   <td>DegradeException</td> 
   <td>降级异常</td> 
  </tr> 
  <tr> 
   <td>AuthorityException</td> 
   <td>授权规则异常</td> 
  </tr> 
  <tr> 
   <td>SystemBlockException</td> 
   <td>系统规则异常</td> 
  </tr> 
 </tbody> 
</table>

\*\* 编写异常类\*\*

@Component
    public class SentinelExceptionHandle implements BlockExceptionHandler {
        
    
    	@Override
    	public void handle(HttpServletRequest request, HttpServletResponse response, BlockException e) throws Exception {
        
    		String msg = "未知异常";
    		int status = 429;
    
    		if (e instanceof FlowException){
        
    			msg = "请求被限流了";
    		} else if (e instanceof ParamFlowException){
        
    			msg = "请求被热点参数限流了";
    		} else if (e instanceof DegradeException){
        
    			msg = "请求被降级了";
    		} else if (e instanceof AuthorityException){
        
    			msg = "没有权限访问";
    			status = 401;
    		}
    
    		response.setContentType("application/json;charset=utf-8");
    		response.setStatus(status);
    		response.getWriter().println("{\"msg\":"+msg +",\"status\":" +status+"}");
    	}
    }

### 6.11、规则持久化 ###

sentinel的控制台规则管理有三种模式：  
`原始模式`:sentinel的默认模式，将规则保存在内存，重启服务会丢失  
`pull模式`：控制台将配置的规则推送到sentinel客户端，而客户端会将配置规则保存在本地文件或数据库中。以后会定时去本地文件或数据库中查询，更新本地规则。  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 27]  
`push模式`：控制台将配置规则推送到远程配置中心，例如nacos,sentinel客户端监听nacos,获取配置变更的推送消息，完成本地配置更新。  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 28]

## spring cloud alibaba全部组件地址 ##

[原文地址][Link 2]

[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/06eca91a4b984c04be1960c8a03b5659.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAaG1i4oaR,size_20,color_FFFFFF,t_70,g_se,x_16
[https_github.com_alibaba_Sentinel_releases]: https://github.com/alibaba/Sentinel/releases/
[https_sentinelguard.io_zh-cn]: https://sentinelguard.io/zh-cn//
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/acea0e8fcdeb4782bc055d715a2c7f5f.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAaG1i4oaR,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 2]: https://img-blog.csdnimg.cn/33eedd482d1246be81d022081252d8ad.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAaG1i4oaR,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 3]: https://img-blog.csdnimg.cn/779aad992d234c519176312f90583ad5.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAaG1i4oaR,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 4]: https://img-blog.csdnimg.cn/bf3c6ea747c542cc974008de5e4a46e6.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAaG1i4oaR,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 5]: https://img-blog.csdnimg.cn/0322a8880ddc4dc4be1e7fb88b9f7731.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAaG1i4oaR,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 6]: https://img-blog.csdnimg.cn/b5d91a43d4b64b9daf831f7ac1c3906d.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAaG1i4oaR,size_20,color_FFFFFF,t_70,g_se,x_16
[664cac3cd4c644fa82bfcb2888f47915.png]: https://img-blog.csdnimg.cn/664cac3cd4c644fa82bfcb2888f47915.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 7]: https://img-blog.csdnimg.cn/8a6a8595f37e4a30a98fd1742c2e4c8a.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAaG1i4oaR,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 8]: https://img-blog.csdnimg.cn/a2d1fc60739a4121b6dc8b650fd3d1de.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAaG1i4oaR,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 9]: https://img-blog.csdnimg.cn/05be8ca8ad5242c5a1cff09b9ade1afa.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAaG1i4oaR,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 10]: https://img-blog.csdnimg.cn/799aad052d764e2d9e96ca1e0069eb6c.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAaG1i4oaR,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 11]: https://img-blog.csdnimg.cn/b5ca182b32594bb2a7d268a3c8969751.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAaG1i4oaR,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 12]: https://img-blog.csdnimg.cn/9816d03ac49b47529e817a8fad83b598.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAaG1i4oaR,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 13]: https://img-blog.csdnimg.cn/b9d8599899714cf7bc826221c90472b2.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAaG1i4oaR,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 14]: https://img-blog.csdnimg.cn/ede5dc6f21d44f8b9fa51272a10db9ea.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAaG1i4oaR,size_20,color_FFFFFF,t_70,g_se,x_16
[f2cfa0a11d7c428e96b3a7c6b4406cc5.png]: https://img-blog.csdnimg.cn/f2cfa0a11d7c428e96b3a7c6b4406cc5.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 15]: https://img-blog.csdnimg.cn/a381cc6363d14c098e632d06c52c4d33.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAaG1i4oaR,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 16]: https://img-blog.csdnimg.cn/5b6527dcf9e947949ba254fe9bddd1c4.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAaG1i4oaR,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 17]: https://img-blog.csdnimg.cn/f0cae8e2f1924fe7b9bc6d3a70011563.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAaG1i4oaR,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 18]: https://img-blog.csdnimg.cn/2d155d18db9d4bc2b8cd713142aa9a28.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAaG1i4oaR,size_20,color_FFFFFF,t_70,g_se,x_16
[320d5a92895f4997afd3f57ce8839a2f.png]: https://img-blog.csdnimg.cn/320d5a92895f4997afd3f57ce8839a2f.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 19]: https://img-blog.csdnimg.cn/793a3aa9b1b946e18d32e32237dc3b08.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAaG1i4oaR,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 20]: https://img-blog.csdnimg.cn/954675d0dff8492596ab1436338524be.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAaG1i4oaR,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 21]: https://img-blog.csdnimg.cn/cde54e9e01634b418b3a991092a8b795.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAaG1i4oaR,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 22]: https://img-blog.csdnimg.cn/7dbcdaba9bb341efa087da6cf1bfd146.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAaG1i4oaR,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 23]: https://img-blog.csdnimg.cn/f8599564d0a645c3a2348ab4a536458e.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAaG1i4oaR,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 24]: https://img-blog.csdnimg.cn/d481c79da7f944368f2cad2780a97aa9.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAaG1i4oaR,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 25]: https://img-blog.csdnimg.cn/0dd4511203694005b2f09a7d1d943760.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAaG1i4oaR,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 26]: https://img-blog.csdnimg.cn/9ad94177351c4518baed1233675748a6.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAaG1i4oaR,size_20,color_FFFFFF,t_70,g_se,x_16
[Link 1]: https://blog.csdn.net/qq_48721706/article/details/122643553/
[c0a92080af2245f982e06022029ec7f3.png]: https://img-blog.csdnimg.cn/c0a92080af2245f982e06022029ec7f3.png
[4338e187e9bb4bacb676c0b141fcc17c.png]: https://img-blog.csdnimg.cn/4338e187e9bb4bacb676c0b141fcc17c.png
[5a6e99b6ca7f4894af9a3adf71204713.png]: https://img-blog.csdnimg.cn/5a6e99b6ca7f4894af9a3adf71204713.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 27]: https://img-blog.csdnimg.cn/b6e4227334be4de6975f0848e4c0adce.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAaG1i4oaR,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAaG1i4oaR_size_20_color_FFFFFF_t_70_g_se_x_16 28]: https://img-blog.csdnimg.cn/37de172a788a4b5ba76e80519de0058c.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAaG1i4oaR,size_20,color_FFFFFF,t_70,g_se,x_16
[Link 2]: https://blog.csdn.net/qq_48721706/article/details/122851487