【SpringCloud】Sentinel微服务保护：流量控制、隔离和降级

绝地灬酷狼 2024-04-03 09:24 83阅读 0赞

**目录**

（一）初识Sentinel

（二）流量控制

（三）隔离和降级

（四）授权规则

（五）规则持久化

--------------------

## **（一）初识Sentinel** ##

**雪崩问题**

微服务调用链路中的某个服务故障，引起整个链路中的所有微服务都不可用，这就是雪崩。

![b1666dd42c9b43c59ab60967d8a9dcbd.png][]

![b1019d514e03477db227efda96e3fc64.png][]![66383e3d4dcc43f4a1c7134d08cd5e7d.png][]

安装Sentinel控制台

sentinel官方提供了UI控制台，方便我们对系统做限流设置

![57fde2fa352343eda03dd9309aea0d0f.png][]![5cc0b562e168471db345dd3b7c109f82.png][]

sentinel-dashboard-1.8.1.jar 阿里云盘下载地址： [阿里云盘分享][Link 1]

启动Sentinel控制台

**java -jar sentinel-dashboard-1.8.1.jar**

1.然后访问：localhost:8080 即可看到控制台页面，默认的账户和密码都是sentinel

2.如果要修改Sentinel的默认端口、账户、密码，可以通过下列配置：

<table> 
 <tbody> 
 <tr> 
 <td style="background-color:#ad2b26;width:284.55pt;"> 配置项 </td> 
 <td style="background-color:#ad2b26;width:82.95pt;"> 默认值 </td> 
 <td style="background-color:#ad2b26;width:70.85pt;"> 说明 </td> 
 </tr> 
 <tr> 
 <td style="background-color:#cbcbcb;width:284.55pt;"> server.port </td> 
 <td style="background-color:#cbcbcb;width:82.95pt;"> 8080 </td> 
 <td style="background-color:#cbcbcb;width:74.6pt;"> 服务端口 </td> 
 </tr> 
 <tr> 
 <td style="background-color:#e7e7e7;width:285.9pt;"> sentinel.dashboard.auth.username </td> 
 <td style="background-color:#e7e7e7;width:84.3pt;"> sentinel </td> 
 <td style="background-color:#e7e7e7;width:78.35pt;"> 默认用户名 </td> 
 </tr> 
 <tr> 
 <td style="background-color:#cbcbcb;width:285.9pt;"> sentinel.dashboard.auth.password </td> 
 <td style="background-color:#cbcbcb;width:84.3pt;"> sentinel </td> 
 <td style="background-color:#cbcbcb;width:74.6pt;"> 默认密码 </td> 
 </tr> 
 </tbody> 
</table>

举例说明

iava -jar sentinel-dashboard-1.8.1.jar -Dserver.port=8090

微服务整合Sentinel

我们在order-service中整合Sentinel，并且连接Sentinel的控制台，步骤如下：

1.引入sentinel依赖：

**

<**dependency**>

<**groupId**>com.alibaba.cloud</**groupId**>

<**artifactId**>spring-cloud-starter-alibaba-sentinel</**artifactId**>

</**dependency**>

2.配置控制台地址：

**spring**:

**cloud**:

**sentinel**:

**transport**:

**dashboard**: localhost:8080

3.访问微服务的任意端点，触发sentinel监控

## **（二）流量控制** ##

簇点链路

簇点链路：就是项目内的调用链路，链路中被监控的每个接口就是一个资源。默认情况下sentinel会监控SpringMVC的每一个端点（Endpoint），因此SpringMVC的每一个端点（Endpoint）就是调用链路中的一个资源。

流控、熔断等都是针对簇点链路中的资源来设置的，因此我们可以点击对应资源后面的按钮来设置规则：

![9423cc85f8044b7084dfba382355ae4a.png][]![f219803aff0141e597676caa5c9731b9.png][]

快速入门

点击资源/order/\{orderId\}后面的流控按钮，就可以弹出表单。表单中可以添加流控规则，如下图所示：

![1552a6a69c2e49a9af73f170f131451d.png][]![7fb91db7e5c04958a164d8d840a904c8.png][]

其含义是限制 /order/\{orderId\}这个资源的单机QPS为1，即每秒只允许1次请求，超出的请求会被拦截并报错。

流控模式

在添加限流规则时，点击高级选项，可以选择三种流控模式：

*  直接：统计当前资源的请求，触发阈值时对当前资源直接限流，也是默认的模式
 *  关联：统计与当前资源相关的另一个资源，触发阈值时，对当前资源限流
 *  链路：统计从指定链路访问到本资源的请求，触发阈值时，对指定链路限流

![7a5db6e41c0d4cb18bb2368cc765da6c.png][]

流控模式\-关联

*  关联模式：统计与当前资源相关的另一个资源，触发阈值时，对当前资源限流
 *  使用场景：比如用户支付时需要修改订单状态，同时用户要查询订单。查询和修改操作会争抢数据库锁，产生竞争。业务需求是有限支付和更新订单的业务，因此当修改订单业务触发阈值时，需要对查询订单业务限流。

![2dc98da6f7294d5fb72f4217eb09d5dc.png][]

当/write资源访问量触发阈值时，就会对/read资源限流，避免影响/write资源。

满足下面条件可以使用关联模式：

*  两个有竞争关系的资源
 *  一个优先级较高，一个优先级较低

流控模式\-链路

链路模式：只针对从指定链路访问到本资源的请求做统计，判断是否超过阈值。

例如有两条请求链路：

*  /test1 à /common
 *  /test2 à /common

如果只希望统计从/test2进入到/common的请求，则可以这样配置：

![9df205e0ad3440d3943ce7033a5017a5.png][]

需求：有查询订单和创建订单业务，两者都需要查询商品。针对从查询订单进入到查询商品的请求统计，并设置限流。

步骤：

*   *  在OrderService中添加一个queryGoods方法，不用实现业务
     *  在OrderController中，改造/order/query端点，调用OrderService中的queryGoods方法
     *  在OrderController中添加一个/order/save的端点，调用OrderService的queryGoods方法
     *  给queryGoods设置限流规则，从/order/query进入queryGoods的方法限制QPS必须小于2

Sentinel默认只标记Controller中的方法为资源，如果要标记其它方法，需要利用@SentinelResource注解，示例：

@SentinelResource(**"goods"**)

**public void** queryGoods() \{

System.***err***.println(**"****查询商品****"**);

Sentinel默认会将Controller方法做context整合，导致链路模式的流控失效，需要修改application.yml，添加配置：

**spring**:

**cloud**:

**sentinel**:

**web-context-unify**: **false** *\#* *关闭**context**整合*

控流效果、热点参数限流

流控效果是指请求达到流控阈值时应该采取的措施，包括三种：

*   *  快速失败：达到阈值后，新的请求会被立即拒绝并抛出FlowException异常。是默认的处理方式。
     *  warm up：预热模式，对超出阈值的请求同样是拒绝并抛出异常。但这种模式阈值会动态变化，从一个较小值逐渐增加到最大阈值。
     *  排队等待：让所有的请求按照先后次序排队执行，两个请求的间隔不能小于指定时长

![5e7f44fc74254736ba15990faaae0a88.png][]

流控效果\-warm up

warm up也叫预热模式，是应对服务冷启动的一种方案。请求阈值初始值是 threshold / coldFactor，持续指定时长后，逐渐提高到threshold值。而coldFactor的默认值是3.

例如，我设置QPS的threshold为10，预热时间为5秒，那么初始阈值就是 10 / 3 ，也就是3，然后在5秒后逐渐增长到10.

![b8b11453529b4f15872dcd36ef22ecea.png][]

流控效果\-排队等待

当请求超过QPS阈值时，快速失败和warm up 会拒绝新的请求并抛出异常。而排队等待则是让所有请求进入一个队列中，然后按照阈值允许的时间间隔依次执行。后来的请求必须等待前面执行完成，如果请求预期的等待时间超出最大时长，则会被拒绝。

例如：QPS = 5，意味着每200ms处理一个队列中的请求；timeout = 2000，意味着预期等待超过2000ms的请求会被拒绝并抛出异常

![f676300debb34a9d835a045e7b225967.png][]

**流量整形效果**

流控效果：

*   *  快速失败：QPS超过阈值时，拒绝新的请求
     *  warm up： QPS超过阈值时，拒绝新的请求；QPS阈值是逐渐提升的，可以避免冷启动时高并发导致服务宕机。
     *  排队等待：请求会进入队列，按照阈值允许的时间间隔依次执行请求；如果请求预期等待时长大于超时时间，直接拒绝

热点参数限流

之前的限流是统计访问某个资源的所有请求，判断是否超过QPS阈值。而热点参数限流是分别统计参数值相同的请求，判断是否超过QPS阈值。

![67fd2c3ebd6944458b6ec0039d73582d.png][]

配置示例：

![3eae128978a44e32a3eba8535ae5e8dc.png][]

代表的含义是：对hot这个资源的0号参数（第一个参数）做统计，每1秒**相同参数值**的请求数不能超过5

在热点参数限流的高级选项中，可以对部分参数设置例外配置：

![9ac11a505ffc4ed4a0d1782f376a63ff.png][]

结合上一个配置，这里的含义是对0号的long类型参数限流，每1秒相同参数的QPS不能超过5，有两个例外：

*   *  如果参数值是100，则每1秒允许的QPS为10
     *  如果参数值是101，则每1秒允许的QPS为15

注意：热点参数限流对默认的springMVC资源无效，需要加注解

@SentinelResource(**"****hot****"**)

## （三）隔离和降级 ##

*   *  FeignClient整合Sentinel
     *  线程隔离（舱壁模式）
     *  熔断降级

隔离和降级

虽然限流可以尽量避免因高并发而引起的服务故障，但服务还会因为其它原因而故障。而要将这些故障控制在一定范围，避免雪崩，就要靠线程隔离（舱壁模式）和熔断降级手段了。

不管是线程隔离还是熔断降级，都是对客户端（调用方）的保护。

![21ec2f367ac3418eb3d56513c206ef72.png][]

1.  **FeignClient****整合****Sentinel**

SpringCloud中，微服务调用都是通过Feign来实现的，因此做客户端保护必须整合Feign和Sentinel。

1.修改OrderService的application.yml文件，开启Feign的Sentinel功能

**feign**:

**sentinel**:

**enabled**: **true** *\#* *开启**Feign**的**Sentinel**功能*

2.给FeignClient编写失败后的降级逻辑

1.  方式一：FallbackClass，无法对远程调用的异常做处理
2.  方式二：FallbackFactory，可以对远程调用的异常做处理，我们选择这种

步骤一：在feing-api项目中定义类，实现FallbackFactory：

@Slf4j

public class UserClientFallbackFactory implements FallbackFactory<UserClient> \{

@Override

public UserClient create(Throwable throwable) \{

*//* *创建**UserClient**接口实现类，实现其中的方法，编写失败降级的处理逻辑*

return new UserClient() \{

@Override

public User findById(Long id) \{

*//* *记录异常信息*

log.error("查询用户失败", throwable);

*//* *根据业务需求返回默认的数据，这里是空用户*

return new User();

\};

步骤二：在feing-api项目中的DefaultFeignConfiguration类中将UserClientFallbackFactory注册为一个Bean：

@Bean

**public** UserClientFallbackFactory userClientFallback()\{

**return new** UserClientFallbackFactory();

步骤三：在feing-api项目中的UserClient接口中使用UserClientFallbackFactory：

@FeignClient(value = **"userservice"**, fallbackFactory = UserClientFallbackFactory.**class**)

**public interface** UserClient \{

@GetMapping(**"/user/\{id\}"**)

User findById(@PathVariable(**"id"**) Long id);

1.  线程隔离

线程隔离有两种方式实现：

*  线程池隔离
 *  信号量隔离（Sentinel默认采用）

![a4169639967a43bea08034518d9033fe.png][]

![3938bc42a7864dc88baf7c8c4cb9ea54.png][]

![43bffaa182834eba8f0e76f82fe44942.png][]

![9e7bed6564514a51910f4d97b3ac6d8a.png][]

![207cdcbc423b4d7da053fcd86c15cf05.png][]

*  QPS：就是每秒的请求数，在快速入门中已经演示过
 *  线程数：是该资源能使用用的tomcat线程数的最大值。也就是通过限制线程数量，实现舱壁模式。

**超过得线程会进入服务降级****FallbackFactory****定义的默认返回值**

线程隔离的两种手段：

*  信号量隔离

*  线程池隔离

信号量隔离的特点：

*  基于计数器模式，简单，开销小

线程池隔离的特点：

*  基于线程池模式，有额外开销，但隔离控制更强

1.  熔断降级

熔断降级是解决雪崩问题的重要手段。其思路是由**断路器**统计服务调用的异常比例、慢请求比例，如果超出阈值则会**熔断**该服务。即拦截访问该服务的一切请求；而当服务恢复时，断路器会放行访问该服务的请求。

![25a11e9f8a6b4e82a941929fa5273477.png][]

熔断策略\-慢调用

断路器熔断策略有三种：慢调用、异常比例、异常数

慢调用：业务的响应时长（RT）大于指定时长的请求认定为慢调用请求。在指定时间内，如果请求数量超过设定的

*   *  最小数量，慢调用比例大于设定的阈值，则触发熔断。例如：
     *  ![38823cea5b924beaae54646064bebacf.png][]

解读：RT超过500ms的调用是慢调用，统计最近10000ms内的请求，如果请求量超过10次，并且慢调用比例不低于0.5，则触发熔断，熔断时长为5秒。然后进入half-open状态，放行一次请求做测试。

熔断策略\-异常比例、异常数

断路器熔断策略有三种：慢调用、异常比例或异常数

*   *  异常比例或异常数：统计指定时间内的调用，如果调用次数超过指定请求数，并且出现异常的比例达到设定的比例阈值（或超过指定异常数），则触发熔断。例如：

![c558ba9fb180492d9f176b72045d8b50.png][]

![4537bf4d900449cc9e01ae44644ebb79.png][]

解读：统计最近1000ms内的请求，如果请求量超过10次，并且异常比例不低于0.5，则触发熔断，熔断时长为5秒。然后进入half-open状态，放行一次请求做测试。

Sentinel熔断降级的策略：

*   *  慢调用比例：超过指定时长的调用为慢调用，统计单位时长内慢调用的比例，超过阈值则熔断
     *  异常比例：统计单位时长内异常调用的比例，超过阈值则熔断
     *  异常数：统计单位时长内异常调用的次数，超过阈值则熔断

## （四）授权规则 ##

授权规则

授权规则可以对调用方的来源做控制，有白名单和黑名单两种方式。

*  白名单：来源（origin）在白名单内的调用者允许访问
 *  黑名单：来源（origin）在黑名单内的调用者不允许访问

![5539d2db1a3e49f98034056441ee1a81.png][]

例如，我们限定只允许从网关来的请求访问order-service，那么流控应用中就填写网关的名称

![7430b7b82bb4477590818180a5b8dcac.png][]

Sentinel是通过RequestOriginParser这个接口的parseOrigin来获取请求的来源的。

**public interface** RequestOriginParser \{

*/\*\**

*\** 从请求request对象中获取origin，获取方式自定义

*\*/*

String parseOrigin(HttpServletRequest request);

例如，我们尝试从request中获取一个名为origin的请求头，作为origin的值：

@Component

**public class** HeaderOriginParser **implements** RequestOriginParser \{

@Override

**public** String parseOrigin(HttpServletRequest request) \{

String origin = request.getHeader(**"origin"**);

**if**(StringUtils.*isEmpty*(origin))\{

**return** **"blank"**;

**return** origin;

我们还需要在gateway服务中，利用网关的过滤器添加名为gateway的origin头：

**spring**:

**cloud**:

**gateway**:

**default-filters**:

\- AddRequestHeader=origin,gateway *\#* *添加名为**origin**的请求头，值为**gateway*

给/order/\{orderId\} 配置授权规则：

![5de6ce82716b4d7a9a287cf3f4bbfa43.png][]

2. 自定义异常结果

默认情况下，发生限流、降级、授权拦截时，都会抛出异常到调用方。如果要自定义异常时的返回结果，需要实现BlockExceptionHandler接口：

public interface BlockExceptionHandler \{  
  
/\*\*  
\* 处理请求被限流、降级、授权拦截时抛出的异常：BlockException  
\*/  
void handle(HttpServletRequest request, HttpServletResponse response, BlockException e) throws Exception;  
  
\}

而BlockException包含很多个子类，分别对应不同的场景：

![cb42a92637d840a79ca6d0da42416740.png][]

我们在order-service中定义类，实现BlockExceptionHandler接口：

@Component

**public class** SentinelBlockHandler **implements** BlockExceptionHandler \{

@Override

**public void** handle(

HttpServletRequest httpServletRequest,

HttpServletResponse httpServletResponse, BlockException e) **throws** Exception \{

String msg = **"****未知异常****"**;

**int** status = 429;

**if** (e **instanceof** FlowException) \{

msg = **"****请求被限流了！****"**;

\} **else if** (e **instanceof** DegradeException) \{

msg = **"****请求被降级了！****"**;

\} **else if** (e **instanceof** ParamFlowException) \{

msg = **"****热点参数限流！****"**;

\} **else if** (e **instanceof** AuthorityException) \{

msg = **"****请求没有权限！****"**;

status = 401;

httpServletResponse.setContentType(**"application/json;charset=utf-8"**);

httpServletResponse.setStatus(status);

httpServletResponse.getWriter().println(**"\{** **\\"****message****\\"****:** **\\"****"** \+ msg + **"****\\"****,** **\\"****status****\\"****: "** \+ status + **"\}"**);

## （五）规则持久化 ##

1. 规则管理模式

Sentinel的控制台规则管理有三种模式：

<table> 
 <tbody> 
 <tr> 
 <td style="background-color:#ad2b26;border-color:#a3a3a3;width:61.15pt;"> 推送模式 </td> 
 <td style="background-color:#ad2b26;border-color:#a3a3a3;width:486pt;"> 说明 </td> 
 <td style="background-color:#ad2b26;border-color:#a3a3a3;width:99.95pt;"> 优点 </td> 
 <td style="background-color:#ad2b26;border-color:#a3a3a3;width:171.95pt;"> 缺点 </td> 
 </tr> 
 <tr> 
 <td style="background-color:#e7e7e7;border-color:#a3a3a3;width:62.5pt;"> <a href="https://github.com/alibaba/Sentinel/wiki/%E5%9C%A8%E7%94%9F%E4%BA%A7%E7%8E%AF%E5%A2%83%E4%B8%AD%E4%BD%BF%E7%94%A8-Sentinel" title="原始模式" rel="nofollow">原始模式</a> </td> 
 <td style="background-color:#e7e7e7;width:486pt;"> API 将规则推送至客户端并直接更新到内存中，扩展写数据源（<a href="https://github.com/alibaba/Sentinel/wiki/%E5%8A%A8%E6%80%81%E8%A7%84%E5%88%99%E6%89%A9%E5%B1%95" title="WritableDataSource" rel="nofollow">WritableDataSource</a>），默认就是这种 </td> 
 <td style="background-color:#e7e7e7;width:101.15pt;"> 简单，无任何依赖 </td> 
 <td style="background-color:#e7e7e7;width:179.15pt;"> 不保证一致性；规则保存在内存中，重启即消失。严重不建议用于生产环境 </td> 
 </tr> 
 <tr> 
 <td style="background-color:#f2f2f2;border-color:#a3a3a3;width:61.15pt;"> <a href="https://github.com/alibaba/Sentinel/wiki/%E5%9C%A8%E7%94%9F%E4%BA%A7%E7%8E%AF%E5%A2%83%E4%B8%AD%E4%BD%BF%E7%94%A8-Sentinel" title="Pull 模式" rel="nofollow">Pull 模式</a> </td> 
 <td style="background-color:#f2f2f2;width:486pt;"> 扩展写数据源（<a href="https://github.com/alibaba/Sentinel/wiki/%E5%8A%A8%E6%80%81%E8%A7%84%E5%88%99%E6%89%A9%E5%B1%95" title="WritableDataSource" rel="nofollow">WritableDataSource</a>）， 客户端主动向某个规则管理中心定期轮询拉取规则，这个规则中心可以是 RDBMS、文件 等 </td> 
 <td style="background-color:#f2f2f2;width:101.15pt;"> 简单，无任何依赖；规则持久化 </td> 
 <td style="background-color:#f2f2f2;width:179.15pt;"> 不保证一致性；实时性不保证，拉取过于频繁也可能会有性能问题。 </td> 
 </tr> 
 <tr> 
 <td style="background-color:#e7e7e7;border-color:#a3a3a3;width:62.5pt;"> <a href="https://github.com/alibaba/Sentinel/wiki/%E5%9C%A8%E7%94%9F%E4%BA%A7%E7%8E%AF%E5%A2%83%E4%B8%AD%E4%BD%BF%E7%94%A8-Sentinel" title="Push 模式" rel="nofollow">Push 模式</a> </td> 
 <td style="background-color:#e7e7e7;width:486pt;"> 扩展读数据源（<a href="https://github.com/alibaba/Sentinel/wiki/%E5%8A%A8%E6%80%81%E8%A7%84%E5%88%99%E6%89%A9%E5%B1%95" title="ReadableDataSource" rel="nofollow">ReadableDataSource</a>），规则中心统一推送，客户端通过注册监听器的方式时刻监听变化，比如使用 Nacos、Zookeeper 等配置中心。这种方式有更好的实时性和一致性保证。生产环境下一般采用 push 模式的数据源。 </td> 
 <td style="background-color:#e7e7e7;width:101.15pt;"> 规则持久化；一致性； </td> 
 <td style="background-color:#e7e7e7;width:161.3pt;"> 引入第三方依赖 </td> 
 </tr> 
 </tbody> 
</table>

规则管理模式\-push模式

push模式：控制台将配置规则推送到远程配置中心，例如Nacos。Sentinel客户端监听Nacos，获取配置变更的推送消息，完成本地配置更新。

![117b6a19e82f4a2ab746de96c03ffffc.png][]

2. 实现push模式

push模式实现最为复杂，依赖于nacos，并且需要改在Sentinel控制台。整体步骤如下：

1.  修改order-service服务，使其监听Nacos配置中心
2.  修改Sentinel-dashboard源码，配置nacos数据源
3.  修改Sentinel-dashboard源码，修改前端页面
4.  重新编译、打包-dashboard源码

**重新编译、打包****好的见**阿里云盘下载地址： sentinel-dashboard.jar [阿里云盘分享][Link 2]

![a4597b71bc5f40ae99505403a648ee75.png][]

[b1666dd42c9b43c59ab60967d8a9dcbd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/842666c3b6e44a7e94d5b8cc41ad1e42.png
[b1019d514e03477db227efda96e3fc64.png]: https://img-blog.csdnimg.cn/b1019d514e03477db227efda96e3fc64.png
[66383e3d4dcc43f4a1c7134d08cd5e7d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/d6749c44d25c4db4a6b8c719e4aff489.png
[57fde2fa352343eda03dd9309aea0d0f.png]: https://img-blog.csdnimg.cn/57fde2fa352343eda03dd9309aea0d0f.png
[5cc0b562e168471db345dd3b7c109f82.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/ab07d2dd98be4282a4e2ea2c669ef59e.png
[Link 1]: https://www.aliyundrive.com/s/qbfa2usoBnN
[9423cc85f8044b7084dfba382355ae4a.png]: https://img-blog.csdnimg.cn/9423cc85f8044b7084dfba382355ae4a.png
[f219803aff0141e597676caa5c9731b9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/6d8fcda1c20e4e83be700cdac2b5c985.png
[1552a6a69c2e49a9af73f170f131451d.png]: https://img-blog.csdnimg.cn/1552a6a69c2e49a9af73f170f131451d.png
[7fb91db7e5c04958a164d8d840a904c8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/e35f969659b846179eaec69b5deaa3f2.png
[7a5db6e41c0d4cb18bb2368cc765da6c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/b28a82507eeb48f79438d86aa5c3436b.png
[2dc98da6f7294d5fb72f4217eb09d5dc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/e3d05b1316e84ab18941ec0f366f79d6.png
[9df205e0ad3440d3943ce7033a5017a5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/ca76b179cb8543f9835a0a50657c80f3.png
[5e7f44fc74254736ba15990faaae0a88.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/9b1b8d62b716489281d2c737d44b00bb.png
[b8b11453529b4f15872dcd36ef22ecea.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/257715fafbc74f8dbdba2fec9f2cb5b8.png
[f676300debb34a9d835a045e7b225967.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/d82403e8efe3457bbb3ffc46daa73867.png
[67fd2c3ebd6944458b6ec0039d73582d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/822bda4f24c540a3918e28c41dd8ae12.png
[3eae128978a44e32a3eba8535ae5e8dc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/5ece0d70489e4cb6a692f3f3715787f0.png
[9ac11a505ffc4ed4a0d1782f376a63ff.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/4b46cad19ef544aca563c3ab4c2902c3.png
[21ec2f367ac3418eb3d56513c206ef72.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/ab6f2fb2747b49189958721bb1a310a1.png
[a4169639967a43bea08034518d9033fe.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/5175559881c7419995764be54fe1f50d.png
[3938bc42a7864dc88baf7c8c4cb9ea54.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/1f7767ac71aa46f394b78d4f1396b729.png
[43bffaa182834eba8f0e76f82fe44942.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/1dfe3df47f1f4a5faaa6195333c5aeee.png
[9e7bed6564514a51910f4d97b3ac6d8a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/aa97eee9fe92453b9e5afc227a24fe23.png
[207cdcbc423b4d7da053fcd86c15cf05.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/49cf135a6b2f496290fcd474d6dc558f.png
[25a11e9f8a6b4e82a941929fa5273477.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/084426e965ee4685b05b8ec5b29f8b70.png
[38823cea5b924beaae54646064bebacf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/bae8e924f6d14b31a50abb20363090b4.png
[c558ba9fb180492d9f176b72045d8b50.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/bfc4cb0582ae496fa40d814d30a00f95.png
[4537bf4d900449cc9e01ae44644ebb79.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/8e7a552086fd4fff8fd2b813df770cdc.png
[5539d2db1a3e49f98034056441ee1a81.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/9e735469ec91461c8ec58f8fe5d94ce8.png
[7430b7b82bb4477590818180a5b8dcac.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/0297f5ec39904f1499b6b0d75149c861.png
[5de6ce82716b4d7a9a287cf3f4bbfa43.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/52dbeacb6e8145f7968021d471e6c99e.png
[cb42a92637d840a79ca6d0da42416740.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/a18df97f2a7b457ea875d1a1803024b6.png
[117b6a19e82f4a2ab746de96c03ffffc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/ac8a17b2c9d2405996736784c8a799e0.png
[Link 2]: https://www.aliyundrive.com/s/U5yqn6XNETi
[a4597b71bc5f40ae99505403a648ee75.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/39e1c66216c44f68b07e52806c6b9815.png