微服务高级篇【1】之微服务保护

ゞ浴缸里的玫瑰 2024-03-24 15:12 12阅读 0赞

#### 文章目录 ####

*  前言
 *  一 初识Sentinel
 *   *  1.1 雪崩问题
     *  1.2 解决方法
     *  1.3 小结
     *  1.4 服务保护技术对比
     *  1.5 Sentinel介绍
     *  1.6 Sentinel安装
     *  1.7 微服务整合Sentinel
 *  二 测试工具：Jmeter
 *   *  2.1 Jmeter安装和配置
     *  2.2 Jmeter快速入门
     *   *  2.2.1 设置中文语言
         *  2.2.2 设置Jmeter桌面快捷图标
     *  2.3 Jmeter无法保存测试的问题
     *  2.4 jmeter基本用法
 *  三 流量控制
 *   *  3.1 簇点链路
     *  3.2 快速入门
     *  3.3 流控模式
     *  3.4 链路模式
     *  3.5 流控效果
     *   *  3.5.1 warm up
         *  3.5.2 排队等待
     *  3.6 热点参数限流
     *   *  3.6.1 全局参数限流
         *  3.6.2 热点参数限流
 *  四 隔离和降级
 *   *  4.1 FeignClient整合Sentinel
     *   *  4.1.1 修改配置，开启sentinel功能
         *  4.1.2 编写失败降级逻辑
         *  4.1.3 总结
     *  4.2 线程隔离（舱壁模式）
     *   *  4.2.1 线程隔离的实现方式
         *  4.2.2 sentinel的线程隔离
     *  4.3 熔断降级
     *   *  4.3.1 慢调用
         *  4.3.2 异常比例、异常数
 *  五 授权规则
 *   *  5.1 授权规则
     *  5.2 自定义异常结果
     *  5.3 自定义异常处理
 *  六 规则持久化
 *   *  6.1 规则管理模式
     *  6.2 pull模式
     *  6.3 push模式
     *  6.4 实现push模式
     *   *  6.4.1下载和解压Sentinel源码
         *  6.4.2 修改nacos依赖
         *  6.4.3 添加nacos支持
         *  6.4.4 配置nacos数据源
         *  6.4.5 修改前端页面
         *  6.4.6 重新编译、打包项目
         *  6.4.7 启动

![在这里插入图片描述][c683c621cd494597a34a7c231f71f92f.png]

## 前言 ##

*  本文是学习自黑马程序员，大部分的内容来自微服务课程！！！
 *  本文的意义在于学习记录，虽然黑马的学习文档很详细，但是由于课程不可能是时时最新，所以学习使用的工具、内容等版本有一定的差异！！
 *  本文，是立足于黑马的教程，对后来的学习者，对其中的细节问题，进行记录和补充！！！
 *  文章有不足之处，感谢大家的指正！！！
 *  文章后半部分，有关实际操作的部分，小编不再赘述！！！对于操作部分，一定要亲自动手！！！

## 一 初识Sentinel ##

### 1.1 雪崩问题 ###

*  微服务中，服务间调用关系错综复杂，一个微服务往往依赖于多个其它微服务  
    ![在这里插入图片描述][129c9ba164e44f0198ab756201fb9c21.png]
 *  如图，如果服务提供者I发生了故障，当前的应用的部分业务因为依赖于服务I，因此也会被阻塞。此时，其它不依赖于服务I的业务似乎不受影响。  
    ![在这里插入图片描述][f4c07f3a78d949448e2845fde492a67f.png]
 *  但是，依赖服务I的业务请求被阻塞，用户不会得到响应，则tomcat的这个线程不会释放，于是越来越多的用户请求到来，越来越多的线程会阻塞：  
    ![在这里插入图片描述][d16f21eeaa5a43359b6bbb5c706fa524.png]
 *  服务器支持的线程和并发数有限，请求一直阻塞，会导致服务器资源耗尽，从而导致所有其它服务都不可用，那么当前服务也就不可用了。那么，依赖于当前服务的其它服务随着时间的推移，最终也都会变的不可用，形成级联失败，雪崩就发生了
 *  **微服务调用链路中的某个服务故障，引起整个链路中的所有微服务都不可用，这就是雪崩。**  
    ![在这里插入图片描述][11d5d6ae856847929ac38cfa948e525e.gif_pic_center]

### 1.2 解决方法 ###

*  解决雪崩问题的常见方式有四种：
    
     *  **超时处理**：设定超时时间，请求超过一定时间没有响应就返回错误信息，不会无休止等待
     *  **舱壁模式**：限定每个业务能使用的线程数，避免耗尽整个tomcat的资源，因此也叫线程隔离。
     *  **熔断降级**：由断路器统计业务执行的异常比例，如果超出阈值则会熔断该业务，拦截访问该业务的一切请求。
     *  **流量控制**：限制业务访问的QPS，避免服务因流量的突增而故障。

--------------------

1.  **超时处理**
    
     *  设定超时时间，请求超过一定时间没有响应就返回错误信息，不会无休止等待  
        ![在这里插入图片描述][64b6b9e671d2469f8d104dd2647e20de.gif_pic_center]

--------------------

1.  **仓壁模式**
    
     *  仓壁模式来源于船舱的设计：船舱都会被隔板分离为多个独立空间，当船体破损时，只会导致部分空间进入，将故障控制在一定范围内，避免整个船体都被淹没。
     *  限定每个业务能使用的线程数，避免耗尽整个tomcat的资源，因此也叫线程隔离。  
        ![在这里插入图片描述][660d44d0a1a9473389b2a47c7da9b7c6.gif_pic_center]

--------------------

1.  **断路器**
    
     *  由**断路器**统计业务执行的异常比例，如果超出阈值则会**熔断**该业务，拦截访问该业务的一切请求。
     *  断路器会统计访问某个服务的请求数量，异常比例，当发现访问服务D的请求异常比例过高时，认为服务D有导致雪崩的风险，会拦截访问服务D的一切请求，形成熔断。  
        ![在这里插入图片描述][8bc5c3b30abf4e4db73756ec2c9d1ee7.gif_pic_center]

--------------------

1.  **流量控制**
    
     *  限制业务访问的QPS，避免服务因流量的突增而故障。  
        ![在这里插入图片描述][4f07129a821d4ec89966ef8adacb4a70.gif_pic_center]

### 1.3 小结 ###

*  雪崩问题：微服务之间相互调用，因为调用链中的一个服务故障，引起整个链路都无法访问的情况。
 *  **限流**是对服务的保护，避免因瞬间高并发流量而导致服务故障，进而避免雪崩。是一种**预防**措施。
 *  **超时处理、线程隔离、降级熔断**是在部分服务故障时，将故障控制在一定范围，避免雪崩。是一种**补救**措施。

### 1.4 服务保护技术对比 ###

在SpringCloud当中支持多种服务保护技术：

*  [Netfix Hystrix][]
 *  [Sentinel][]
 *  [Resilience4J][]

早期比较流行的是Hystrix框架，但目前国内实用最广泛的还是阿里巴巴的Sentinel框架，这里我们做下对比：

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th><strong>Sentinel</strong></th> 
   <th><strong>Hystrix</strong></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>隔离策略</td> 
   <td>信号量隔离</td> 
   <td>线程池隔离/信号量隔离</td> 
  </tr> 
  <tr> 
   <td>熔断降级策略</td> 
   <td>基于慢调用比例或异常比例</td> 
   <td>基于失败比率</td> 
  </tr> 
  <tr> 
   <td>实时指标实现</td> 
   <td>滑动窗口</td> 
   <td>滑动窗口（基于 RxJava）</td> 
  </tr> 
  <tr> 
   <td>规则配置</td> 
   <td>支持多种数据源</td> 
   <td>支持多种数据源</td> 
  </tr> 
  <tr> 
   <td>扩展性</td> 
   <td>多个扩展点</td> 
   <td>插件的形式</td> 
  </tr> 
  <tr> 
   <td>基于注解的支持</td> 
   <td>支持</td> 
   <td>支持</td> 
  </tr> 
  <tr> 
   <td>限流</td> 
   <td>基于 QPS，支持基于调用关系的限流</td> 
   <td>有限的支持</td> 
  </tr> 
  <tr> 
   <td>流量整形</td> 
   <td>支持慢启动、匀速排队模式</td> 
   <td>不支持</td> 
  </tr> 
  <tr> 
   <td>系统自适应保护</td> 
   <td>支持</td> 
   <td>不支持</td> 
  </tr> 
  <tr> 
   <td>控制台</td> 
   <td>开箱即用，可配置规则、查看秒级监控、机器发现等</td> 
   <td>不完善</td> 
  </tr> 
  <tr> 
   <td>常见框架的适配</td> 
   <td>Servlet、Spring Cloud、Dubbo、gRPC 等</td> 
   <td>Servlet、Spring Cloud Netflix</td> 
  </tr> 
 </tbody> 
</table>

### 1.5 Sentinel介绍 ###

*  Sentinel是阿里巴巴开源的一款微服务流量控制组件。[官网地址][Link 1]
 *  Sentinel 具有以下特征:  
    •**丰富的应用场景**：Sentinel 承接了阿里巴巴近 10 年的双十一大促流量的核心场景，例如秒杀（即突发流量控制在系统容量可以承受的范围）、消息削峰填谷、集群流量控制、实时熔断下游不可用应用等。  
    •**完备的实时监控**：Sentinel 同时提供实时的监控功能。您可以在控制台中看到接入应用的单台机器秒级数据，甚至 500 台以下规模的集群的汇总运行情况。  
    •**广泛的开源生态**：Sentinel 提供开箱即用的与其它开源框架/库的整合模块，例如与 Spring Cloud、Dubbo、gRPC 的整合。您只需要引入相应的依赖并进行简单的配置即可快速地接入 Sentinel。  
    •**完善的** **SPI** **扩展点**：Sentinel 提供简单易用、完善的 SPI 扩展接口。您可以通过实现扩展接口来快速地定制逻辑。例如定制规则管理、适配动态数据源等。

### 1.6 Sentinel安装 ###

1.  sentinel版本的选择：
    
     *  如果你使用的JDK是1.8，那么完全可以使用资料中的jar包
     *  如果你的JDK较新，请到[GitHub][]下载，最新版！！！
2.  运行
    
     *  将jar包放到任意非中文目录，执行命令：
    
        java -jar sentinel-dashboard-x.x.x.jar
    
     *  如果要修改Sentinel的默认端口、账户、密码，可以通过下列配置：

<table> 
 <thead> 
  <tr> 
   <th><strong>配置项</strong></th> 
   <th><strong>默认值</strong></th> 
   <th><strong>说明</strong></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>server.port</td> 
   <td>8080</td> 
   <td>服务端口</td> 
  </tr> 
  <tr> 
   <td>sentinel.dashboard.auth.username</td> 
   <td>sentinel</td> 
   <td>默认用户名</td> 
  </tr> 
  <tr> 
   <td>sentinel.dashboard.auth.password</td> 
   <td>sentinel</td> 
   <td>默认密码</td> 
  </tr> 
 </tbody> 
</table>

*  例如，修改端口：
    
        java -Dserver.port=8090 -jar sentinel-dashboard-x.x.x.jar

1.  访问
    
     *  访问http://localhost:8080页面，就可以看到sentinel的控制台
     *  需要输入账号和密码，默认都是：sentinel  
        ![在这里插入图片描述][d6c548e3e0fe4c4da92ec6ba9e5a5845.png]
     *  登录后，发现一片空白，什么都没有：因为还没有与微服务整合  
        ![在这里插入图片描述][dd8271baad0c41bfbc8d417aaa6a1767.png]

### 1.7 微服务整合Sentinel ###

*  在微服务项目中整合sentinel，并连接sentinel的控制台，步骤如下：

1.  引入sentinel依赖
    
        
        <dependency>
            <groupId>com.alibaba.cloud</groupId> 
            <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
        </dependency>
2.  配置控制台
    
     *  修改application.yaml文件，添加下面内容
    
        server:
          port: 8088
        spring:
          cloud: 
            sentinel:
              transport:
                dashboard: localhost:8080 #连接到sentinel 如果你的sentinel是在linux中启动的，请修改为linux的IP
3.  访问微服务项目的任意端点
    
     *  打开浏览器，访问http://localhost:8088/order/101，这样才能触发sentinel的监控。
     *  然后再访问sentinel的控制台，查看效果  
        ![在这里插入图片描述][d33e60217a8040c2987dc1159c92e175.png]

--------------------

*  **后续测试，使用的测试工具是Jmeter，所以接下来学习以下Jmeter的安装和使用**

## 二 测试工具：Jmeter ##

*  **Jmeter依赖于JDK，所以必须确保当前计算机上已经安装了JDK，并且配置了环境变量**

### 2.1 Jmeter安装和配置 ###

1.  可以Apache Jmeter官网下载，[地址][Link 2]  
    ![在这里插入图片描述][1b0d607fdde44540acb2b885495ae63f.png]
2.  解压  
    ![在这里插入图片描述][14a1ebf8f1a74bec8f7d2daa85a1eb27.png]
    
     *  bin目录就是执行的脚本，其中包含启动脚本：
3.  双击即可运行，但是有两点注意：
    
     *  启动速度比较慢，要耐心等待
     *  启动后黑窗口不能关闭，否则Jmeter也跟着关闭了  
        ![在这里插入图片描述][249fe51513874f329b3266bf53087b93.png]

### 2.2 Jmeter快速入门 ###

#### 2.2.1 设置中文语言 ####

- 方式一：永久中文，打开jmeter文件夹，在bin目录中找到 **jmeter.properties**，添加下面配置：
    - **注意：前面不要出现#，#代表注释，另外这里是下划线，不是中划线**

![在这里插入图片描述][b1c0141d5dc743e599e0e7110eac1f35.png]  
\- 方式二：暂时设置，在图形化界面中选择Potions->Choose Language->English  
![在这里插入图片描述][307b4ea4e94342709608e1972409b4a1.png]

#### 2.2.2 设置Jmeter桌面快捷图标 ####

1.  为jmeter文件的bin目录—>jmeter.bat文件，右键创建桌面快捷方式  
    ![在这里插入图片描述][dffbc1dc87e941beb8adcb12d80626e7.png]
2.  修改快捷方式的属性  
    ![在这里插入图片描述][a7c21c66756a4591b803dc015ae3ed6b.png]
3.  制作jmeter快捷方式的图标
    
     *  进入到`apache-jmeter-5.5\docs\images`目录，选一张合适的图标，然后打开[在线生成透明ICO图标网站][ICO]
     *  上传图片，制作ico图标，然后将其放入到`apache-jmeter-5.5\docs\images`目录
     *  最后右键桌面的快捷方式，修改属性->更改图标->浏览`apache-jmeter-5.5\docs\images`目录选择ico图标文件即可  
        ![在这里插入图片描述][a512994fcf53467e8e0b4f9bfc0bda9d.png]

### 2.3 Jmeter无法保存测试的问题 ###

1.  在jmeter5.4.1中设置外观为window,重启即可解决
2.  在最新的jmeter5.5中则无此问题，建议大家尝试最新版
    
     *  可以在默认Darcula样式下，正常保存测试计划  
        ![在这里插入图片描述][9af0f22b22954f3286b9c4bf84a6379a.png]

### 2.4 jmeter基本用法 ###

*  在测试计划上点鼠标右键，选择添加 > 线程（用户） > 线程组：  
    ![在这里插入图片描述][7b229adcd7ea44b699040cd3a6db0cab.png]
 *  在新增的线程组中，填写线程信息：  
    ![在这里插入图片描述][1cde9c0c7a0549c89fd2caadd60a268e.png]
 *  给线程组点鼠标右键，添加http取样器：  
    ![在这里插入图片描述][0ed50eb748ae4e93b05f2798c1ed0e52.png]
 *  编写取样器内容：  
    ![在这里插入图片描述][696abcbb1d774c82a3467ed3d268fac8.png]
 *  添加监听报告：  
    ![在这里插入图片描述][0f740276846247eaa99325fe66036d07.png]
 *  添加监听结果树：  
    ![在这里插入图片描述][50c121a449b14b38b572fb4d9496e37f.png]
 *  汇总报告结果：  
    ![在这里插入图片描述][7e3a9df5bab9405a8c45d6ee374f81f5.png]
 *  结果树结果  
    ![在这里插入图片描述][21466220395d4f839730b16c13da983e.png]

## 三 流量控制 ##

### 3.1 簇点链路 ###

*  当请求进入微服务时，首先会访问DispatcherServlet，然后进入Controller、Service、Mapper，这样的一个调用链就叫做**簇点链路**。簇点链路中被监控的每一个接口就是一个**资源**。
 *  默认情况下sentinel会监控SpringMVC的每一个端点（Endpoint，也就是controller中的方法），因此SpringMVC的每一个端点（Endpoint）就是调用链路中的一个资源。
    
     *  如：刚才访问的order-service中的OrderController中的端点：/order/\{orderId\}  
        ![在这里插入图片描述][1c9da89039794f7897533b2fad2e3f99.png]
 *  流控、熔断等都是针对簇点链路中的资源来设置的，因此我们可以点击对应资源后面的按钮来设置规则：
    
     *  流控：流量控制
     *  降级：降级熔断
     *  热点：热点参数限流，是限流的一种
     *  授权：请求的权限控制

### 3.2 快速入门 ###

1.  点击资源/order/\{orderId\}后面的流控按钮，就可以弹出表单  
    ![在这里插入图片描述][562221fc9ebb460eaf3e2ea106fc1313.png]
2.  表单中可以填写限流规则  
    ![在这里插入图片描述][2a8b7ffbbb504a13b84839640b5d59c1.png]
3.  利用jmeter测试  
    ![在这里插入图片描述][5ee036abe99f46ad80a45a509e27ef46.png]  
    ![在这里插入图片描述][3d39d30dc0f945fbbc8c42d8704adace.png]

*  **注意：不要点击菜单中的执行按钮来运行**

1.  执行结果  
    ![在这里插入图片描述][0509c7cd17cf4da49752c72100209e47.png]

### 3.3 流控模式 ###

*  在添加限流规则时，点击高级选项，可以选择三种**流控模式**：
    
     *  直接：统计当前资源的请求，触发阈值时对当前资源直接限流，也是默认的模式
     *  关联：统计与当前资源相关的另一个资源，触发阈值时，对当前资源限流
     *  链路：统计从指定链路访问到本资源的请求，触发阈值时，对指定链路限流

![在这里插入图片描述][45413c174f17448bbdb3d2c1296bdcc1.png]

*  **需求说明**：
    
     *  在OrderController新建两个端点：/order/query和/order/update，无需实现业务
     *  配置流控规则，当/order/ update资源被访问的QPS超过5时，对/order/query请求限流

>  *  注意，重启服务之后，记得访问一次之后，sentinel才可以显示簇点链路  
>     ![在这里插入图片描述][a86d9f6536b946e080756ebf448e7bd2.png]  
>     ![在这里插入图片描述][05d70fb3041741e68ec2ec12d8f5c270.png]

*  重启服务，查看sentinel控制台的簇点链路：  
    ![在这里插入图片描述][2b0cf48f29ce400daa70da1e5a470d81.png]
 *  配置流控规则  
    ![在这里插入图片描述][c34b89fdbc0f42a59babe8f3711a121f.png]  
    ![在这里插入图片描述][0e62ff06ae4a453d949bc7393a3dd5bb.png]
 *  在Jmeter测试  
    ![在这里插入图片描述][9183e76bcae24639bd5a95ae27cdc83a.png]
    
     *  1000个用户，100秒，因此QPS为10，超过了我们设定的阈值：5
     *  查看http请求：  
        ![在这里插入图片描述][4c5a7fcc228b4568a7765061bb766e58.png]
 *  请求的目标是/order/update，这样这个断点就会触发阈但限流的目标是/order/query  
    ![在这里插入图片描述][a09edfd3e8804dfa9ac3db2401a555f4.png]
 *  满足下面条件可以使用关联模式:
    
     *  两个有竞争关系的资源
     *  一个优先级较高，一个优先级较低

### 3.4 链路模式 ###

*  **链路模式**：只针对从指定链路访问到本资源的请求做统计，判断是否超过阈值。

1.  如：设置两个链路访问相同的资源  
    ![在这里插入图片描述][ea53c1f893e44db4a947eaafbbd89415.png]
2.  添加流控规则  
    ![在这里插入图片描述][175f4eecc3f243ae94e8f3158bb06999.png]
3.  Jmeter测试  
    ![在这里插入图片描述][37b2b5f439e84f1ca68e9242c0d08e02.png]
    
     *  一个http请求是访问/order/save：  
        ![在这里插入图片描述][3f5d2596f86f427c9b6fb3852e4afab2.png]
     *  运行的结果：完全不受影响  
        ![在这里插入图片描述][f675e4d12c4a453f83a87a139a30ee5f.png]
     *  另一个是访问/order/query：  
        ![在这里插入图片描述][2c91c79fa2234bb9ba2058ff2f582f7c.png]
     *  运行结果：每次只有2个通过  
        ![在这里插入图片描述][ed0ae977c979412baefe8a0400ac7564.png]

### 3.5 流控效果 ###

![在这里插入图片描述][26d4814c5e4d4a229e4e2c9f324123d8.png]

*  流控效果是指请求达到流控阈值时应该采取的措施，包括三种：
    
     *  快速失败：达到阈值后，新的请求会被立即拒绝并抛出FlowException异常。是默认的处理方式。
     *  warm up：预热模式，对超出阈值的请求同样是拒绝并抛出异常。但这种模式阈值会动态变化，从一个较小值逐渐增加到最大阈值。
     *  排队等待：让所有的请求按照先后次序排队执行，两个请求的间隔不能小于指定时长

#### 3.5.1 warm up ####

*  阈值一般是一个微服务能承担的最大QPS，但是一个服务刚刚启动时，一切资源尚未初始化（**冷启动**），如果直接将QPS跑到最大值，可能导致服务瞬间宕机。
 *  warm up也叫**预热模式**，是应对服务冷启动的一种方案。请求阈值初始值是 maxThreshold / coldFactor，持续指定时长后，逐渐提高到maxThreshold值。而coldFactor的默认值是3.
 *  例如，我设置QPS的maxThreshold为10，预热时间为5秒，那么初始阈值就是 10 / 3 ，也就是3，然后在5秒后逐渐增长到10.  
    ![在这里插入图片描述][18fa8aec7beb4be8937543385d51161d.png]
 *  配置流控规则  
    ![在这里插入图片描述][5469b573e935471fbf287b4fa618c492.png]
 *  Jmeter测试  
    ![在这里插入图片描述][00d3ae0201d2455a818e72b28c73a5d7.png]
 *  Sentinel控制台查看实时监控：  
    ![在这里插入图片描述][9ca9fff409324edd849246aa5cd65951.png]

#### 3.5.2 排队等待 ####

*  排队等待则是让所有请求进入一个队列中，然后按照阈值允许的时间间隔依次执行。后来的请求必须等待前面执行完成，如果请求预期的等待时间超出最大时长，则会被拒绝。
 *  工作原理
    
     *  例如：QPS = 5，意味着每200ms处理一个队列中的请求；timeout = 2000，意味着**预期等待时长**超过2000ms的请求会被拒绝并抛出异常。
     *  那什么叫做预期等待时长呢？比如现在一下子来了12 个请求，因为每200ms执行一个请求，那么：
        
         *  第6个请求的**预期等待时长** = 200 \* （6 - 1） = 1000ms
         *  第12个请求的预期等待时长 = 200 \* （12-1） = 2200ms
 *  现在，第1秒同时接收到10个请求，但第2秒只有1个请求，此时QPS的曲线这样的：  
    ![在这里插入图片描述][b682eddf59774bccb108ef57625c9e0b.png]
 *  如果使用队列模式做流控，所有进入的请求都要排队，以固定的200ms的间隔执行，QPS会变的很平滑：  
    ![在这里插入图片描述][1a54879651dc4f768e54d7a5f8e3c4df.png]
 *  动图解释：  
    ![在这里插入图片描述][6bf68043de9945648a97122fd669fd60.gif_pic_center]
 *  添加流控规则  
    ![在这里插入图片描述][4c7b969923bf4c0586ee03126fb0dfc5.png]
 *  Jmeter测试测试结果  
    ![在这里插入图片描述][f0dde078dd404dbf83f35f724c02e704.png]
    
     *  QPS非常平滑，一致保持在10，但是超出的请求没有被拒绝，而是放入队列。因此**响应时间**（等待时间）会越来越长。当队列满了以后，才会有部分请求失败。

### 3.6 热点参数限流 ###

*  热点参数限流是**分别统计参数值相同的请求**，判断是否超过QPS阈值。

#### 3.6.1 全局参数限流 ####

*  访问/goods/\{id\}的请求中，id参数值会有变化，热点参数限流会根据参数值分别统计QPS，统计结果：当id=1的请求触发阈值被限流时，id值不为1的请求不受影响。  
    ![在这里插入图片描述][01d1b9f9906f4fe6a9906eabbc81cf88.gif_pic_center]
 *  配置示例：
    
     *  对hot这个资源的0号参数（第一个参数）做统计，每1秒**相同参数值**的请求数不能超过5  
        ![在这里插入图片描述][849527bb472341999faf0b3515e0f5fd.png]

#### 3.6.2 热点参数限流 ####

*  在实际开发中，可能部分商品是热点商品，例如秒杀商品，我们希望这部分商品的QPS限制与其它商品不一样，高一些。那就需要配置热点参数限流的高级选项  
    ![在这里插入图片描述][1905a5c004da4c62ba7e2fdc211e6ae1.png]

## 四 隔离和降级 ##

*  限流是一种预防措施，虽然限流可以尽量避免因高并发而引起的服务故障，但服务还会因为其它原因而故障。而要将这些故障控制在一定范围，避免雪崩，就要靠**线程隔离**（舱壁模式）和**熔断降级**
 *  **线程隔离**：调用者在调用服务提供者时，给每个调用的请求分配独立线程池，出现故障时，最多消耗这个线程池内资源，避免把调用者的所有资源耗尽。  
    ![在这里插入图片描述][8eb12c3f3c0f4605b7478e8e620948f6.gif_pic_center]
 *  **熔断降级**：是在调用方这边加入断路器，统计对服务提供者的调用，如果调用的失败比例过高，则熔断该业务，不允许访问该服务的提供者  
    ![在这里插入图片描述][84acfcce1823466c950ce24180a54990.gif_pic_center]
 *  不管是线程隔离还是熔断降级，都是对**客户端**（调用方）的保护。需要在**调用方** 发起远程调用时做线程隔离、或者服务熔断。
 *  而我们的微服务远程调用都是基于Feign来完成的，因此我们需要将Feign与Sentinel整合，在Feign里面实现线程隔离和服务熔断。

### 4.1 FeignClient整合Sentinel ###

*  SpringCloud中，微服务调用都是通过Feign来实现的，因此做客户端保护必须整合Feign和Sentinel。

#### 4.1.1 修改配置，开启sentinel功能 ####

*  修改OrderService的application.yml文件，开启Feign的Sentinel功能：
    
        feign:
          sentinel:
            enabled: true # 开启feign对sentinel的支持

#### 4.1.2 编写失败降级逻辑 ####

*  业务失败后，不能直接报错，而应该返回用户一个友好提示或者默认结果，这个就是失败降级逻辑。
 *  给FeignClient编写失败后的降级逻辑  
    ①方式一：FallbackClass，无法对远程调用的异常做处理  
    ②方式二：FallbackFactory，可以对远程调用的异常做处理【采用】

>  *  这里演示方式二的失败降级处理。

*  **步骤一**：在feing-api项目中定义类，实现FallbackFactory：
    
     *  代码：
    
        @Slf4j
        public class UserClientFallbackFactory implements FallbackFactory<UserClient> {
              
            @Override
            public UserClient create(Throwable throwable) {
              
                return new UserClient() {
              
                    @Override
                    public User findById(Long id) {
              
                        log.error("查询用户异常", throwable);
                        return new User();
                    }
                };
            }
        }
 *  **步骤二**：在feing-api项目中的DefaultFeignConfiguration类中将UserClientFallbackFactory注册为一个Bean：
    
        @Bean
        public UserClientFallbackFactory userClientFallbackFactory(){
              
            return new UserClientFallbackFactory();
        }
 *  **步骤三**：在feing-api项目中的UserClient接口中使用UserClientFallbackFactory：
    
        @FeignClient(value = "userservice", fallbackFactory = UserClientFallbackFactory.class)
        public interface UserClient {
              
        
            @GetMapping("/user/{id}")
            User findById(@PathVariable("id") Long id);
        }
 *  重启后，访问一次订单查询业务，然后查看sentinel控制台，可以看到新的簇点链路：  
    ![在这里插入图片描述][94ba37cae21a43e49270ff28698540ee.png]

#### 4.1.3 总结 ####

*  Sentinel支持的雪崩解决方案：
    
     *  线程隔离（仓壁模式）
     *  降级熔断
 *  Feign整合Sentinel的步骤：
    
     *  在application.yml中配置：feign.sentienl.enable=true
     *  给FeignClient编写FallbackFactory并注册为Bean
     *  将FallbackFactory配置到FeignClient

### 4.2 线程隔离（舱壁模式） ###

#### 4.2.1 线程隔离的实现方式 ####

*  线程隔离有两种方式实现：
    
     *  线程池隔离
     *  信号量隔离（Sentinel默认采用）  
        ![在这里插入图片描述][c1296bcdd57b4dac9116fe0f3a01de1b.gif_pic_center]
 *  **线程池隔离**：给每个服务调用业务分配一个线程池，利用线程池本身实现隔离效果
 *  **信号量隔离**：不创建线程池，而是计数器模式，记录业务使用的线程数量，达到信号量上限时，禁止新的请求。
 *  两者的优缺点：  
    ![在这里插入图片描述][67060c9b8a0c4d2e80a32a8b84ad5599.png]

#### 4.2.2 sentinel的线程隔离 ####

*  在添加限流规则时，可以选择两种阈值类型：  
    ![在这里插入图片描述][b9bc8cb0375548a3b18517f46831ff3c.png]
 *  QPS：就是每秒的请求数
 *  线程数：该资源能使用用的tomcat线程数的最大值。也就是通过限制线程数量，实现**线程隔离**（舱壁模式）

### 4.3 熔断降级 ###

*  **熔断降级是解决雪崩问题的重要手段**。其思路是由**断路器**统计服务调用的异常比例、慢请求比例，如果超出阈值则会**熔断**该服务。即拦截访问该服务的一切请求；而当服务恢复时，断路器会放行访问该服务的请求。
 *  下面演示断路器的执行图：  
    ![在这里插入图片描述][20318ccb7480474fa10656636b8ecf8a.gif_pic_center]  
    状态机包括三个状态：
 *  closed：关闭状态，断路器放行所有请求，并开始统计异常比例、慢请求比例。超过阈值则切换到open状态
 *  open：打开状态，服务调用被**熔断**，访问被熔断服务的请求会被拒绝，快速失败，直接走降级逻辑。Open状态5秒后会进入half-open状态
 *  half-open：半开状态，放行一次请求，根据执行结果来判断接下来的操作。  
    \- 请求成功：则切换到closed状态  
    \- 请求失败：则切换到open状态
 *  **断路器熔断策略有三种：慢调用、异常比例、异常数**

#### 4.3.1 慢调用 ####

*  **慢调用**：业务的响应时长（RT）大于指定时长的请求认定为慢调用请求。在指定时间内，如果请求数量超过设定的最小数量，慢调用比例大于设定的阈值，则触发熔断。
 *  演示  
    ![在这里插入图片描述][ae3cd99d4c3d48fc88113653186edc59.png]
    
     *  慢调用的RT阈值为50ms，统计时间为1秒，最小请求数量为5，失败阈值比例为0.4，熔断时长为5。超过50ms的请求都会被认为是慢请求。

#### 4.3.2 异常比例、异常数 ####

*  **异常比例或异常数**：统计指定时间内的调用，如果调用次数超过指定请求数，并且出现异常的比例达到设定的比例阈值（或超过指定异常数），则触发熔断。
 *  例如，一个异常比例设置：  
    ![在这里插入图片描述][edbdeec049474257ade1a69f91ce5e9a.png]
    
     *  解读：统计最近1000ms内的请求，如果请求量超过10次，并且异常比例不低于0.4，则触发熔断。
 *  一个异常数设置：  
    ![在这里插入图片描述][d931a312b97443909f0f24b2e9f81383.png]
    
     *  解读：统计最近1000ms内的请求，如果请求量超过10次，并且异常比例不低于2次，则触发熔断。

## 五 授权规则 ##

*  授权规则可以对请求方来源做判断和控制。

### 5.1 授权规则 ###

*  授权规则可以对调用方的来源做控制，有白名单和黑名单两种方式。
    
     *  白名单：来源（origin）在白名单内的调用者允许访问
     *  黑名单：来源（origin）在黑名单内的调用者不允许访问  
        ![在这里插入图片描述][46d2edf391b84f9aaa940808e7b22a68.png]
     *  资源名：就是受保护的资源，例如/order/\{orderId\}
     *  流控应用：是来源者的名单，
        
         *  如果是勾选白名单，则名单中的来源被许可访问。
         *  如果是勾选黑名单，则名单中的来源被禁止访问。
 *  演示：【有关微服务操作略过】  
    ![在这里插入图片描述][52082dc69e734dc19a95d9328a11e6ef.png]
    
     *  只允许网关访问服务  
        ![在这里插入图片描述][94df392e21d84c75a9d8878a0dfc9431.png]
     *  直接访问出错  
        ![在这里插入图片描述][2cea6fae400a4168bd2a8b0aaf2ae910.png]
     *  通过网关访问：  
        ![在这里插入图片描述][c83a0d5e9f1649e5be9b8be5464c7308.png]

### 5.2 自定义异常结果 ###

*  默认情况下，发生限流、降级、授权拦截时，都会抛出异常到调用方。异常结果都是flow limmiting（限流）。这样不够友好，无法得知是限流还是降级还是授权拦截。

1.  异常类型
    
     *  如果要自定义异常时的返回结果，需要实现BlockExceptionHandler接口：
    
        public interface BlockExceptionHandler {
              
            /**
             * 处理请求被限流、降级、授权拦截时抛出的异常：BlockException
             */
            void handle(HttpServletRequest request, HttpServletResponse response, BlockException e) throws Exception;
        }
    
     *  这个方法有三个参数：
        
         *  HttpServletRequest request：request对象
         *  HttpServletResponse response：response对象
         *  BlockException e：被sentinel拦截时抛出的异常

*  BlockException包含多个不同的子类：

<table> 
 <thead> 
  <tr> 
   <th><strong>异常</strong></th> 
   <th><strong>说明</strong></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>FlowException</td> 
   <td>限流异常</td> 
  </tr> 
  <tr> 
   <td>ParamFlowException</td> 
   <td>热点参数限流的异常</td> 
  </tr> 
  <tr> 
   <td>DegradeException</td> 
   <td>降级异常</td> 
  </tr> 
  <tr> 
   <td>AuthorityException</td> 
   <td>授权规则异常</td> 
  </tr> 
  <tr> 
   <td>SystemBlockException</td> 
   <td>系统规则异常</td> 
  </tr> 
 </tbody> 
</table>

### 5.3 自定义异常处理 ###

@Component
    public class SentinelExceptionHandler implements BlockExceptionHandler {
        
        @Override
        public void handle(HttpServletRequest request, HttpServletResponse response, BlockException e) throws Exception {
        
            String msg = "未知异常";
            int status = 429;
    
            if (e instanceof FlowException) {
        
                msg = "请求被限流了";
            } else if (e instanceof ParamFlowException) {
        
                msg = "请求被热点参数限流";
            } else if (e instanceof DegradeException) {
        
                msg = "请求被降级了";
            } else if (e instanceof AuthorityException) {
        
                msg = "没有权限访问";
                status = 401;
            }
    
            response.setContentType("application/json;charset=utf-8");
            response.setStatus(status);
            response.getWriter().println("{\"msg\": " + msg + ", \"status\": " + status + "}");
        }
    }

*  授权拦截：  
    ![在这里插入图片描述][53944681dc3f4c7b87a9fe60ca277c94.png]

## 六 规则持久化 ##

*  sentinel的所有规则都是内存存储，重启后所有规则都会丢失。在生产环境下，我们必须确保这些规则的持久化，避免丢失。

### 6.1 规则管理模式 ###

*  规则是否能持久化，取决于规则管理模式，sentinel支持三种规则管理模式：  
    ![在这里插入图片描述][60adab606e6d4ba9aad44c0f7ca53c82.png]
 *  原始模式：Sentinel的默认模式，将规则保存在内存，重启服务会丢失。
    
     *  pull模式
     *  push模式

### 6.2 pull模式 ###

*  pull模式：控制台将配置的规则推送到Sentinel客户端，而客户端会将配置规则保存在本地文件或数据库中。以后会定时去本地文件或数据库中查询，更新本地规则。  
    ![在这里插入图片描述][06b66906cde9492db4dd7bf5735c7e27.png]

### 6.3 push模式 ###

*  push模式：控制台将配置规则推送到远程配置中心，例如Nacos。Sentinel客户端监听Nacos，获取配置变更的推送消息，完成本地配置更新。  
    ![在这里插入图片描述][df2fd3328b6644479decd640af27a101.png]

### 6.4 实现push模式 ###

#### 6.4.1下载和解压Sentinel源码 ####

*  [Sentinel下载地址][GitHub]  
    ![在这里插入图片描述][d7f6497dab024ca4ac136ca8a7f80df7.png]
 *  然后并用IDEA打开这个项目，结构如下：  
    ![在这里插入图片描述][dfb6fdea9e8343c9ba8e1d112952f813.png]

#### 6.4.2 修改nacos依赖 ####

*  在`sentinel-dashboard`源码文件夹的pom文件中，nacos的依赖默认的scope是test，只能在测试时使用，这里要去除：  
    ![在这里插入图片描述][a716ff9fbce74545962b69a7b1415648.png]

#### 6.4.3 添加nacos支持 ####

*  在sentinel-dashboard的test包下，已经编写了对nacos的支持，我们需要将其拷贝到main下  
    ![在这里插入图片描述][f54789d490e74f44aea5db415d3b7924.png]
 *  修改其中的nacos地址，让其读取application.properties中的配置：  
    ![在这里插入图片描述][defe546e2c4c40248dac9f565654c7f2.png]
 *  在sentinel-dashboard的application.properties中添加nacos地址配置：  
    ![在这里插入图片描述][554617864cd64ce19bef16f853c70567.png]

#### 6.4.4 配置nacos数据源 ####

![在这里插入图片描述][ad34a06bcab742379475cde0a089364a.png]

![在这里插入图片描述][e5bd0739ed30471e8d688c41b10ac61c.png]

#### 6.4.5 修改前端页面 ####

*  还要修改前端页面，添加一个支持nacos的菜单
 *  修改src/main/webapp/resources/app/scripts/directives/sidebar/目录下的sidebar.html文件  
    ![在这里插入图片描述][7331792c67cd448a901e39e6c1a61c2a.png]

![在这里插入图片描述][dde25c0f579842849c49e1e9faed273b.png]

*  修改其中的文本
    
        <li ui-sref-active="active" ng-if="entry.appType==0">
           <a ui-sref="dashboard.flow({app: entry.app})">
             <i class="glyphicon glyphicon-filter"></i>  流控规则-NACOS</a>
         </li>

#### 6.4.6 重新编译、打包项目 ####

*  运行IDEA中的maven插件，编译和打包修改好的Sentinel-Dashboard：  
    ![在这里插入图片描述][4fb4220b45e946be90aa51d73817fa9f.png]  
    ![在这里插入图片描述][81d2ef1f729d41448d666c0d2892601d.png]

#### 6.4.7 启动 ####

*  启动方式跟官方一样：
    
        java -jar sentinel-dashboard.jar
 *  如果要修改nacos地址，需要添加参数：
    
        java -jar -Dnacos.addr=localhost:8848 sentinel-dashboard.jar

[c683c621cd494597a34a7c231f71f92f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/8c6a7e889b184f50ad2ba90e9a5fa7c3.png
[129c9ba164e44f0198ab756201fb9c21.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/cf60058495d94faeaf9f5c27047ef162.png
[f4c07f3a78d949448e2845fde492a67f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/e2b00653ea6a405bb2c7fcbc0437c877.png
[d16f21eeaa5a43359b6bbb5c706fa524.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/4dc46d3059b74dc1814bb74c2e737045.png
[11d5d6ae856847929ac38cfa948e525e.gif_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/774e4cee12a647928368044d6ba0fa25.png
[64b6b9e671d2469f8d104dd2647e20de.gif_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/07f715001ca346b496e6628873d4c35a.png
[660d44d0a1a9473389b2a47c7da9b7c6.gif_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/f9e0076d17f84b1681d7b73264875a7e.png
[8bc5c3b30abf4e4db73756ec2c9d1ee7.gif_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/e024886ba541495db1ddc27a706dd819.png
[4f07129a821d4ec89966ef8adacb4a70.gif_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/c81564d42eb94d48af00df76fecc6890.png
[Netfix Hystrix]: https://github.com/Netflix/Hystrix
[Sentinel]: https://github.com/alibaba/Sentinel
[Resilience4J]: https://github.com/resilience4j/resilience4j
[Link 1]: https://sentinelguard.io/zh-cn/index.html
[GitHub]: https://github.com/alibaba/Sentinel/releases
[d6c548e3e0fe4c4da92ec6ba9e5a5845.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/e87552da462e4d0494ff94110e441e31.png
[dd8271baad0c41bfbc8d417aaa6a1767.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/32906c2f01034981bf06fc1544229483.png
[d33e60217a8040c2987dc1159c92e175.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/877eb11d951f4df98f02d5f205617211.png
[Link 2]: http://jmeter.apache.org/download_jmeter.cgi
[1b0d607fdde44540acb2b885495ae63f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/84506de2741043099e777297b2d5cc56.png
[14a1ebf8f1a74bec8f7d2daa85a1eb27.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/db53a379f0444b3c888ac72cd3acd151.png
[249fe51513874f329b3266bf53087b93.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/3814b309f53b4dbea08ccb606fbe4db4.png
[b1c0141d5dc743e599e0e7110eac1f35.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/f3caaf2ea8284eeca9f9419b2438a2df.png
[307b4ea4e94342709608e1972409b4a1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/8027f3b549594f799f1f17012bfb3158.png
[dffbc1dc87e941beb8adcb12d80626e7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/1534436dbd344c28939de1dfbc40740a.png
[a7c21c66756a4591b803dc015ae3ed6b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/6b8902b4ed724d81bc37aeedd51e19b5.png
[ICO]: http://www.ico51.cn/
[a512994fcf53467e8e0b4f9bfc0bda9d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/ba0810f6197d4a1abc435db3067574c0.png
[9af0f22b22954f3286b9c4bf84a6379a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/41fef31fcea849a4b947727434e8e867.png
[7b229adcd7ea44b699040cd3a6db0cab.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/d95dd9fa18b643ec87b5a9c45e496a71.png
[1cde9c0c7a0549c89fd2caadd60a268e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/3fef32e5ba4d470e92c2e1c18ecd5451.png
[0ed50eb748ae4e93b05f2798c1ed0e52.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/43a8fb56e0bb492eab40284b60591381.png
[696abcbb1d774c82a3467ed3d268fac8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/7768ed3bc2c84b1cbe5923aa8eda9be7.png
[0f740276846247eaa99325fe66036d07.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/b5da3a3f0dbf433eade0e1b2e94bc97e.png
[50c121a449b14b38b572fb4d9496e37f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/161d40ef476840daabba06fc0ac5113c.png
[7e3a9df5bab9405a8c45d6ee374f81f5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/944f46eca26f4d569b5f4f8c3048e6b1.png
[21466220395d4f839730b16c13da983e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/24af58904128417485e3b60255a58b82.png
[1c9da89039794f7897533b2fad2e3f99.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/825de6cc731d4f7092aa247fd16b0638.png
[562221fc9ebb460eaf3e2ea106fc1313.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/267c724bdb2c4a799fa77f728929db20.png
[2a8b7ffbbb504a13b84839640b5d59c1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/95b58b6a34864153ab753e159ff60c84.png
[5ee036abe99f46ad80a45a509e27ef46.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/04a9f34605de43a19e116ed61f9275dd.png
[3d39d30dc0f945fbbc8c42d8704adace.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/645ad1c305be4ababf2f66ea2af66737.png
[0509c7cd17cf4da49752c72100209e47.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/2d5be59625dd45fa9e529d92d03dfd63.png
[45413c174f17448bbdb3d2c1296bdcc1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/5f06ab5e8b9e4dc78629ef1230cd49c6.png
[a86d9f6536b946e080756ebf448e7bd2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/ea50b78736954836be9a9ff37bef9cb3.png
[05d70fb3041741e68ec2ec12d8f5c270.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/9972012957c54349a8eefb36434d222c.png
[2b0cf48f29ce400daa70da1e5a470d81.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/180e843efc7b494d8aee1d276110438f.png
[c34b89fdbc0f42a59babe8f3711a121f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/4209b661b5184d49935c081867d66cf8.png
[0e62ff06ae4a453d949bc7393a3dd5bb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/668926fc2abe46edbd0b06759ebe5309.png
[9183e76bcae24639bd5a95ae27cdc83a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/ea0c1c571ab3476399aaeee5173fb1ed.png
[4c5a7fcc228b4568a7765061bb766e58.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/d3668a58fca444d48bcd665c324bd6d8.png
[a09edfd3e8804dfa9ac3db2401a555f4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/bc75a2d9f0294c52b2d600574f208a8f.png
[ea53c1f893e44db4a947eaafbbd89415.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/704bda69d1624c51b79ed91032cf41bf.png
[175f4eecc3f243ae94e8f3158bb06999.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/3c1786fef7804f2e8f1eaf40730418aa.png
[37b2b5f439e84f1ca68e9242c0d08e02.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/2a51b2a557a94b39889b6d691393b37d.png
[3f5d2596f86f427c9b6fb3852e4afab2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/fe9b9daf1ddd4b1a97cef0b20e37ebcb.png
[f675e4d12c4a453f83a87a139a30ee5f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/87b81c535a2a4d2da50f424b0d1a7b11.png
[2c91c79fa2234bb9ba2058ff2f582f7c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/62232bc3d37b4f85ab663b5f1f6a1769.png
[ed0ae977c979412baefe8a0400ac7564.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/adb72b4136c6453786442fed2a8a732f.png
[26d4814c5e4d4a229e4e2c9f324123d8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/3971df51e3ed4f1c83e5f670901ccfed.png
[18fa8aec7beb4be8937543385d51161d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/bc26edffde5b4f94bceaf56b58dcab27.png
[5469b573e935471fbf287b4fa618c492.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/5f1060a9509743f9ac0e3f01d7095c97.png
[00d3ae0201d2455a818e72b28c73a5d7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/cc5c6970aeae4280b272684254367523.png
[9ca9fff409324edd849246aa5cd65951.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/f5fc08db22d44594b91e93ce653feaff.png
[b682eddf59774bccb108ef57625c9e0b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/3971202bc20542b491c5a86a5ca3aa2b.png
[1a54879651dc4f768e54d7a5f8e3c4df.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/768fbbeb9a2b4aff8f38a8642830a740.png
[6bf68043de9945648a97122fd669fd60.gif_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/45b63bf028cc4fc6b9d5e81194ba0cb4.png
[4c7b969923bf4c0586ee03126fb0dfc5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/8571f416acaa43a09791397cb8d8f3e7.png
[f0dde078dd404dbf83f35f724c02e704.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/6c9ee675214e475c832d7450d85e0674.png
[01d1b9f9906f4fe6a9906eabbc81cf88.gif_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/545037bb2ca44ba3a4374480a8344a3d.png
[849527bb472341999faf0b3515e0f5fd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/09d0a04f84914248b2d7bb7f39478ee4.png
[1905a5c004da4c62ba7e2fdc211e6ae1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/85e2473ffa0444c3bd730ec1e9c98376.png
[8eb12c3f3c0f4605b7478e8e620948f6.gif_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/77fe2262020247d9a80d230268310358.png
[84acfcce1823466c950ce24180a54990.gif_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/bed0aa45c3db4d9d9cc22067c675e536.png
[94ba37cae21a43e49270ff28698540ee.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/99ca17b40beb47819d7711eb1ab8832e.png
[c1296bcdd57b4dac9116fe0f3a01de1b.gif_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/ef0a71dd2bb94ab2a052ddad6a7daa00.png
[67060c9b8a0c4d2e80a32a8b84ad5599.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/0a317cc2ef314a8f99a0974cde9547d1.png
[b9bc8cb0375548a3b18517f46831ff3c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/37181667102c4c17bd53f32eb88c3b18.png
[20318ccb7480474fa10656636b8ecf8a.gif_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/617920c17c724c33bea99deeee11bed1.png
[ae3cd99d4c3d48fc88113653186edc59.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/b02fe085c29843cb885b90028813a850.png
[edbdeec049474257ade1a69f91ce5e9a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/3ca1e431e9514d6da06cc66f6d90ba8d.png
[d931a312b97443909f0f24b2e9f81383.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/cc4d68e7821940988f6f9b970ef6de2f.png
[46d2edf391b84f9aaa940808e7b22a68.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/43f17bb2ddec4939942bed22cb1a8a6b.png
[52082dc69e734dc19a95d9328a11e6ef.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/0ef4fa3f115a44c091be2f798bdae606.png
[94df392e21d84c75a9d8878a0dfc9431.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/e5767196718e4443992c256d667b1410.png
[2cea6fae400a4168bd2a8b0aaf2ae910.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/d150559e00a54f19b48a0ae7bf3ed6b8.png
[c83a0d5e9f1649e5be9b8be5464c7308.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/007a9ad8575746a0a522bcdaa531444a.png
[53944681dc3f4c7b87a9fe60ca277c94.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/13880924d3f24efb8b26778340c08ca8.png
[60adab606e6d4ba9aad44c0f7ca53c82.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/55dbc08ec7a041c8ba5e4ecb6766c5a6.png
[06b66906cde9492db4dd7bf5735c7e27.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/bb311c2026eb41a4a35f199f46114179.png
[df2fd3328b6644479decd640af27a101.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/23596f37dbcc46608a6788fd19f89c33.png
[d7f6497dab024ca4ac136ca8a7f80df7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/714207bba5cf4024a1cba28529c2575c.png
[dfb6fdea9e8343c9ba8e1d112952f813.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/1f7ac95f53814da6b1c22846121bca63.png
[a716ff9fbce74545962b69a7b1415648.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/6f4526e4595f4beeb3860c2ee065c36f.png
[f54789d490e74f44aea5db415d3b7924.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/c73a0135d6b64257b5fa38af702ca466.png
[defe546e2c4c40248dac9f565654c7f2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/3b88cfa576f34e07a2b2a7cedc99fdb6.png
[554617864cd64ce19bef16f853c70567.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/6a4e501ef74c43e8b1c6e4bc7495633b.png
[ad34a06bcab742379475cde0a089364a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/2373f31ad80f4fe99621a4829bbc8575.png
[e5bd0739ed30471e8d688c41b10ac61c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/9712781613a44206a25576d55a0b6073.png
[7331792c67cd448a901e39e6c1a61c2a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/82beca59f8f745398cd2a5874ecd9638.png
[dde25c0f579842849c49e1e9faed273b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/b3e322b5c59b4cdda421c7be03dabc12.png
[4fb4220b45e946be90aa51d73817fa9f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/6ffe2111e32d4c59a03baf99e2b4f98d.png
[81d2ef1f729d41448d666c0d2892601d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/968e5fed323740d4b92b9469b6915071.png