微服务:SpringCloud 分布式链路追踪sleuth、zipkin

本是古典 何须时尚 2023-02-14 01:57 32阅读 0赞

一、微服务架构下的问题

在大型系统的微服务化构建中,一个系统会被拆分成许多模块。这些模块负责不同的功能,组合成系统,最终可以提供丰富的功能。在这种架构中,一次请求往往需要涉及到多个服务。互联网应用构建在不同的软件模块集上,这些软件模块,有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了几千台服务器,横跨多个不同的数据中心,也就意味着这种架构形式也会存在一些问题:

  • 如何快速发现问题?
  • 如何判断故障影响范围?
  • 如何梳理服务依赖以及依赖的合理性?
  • 如何分析链路性能问题以及实时容量规划?

分布式链路追踪( Distributed Tracing ),就是将一次分布式请求还原成调用链路,进行日志记录,性能监控并将 一次分布式请求的调用情况集中展示。比如各个服务节点上的耗时、请求具体到达哪台机器上、每个服务节点的请求状态等等。

目前业界比较流行的链路追踪系统如: Twitter 的 Zipkin ,阿里的 鹰眼 ,美团的 Mtrace ,大众点评的 cat 等,大部分都是基于 google 发表的 Dapper 。 Dapper 阐述了分布式系统,特别是微服务架构中链路追踪的概念、数据表示、埋点、传递、收集、存储与展示等技术细节。

二、Sleuth

Spring Cloud Sleuth 主要功能就是在分布式系统中提供追踪解决方案,并且兼容支持了 zipkin ,你只需要在pom 文件中引入相应的依赖即可。

Spring Cloud Sleuth 采用的是 Google 的开源项目 Dapper 的专业术语。

  • Span :基本工作单元,例如,在一个新建的 span 中发送一个 RPC 等同于发送一个回应请求给RPC, span 通过一个 64 位 ID 唯一标识, trace 以另一个 64 位 ID 表示, span 还有其他数据信息,比如摘要、时间戳事件、关键值注释(tags) 、 span 的 ID 、以及进度 ID( 通常是 IP 地址 )span在不断的启动和停止,同时记录了时间信息,当你创建了一个 span ,你必须在未来的某个时刻停止它。
  • Trace :一系列 spans 组成的一个树状结构,例如,如果你正在跑一个分布式大数据工程,你可能需要创建一个trace 。

  • Annotation :用来及时记录一个事件的存在,一些核心 annotations 用来定义一个请求的开始和结束。

    • cs - Client Sent -客户端发起一个请求,这个annotion描述了这个span的开始

    • sr - Server Received - 服务端获得请求并准备开始处理它,如果将其 sr 减去 cs 时间戳便可得到网络延迟

    • ss - Server Sent - 注解表明请求处理的完成 ( 当请求返回客户端 ) ,如果 ss 减去 sr 时间戳便可得到服务端需要的处理请求时间

    • cr - Client Received - 表明 span 的结束,客户端成功接收到服务端的回复,如果 cr 减去 cs 时间戳便可得到客户端从服务端获取回复的所有所需时间

上面看不懂?没关系!!!都是本人copy的一些专业术语

简单的来说:这个分布式链路追踪就是一个查找错误、分析节点性能的东西。至于span和trace我们看下面一张小图。

trace:整个链路调用,代表整个调用。span:每个最小工作单元,一次远程服务调用。

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70

这样我们来通过trace和span就能够实现链路追踪了!!!

1、项目中整合sleuth

放入网关微服务、service-order微服务、service-product微服务中依赖:

  1. <dependency>
  2. <groupId>org.springframework.cloud</groupId>
  3. <artifactId>spring-cloud-starter-sleuth</artifactId>
  4. </dependency>

分别加入日志配置:

  1. logging:
  2. level:
  3. root: info
  4. org.springframework.web.servlet.DispatcherServlet: DEBUG
  5. org.springframework.cloud.sleuth: DEBUG

重启项目,看着这玩意。成功!!!

20200530203719493.png

网关:traceID:0b48fa87c54c387a,span:0b48fa87c54c387a

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 1

service-order微服务,traceID:0b48fa87c54c387a,span:207b97ce89948d13

20200530204151612.png

service-product微服务,traceID:0b48fa87c54c387a,span:d1b79f584d41447520200530204227120.png

从而验证了我们上面那个小图,一次远程调用traceid是相同的,但是span是不同的。

老铁们如果,这些信息存储日志中,就让你们这么看日志,是不是很难受,所以引入下面的zipkin

三、zipkin

Zipkin 是 Twitter 的一个开源项目,它基于 Google Dapper 实现,它致力于收集服务的定时数据,以解决微服务架构中的延迟问题,包括数据的收集、存储、查找和展现。 我们可以使用它来收集各个服务器上请求链路的跟踪数据,并通过它提供的 REST API 接口来辅助我们查询跟踪数据以实现对分布式系统的监控程序,从而及时地发现系统中出现的延迟升高问题并找出系统性能瓶颈的根源。除了面向开发的 API 接口之外,它也提供了方便的 UI 组件来帮助我们直观的搜索跟踪信息和分析请求链路明细,比如:可以查询某段时间内各用户请求的处理时间等。 Zipkin 提供了可插拔数据存储方式: In Memory、 MySql 、 Cassandra 以及 Elasticsearch 。

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 2

上图展示了 Zipkin 的基础架构,它主要由 4 个核心组件构成:

  • Collector :收集器组件,它主要用于处理从外部系统发送过来的跟踪信息,将这些信息转换为Zipkin 内部处理的 Span 格式,以支持后续的存储、分析、展示等功能。
  • Storage :存储组件,它主要对处理收集器接收到的跟踪信息,默认会将这些信息存储在内存中,我们也可以修改此存储策略,通过使用其他存储组件将跟踪信息存储到数据库中。
  • RESTful API:API 组件,它主要用来提供外部访问接口。比如给客户端展示跟踪信息,或是外接系统访问以实现监控等。
  • Web UI : UI 组件,基于 API 组件实现的上层应用。通过 UI 组件用户可以方便而有直观地查询和分析跟踪信息。

Zipkin 分为两端,一个是 Zipkin 服务端,一个是 Zipkin 客户端,客户端也就是微服务的应用。

客户端会配置服务端的 URL 地址,一旦发生服务间的调用的时候,会被配置在微服务里面的 Sleuth 的

监听器监听,并生成相应的 Trace 和 Span 信息发送给服务端。

发送的方式主要有两种,一种是 HTTP 报文的方式,还有一种是消息总线的方式如 RabbitMQ 。

不论哪种方式,我们都需要:

  • 一个 Eureka 服务注册中心,这里我们就用之前的 eureka 项目来当注册中心。
  • 一个 Zipkin 服务端。
  • 多个微服务,这些微服务中配置 Zipkin 客户端。

1、Zipkin Server**的部署和配置**

(**1**) Zipkin Server**下载**

从 spring boot 2.0 开始,官方就不再支持使用自建 Zipkin Server 的方式进行服务链路追踪,而是直接提供了编译好的 jar 包来给我们使用。可以从官方网站下载 先下载 Zipkin 的 web UI ,我们这里下载的是zipkin- server - 2.12.9 - exec.jar。

2 ) 启动

在命令行输入 java - jar zipkin - server - 2.12.9 - exec.jar 启动 Zipkin Server

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 3

  • 默认Zipkin Server的请求端口为 9411
  • Zipkin Server的启动参数可以通过官方提供的yml配置文件查找
  • 在浏览器输入 http://127.0.0.1:9411 即可进入到 Zipkin Server 的管理后台

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 4

2、三个项目添加zipkin依赖

  1. <dependency>
  2. <groupId>org.springframework.cloud</groupId>
  3. <artifactId>spring-cloud-starter-zipkin</artifactId>
  4. </dependency>

添加配置

  1. spring:
  2. zipkin:
  3. base-url: http://127.0.0.1:9411
  4. sender:
  5. type: web # 数据的传输方式、以http方式传递到server
  6. sleuth:
  7. sampler:
  8. probability: 1 # 采集数据的比例

重启一下项目:

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 5

就可以看到了。

不妥的问题:

(1)链路数据没办法持久化(保存),存储在内存中

(2)http请求的方式,如果发生网络波动,对我们的业务会造成影响。

解决:

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 6

3、zipkin数据保存到mysql中(解决第一个问题)

20200531092819179.png

数据库sql(在我们的项目源码会给大家提供)

启动项目的时候添加参数:

  1. java -jar zipkin-server-2.12.9-exec.jar --STORAGE_TYPE=mysql --MYSQL_HOST=127.0.0.1 --MYSQL_TCP_PORT=3306 --MYSQL_DB=zipkin --MYSQL_USER=root --MYSQL_PASS=111111

然后就可以持久化到数据库里了。

4、连接消息中间件(解决第二个问题)

自己去安装一下rabbitmq(偷偷的告诉你,用docker安装贼快!!!)

  1. java -jar zipkin-server-2.12.9-exec.jar --STORAGE_TYPE=mysql --MYSQL_HOST=127.0.0.1 --MYSQL_TCP_PORT=3306 --MYSQL_DB=zipkin --MYSQL_USER=root --MYSQL_PASS=111111 -RABBIT_ADDRESSES=127.0.0.1:5672

修改对应的配置:

  1. zipkin:
  2. # base-url: http://127.0.0.1:9411
  3. sender:
  4. type: rabbit
  5. # type: web # 数据的传输方式、以http方式传递到server
  6. sleuth:
  7. sampler:
  8. probability: 1 # 采集数据的比例
  9. rabbitmq:
  10. host: 127.0.0.1
  11. port: 5672
  12. username: user
  13. password: password
  14. listener:
  15. direct:
  16. retry:
  17. enabled: true
  18. simple:
  19. retry:
  20. enabled: true

20200531101941386.png

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4ODQ5NQ_size_16_color_FFFFFF_t_70 7

20200531102627380.png

证明了我们的配置正确。

源码:git@gitee.com:Zesystem/springclouddedemowangguan.git

发表评论

表情:
评论列表 (有 0 条评论,32人围观)

还没有评论,来说两句吧...

相关阅读

    相关 SpringCloud 服务追踪Sleuth

    微服务架构是通过业务来划分服务的,对外暴露的接口,可能需要很多个服务协同才能完成一个接口功能,如果链路上任何一个服务出现问题,都会形成导致接口调用失败。此时查找出现问题的微服务