Skywalking链路追踪

￡神魔★判官ぃ 2024-04-21 08:11 72阅读 0赞

#### 目录 ####

*  一、简介
 *   *  1.1、APM系统
     *  1.2、SkyWalking 简介
 *  二、快速入门
 *   *  2.1、下载、启动
     *  2.2、界面认识
 *  三、持久化存储
 *  四、告警通知
 *  五、自定义追踪-细粒度追踪service方法
 *  六、skywalking监控MySQL
 *   *  6.1、安装mysqld\_exporter
     *  6.2、安装OpenTelemetry Collector
 *  七、skywalking监控Linux
 *   *  7.1、安装node\_exporter

## 一、简介 ##

### 1.1、APM系统 ###

APM（Application Performance Monitoring）系统是一种用于监控和管理应用程序性能的工具。它可以帮助开发人员和运维团队实时监控应用程序的性能指标、识别潜在的性能问题，并提供性能优化建议。

APM系统可以帮助用户及时发现和解决应用程序的性能问题，提升用户体验和系统稳定性。它可以应用于各种类型的应用程序，包括Web应用、移动应用、微服务架构等。

### 1.2、SkyWalking 简介 ###

SkyWalking是一个开源的应用性能监控（APM）系统，用于监控和管理分布式系统的性能。它提供了实时的性能指标、事务追踪、服务依赖分析等功能，帮助开发人员和运维团队快速定位和解决性能问题。

SkyWalking的核心功能包括：

1.  分布式追踪：SkyWalking可以追踪分布式系统中的请求流程，记录每个请求经过的服务和组件，以及请求在每个组件中的耗时情况。通过分析追踪数据，可以了解系统中各个组件之间的调用关系和性能瓶颈，帮助开发人员快速定位和解决问题。
2.  实时监控：SkyWalking提供实时的性能监控指标，包括各个服务的请求量、响应时间、错误率等。通过监控数据，可以及时发现系统的性能问题，并进行调优和优化。
3.  服务依赖分析：SkyWalking可以分析系统中各个服务之间的依赖关系，包括调用关系和数据流向。通过可视化的方式展示服务之间的依赖关系，可以帮助开发人员理解系统的架构和流程，从而更好地进行系统设计和优化。
4.  告警和报警：SkyWalking可以设置各种告警规则，当系统出现异常或性能下降时，可以及时发送告警通知。这样可以帮助运维人员快速响应和解决问题，保证系统的稳定性和可靠性。
5.  数据可视化：SkyWalking提供丰富的数据可视化功能，可以将监控数据以图表的形式展示，帮助用户更直观地了解系统的性能和运行情况。同时，还可以根据需求自定义仪表盘，将关键指标集中展示，方便用户监控和管理系统。

## 二、快速入门 ##

### 2.1、下载、启动 ###

前提：要有java环境

下载链接: [https://skywalking.apache.org/downloads/][https_skywalking.apache.org_downloads]

我这边使用9.3版本的apm项目  
![在这里插入图片描述][63a27c32befc4838acaef7b4b0db66c1.png]  
还要再下载 agent，skywalking apm是服务端，agent才是真正监控应用的探针。

这里是监控java服务，所以下载的是java agent，如果是前端可以下载 javaScript

![在这里插入图片描述][9cef4a5d9fcc4db8a956f99678a4d9b1.png]

还需要再下载elasticsearch，用于存储记录

下载链接: [https://www.elastic.co/cn/downloads/elasticsearch][https_www.elastic.co_cn_downloads_elasticsearch]

**1、启动apm系统：**

window直接进入apm项目里面bin目录下的startup.bat文件，linux 则执行 sh startup.sh  
![在这里插入图片描述][4aaa4ff2c2ae4b7194006f7d1ed1d557.png]  
可以修改启动端口：进入webapp目录下，修改yml文件，修改即可，默认8080  
![在这里插入图片描述][e4efa6fcdae74981b95b68d9a41b459e.png]

启动后访问 `http://localhost:8080`，没改端口的话默认8080

![在这里插入图片描述][78138426bec241c4abd6acb92ac5aeb7.png]  
skywalking会默认使用端口：

*  11800：探针和Skywalking通讯的gRPC端口，这个服务连接skywalking用
 *  12800：UI视图程序和Skywalking通讯的HTTP端口
 *  8080：可视化视图UI服务的启动端口

**2、启动agent：**

在我们自己的项目上，注意是我们自己开发的项目，不是skywalking的，在启动参数上加上配置：

指定到agent的jar包的位置

-javaagent:D:\code\tool\skywalking-agent\skywalking-agent.jar
    -Dskywalking.agent.service_name=skywalking-service
    -Dskywalking.collector.backend_service=127.0.0.1:11800

\-javaagent：指定skywalking中的agent中的skywalking-agent.jar的路径  
\-Dskywalking.agent.service\_name：指定在skywalking中的服务名称，一般是微服务的spring.application.name  
\-Dskywalking.collector.backend\_service：指定oap服务绑定的地址，由于陈某这里是本地，并且oap服务默认的端口是11800，因此只需要配置为127.0.0.1:11800

如我在idea上添加VM options配置

![在这里插入图片描述][d4b2559cf68b4200acd1df3d478398a8.png]

项目启动完毕，再次刷新http://localhost:8080/，apm项目，就可以看到服务注册进来了  
![在这里插入图片描述][c800c2334d5d47a8a3e763fb1683e216.png]  
微服务启动就是，每个服务也都写上那个配置即可，需要更换名称。

如果报下面错误，则可以将classpath更换成JAR manifest  
![在这里插入图片描述][2553b22ca9be400592e7d8b2023b5e82.png]

![在这里插入图片描述][e0a2bb105beb4035a40486ac60a77cf5.png]

### 2.2、界面认识 ###

![在这里插入图片描述][f8400dde9f9747a187316e82c706c0bc.png]

点击服务名称，可进入更详细的监控界面

![在这里插入图片描述][8a00ca109f3e405d84ae654dd37ed54c.png]

1.  概览（Overview）：提供整体系统的概览信息，包括各个服务的调用量、成功率、延迟等指标的总览。
2.  实例（Instance）：查询和监控系统中的实例，可以查看每个实例的性能指标、调用情况等信息。
3.  端点（Endpoint）：查询和监控系统中的端点（API、方法等），可以查看每个端点的调用量、成功率、延迟等指标。
4.  拓扑（Topology）：展示系统中各个服务之间的调用关系和依赖关系，可以帮助理解系统的架构和调用流程。
5.  链路追踪（Trace）：查询和监控系统中的请求链路，可以查看每个请求的详细信息，包括调用链路、耗时、异常等。
6.  链路追踪分析（Trace Profiling）：对链路追踪数据进行分析和优化，可以查看每个请求的性能瓶颈、调用路径等信息。
7.  eBPF Profiling：使用eBPF技术对系统进行性能分析和优化，可以查看系统的运行状态、资源使用情况等。
8.  日志（Log）：查询和监控系统的日志信息，可以查看系统的日志记录、异常信息等。

![在这里插入图片描述][3d7a0765c7dd476fadc201d2e4b90cca.png]  
Topology 鼠标放上去即可看到每个链路的耗时。  
![在这里插入图片描述][e3303dbad7ce4357ba91bb7008cddb65.png]Trace 可以追踪每个节点的信息和耗时  
![在这里插入图片描述][d273468464f24f03a1ef6578f04b7186.png]![在这里插入图片描述][403e1e872b4641f98f63f0d66ea3060a.png]还有很多界面，大家自己点点，可以监控很多有用的信息

![在这里插入图片描述][55be0b08769340038c4f87408e3ba430.png]  
微服务使用，路由追踪，需要找到自己项目的gateway版本，在optional-plugins的两个jar包复制到plugins里面，在路由追踪才会显示网关

![在这里插入图片描述][58b3987cf1a34136bd514f48b4bfcd90.png]

## 三、持久化存储 ##

SkyWalking在默认配置下使用了内存存储（Memory Storage），这意味着数据存储在内存中，并且在重启SkyWalking服务后会丢失。这种配置适用于开发和测试环境，但不适合生产环境。

如果您希望在重启后保留数据，您可以配置SkyWalking使用持久化存储（Persistent Storage），例如使用Elasticsearch、MySQL等数据库作为存储后端。通过将数据存储在持久化存储中，即使在重启SkyWalking服务后，数据也能够得到保留。

我这边存储在Elasticsearch7.10.2，不演示es的下载启动，es启动会有两个默认端口，

![在这里插入图片描述][188fbf9a68114b699d2bcf4b820bebc1.png]  
验证es启动成功  
![在这里插入图片描述][8f909e04e13c4c6aa1e76f768c2c0f60.png]更改skywalking-apm项目config下的application.yml，更换使用存储连接方式，如果使用mysql,需要将mysql数据库驱动包拷贝到 oap-libs 目录下才可以

![在这里插入图片描述][42ae3ebe62a54c2b9815dd7c56d37df1.png]  
重启下服务即可

## 四、告警通知 ##

可以通过修改config文件夹下的alarm-settings.yml文件来配置告警通知。

配置规则：

1.  metrics-name：要监控的指标名称，可以是系统预定义的指标名称，也可以是自定义的指标名称。
2.  op：触发告警的条件操作符，可以是>（大于）、>=（大于等于）、<（小于）、<=（小于等于）等。
3.  threshold：触发告警的阈值，当指标的值满足条件时，触发告警。
4.  period：触发告警的时间窗口大小，单位为分钟。在这个时间窗口内，指标的值会被收集和计算。
5.  count：触发告警的次数阈值，当指标的值在时间窗口内连续超过这个次数时，触发告警。
6.  silence-period：告警的静默期，单位为分钟。在这个静默期内，如果指标的值再次触发告警，不会重复发送告警通知。
7.  message：告警通知的消息内容，可以自定义告警通知的文本信息。

自带配置翻译：

# 示例告警规则
    rules:
      # 服务响应时间告警规则
      service_resp_time_rule:
        metrics-name: service_resp_time
        op: ">"
        threshold: 1000
        period: 10
        count: 3
        silence-period: 5
        message: 服务 {
        name} 的响应时间在过去的10分钟内超过1000毫秒的次数达到3次。
    
      # 服务SLA告警规则
      service_sla_rule:
        metrics-name: service_sla
        op: "<"
        threshold: 8000
        period: 10
        count: 2
        silence-period: 3
        message: 服务 {
        name} 的成功率在过去的10分钟内低于80%的次数达到2次。
    
      # 服务响应时间百分位数告警规则
      service_resp_time_percentile_rule:
        metrics-name: service_percentile
        op: ">"
        threshold: 1000,1000,1000,1000,1000
        period: 10
        count: 3
        silence-period: 5
        message: 服务 {
        name} 的百分位数响应时间在过去的10分钟内超过1000毫秒的次数达到3次，其中包括p50 > 1000, p75 > 1000, p90 > 1000, p95 > 1000, p99 > 1000。
    
      # 服务实例响应时间告警规则
      service_instance_resp_time_rule:
        metrics-name: service_instance_resp_time
        op: ">"
        threshold: 1000
        period: 10
        count: 2
        silence-period: 5
        message: 服务实例 {
        name} 的响应时间在过去的10分钟内超过1000毫秒的次数达到2次。
    
      # 数据库访问响应时间告警规则
      database_access_resp_time_rule:
        metrics-name: database_access_resp_time
        threshold: 1000
        op: ">"
        period: 10
        count: 2
        message: 数据库访问 {
        name} 的响应时间在过去的10分钟内超过1000毫秒的次数达到2次。
    
      # 端点关系响应时间告警规则
      endpoint_relation_resp_time_rule:
        metrics-name: endpoint_relation_resp_time
        threshold: 1000
        op: ">"
        period: 10
        count: 2
        message: 端点关系 {
        name} 的响应时间在过去的10分钟内超过1000毫秒的次数达到2次。
    
    webhooks:
      # 配置Webhooks的URL，告警的时候，可以调用下面的接口去告警
      - http://127.0.0.1/notify/
      - http://127.0.0.1/go-wechat/

自定义告警接口：

将下面的接口写在 webhooks下即可。

![在这里插入图片描述][532f2a04085c445286bd52316dd3c122.png]

![在这里插入图片描述][3a349f1b4cd4420897f07c67257cb2ee.png]

## 五、自定义追踪-细粒度追踪service方法 ##

1、引入依赖：

<dependency>
          <groupId>org.apache.skywalking</groupId>
          <artifactId>apm-toolkit-trace</artifactId>
          <version>${skywalking.version}</version>
       </dependency>

$\{skywalking.version\} 和你当前使用的SkyWalking版本保持一致

2、注解配置

先在项目中引入依赖，然后再对应的方法上新增上注解。这里我们通过@Tag获取了name，address，token以及traceId参数。

@Trace
    @Tags({
        @Tag(key = "name",value = "arg[0]"),
            @Tag(key = "token",value = "returnedObj.token"),
            @Tag(key = "address",value = "arg[1]"),
            @Tag(key = "traceId",value = "returnedObj.traceId")})
    public User doSkyWalkingPluginsV2(String name, String address, int id){
        
        CachaUser cachaUser = new CachaUser();
        cachaUser.setName(name);
        cachaUser.setAddress(address);
        cachaUser.setId(id);
        String token = TokenUtils.getToken(cachaUser);
        User user = new User();
        user.setAge("18");
        user.setName(name);
        user.setToken(token);
        user.setTraceId(TraceContext.traceId());
        return user;
    }

配置完成后，启动服务。通过postman远程调用服务，在skywalking服务页面可以看到，我们trace的doSkyWalkingPluginsV2方法也被收集到了，方法耗时也能一目了然。  
![在这里插入图片描述][1dd0f0c60eb844ea90b8e2b15ad74f5b.png]  
点击方法查看详情，name，address，token以及traceId参数也都全部被统计收集上来了。

![在这里插入图片描述][dede9e8848f1445e978a69012bd7d084.png]

## 六、skywalking监控MySQL ##

![在这里插入图片描述][d4f557d3453a4b9c98770ce1ab32c454.png]

需要安装 mysqld\_exporter. 和 OpenTelemetry Collector

### 6.1、安装mysqld\_exporter ###

下载链接: [https://prometheus.io/download/][https_prometheus.io_download]

![在这里插入图片描述][a789e1e03df944669d9e027be301c937.png]  
解压：tar -zxvf mysqld\_exporter-0.15.1.linux-amd64.tar.gz

新建连接数据库配置文件

# 1、编辑新建配置
    vim mysqld_exporter.cnf
    
    # 2、拷贝配置
    [client]
    user=用户名
    password=密码
    host=localhost
    port=3306

后台运行命令：`nohup ./mysqld_exporter --config.my-cnf=mysqld_exporter.cnf &`

访问测试：http://localhost:9104/metrics

### 6.2、安装OpenTelemetry Collector ###

下载链接: [https://github.com/open-telemetry/opentelemetry-collector-releases/releases/tag/v0.95.0][https_github.com_open-telemetry_opentelemetry-collector-releases_releases_tag_v0.95.0]

![在这里插入图片描述][b6e60662787b4c69b8847c36674ce342.png]

解压：tar -zxvf otelcol-contrib\_0.94.0\_linux\_386.tar.gz

新增`otel-collector-config.yaml`配置：

receivers:
      prometheus:
        config:
         scrape_configs:
           - job_name: 'mysql-monitoring'
             scrape_interval: 5s
             static_configs:
               - targets: ['localhost:9104'] #这里是mysqld-exporter的地址
                 labels:
                   host_name: showcase
    processors:
      batch:
    
    exporters:
      otlp:
        endpoint: localhost:11800 #这里是skywalking的地址
        tls:
          insecure: true
    service:
      pipelines:
        metrics:
          receivers:
          - prometheus
          processors:
          - batch
          exporters:
          - otlp

后台运行命令：`nohup ./otelcol-contrib --config=otel-collector-config.yaml &`

OpenTelemetry Collector配置链接: [https://opentelemetry.io/docs/collector/configuration/][https_opentelemetry.io_docs_collector_configuration]

可进入官网查看配置，例如我启动的时候报8888端口被使用了，查看官网添加配置，更改掉8888端口

![在这里插入图片描述][64ecc4741136453dafb74abba02c771f.png]

service:
      telemetry:
        logs:
          level: DEBUG
          initial_fields:
            service: my-instance
        metrics:
          level: detailed
          address: 0.0.0.0:7777

运行后刷新skywalking即可，记得要看是否有错误日志。

## 七、skywalking监控Linux ##

需要安装 node\_exporter. 和 OpenTelemetry Collector(上例一样)

### 7.1、安装node\_exporter ###

下载链接: [https://prometheus.io/download/][https_prometheus.io_download]

![在这里插入图片描述][476f2014a40245009a92d3f521995167.png]

解压：tar -zxvf node\_exporter-1.7.0.linux-amd64.tar.gz

后台运行命令：`nohup ./node_exporter > nodeout.file 2>&1 &`

访问测试：http://localhost:9100/metrics

修改`otel-collector-config.yaml`配置：

receivers:
      prometheus:
        config:
          scrape_configs:
            - job_name: "vm-monitoring" # make sure to use this in the vm.yaml to filter only VM metrics
              scrape_interval: 10s
              static_configs:
                - targets: ['ip:9100'] # 这里是主机服务器的采集地址
            - job_name: 'mysql-monitoring'
              scrape_interval: 5s
              static_configs:
                - targets: ['ip:9104'] #这里是mysqld-exporter的地址
                  labels:
                    host_name: showcase
    
    processors:
      batch:
    
    exporters:
      otlp:
        endpoint: ip:11800 # 这里是OAP Server address
        tls:
          insecure: true
    
    service:
      pipelines:
        metrics:
          receivers: [prometheus]
          processors: [batch]
          exporters: [otlp]

更改后重新启动OpenTelemetry Collector

监控效果  
![在这里插入图片描述][4b51c0d4f88649fda11801e7eeedf728.png]

[https_skywalking.apache.org_downloads]: https://skywalking.apache.org/downloads/
[63a27c32befc4838acaef7b4b0db66c1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/21/f7d147b04b72460b94dd50c9a11f12df.png
[9cef4a5d9fcc4db8a956f99678a4d9b1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/21/f3955f21e06f4742a251523b625ec831.png
[https_www.elastic.co_cn_downloads_elasticsearch]: https://www.elastic.co/cn/downloads/elasticsearch
[4aaa4ff2c2ae4b7194006f7d1ed1d557.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/21/25655fe1ebd6454fb948633a6608fe1e.png
[e4efa6fcdae74981b95b68d9a41b459e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/21/880ab33518f64f72b6bb128dc4ed3e33.png
[78138426bec241c4abd6acb92ac5aeb7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/21/f8088d74bc974d5e9875738692f99cb0.png
[d4b2559cf68b4200acd1df3d478398a8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/21/98f23577d7544d6880522e7593826f53.png
[c800c2334d5d47a8a3e763fb1683e216.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/21/16b81f55ff9a430d84515e6a9df0b661.png
[2553b22ca9be400592e7d8b2023b5e82.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/21/dbc6125def6f4e2da1c8b94a05e692ee.png
[e0a2bb105beb4035a40486ac60a77cf5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/21/ab08a68b6ae84e288cdd8693c311aa1b.png
[f8400dde9f9747a187316e82c706c0bc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/21/f18eb62ae7f94bd4962c5e97d66e05f8.png
[8a00ca109f3e405d84ae654dd37ed54c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/21/1778017f30de406c898a0893d59eb0c5.png
[3d7a0765c7dd476fadc201d2e4b90cca.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/21/4ed3af662700486d97342a044ebfbf16.png
[e3303dbad7ce4357ba91bb7008cddb65.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/21/f7c18f88d3e14a018a8e786b13962df8.png
[d273468464f24f03a1ef6578f04b7186.png]: https://img-blog.csdnimg.cn/direct/d273468464f24f03a1ef6578f04b7186.png
[403e1e872b4641f98f63f0d66ea3060a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/21/0ec789b39c5d4b4baabeaced3d89f6c2.png
[55be0b08769340038c4f87408e3ba430.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/21/c48e9b1940f142eea7a286a81d0b866f.png
[58b3987cf1a34136bd514f48b4bfcd90.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/21/2b344a4a72a74f678fed4143830e5e3e.png
[188fbf9a68114b699d2bcf4b820bebc1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/21/31847e95dd304cfbaa245c95fe0ef087.png
[8f909e04e13c4c6aa1e76f768c2c0f60.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/21/e5fb10b4c55a4077ae4cdfe05351209b.png
[42ae3ebe62a54c2b9815dd7c56d37df1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/21/6f098638ae1f4b0f9f6ad380de99b547.png
[532f2a04085c445286bd52316dd3c122.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/21/224ec8a765ac42ce939b169984fc6a0a.png
[3a349f1b4cd4420897f07c67257cb2ee.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/21/d0e6693c3e1e492e814fae1847b22e7f.png
[1dd0f0c60eb844ea90b8e2b15ad74f5b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/21/c97650bc19994c7c9e06e9640e979b0b.png
[dede9e8848f1445e978a69012bd7d084.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/21/71c489bcefc34228aba819f327400f5d.png
[d4f557d3453a4b9c98770ce1ab32c454.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/21/8a6fe169cd634ed0b2d6f1f72ff254d5.png
[https_prometheus.io_download]: https://prometheus.io/download/
[a789e1e03df944669d9e027be301c937.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/21/75b1857f345b4a5c89cf251707880be4.png
[https_github.com_open-telemetry_opentelemetry-collector-releases_releases_tag_v0.95.0]: https://github.com/open-telemetry/opentelemetry-collector-releases/releases/tag/v0.95.0
[b6e60662787b4c69b8847c36674ce342.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/21/b00deb6aab2d49c5a8fdd0b03eabbd56.png
[https_opentelemetry.io_docs_collector_configuration]: https://opentelemetry.io/docs/collector/configuration/
[64ecc4741136453dafb74abba02c771f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/21/4eb385ddc5f8455ebe9668880f9c8339.png
[476f2014a40245009a92d3f521995167.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/21/66e60cf7fbac485ea1a685f414dff72b.png
[4b51c0d4f88649fda11801e7eeedf728.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/21/9d33211402ca41e0baf88cacd6e400ea.png