springboot整合skywalking

悠悠 2023-01-24 05:20 62阅读 0赞

Skywalking主要分为oap、webapp和agent三部分，hub.komect.com:10443/hmall/skywalking-ui分别用于汇总数据和展示，这两块共同组成了Skywalking的平台；agent是探针，部署在需要收集数据的应用服务器上，并将数据同步到Skywalking的平台

记录一下一个坑，之前使用的是6.5.0的skywalking，由于一些原因需要重装oap和webapp，想偷个懒，oap和webapp装8.x，agent还是用原来的6.5.0，结果agent的日志就报错了,说找不到注册的方法。所以还是建议使用同一版本的SW，减少不必要麻烦。

--------------------

下面开始正题：现在拟搭建oap和webapp在虚机，agent在容器使用，oap和webapp在同一台虚拟机运行：

1.配置oap（暂时使用单机，用ES作为存储）

cluster:
      selector: ${SW_CLUSTER:standalone}
      standalone:
    
    storage:
      selector: ${SW_STORAGE:elasticsearch}
      elasticsearch:
        clusterName: esCluster
        nameSpace: ${SW_NAMESPACE:""}
        clusterNodes: ${SW_STORAGE_ES_CLUSTER_NODES:172.21.42.97:9200}  #你的ES地址
        protocol: ${SW_STORAGE_ES_HTTP_PROTOCOL:"http"}
        user: ${SW_ES_USER:"xxxxxx"}  #ES账号
        password: ${SW_ES_PASSWORD:"xxxx"}  #ES密码
        trustStorePath: ${SW_STORAGE_ES_SSL_JKS_PATH:""}
        trustStorePass: ${SW_STORAGE_ES_SSL_JKS_PASS:""}
        secretsManagementFile: ${SW_ES_SECRETS_MANAGEMENT_FILE:""} # Secrets management file in the properties format includes the username, password, which are managed by 3rd party tool.
        dayStep: ${SW_STORAGE_DAY_STEP:1} # Represent the number of days in the one minute/hour/day index.
        indexShardsNumber: ${SW_STORAGE_ES_INDEX_SHARDS_NUMBER:1} # Shard number of new indexes
        indexReplicasNumber: ${SW_STORAGE_ES_INDEX_REPLICAS_NUMBER:1} # Replicas number of new indexes
        # Super data set has been defined in the codes, such as trace segments.The following 3 config would be improve es performance when storage super size data in es.
        superDatasetDayStep: ${SW_SUPERDATASET_STORAGE_DAY_STEP:-1} # Represent the number of days in the super size dataset record index, the default value is the same as dayStep when the value is less than 0
        superDatasetIndexShardsFactor: ${SW_STORAGE_ES_SUPER_DATASET_INDEX_SHARDS_FACTOR:5} #  This factor provides more shards for the super data set, shards number = indexShardsNumber * superDatasetIndexShardsFactor. Also, this factor effects Zipkin and Jaeger traces.
        superDatasetIndexReplicasNumber: ${SW_STORAGE_ES_SUPER_DATASET_INDEX_REPLICAS_NUMBER:0} # Represent the replicas number in the super size dataset record index, the default value is 0.
        bulkActions: ${SW_STORAGE_ES_BULK_ACTIONS:1000} # Execute the async bulk record data every ${SW_STORAGE_ES_BULK_ACTIONS} requests
        syncBulkActions: ${SW_STORAGE_ES_SYNC_BULK_ACTIONS:50000} # Execute the sync bulk metrics data every ${SW_STORAGE_ES_SYNC_BULK_ACTIONS} requests
        flushInterval: ${SW_STORAGE_ES_FLUSH_INTERVAL:10} # flush the bulk every 10 seconds whatever the number of requests
        concurrentRequests: ${SW_STORAGE_ES_CONCURRENT_REQUESTS:2} # the number of concurrent requests
        resultWindowMaxSize: ${SW_STORAGE_ES_QUERY_MAX_WINDOW_SIZE:10000}
        metadataQueryMaxSize: ${SW_STORAGE_ES_QUERY_MAX_SIZE:5000}
        segmentQueryMaxSize: ${SW_STORAGE_ES_QUERY_SEGMENT_SIZE:200}
        profileTaskQueryMaxSize: ${SW_STORAGE_ES_QUERY_PROFILE_TASK_SIZE:200}
        advanced: ${SW_STORAGE_ES_ADVANCED:""}

注意，有些版本的SW是需要使用ES7的，这个配置文件有专门的elasticsearch7配置，且使用7.x.x版本的es需要另外下载apache-skywalking-bin-es7.tar.gz包，详见官方github

出于性能考虑，官方推荐在ES配置新增：

thread_pool.index.queue_size: 1000 #只适用于ElasticSearch 6
    thread_pool.write.queue_size: 1000 #适用于ElasticSearch 6 and 7
    index.max_result_window: 1000000 #trace页面出错时记得设置

PS:如果没有ES的es\_keystore.jks，需要注释以下配置：

#    trustStorePath: ${SW_SW_STORAGE_ES_SSL_JKS_PATH:"../es_keystore.jks"}
    #    trustStorePass: ${SW_SW_STORAGE_ES_SSL_JKS_PASS:""}

2.webapp配置：  
位置在`/webapp/webapp.yml`

3.启动oap和webapp：  
在/bin目录下运行sh startup .sh

4.agent使用：  
将agent文件夹拷贝到需要监控的应用所在服务器，配置agent`agent.config`

# 不同的namespace会导致调用链路追踪中断
    agent.namespace=${SW_AGENT_NAMESPACE:xxx}
    
    # 页面上展示的service的名称，也可以通过-Dskywalking.agent.service_name=xxx指定
    agent.service_name=${SW_AGENT_NAME:xxxxx}
    
    # 平台的调用地址，也可以通过-Dskywalking.collector.backend_service=127.0.0.1:80指定
    collector.backend_service=${SW_AGENT_COLLECTOR_BACKEND_SERVICES:1xxx.xxx.xxx.xxx:11800}
    
    # 忽略指定后缀的请求收集
    agent.ignore_suffix=${SW_AGENT_IGNORE_SUFFIX:.jpg,.jpeg,.js,.css,.png,.bmp,.gif,.ico,.mp3,.mp4,.html,.svg}
    
    
    # 每3秒的采样率，负数代表100%
    agent.sample_n_per_3_secs=${SW_AGENT_SAMPLE:-1}

将agent打成镜像供拉取Dockerfile：

FROM busybox:latest
    ENV LANG=C.UTF-8
    RUN set -eux && mkdir -p /opt/skywalking/agent/
    ADD agent/ /opt/skywalking/agent/
    WORKDIR /

再运行打镜像的命令：在Dockerfile所在目录运行docker build -t 名称

如果需要动态配置，可以在k8s部署yaml加上环境变量，且在需要监控的应用（java）打镜像的dockerfile加:

FROM java:8
    VOLUME /tmp
    ARG JAR_FILE
    ADD target/${JAR_FILE} app.jar
    ENTRYPOINT exec java $JAVA_OPTS -Dapp.id=$APP_ID \
    -javaagent:/opt/skywalking/agent/skywalking-agent.jar \
    -Dskywalking.agent.service_name=$APP_ID \
    -Dskywalking.collector.backend_service=$SKYWALKING_ADDR

最后查看dashboard，默认8080端口。地址为装oap和webapp的主机ip：8080

### 基本流程： ###

1.agent收集trace（在skywalking中，一个trace由多个tracesegment构成，一个tracesegment由多个 span 构成的，span可理解为当前所在的一个对象，如果调用两一个服务，那另一个服务就是新的一个span）

一次调用过程，每个traceId都是一致的，在非跨线程/进程情况下（在同一个线程中），children通过parentSpanId关联父span的spanId，就像一个链条一样把一条链路给串起来，如果是跨线程/进程，又会创建出一个新的链条，这时就用 refs 把这几段链条给接连接起来。（为了标识出 children 的父亲到底是谁，使用属性 refs,关联上父节点的所有 ID 信息）

![14430142-a90ffad7dbe41a2d.png][]

image.png

相同颜色的小球在同一个线程中 , 在同一个线程中 的 segmentId 都是相同的，使用spanId以及parentSpanId去连接链路，线程、进程中不同的链路使用refs去连接，同时多个线程链路组成一个trace,他们的 traceID都是相同的。总结一下：

*  spanId : 同一个线程中唯一, 从0始，按照调用链路从0递增
 *  parentSpanId : 在同一个线程的链路中，用来连接 span
 *  segmentId : 同一个 线程链路中，这个值都是相同的，不同线程链路中 这个值不同
 *  traceId : 在一个 链路 中 traceId 唯一

agent里自带插件`mvc-annotation-commons`,会去代理有`@requestMapping`注解的方法:

public InstanceMethodsInterceptPoint[] getInstanceMethodsInterceptPoints() {
            return new InstanceMethodsInterceptPoint[] {
                new DeclaredInstanceMethodsInterceptPoint() {
                    @Override
                    public ElementMatcher<MethodDescription> getMethodsMatcher() {
                        return byMethodInheritanceAnnotationMatcher(named("org.springframework.web.bind.annotation.RequestMapping"));
                    }
    
                    @Override
                    public String getMethodsInterceptor() {
                        return "org.apache.skywalking.apm.plugin.spring.mvc.commons.interceptor.RequestMappingMethodInterceptor";
                    }
    
                    @Override
                    public boolean isOverrideArgs() {
                        return false;
                    }
                },
                new DeclaredInstanceMethodsInterceptPoint() {
                    @Override
                    public ElementMatcher<MethodDescription> getMethodsMatcher() {
                        return byMethodInheritanceAnnotationMatcher(named("org.springframework.web.bind.annotation.GetMapping"))
                            .or(byMethodInheritanceAnnotationMatcher(named("org.springframework.web.bind.annotation.PostMapping")))
                            .or(byMethodInheritanceAnnotationMatcher(named("org.springframework.web.bind.annotation.PutMapping")))
                            .or(byMethodInheritanceAnnotationMatcher(named("org.springframework.web.bind.annotation.DeleteMapping")))
                            .or(byMethodInheritanceAnnotationMatcher(named("org.springframework.web.bind.annotation.PatchMapping")));
                    }
    
                    @Override
                    public String getMethodsInterceptor() {
                        return "org.apache.skywalking.apm.plugin.spring.mvc.commons.interceptor.RequestMappingMethodInterceptor";
                    }
    
                    @Override
                    public boolean isOverrideArgs() {
                        return false;
                    }
                }
            };
        }

将有注解的方法加上代理方法`RequestMappingMethodInterceptor`，主要去新增span。之后通过生产-消费模型，将产生的span对象们通过GRPC批量发送。  
2.agent发送trace给oap（controller）  
3.oap接收并构建  
4.oap将数据持久化（ES/H2等）

--------------------

以下是运行时候出现的一些问题：  
1.skywalking运行一段时间后，发现没有新的数据显示  
首先查看日志：

2021-02-18 02:27:51,673 - org.apache.skywalking.oap.server.library.server.grpc.GRPCServer - 118 [grpc-default-worker-ELG-3-3] WARN  [] - Grpc server thread pool is full, rejecting the task

Grpc线程池满了，什么意思呢？可以理解为oap服务的吞吐量太弱，存储性能跟不上，最简单的方法就是增加集群数量，如果不行则设置：  
默认grpc server的线程池大小是4*cpu数，排队队列长度是10000，可以调整这两个参数大小：定位到application.yml文件。在core的default下增加gRPCThreadPoolSize: 默认是4倍的cpu，这里可以调高,例如8核默认是4*8=32，可以调成40或更大gRPCThreadPoolQueueSize：默认是10000，可以调高

--------------------

参考：  
[https://www.jianshu.com/p/4f4c182bcbd8][https_www.jianshu.com_p_4f4c182bcbd8]  
[https://www.jianshu.com/p/8b9aad4210c5][https_www.jianshu.com_p_8b9aad4210c5]  
[https://juejin.cn/post/6844903556772954125\#heading-11][https_juejin.cn_post_6844903556772954125_heading-11]  
[https://blog.csdn.net/u010928589/article/details/106542794][https_blog.csdn.net_u010928589_article_details_106542794]  
[https://www.cnblogs.com/kebibuluan/p/13153819.html][https_www.cnblogs.com_kebibuluan_p_13153819.html]  
[https://my.oschina.net/osgit/blog/4558674][https_my.oschina.net_osgit_blog_4558674] （一些skywalking运行时的问题）

[14430142-a90ffad7dbe41a2d.png]: /images/20221119/097d6138a4194bd183209411a6eb8922.png
[https_www.jianshu.com_p_4f4c182bcbd8]: https://www.jianshu.com/p/4f4c182bcbd8
[https_www.jianshu.com_p_8b9aad4210c5]: https://www.jianshu.com/p/8b9aad4210c5
[https_juejin.cn_post_6844903556772954125_heading-11]: https://links.jianshu.com/go?to=https%3A%2F%2Fjuejin.cn%2Fpost%2F6844903556772954125%23heading-11
[https_blog.csdn.net_u010928589_article_details_106542794]: https://links.jianshu.com/go?to=https%3A%2F%2Fblog.csdn.net%2Fu010928589%2Farticle%2Fdetails%2F106542794
[https_www.cnblogs.com_kebibuluan_p_13153819.html]: https://links.jianshu.com/go?to=https%3A%2F%2Fwww.cnblogs.com%2Fkebibuluan%2Fp%2F13153819.html
[https_my.oschina.net_osgit_blog_4558674]: https://links.jianshu.com/go?to=https%3A%2F%2Fmy.oschina.net%2Fosgit%2Fblog%2F4558674