微服务之日志落盘设计

客官°小女子只卖身不卖艺 2022-01-10 08:11 202阅读 0赞

### 目录 ###

*  [1、设计目标][1]
 *  [2、日志流程][2]
 *  [3、串联请求事务][3]
    
     *  [3.1 请求ID][3.1 _ID]
     *  [3.2 处理服务器、服务][3.2]
     *  [3.3 处理接口名][3.3]
     *  [3.4 日志的发生时间][3.4]
     *  [3.5 接口返回状态码][3.5]
 *  [4、记录结构][4]
 *  [5、RabbitMq队列][5_RabbitMq]
 *  [6、落盘][6]
 *  [7、性能优化][7]
 *  [8、简单统计][8]
 *  [引用链接][Link 1]

# 1、设计目标 #

1.  对各个微服务的访问进行请求追踪，注重排查开发、线上问题
2.  消息队列发送、多服务落盘，事后分析
3.  日志分析
4.  性能优化

# 2、日志流程 #

# 3、串联请求事务 #

## 3.1 请求ID ##

> 请求id：唯一标识一个Api请求链路。

为了分析前端的一条Api请求，需要在Api网关请求时产生一个guid，标识api的请求，并按照调用次序传递给微服务，微服务间可以互相调用，因此请求id按照调用次序依次传递。

## 3.2 处理服务器、服务 ##

请求链路会穿越不同的服务器以及不同的服务，因此，需要记录服务器的IP或名称，服务的名称，这样在分析问题时可以快速找到故障点。

## 3.3 处理接口名 ##

api的入口是唯一接口，但穿越不同节点后，实际执行接口会随着调用而改变，因此接口名需要被记录下来。

## 3.4 日志的发生时间 ##

可提供时间索引，可按照时间进行分区分表等

## 3.5 接口返回状态码 ##

状态码简单判断接口是否工作正常，有无错误，错误描述等

# 4、记录结构 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlYm1vdGU_size_16_color_FFFFFF_t_70]

# 5、RabbitMq队列 #

![在这里插入图片描述][20181128113721128.png]

# 6、落盘 #

日志落盘采用RabbitMq的拉模式，考虑到日志的规模，如果采用推模式，很可能导致落盘阻塞，因此这里采用拉取模式，以落盘介质的流速为限制。  
落盘可以采用多个微服务进行拉取，这样可以保证某个落盘服务故障后，仍然可以继续落盘。  
落盘采用一个线程拉取队列，并存储在内存队列中，三个不同的落库线程，从内存队列中拉取并落库。

public static void Init() { _event = new AutoResetEvent(false); _queue = new ConcurrentQueue<LogBase>(); new Thread(SaveLogInfo){IsBackground = true}.Start(); new Thread(SaveLogStat) { IsBackground = true }.Start(); new Thread(SaveLogBussiness) { IsBackground = true }.Start(); new Thread(SaveLogToDb) { IsBackground = true }.Start(); }

落库失败，可以降级到文件落盘。

# 7、性能优化 #

考虑到写库的性能限制，可以批量写库，使用insert value value批量方式能极大提高落库速度。

# 8、简单统计 #

可以快速分析api接口的访问次数以及响应的平均时间。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlYm1vdGU_size_16_color_FFFFFF_t_70 1]

转载：https://www.cnblogs.com/lonelyxmas/p/10286277.html

转载于:https://www.cnblogs.com/liliuguang/p/10788622.html

[1]: https://www.cnblogs.com/lonelyxmas/p/10286277.html#1_1
[2]: https://www.cnblogs.com/lonelyxmas/p/10286277.html#2_6
[3]: https://www.cnblogs.com/lonelyxmas/p/10286277.html#3_19
[3.1 _ID]: https://www.cnblogs.com/lonelyxmas/p/10286277.html#31_ID_20
[3.2]: https://www.cnblogs.com/lonelyxmas/p/10286277.html#32__24
[3.3]: https://www.cnblogs.com/lonelyxmas/p/10286277.html#33__26
[3.4]: https://www.cnblogs.com/lonelyxmas/p/10286277.html#34__28
[3.5]: https://www.cnblogs.com/lonelyxmas/p/10286277.html#35__30
[4]: https://www.cnblogs.com/lonelyxmas/p/10286277.html#4_32
[5_RabbitMq]: https://www.cnblogs.com/lonelyxmas/p/10286277.html#5RabbitMq_34
[6]: https://www.cnblogs.com/lonelyxmas/p/10286277.html#6_36
[7]: https://www.cnblogs.com/lonelyxmas/p/10286277.html#7_54
[8]: https://www.cnblogs.com/lonelyxmas/p/10286277.html#8_57
[Link 1]: https://www.cnblogs.com/lonelyxmas/p/10286277.html#_65
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlYm1vdGU_size_16_color_FFFFFF_t_70]: /images/20220109/c3709167e2544e85b26de40711d4e392.png
[20181128113721128.png]: /images/20220109/81024956ba8b49cda55f8bf6b0022ef8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlYm1vdGU_size_16_color_FFFFFF_t_70 1]: /images/20220109/8639d8cb5cf441da963a65185d3b0c13.png