ATS线上报告个别日志过大无法写入问题的解决方法

柔情只为你懂 2022-08-08 00:58 140阅读 0赞

访问日志是分析CDN线上问题的重要参考依据，但是我们在实际运维中发现很多部署点日志记录出现一些小问题，会造成相应的日志条目丢失。我们发现线上一些服务器上时常会报告如下问题：

diags.log中经常报如下错误：

\[Mar 31 02:39:34.185\] Server \{0x2b1d85563700\} NOTE: <LogObject.cc:616 (log)> Skipping the current log entry for access.log because its size (9136) exceeds the maximum payload space in a log buffer

**分析问题**

这里已经指出了报错日志的代码位置在LogObject.cc:616，导致出错的函数位置的源码是

![Center][]

![Image 1][]

显然我们需要研究 \_checkout\_write()函数的实现，并关注返回为NULL的值，里面实际上是调用

result\_code = buffer->checkout\_write(write\_offset, bytes\_needed);

来控制多线程同步写日志，

![Center 1][]

![Image 1][]

上述日志信息所走的流程是

![Center 2][]

![Image 1][]

它是result\_code的返回码LogBuffer::LB\_BUFFER\_TOO\_SMALL，所以最终我们还得查看 LogBuffer::checkout\_write()返回该状态码的地方,注意如下函数的返回值

LB\_ResultCode ret\_val = LB\_BUSY;

返回的该代码是

![Center 3][]

![Image 1][]

上面的比较，m\_size的值很关键，我们需要关注m\_size的默认赋值是多少？这是写日志的一个初始缓存的长度，字符串型的，在 LogBuffer.cc中

![Center 4][]

![Image 1][]

它是调用它的构造函数生成的

LogBuffer(LogObject \* owner, size\_t size,   size\_t buf\_align = LB\_DEFAULT\_ALIGN, size\_t write\_align = INK\_MIN\_ALIGN);

![Center 5][]

![Image 1][]

可以看出分配指定长度的缓存给m\_unaligned\_buffer，并将它对齐为m\_buffer，动态释放内存的地方在析构函数中

![Center 6][]

![Image 1][]

建议gdb追踪来找到调用点，发现还是在LogObject.cc中有几处地方，都有如下代码

LogBuffer \*b = NEW (new LogBuffer (this,  Log::config->log\_buffer\_size));

现在继续追踪Log的配置项，在sourceInsight中搜索 log\_buffer\_size得到

![Center 7][]

结果很清楚了，配置项配大点就可以了。

**解决方法**

在records.config中添加一项proxy.config.log.log\_buffer\_size，配置大些就可以了。直接热修改如下：

traffic\_line -r proxy.config.log.log\_buffer\_size

traffic\_line -s proxy.config.log.log\_buffer\_size -v 40960

traffic\_line -x

如果还是报类似上面的错误，可以继续酌情修改这个值，总之，要根据业务的实际情况修改

**更进一步修正**

修改上述配置后，发现线上日志出现如下报错

![Center 8][]

经过查看，发现与另一个配置proxy.config.log.max\_line\_size有关，它的默认值也是9216

**解决方法**：

在records.config中添加一条配置(可根据实际情况酌情修改)

CONFIG proxy.config.log.max\_line\_size INT 15000

下面是修改前后的判决图

![Center 9][]

下面是源码追踪流程，不愿深究的可以略去。

调用流程追踪

报错地方的源码是

![Center 10][]

在source insight中追踪源码中的max\_line\_size可以看到基本调用流程。

![Center 11][]![Center 12][]

剩下的是配置项的读取

![Center 13][]

![Center 14][]

总结：最终一个通用的设置，在records.config中加入：

CONFIG proxy.config.log.max\_line\_size INT 35000

CONFIG proxy.config.log.log\_buffer\_size INT 262144

[Center]: /images/20220805/cef6ba22d99a4cd5b3ea3a5275e40200.png
[Image 1]: 
[Center 1]: /images/20220805/399a1487545c416bb1e3e52234e86952.png
[Center 2]: /images/20220805/07973311f5b04022b1ce0fa8e62c55f5.png
[Center 3]: /images/20220805/f1c66f451f224b6e88d0efab151e12d9.png
[Center 4]: /images/20220805/2ac071c5d442465396a55245e3efc753.png
[Center 5]: /images/20220805/0b417ef6953341ff8f4a949187f835e4.png
[Center 6]: /images/20220805/3e8d82655768482688cb447d1b68a385.png
[Center 7]: /images/20220805/aff29b4dcd5b4f1ba48a8910a5ea0e76.png
[Center 8]: /images/20220805/df6bc59a3ea04a29911e4212646111ae.png
[Center 9]: /images/20220805/63ebef8b1ea64362bbc71e19b5213205.png
[Center 10]: /images/20220805/43670a8f254b4f9687c0557cf269156d.png
[Center 11]: https://img-blog.csdn.net/20150908111229441?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 12]: /images/20220805/b5f1a479ce8045c18725bef48aefdf26.png
[Center 13]: /images/20220805/a794f22cfb5e402eb822698329ef785d.png
[Center 14]: /images/20220805/fe1887d6f3b143ae91c56208315555b4.png