Linux 日志管理 Rsyslog Loganalyzer

亦凉 2023-05-28 14:16 9阅读 0赞

**Syslog**常被称为系统日志或系统记录，是一种用来在[互联网协议][Link 1]（TCP/IP）的[网上][Link 2]中传递记录档消息的标准。这个词汇常用来指涉实际的syslog 协议，或者那些提交syslog消息的应用程序或数据库。

syslog协议属于一种主从式协议：syslog发送端会发送出一个小的文字消息（小于1024位组）到syslog接收端。接收端通常名为“syslogd”、“syslog daemon”或syslog服务器。系统日志消息可以被以[UDP][]协议及╱或[TCP][]协议来发送。这些数据是以[明码][Link 3]类型被发送。不过由于[SSL][]加密外套（例如[Stunnel][]、sslio或sslwrap等）并非syslog协议本身的一部分，因此可以被用来透过[SSL][]/[TLS][]方式提供一层加密。

![aHR0cDovL2ltZy5qaWdhbzYxNi5jb20vdXBsb2FkL3BhdGVudC8yMDE3LzEyLzIvMTY0ODU0OTguZ2lm][]

Rsyslog 是syslog 的升级版，一个快速处理收集系统日志的程序，提供了高性能、安全功能和模块化设计，将多种来源输入输出转换结果到目的地。

**Rsyslog的传输方式有三种:**

*  **UDP 传输协议** 
 *  基于传统UDP协议进行远程日志传输，也是传统syslog使用的传输协议；
 *  可靠性比较低，但性能损耗最少
 *  在网络情况比较差，或者接收服务器压力比较高情况下，可能存在丢日志情况。
 *  **TCP 传输协议** 
 *  基于传统TCP协议明文传输，需要回传进行确认，可靠性比较高；
 *  但在接收服务器宕机或者两者之间网络出问题的情况下，会出现丢日志情况。
 *  **RELP 传输协议** 
 *  RELP（Reliable Event Logging Protocol）是基于TCP封装的可靠日志消息传输协议；
 *  是为了解决TCP 与 UDP 协议的缺点而在应用层实现的传输协议，也是三者之中最可靠的。
 *  对于线上服务器，为了日志安全起见，建议使用 RELP 协议进行传输。

--------------------

*  查看系统中 Rsyslog 版本信息

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70][]

*  `Rsyslog 的主配置文件为 /etc/rsyslog.conf `
 *  Rsyslog 的配置主要有以下模块:
 *  **modules**：模块，配置加载的模块，如：`ModLoad imrelp  `配置加载RELP传输模块
 *  **global directives**：全局配置，配置ryslog守护进程的全局属性，比如主信息队列大小（MainMessageQueueSize）
 *  **rules**：规则（选择器+动作），每个规则由两部分组成，selector部分和action部分，这两部分由一个或多个空格或tab分隔，selector部分指定源和日志等级，action部分指定对应的操作

--------------------

*  ### **常用的modules** ###
 *  imudp，传统方式的UDP传输，有损耗
 *  imtcp，基于TCP明文的传输，只在特定情况下丢失信息，并被广泛使用
 *  imrelp，RELP传输，不会丢失信息

--------------------

*  ### **规则（rules）** ###

规则的选择器（selectors）由两部分组成，设施和优先级，由点号.分隔。多个选择器用;分隔，如：\*.info;mail.none

*  facility：设施，从功能或程序上对日志收集进行分类

内建的日志设施有：  
auth(security), authpriv：认证授权和安全相关的消息  
kern：来自Linux内核的消息  
mail：邮件服务系统的各种组件  
mark：防火墙标记  
cron：周期任务计划相关的信息

daemon：守护进程产生的信息  
news：网络消息子系统  
lpr：打印相关的日志信息  
user：用户进程相关的信息  
local0 to local7：保留，本地使用

*  priority：优先级，日志级别（由低到高）

debug：包含详细的开发情报的信息，通常只在调试一个程序时使用  
info：情报信息，正常的系统消息，比如骚扰报告，带宽数据等，不需要处理  
notice： 不是错误情况，也不需要立即处理  
warning： 警告信息，不是错误，比如系统磁盘使用了85%等  
err：错误，不是非常紧急，在一定时间内修复即可  
crit：重要情况，如硬盘错误，备用连接丢失  
alert：应该被立即改正的问题，如系统数据库被破坏，ISP连接丢失  
emerg：紧急情况，需要立即通知技术人员

<table style="width:311px;"> 
 <thead> 
  <tr> 
   <th style="text-align:justify;vertical-align:middle;width:91px;"> <p style="text-indent:0px;">指定级别</p> </th> 
   <th style="text-align:center;vertical-align:middle;width:217px;"> <p style="text-indent:0;">功能</p> </th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td style="text-align:center;vertical-align:middle;width:91px;"> <p style="text-indent:0;">*</p> </td> 
   <td style="text-align:center;vertical-align:middle;width:217px;"> <p style="text-indent:0;">所有级别</p> </td> 
  </tr> 
  <tr> 
   <td style="text-align:center;vertical-align:middle;width:91px;"> <p style="text-indent:0;">none</p> </td> 
   <td style="text-align:center;vertical-align:middle;width:217px;"> <p style="text-indent:0;">没有级别</p> </td> 
  </tr> 
  <tr> 
   <td style="text-align:center;vertical-align:middle;width:91px;"> <p style="text-indent:0;">priority</p> </td> 
   <td style="text-align:center;vertical-align:middle;width:217px;"> <p style="text-indent:0;">此级别及高于此级别的所有级别</p> </td> 
  </tr> 
  <tr> 
   <td style="text-align:center;vertical-align:middle;width:91px;"> <p style="text-indent:0;">=priority</p> </td> 
   <td style="text-align:center;vertical-align:middle;width:217px;"> <p style="text-indent:0;">仅此级别</p> </td> 
  </tr> 
 </tbody> 
</table>

*  **动作 （action）**

action是规则描述的一部分，位于选择器的后面，规则用于处理消息。总的来说，消息内容被写到一种日志文件上，但也可以执行其他动作，比如写到数据库表中或转发到其他主机。

![20200322143124877.png][]

写到mysql数据库中

![20200322144004917.png][]

--------------------

*  实验环境
 *  LOG Server CentOS 7.5 192.168.1.2
 *  LOG Client CentOS 7.5 192.168.1.3

--------------------

*  首先在 **LOGServer 192.168.1.2** 端安装 Rsyslog、以及RELP协议支持：rsyslog-relp
 *  yum -y install rsyslog rsyslog-relp
 *  编辑** /etc/rsyslog.conf **主配置文件
 *  vim /etc/rsyslog.conf
 *  在\#\#\#\# **MODULES** \#\#\#\#下面添加以下信息：
    
    **$ModLoad imrelp**    \#开启RELP传输协议  
    **$InputRELPServerRun 514**   \#设定监听端口
 *  编辑** /etc/sysconfig/rsyslog** 开启传输端口监听
 *  vim /etc/sysconfig/rsyslog
    
    \-r指定监听端口，-c2 使用兼容模式
 *  SYSLOGD\_OPTIONS="-r514 -c2"
 *  确认无误 启动 Rsyslog 服务
 *  systemctl start rsyslog
 *  查看 514 端口是否被监听
 *  ss -alnt | grep 514
 *  在服务器端用 tail -f /var/log/messages 追踪日志
 *  tail -f /var/log/messages

![20200322144613708.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 1][]

--------------------

*  接下来在 **LOGClient 192.168.1.3** 端安装配置 Rsyslog
 *  yum -y install rsyslog rsyslog-relp
 *  编辑 /etc/rsyslog.conf 添加以下信息：  
    **$ModLoad omrelp**        \#指定传输协议  
    **\*.\*    :omrelp:192.168.1.2:514**     \#设置那些LOG日志被记录以及LOG服务器IP和端口
 *  重启 Rsyslog 服务
 *  systemctl restart rsyslog
 *  发送一条测试日志
 *  logger -t kern -p err "**This is a testlog**"

![20200322155114487.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 2][]

--------------------

*  然后回到** LOG Server 192.168.1.2 **端查看是否接收到刚才的测试 LOG
 *  tail -f /var/log/messages
 *  **Mar 22 15:47:29 C75\_192\_168\_1\_3 kern: This is a testlog**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 3][]

--------------------

Loganalyzer是一款syslog日志和其他网络时间数据的web前端，它提供了对日志的简单浏览、搜索、基本分析和一些图表报告的功能。数据可以从数据库或一般syslog文本文件中获取，所有loganalyzer不需要改变现有的记录架构。基于当前的日志数据，它可以处理syslog日志消息windows事件日志记录，支持故障排除，使用户能快速查找日志数据中看出问题的解决方案。

loganalyzer获取客户端日志会有两种保存模式，一种是直接读取客户端/var/log目录下的日志并保存到服务端该目录下，一种是读取后保存日志服务器数据库中，这里测试的是mariadb数据库

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 4][]

Loganalyzer基于php开发，需要搭建php运行环境

*  接下来在 LOGServer 192.168.1.2 端安装配置 lamp 和 日志管理工具：loganalyzer
 *  lamp 具体设置请参照拙作：[https://blog.csdn.net/gaofei0428/article/details/104058580][https_blog.csdn.net_gaofei0428_article_details_104058580][https://blog.csdn.net/gaofei0428/article/details/104224132][https_blog.csdn.net_gaofei0428_article_details_104224132]
 *  yum -y install mariadb mariadb-server php php-fpm php-gd php-mysql httpd rsyslog rsyslog-mysql rsyslog-relp
 *  导入所需要的数据库和表：
 *  mysql -uroot -p123456 < /usr/share/doc/rsyslog-8.24.0/mysql-createDB.sql
 *  mysql-createDB.sql 是安装 **rsyslog-mysql **生成的，可以用命令查看
    
    rpm –ql rsyslog-mysql
 *  添加、授权用户 rsyslog 使用 Syslog 库
 *  mysql -uroot -p123456 -e "**GRANT ALL ON Syslog.\* TO 'rsyslog'@'%' IDENTIFIED BY 'rsyspass';****" \#需要从网络登陆，%或者 192.168.1.%，localhost只能本地登陆。**
 *  mysql -uroot -p123456 -e "flush privileges;"   \#立即刷新权限
 *  编辑** /etc/rsyslog.conf **主配置文件
 *  vim /etc/rsyslog.conf
 *  在\#\#\#\# **MODULES** \#\#\#\#下面添加以下信息：
    
    **$ModLoad imrelp**    \#开启RELP传输协议  
    **$InputRELPServerRun 514**   \#设定监听端口
    
    **$ModLoad ommysql**   \#开启 mysql 模块
 *  在\#\#\#\# **RULES** \#\#\#\# 下面添加
    
    \# rule, send to mysql  
    \#\*.\*  :ommysql:database-server,database-name,database-userid,database-password  
    **\*.\*     :ommysql:192.168.1.2,Syslog,rsyslog,rsyspass**
 *  从 loganalyzer 官网下载
 *  wget https://download.adiscon.com/loganalyzer/loganalyzer-4.1.7.tar.gz
 *  tar xf loganalyzer-4.1.7.tar.gz
 *  cd loganalyzer-4.1.7
 *  cp -ar ./src/\* /data/web/
 *  cp -ar ./contrib/\*.sh /data/web/
 *  cd /data/web
 *  chmod +x ./\*.sh  
    ./configure.sh   \#生成 **config.php**  文件，属性为 **666**
 *  确认无误启动服务
 *  systemctl start httpd
 *  systemctl start php-fpm
 *  systemctl restart rsyslog
 *  打开浏览器输入 http://192.168.1.2
 *  点击 **here** 开始配置
 *  Step 1 默认即可 点击 Next
 *  Step 2 测试是否可以写入 **config.php** 点击 Next
 *  Step 3 默认 点击 Next
 *  Step 7 
    
    **Source Type MYSQL Native**  \#选择 MYSQL 记录方式  
    **Select View  EventLog Fields**  
    
    Database Type Options  
    
    Table type MonitorWare  \#默认  
    Database Host  **192.168.1.2**  **\#MariaDB Server IP**  
    Database Name  **Syslog  \#选择数据库**  
    Database Tablename ** SystemEvents  \#选择表，注意大小写！**  
    Database User  **rsyslog**   **\#MariaDB授权用户**  
    Database Password  **rsyspass \#用户密码**  
    Enable Row Counting   \#默认
 *  Step 8 Finish
 *  chmod 644 /data/web/config.php
 *  在 **LOGClient 192.168.1.3** 端，编辑 /etc/rsyslog.conf 修改以下信息：
 *  $Modload ommysql       
    \*.\* :ommysql:192.168.1.2,Syslog,rsyslog,rsyspass
 *  logger -t kern -p err "This is a testlog"

![20200323101708940.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 5][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 6][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 7][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 8][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 9][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 10][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 11][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 12][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 13][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 14][]

[Link 1]: https://baike.baidu.com/item/%E4%BA%92%E8%81%94%E7%BD%91%E5%8D%8F%E8%AE%AE
[Link 2]: https://baike.baidu.com/item/%E7%BD%91%E4%B8%8A
[UDP]: https://baike.baidu.com/item/UDP
[TCP]: https://baike.baidu.com/item/TCP
[Link 3]: https://baike.baidu.com/item/%E6%98%8E%E7%A0%81
[SSL]: https://baike.baidu.com/item/SSL
[Stunnel]: https://baike.baidu.com/item/Stunnel
[TLS]: https://baike.baidu.com/item/TLS
[aHR0cDovL2ltZy5qaWdhbzYxNi5jb20vdXBsb2FkL3BhdGVudC8yMDE3LzEyLzIvMTY0ODU0OTguZ2lm]: /images/20230528/cd601d512f174d22b4c20c7bac36261b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70]: /images/20230528/3604d086e82f443bb8f2c8f1be37de29.png
[20200322143124877.png]: /images/20230528/eeb2a97ed5de470c827ef2ec3903f9b2.png
[20200322144004917.png]: /images/20230528/adea284dcaaa4a4caa2c058d0d115ea9.png
[20200322144613708.png]: /images/20230528/0c2bddfb77974694beab9225b3b78d79.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 1]: /images/20230528/a3ad307f85c648f5a7526f7cd7759075.png
[20200322155114487.png]: /images/20230528/a2428d2aaa6946a5b52d3d2cf993e144.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 2]: /images/20230528/ea4abf4a994a4e4fb7b3eb7a17e88053.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200322154758611.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200322133800486.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg=,size_16,color_FFFFFF,t_70
[https_blog.csdn.net_gaofei0428_article_details_104058580]: https://blog.csdn.net/gaofei0428/article/details/104058580
[https_blog.csdn.net_gaofei0428_article_details_104224132]: https://blog.csdn.net/gaofei0428/article/details/104224132
[20200323101708940.png]: https://img-blog.csdnimg.cn/20200323101708940.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/2020032214561228.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200322150608349.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20200322165732515.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20200322170100251.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20200322170254994.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20200323100226685.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/20200323100302898.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 12]: https://img-blog.csdnimg.cn/20200323101145787.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 13]: https://img-blog.csdnimg.cn/2020032310122637.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 14]: https://img-blog.csdnimg.cn/20200323101602249.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg=,size_16,color_FFFFFF,t_70