ELK日志分析Kibana——数据图形化制作

墨蓝 2022-05-29 02:05 446阅读 0赞

摘要： Kibana把数据图形化,可以帮助我们更好的去分析数据,找到数据里面的结构 注意看一下,上面缩看的界面,是一个聚合的结果,他是由CPU Usage图表、System Load图表、CPU usage over time图表、 System Load over time图表一起构造而成的。

Kibana把数据图形化,可以帮助我们更好的去分析数据,找到数据里面的结构

![image][]

注意看一下,上面缩看的界面,是一个聚合的结果,他是由CPU Usage图表、System Load图表、CPU usage over time图表、 System Load over time图表一起构造而成的。我把这种聚合称作一组相关性的数据看板，你可以随意的组合你的看板，如果你觉得这样做是合适的。那么，CPU Usage图表、System Load图表、CPU usage over time图表、 System Load over time图表是从哪里来的呢？

![image][image 1]

数据对应的index决定了你想要处理的数据源是那一部分，而上面的搜索基础则决定的更加细致，‘我想要的数据是什么样子的’，这样关于CPU的调用数据就可以被筛选出来了。把想要的数据筛选出来以后就需要操作数据来制作表格了，我么有很多大的选择，当然，你选制作什么样的图形，在这之前就需要选择好：

![image][image 2]

# 第 1 步： 进入新增页面后需要选在对应的图形 #

![image][image 3]

图形说明
    
    1、Area ：用区块图来可视化多个不同序列的总体贡献。
    
    2、Data ：用数据表来显示聚合的原始数据。其他可视化可以通过点击底部的方式显示数据表。
    
    3、Line ：用折线图来比较不同序列。
    
    4、Markdown ： 用 Markdown 显示自定义格式的信息或和你仪表盘有关的用法说明。
    
    5、Metric ：用指标可视化在你仪表盘上显示单个数字。
    
    6、Pie ：用饼图来显示每个来源对总体的贡献。
    
    7、Tile map ：用瓦片地图将聚合结果和经纬度联系起来。
    
    8、Timeseries ：计算和展示多个时间序列数据。
    
    9、Vertical bar ：用垂直条形图作为一个通用图形。

# 第 2 步: 选择数据源 #

![image][image 4]

首先需要明白的是，当你选择一个使用一个已有的搜索建议作为你的数据处理数搜索基础的时候，已经绑定了一个已有的index，因为你的搜索建议是需要现将其建立在index上的。
    
    其次，如果你选择了一个index作为你的数据处理基础的时候（注意这里的表述，和上面的相比缺少了什么），你就需要在接下来的页面上去建立自己的搜索建议了，至于如何建立。。。上一篇文章有详细介绍。

# 第 3 步: 可视化编辑器 #

主要操作的节点为以下几个：
    1、工具栏(Toolbar)
    2、聚合构建器(Aggregation Builder)
    3、预览画布(Preview Canvas)

![image][image 5]

工具栏：

工具栏里面其实就是一些搜索建议，当然如果你一进选择了搜索建议基础，那么也许你只需要稍作修改即可，当你看不到搜索框的时候，也许你需要双击一下这个标签![image][image 6] 还有一个需要你注意的细节就是，你可以对你的数据进行时间属性的控制，她在你工具栏见面的右上角，如果你在Logstash为ES数据附上了一个相关的时间参数的时候。

聚合构建器：

用页面左侧的聚合构建器配置你的可视化要用的 metric 和 bucket 聚合。桶(Buckets) 的效果类似于 SQL GROUP BY 语句。想更详细的了解聚合，阅读[ Elasticsearch aggregations reference][Elasticsearch aggregations reference]。  
下面介绍一下更为细节的一些聚合器字段：

![image][image 7]

1、Count count 聚合返回选中索引模式中元素的原始计数。
    2、Average 这个聚合返回一个数值字段的 average 。从下拉菜单选择一个字段。
    3、Sum sum 聚合返回一个数值字段的总和。从下拉菜单选择一个字段。
    4、Min min 聚合返回一个数值字段的最小值。从下拉菜单选择一个字段。
    5、Max max 聚合返回一个数值字段的最大值。从下拉菜单选择一个字段。
    6、Unique Count cardinality 聚合返回一个字段的去重数据值。从下拉菜单选择一个字段。
    7、Standard Deviation extended stats 聚合返回一个数值字段数据的标准差。从下拉菜单选择一个字段。
    8、Percentile percentile 聚合返回一个数值字段中值的百分比分布。从下拉菜单选择一个字段，然后在 Percentiles 框内指定范围。点击 X 移除一个百分比框，点击 +Add 添加一个百分比框。
    9、Percentile Rank percentile ranks 聚合返回一个数值字段中你指定值的百分位排名。从下拉菜单选择一个字段，然后在 Values 框内指定一到多个百分位排名值。点击 X 移除一个百分比框，点击 +Add 添加一个数值框。

![image][image 8]

1、Date Histogram date histogram 基于数值字段创建，由时间组织起来。你可以指定时间片的间隔，单位包括秒，分，小时，天，星期，月，年。
    2、Histogram 标准 histogram 基于数值字段创建。为这个字段指定一个整数间隔。勾选 Show empty buckets 让直方图中包含空的间隔。
    3、Range 通过 range 聚合。你可以为一个数值字段指定一系列区间。点击 Add Range 添加一对区间端点。点击红色 (x) 符号移除一个区间。
    4、Date Range date range 聚合计算你指定的时间区间内的值。你可以使用 date math 表达式指定区间。点击 Add Range 添加新的区间端点。点击红色 (/) 符号移除区间。 5、IPv4 Range IPv4 range 聚合用来指定 IPv4 地址的区间。点击 Add Range 添加新的区间端点。点击红色 (/) 符号移除区间。
    6、Terms terms 聚合允许你指定展示一个字段的首尾几个元素，排序方式可以是计数或者其他自定义的metric。
    7、Filters 你可以为数据指定一组 filters。你可以用 querystring(全文搜索简易检所语法)，也可以用 JSON 格式来指定过滤器，就像在 Discover 页的搜索栏里一样。点击 Add Filter 添加下一个过滤器。
    8、Significant Terms 展示实验性的 significant terms 聚合的结果。
    9、也许你需要对某一个数据进行计算，你可以使用json表达式：{ "script" : "doc['grade'].value * 1.2" } grade代表字段，后面后面是算数表达式。

**[ELK日志监控分析系统Logstash详解之——input模块][ELK_Logstash_input]**

**[ELK日志监控分析系统Logstash详解之——filter模块][ELK_Logstash_filter]**

**[ELK日志监控分析系统Logstash详解之——output模块][ELK_Logstash_output]**

**[ELK日志分析Elasticsearch模块——语法基础CRUD][ELK_Elasticsearch_CRUD]**

**[ELK日志分析Kibana——筛选语法基础][ELK_Kibana]**

**[ELK日志分析Kibana——数据图形化制作][ELK_Kibana 1]**

[image]: /images/20220529/33755006c3f04a45bf75a47a6842e063.png
[image 1]: /images/20220529/55c3322529b04ffb9820fd5d3f0b0b02.png
[image 2]: /images/20220529/1109a7b3ad3e49049574538b15128d0f.png
[image 3]: /images/20220529/0818b0c96d8e4debb5c9c9f308826ffd.png
[image 4]: /images/20220529/0c3e0b9d486e41999672a2f09d34bccd.png
[image 5]: /images/20220529/1485cee401064538a22ea0c5dc66ddfd.png
[image 6]: /images/20220529/3d81c60c75274ef5a7e08f12eb09c6c8.png
[Elasticsearch aggregations reference]: http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/search-aggregations.html
[image 7]: /images/20220529/d3c73b367b63417e9754f3e09c27a5eb.png
[image 8]: /images/20220529/17b2ca7eabab4943b3874ba614200c1a.png
[ELK_Logstash_input]: http://blog.csdn.net/qq_23598037/article/details/79560428
[ELK_Logstash_filter]: http://blog.csdn.net/qq_23598037/article/details/79560340
[ELK_Logstash_output]: http://blog.csdn.net/qq_23598037/article/details/79560498
[ELK_Elasticsearch_CRUD]: http://blog.csdn.net/qq_23598037/article/details/79560560
[ELK_Kibana]: http://blog.csdn.net/qq_23598037/article/details/79560593
[ELK_Kibana 1]: http://blog.csdn.net/qq_23598037/article/details/79560639