如何监控aws的elasticsearch

灰太狼 2023-02-20 10:55 65阅读 0赞

Amazon Web Services Elasticsearch Service使组织能够部署，保护和运行其Elasticsearch集群。 AWS Elasticsearch是一种经济高效的大规模运营方式。

在这篇文章中，我们分以下几个来说；

*  有哪些可用的指标？
 *  如何添加更有意义的计算指标？
 *  关键指标有哪些？
 *  在哪些指标上使用异常检测动态阈值？

#### 什么是elasticsearch？ ####

Elasticsearch提供了一种为您的应用程序，网站和数据目录提供快速搜索体验的方法。它也可以用于监视和收集基础结构和应用程序中的日志。Elasticsearch是AWS的服务，基于Elastic的开源Elasticsearch，被称为“开源，分布式，RESTful搜索引擎”。它旨在为您的数据提供快速，相关且可扩展的搜索。

#### AWS Cloudwatch指标 ####

Elasticsearch将您的Elasticsearch实例的数据点发布到Amazon CloudWatch。通过CloudWatch，您可以将有关这些数据点的统计信息作为一组有序的时间序列数据（称为指标）进行检索。对于Elasticsearch服务，Amazon列出了一些基本指标及其“建议的CloudWatch警报”。

#### 为什么要添加自己的指标？ ####

LogicMonitor引入了复杂数据点，以试图使人们逐渐了解度量值的价值或百分比。使用原始值（例如ClusterUsedSpace）跟踪可用容量是一项艰巨的任务。计算百分位数的复杂数据点更有意义，也更容易发出警报。

ClusterUsedSpacePercent = (ClusterUsedSpace/(ClusterUsedSpace + FreeStorageSpace))*100

CloudWatch使您能够检索https错误代码4xx和5xx作为原始值。考虑下一个问题：5xx指标的值2是好还是坏？到底有多好（或坏）？通常，当我提出这个问题时，此人会说：“取决于多少个请求”。同样，在这种情况下，计算百分位数的复杂数据点将更有意义并且更容易发出警报。

RequestCount5xxPercent = 5xx / (5xx + 4xx + 3xx + 2xx) if (5xx + 4xx + 3xx + 2xx) > 0 else 0

RequestCount4xxPercent = 4xx / (5xx + 4xx + 3xx + 2xx) if (5xx + 4xx + 3xx + 2xx) > 0 else 0

#### 关键指标有哪些？ ####

*  **ClusterUsedSpacePercent**
    
     *  一个复杂的数据点，用于计算已使用的群集空间的百分比。默认情况下，LogicMonitor建议使用85％的警告和使用95％的错误。
     *      ClusterUsedSpacePercent = (ClusterUsedSpace/(ClusterUsedSpace+FreeStorageSpace))*100
 *  **CPUUtilization**
    
     *  群集中数据节点使用的CPU资源的最大平均百分比。 LogicMonitor建议在利用率为85％时发出警告，在利用率为95％时发出错误。
 *  **ClusterStatusRed**
    
     *  这表明至少一个索引的主分片和副本分片未分配给集群中的节点。如果此值不为0，则LogicMonitor建议错误。
 *  **ClusterStatusYellow**
    
     *  这表明至少一个索引的主分片和副本分片未分配给集群中的节点。如果该值不为0，则LogicMonitor建议错误。请注意，如果您没有Elasticsearch实例的复制，则将需要编辑此指标以不向您发出警报。
 *  **JVMMemoryPressure**
    
     *  此度量标准显示用于集群中所有数据节点的Java堆的最大百分比。如果该值大于80，则LogicMonitor建议发出警告。

#### 在哪些指标上使用异常检测动态阈值？ ####

虽然预期将动态阈值和静态阈值用于关键指标，但还有其他用例。

*  例子1
    
    为查询和获取延迟启用异常检测是一种表示服务潜在降级的方法，并且是一种在预期操作发生变化时发出预警的方法。
 *  例子2
    
    为查询和访存计数启用异常检测是一种表示系统（或新用户入职）潜在潜在异常负载的方法。

Aws elasticSearch 监控指标官方推荐文档：[recommended cloudWatch alarms][]

> 原文链接：https://www.logicmonitor.com/blog/how-to-monitor-aws-elasticsearch
> 
> 翻 译. 者：lee

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI5MzQzMjU_size_16_color_FFFFFF_t_70]

[recommended cloudWatch alarms]: https://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/cloudwatch-alarms.html?_ga=2.173630435.1743839100.1592905788-1820348655.1592905788
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI5MzQzMjU_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200626143759227.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI5MzQzMjU=,size_16,color_FFFFFF,t_70