《专题五容器化微服务》之《第三章云原生DevOps》之《第二节监控》

深碍√TFBOYSˉ_ 2023-10-04 14:52 17阅读 0赞

#### 文章目录 ####

*  《3.2.1 ELK》
 *  《3.2.2 filebeat》
 *  《3.2.3 Elasticsearch与Kibana》

## 《3.2.1 ELK》 ##

*  1 15 传统查看日志的方法：SSH到节点上，通过linux命令
 *  3 55+ EFK:  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIzMjA0NTU3_size_16_color_FFFFFF_t_70]  
    Elasticsearch:  
    ![在这里插入图片描述][a1d29f6cb24b4076a25e04c4b02d9c84.png]
 *  10 30+ 容器与Kubernetes里的日志，与传统主机模式下的日志有较大区别
 *  13 54+ 部署方式

## 《3.2.2 filebeat》 ##

*  13 55+ Filebeat采集容器化日志
 *  两种部署方式：Sidecar, Daemonset. Daemonset的优点在于filebeat没有侵入业务pod :  
    ![在这里插入图片描述][d2daa905828c48b5a731ea7e5e485c2f.png]
 *  20：40 filebeat对k8s的支持：通过监听k8s事件，自动采集容器的标准输出

## 《3.2.3 Elasticsearch与Kibana》 ##

*  6分 基本概念：文档(document)、索引(index)、分片(shard)、副本(replica):  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIzMjA0NTU3_size_16_color_FFFFFF_t_70 1]  
    我注：之前一直混淆了es的index与Lucene的index。今天仔细一想不对，es的index由document组成，而document是用户写入的一堆json数据，它们与Lucene的倒排索引看起来不是一个东西啊。搜了两篇资料(引用在下面了)，基本确定es的shard对应Lucene的index。我觉得可以把Lucene的index类比于mysql的B+索引，是用于加快查询shard的；而es的index是其数据组织的一个大单元，所以两者明显不是一个东西。

[10 Elasticsearch Concepts You Need to Learn][] 之 “6. Shards” ：

> Put simply, shards are a single Lucene index…  
> When you create an index, you can define how many shards you want. Each shard is an independent Lucene index

[StackOverFlow : What is elasticsearch index , Lucene index and inverted index][StackOverFlow _ What is elasticsearch index _ Lucene index and inverted index] :

> Elasticsearch index consist of Shards(Lucene index) and Lucene index consists of inverted index …  
> every Elasticsearch shard is a full blown lucene index

另外，[本博----《专题三分布式系统》之《第四章 拓展进阶（二）——搜索引擎ES》][----_ _ES] 之 《4.12.5 ES高性能集群》也提到：每个分片或副本，都是Lucene的一个索引

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIzMjA0NTU3_size_16_color_FFFFFF_t_70 2]  
我：es的index类似kafka的topic, es的shard类似kafka的partition,副本类似kafka的副本,控制写一致性的wait\_for\_active\_shards1,2参数类似于kafka的acks参数（除了es当有多个请求需要访问同一个index时，各shard的多副本上可并行搜索；相比之下，kafka的partition只能分配给一个消费者组里的一个消费者）

关于为什么es增加副本可以增加搜索的吞吐量，可查阅[本博-----光汇石油面试（部分）][-----]

--------------------

1.  [ES写入过程和写入原理调优及如何保证数据的写一致性][ES] ↩︎
2.  [es官网----wait\_for\_active\_shards][es_----wait_for_active_shards] ↩︎

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIzMjA0NTU3_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20210530214033542.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIzMjA0NTU3,size_16,color_FFFFFF,t_70
[a1d29f6cb24b4076a25e04c4b02d9c84.png]: https://img-blog.csdnimg.cn/a1d29f6cb24b4076a25e04c4b02d9c84.png
[d2daa905828c48b5a731ea7e5e485c2f.png]: https://img-blog.csdnimg.cn/d2daa905828c48b5a731ea7e5e485c2f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIzMjA0NTU3_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20210530221704690.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIzMjA0NTU3,size_16,color_FFFFFF,t_70
[10 Elasticsearch Concepts You Need to Learn]: https://logz.io/blog/10-elasticsearch-concepts/
[StackOverFlow _ What is elasticsearch index _ Lucene index and inverted index]: https://stackoverflow.com/a/71816942
[----_ _ES]: https://blog.csdn.net/qq_23204557/article/details/111473972?csdn_share_tail=%7B%22type%22:%22blog%22,%22rType%22:%22article%22,%22rId%22:%22111473972%22,%22source%22:%22qq_23204557%22%7D
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIzMjA0NTU3_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20210530221601588.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIzMjA0NTU3,size_16,color_FFFFFF,t_70
[-----]: https://blog.csdn.net/qq_23204557/article/details/131250853?csdn_share_tail=%7B%22type%22:%22blog%22,%22rType%22:%22article%22,%22rId%22:%22131250853%22,%22source%22:%22qq_23204557%22%7D
[ES]: https://blog.csdn.net/wlei0618/article/details/125060635
[es_----wait_for_active_shards]: https://www.elastic.co/guide/en/elasticsearch/client/curator/current/option_wait_for_active_shards.html#option_wait_for_active_shards