ELK概念清单(ELK架构入门必读)

超、凢脫俗 2022-12-22 06:28 144阅读 0赞

之前尝试了[用mysql做大规模数据的检索优化][mysql]【点击查看】

可以看到单字段检索的情况下，是可以通过各种手段做到各种类型索引快速检索的，那是一种相对简单的场景。

但是实际应用往往会复杂一些 —— 各类索引（关键词匹配、全文检索、时间范围）混合使用，还有排序的需求。这种情况下mysql就有点力不从心了，复杂的索引类型，在多索引检索的时候对每个字段单独建索引于事无补，而联合索引无法在如此复杂的索引类型下建起来。

用ElasticSearch来解决这个场景的问题就要简单的多了。那么如何用elastic来解决这个问题呢？ 还是带着业务需求来实践一遍吧：

①检索字段有7个，4个关键词匹配，1个特殊要求的`a=b&c=d`的分段全文检索，1个中文全文检索，1个时间范围

②数据量很大，需要支持3个月数据的检索，最好能按月建索引，方便冷备、恢复

1.倒排索引（反向索引）

> 直接硬刚理解比较难以理解，但是我们可以从反面来进行对比来分析。
> 
> 反向索引的反面即正向索引，我理解为我们平常使用如redis的key-value方式，是通过key来查找value。而elasticsearch则刚好与之相反，他是通过将value分成多份来查询key的，例如，有这么一个键值对："letter"->"abcdefg"
> 
> 使用redis即get letter可获取到值 abcdefg
> 
> 使用elasticsearch，搜索a或b或c或d或e或f或g，就会返回abcdefg
> 
> 这样本来正向索引只需要一个键值对的，变成了7个键值对了
> 
> 如果配合redis使用的话，那么可以使用elasticsearch，搜索a或b或c或d或e或f或g，就会返回letter，再通过redis查询key获取abcdefg

2.搜索引擎三大过程

> 爬取内容、进行分词、建立反向索引

3.分布式搜索引擎

> elasticsearch在lucene的基础上进行封装，实现了分布式搜索引擎

4.索引、类型和文档

> elasticsearch的索引相当于mysql中的数据库 (Index=>Database)
> 
> 类型相当于mysql中的表 (Type=>Table)
> 
> 文档相当于mysql中的数据 （Document=>Row）

5.elasticsearch也是master-slave架构

> 实现了数据的分片和备份

6.elasticsearch、Logstash和Kibana组成elk日志系统

7.ES在数据存储上有2个重要特点：分片和副本

> 分片：是指将一份完整的数据集（索引）分成若干片段的数据；分片使es保存的数据具有很强的横向扩展能力，可以支持海量数据的高性能存储和查询。
> 
> 副本：副本是分片数据的备份。使数据具有高可用和容灾能力，即使部分ES数据节点挂掉仍然可以正常运行

8. 为什么Elasticsearch检索可以比MySQL快

> Mysql只有term dictionary这一层，是以B+树的方式存储在磁盘上的。检索一个term需要若干次的random access的磁盘操作。
> 
> 而Elasticsearch在**term dictionary**的基础上添加了term index来加速检索，**term index**以树的形式缓存在内存中。从term index查到对应的term dictionary的**block**位置之后，再去磁盘上找term，大大减少了磁盘的random access次数。
> 
> 额外值得一提的两点是：term index在内存中是以**FST（finite state transducers**）的形式保存的，其特点是非常节省内存。Term dictionary在磁盘上是以分block的方式保存的，一个block内部利用公共前缀压缩，比如都是Ab开头的单词就可以把Ab省去。这样term dictionary可以更节约磁盘空间。

9. ES的核心概念

> 数据库的功能面对很多领域是不够用的，特殊的功能比如全文检索、同义词处理、相关度排名、复杂数据分析、海量数据的近实时处理；Elasticsearch作为传统数据库的一个补充，提供了数据库所不能提供的很多功能
> 
> 1.**Near Realtime（NRT）**：近实时，两个意思，从写入数据到数据可以被搜索到有一个小延迟（大概1秒）；基于es执行搜索和分析可以达到秒级。  
> 2.**Cluster**：集群，包含多个节点，每个节点属于哪个集群是通过一个配置（集群名称，默认是elasticsearch）来决定的。  
> 3.**Node**：节点，集群中的一个节点，节点也有一个名称（默认是随机分配的），节点名称很重要（在执行运维管理操作的时候），默认节点会去加入一个名称为“elasticsearch”的集群，如果直接启动一堆节点，那么它们会自动组成一个elasticsearch集群，当然一个节点也可以组成一个elasticsearch集群  
> 4.**Document&field**：文档，es中的最小数据单元，一个document可以是一条客户数据，一条商品分类数据，一条订单数据，通常用JSON数据结构表示，每个index下的type中，都可以去存储多个document。一个document里面有多个field，每个field就是一个数据字段。  
> 5.**Index**：索引，包含一堆有相似结构的文档数据，比如可以有一个客户索引，商品分类索引，订单索引，索引有一个名称。一个index包含很多document，一个index就代表了一类类似的或者相同的document。比如说建立一个product index，商品索引，里面可能就存放了所有的商品数据，所有的商品document。  
> 6.**Type**：类型，每个索引里都可以有一个或多个type，type是index中的一个逻辑数据分类，一个type下的document，都有相同的field，比如博客系统，有一个索引，可以定义用户数据type，博客数据type，评论数据type。  
> 7.**shard**：单台机器无法存储大量数据，es可以将一个索引中的数据切分为多个shard，分布在多台服务器上存储。有了shard就可以横向扩展，存储更多数据，让搜索和分析等操作分布到多台服务器上去执行，提升吞吐量和性能。每个shard都是一个lucene index。  
> 8.**replica**：任何一个服务器随时可能故障或宕机，此时shard可能就会丢失，因此可以为每个shard创建多个replica副本。replica可以在shard故障时提供备用服务，保证数据不丢失，多个replica还可以提升搜索操作的吞吐量和性能。primary shard（建立索引时一次设置，不能修改，默认5个），replica shard（随时修改数量，默认1个），默认每个索引10个shard，5个primary shard，5个replica shard，最小的高可用配置，是2台服务器。

10.

> ES会自动建立index和type，不需要提前创建，而且es默认会对document每个field都建立倒排索引。
> 
> "type": "text" "type": "geo\_point"

11.ES的元数据

> **1. \_index元数据**  
>   a.代表一个document存放在哪个index中  
>   b.类似的数据放在一个索引，非类似的数据放不同索引：product index（包含了所有的商品），sales index（包含了所有的商品销售数据），inventory index（包含了所有库存相关的数据）。如果你把比如product，sales，human resource（employee），全都放在一个大的index里面，比如说company index，不合适的。  
>   c.index中包含了很多类似的document,就是说这些document的fields很大一部分是相同的，你说你放了3个document，**每个document的fields都完全不一样，这就不是类似了，就不太适合放到一个index里面去了**。  
>   d.**索引名称必须是小写的，不能用下划线开头，不能包含逗号**  
> **2. \_type元数据**  
>   a.代表document属于index中的哪个类别（type）  
>   b.一个索引通常会划分为多个type，**逻辑上对index中有些许不同的几类数据进行分类**：因为一批相同的数据，可能有很多相同的fields，但是还是可能会有一些轻微的不同，可能会有少数fields是不一样的，举个例子，就比如说，**商品：可能划分为电子商品，生鲜商品，日化商品，等等。**  
>   c.type名称可以是大写或者小写，但是同时不能用下划线开头，不能包含逗号  
> **3. \_id元数据**  
>   a.**代表document的唯一标识**，与index和type一起，可以唯一标识和定位一个document **【记录主键】**  
>   b.两种生成方法，第一种手动指定document的id（put /index/type/id），第二种以由es自动为我们创建id（长度为20个字符，URL安全，base64编码，GUID算法，**保证分布式系统并行生成时不会发生冲突**）  
> **4. \_source元数据**  
>   a.定制返回的结果，指定\_source中，**返回哪些field**     例：GET /test\_index/test\_type/1?\_source=test\_field1,test\_field2

12.mapping【结构定义】

> **1.概述：**  
> ①**自动或手动** 为index中的type建立的一种数据结构和相关配置，简称为mapping。  
> ②可以在创建数据之前，手动先创建index和type，以及type对应的mapping，但是不能修改mapping。  
> ③dynamic mapping，自动为我们建立index、type，以及type对应的mapping。  
> ③**mapping中包含了每个field对应的数据类型，以及如何分词等设置**  
> ④不同的数据类型（比如说date和text），可能有的是exact value，有的是full text。  
> ⑤mapping就是index的type的元数据，**每个type都有一个自己的mapping**，决定了数据类型，建立倒排索引的行为，进行搜索的行为。  
> ⑥**exact value**，在建立倒排索引的时候，分词的时候，是将整个值一起作为一个关键词建立到倒排索引中的；full text，会经历各种各样的处理，分词，normaliztion（时态转换，同义词转换，大小写转换），才会建立到倒排索引中。
> 
> ### 注意: mappings 一旦创建，则无法修改。因为Lucene 生成倒排索引后就不能改了 ###
> 
> **2.查看mapping**  
> 语法：GET /index/\_mapping/type  
> 示例：GET /website/\_mapping/**article**  
> **3.创建mapping示例**  
> PUT /website  
> \{  
>   "mappings": \{  
>     "**article**":\{  
>       "properties": \{  
>         "authorId":\{  
>           "type": "long"  
>         \},  
>         "title":\{  
>           "type": "text",  
>           "fields": \{  
>             "keyword":\{  
>               "type": "keyword",  
>               "ignore\_above": 50  
>             \}  
>           \}  
>         \},  
>         "postDate":\{  
>           "type": "date"  
>         \}  
>       \}  
>     \}  
>   \}  
> \}  
> **4.mapping的常用字段类型**  
> string（5.0版本后拆分成两种数据类型text和keyword）  
> byte，short，integer，long  
> float，double  
> boolean  
> date  
> **5.定制dynamic mapping策略**  
> PUT /my\_index  
> \{  
>   "mappings": \{  
> "my\_type": \{  
>   "dynamic": "strict",  
>   "properties": \{  
> "title": \{  
>   "type": "text"  
> \},  
> "address": \{  
>   "type": "object",  
>   "dynamic": "true"  
> \}  
>   \}  
> \}  
>   \}  
> \}
> 
> 一般的， mapping 可以分为  动态映射(dynamic mapping) 和 静态(显示) 映射 (explicit mapping) 和精准(严格) 映射(strict mapping)具体由dynamic 属性控制
> 
> true：  (动态映射) 默认，遇到陌生字段，就进行dynamic mapping (**能写能查，mapping自动更新**)  
> false：(静态映射) 遇到陌生字段，就忽略 (存储时会存储该字段。  相当于**能写 不能 查，新增字段只能当做搜索结果呈现**)  
> strict：(严格模式) 遇到陌生字段，就报错 (**写入是报错**)

[mysql]: https://zoucz.com/blog/2019/04/09/778111e0-5aa2-11e9-9947-3d7b79f522a2/