Elasticsearch(二)：进阶检索

秒速五厘米 2023-07-10 15:46 15阅读 0赞

### 文章目录 ###

*  一、SearchAPI
 *  二、Query DSL
 *   *  2.1 基本语法格式
     *  2.2 匹配查询 match
     *  2.3 模糊查询&分页查询
     *  2.4 返回部分字段 \_source
     *  2.5 复合查询 bool
     *  2.6 结果过滤 filter
     *  2.7 非全文检索字段 term
     *  2.8 排序 sort
     *  2.9 高亮查询 highlight
     *  2.10 聚合查询 aggs
 *  二、映射 Mapping
 *   *  2.1 Mapping 简介
     *  2.2 Dynamic Mapping
     *  2.3 数据类型
     *  2.4 nested 扁平化数据问题
 *  三、分词
 *  四、Elasticsearch搜索原理

# 一、SearchAPI #

`ES`支持两种基本方式检索∶

1.  通过使用`REST request URI`发送搜索参数（`uri`\+检索参数)
2.  通过使用`REST request body`来发送它们（`uri`\+请求体)

**① URI**

GET bank/_search?q=*&sort=account_number:asc

![在这里插入图片描述][20210320153403214.png]

**② 请求体**

GET bank/_search
    { 
      "query": { 
        "match_all": { }
      },
      "sort": [
        { 
          "account_number": { 
            "order": "desc"
          }
        }
      ]
    }

# 二、Query DSL #

## 2.1 基本语法格式 ##

`Elasticsearch`提供了一个可以执行查询的`Json`风格的 DSL （`domain-specific language`领域特定语言)，这个被称为`Query DSL`，该查询语言非常全面。

*  一个查询语句的典型结构

QUERY_NAME:{ 
    	ARGUMENT: VALUE,
    	ARGUMENT: VALUE,...
    }

*  如果是针对某个字段，那么它的结构如下:

l
    QUERY_NAME:{ 
    	FIELD_NAME: [
    		ARGUMENT: VALUE,
    		ARGUMENT: VALUE,...
    	}
    }

## 2.2 匹配查询 match ##

基本数据类型（非字符串会精确匹配），字符串会分词匹配。

使用`match_phrase`不进行分词。

GET bank/_search
    { 
      "query": { 
        "match": { 
          "lastname": "Barron"
        }
      }
    }

![在这里插入图片描述][20210320154708772.png]

说明：使用`multi_match`表示多字段满足其一即返回结果。

GET bank/_search
    { 
      "query": { 
        "multi_match": { 
          "query": "mill", 
          "fields": ["state","address"]
        }
      }
    }

## 2.3 模糊查询&分页查询 ##

GET bank/_search
    { 
      "query": { 
        "fuzzy": { 
          "city": "Lopezo"
        }
      },
      "from": 0,
      "size": 1
    }

## 2.4 返回部分字段 \_source ##

GET bank/_search
    { 
      "query": { 
        "match": { 
          "lastname": "Barron"
        }
      },
      "_source": "{firstname,lastname}"
    }

![在这里插入图片描述][20210320155210373.png]

## 2.5 复合查询 bool ##

`must`和`must not`的条件必须一致，`should`不要求一致，当时会影响相关得分。

GET bank/_search
    { 
      "query": { 
        "bool": { 
          "must": [
            { 
              "match": { 
                "firstname": "Forbes"
              }
            }
          ],
          "must_not": [
            { 
              "match": { 
                "firstname": "Jack"
              }
            }
          ],
          "should": [
            { 
              "match": { 
                "age": "28"
              }
            }
          ]
        }
      }
    }

## 2.6 结果过滤 filter ##

`filter`不会计算相关性得分，只起过滤作用。

按照范围过滤如下：

GET bank/_search
    { 
      "query": { 
        "bool": { 
          "must": [
            { 
              "match": { 
                "firstname": "Forbes"
              }
            }
          ],
          "filter": { 
            "range": { 
              "age": { 
                "gte": 10,
                "lte": 30
              }
            }
          }
        }
      }
    }

## 2.7 非全文检索字段 term ##

和`match`一样。匹配某个属性的值。全文检索字段用`match`，其他非`text`字段匹配用`term`。

GET bank/_search
    {
      "query": {
        "term": {
          "age": "28"
        }
      }
    }

## 2.8 排序 sort ##

GET bank/_search
    { 
      "query": { 
        "match_all": { }
      },
      "sort": [
        { 
          "account_number": { 
            "order": "desc"
          }
        }
      ]
    }

## 2.9 高亮查询 highlight ##

GET bank/_search
    { 
      "query": { 
        "match": { 
          "lastname": "Bates"
        }
      },
      "highlight": { 
        "fields": { "lastname":{ }},
        "pre_tags": ["<span style='color:red'>"],
        "post_tags": ["</span>"]
      }
    }

![在这里插入图片描述][20210320163256534.png]

## 2.10 聚合查询 aggs ##

对查询结果进行聚合分析。`field`是聚合的字段，`size`代表预期的分类数

**① 搜索address中包含mill的所有人的年龄分布以及平均年龄**

GET bank/_search
    { 
      "query": { 
        "match": { 
          "address": "mill"
        }
      },
      "aggs": { 
        "ageAgg": { 
          "terms": { 
            "field": "age",
            "size": 100
          }
        },
        "ageAvg": { 
          "avg": { 
            "field": "age"
          }
        }
      }
    }

![在这里插入图片描述][20210320170804748.png]

**② 按照年龄聚合，并且请求这些年龄段的这些人的平均薪资**

GET bank/_search
    { 
      "query": { 
        "match_all": { }
      },
      "aggs": { 
        "ageAgg": { 
          "terms": { 
            "field": "age",
            "size": 100
          },
          "aggs": { 
            "balanceAvg": { 
              "avg": { 
                "field": "balance"
              }
            }
          }
        }
      }
    }

![在这里插入图片描述][20210320170933386.png]

**③ 查出所有年龄分布，并且这些年龄段中M的平均薪资和F的平均薪资以及这个年龄段的总体平均薪资**

GET bank/_search
    { 
      "query": { 
        "match_all": { }
      },
      "aggs": { 
        "ageAgg": { 
          "terms": { 
            "field": "age",
            "size": 100
          },
          "aggs": { 
            "genderAgg": { 
              "terms": { 
                "field": "gender.keyword",
                "size": 2
              },
              "aggs": { 
                "balanceAvg": { 
                  "avg": { 
                    "field": "balance"
                  }
                }
              }
            },
            "balanceAvg2": { 
              "avg": { 
                "field": "balance"
              }
            }
          }
        }
      }
    }

![在这里插入图片描述][20210320171731841.png]

# 二、映射 Mapping #

## 2.1 Mapping 简介 ##

**定义数据库中的表的结构的定义，通过`mapping`来控制索引存储数据的设置，不进行配置时，自动创建的`mapping`。**

**作用：**

*  定义`Index`下的字段名（`Field Name`）
 *  定义字段的类型，比如数值型、字符串型、布尔型等
 *  定义倒排索引相关的配置，比如`documentId`、记录`position`、打分等

**创建Mapping：**`GET /china/_mapping`

**自定义`Mapping`:**

PUT my_store
    { 
      "mappings":{ 
        "book":{ 
          "dynamic":false, 	
          "properties":{ 		
            "title":{ 
              "type":"text"
              , "index_options": "docs"
            },
            "content":{ 
              "type":"keyword"
              , "index": true
            }
          }
        }
      }
    }

**属性说明：**

**① dynamic**

*  `true`：允许自动新增字段（默认的配置）
 *  `false`：不允许自动新增字段，但是文档可以正常写入，无法对字段进行查询操作
 *  `strict`：文档不能写入（如果写入会报错）

**② index**

`Index`属性，控制当前字段是否索引，默认为`true`，即记录索引，`false`不记录，即不可以搜索，比如：手机号、身份证号等敏感信息，不希望被检索

**③ Index\_options**

用于控制倒排索引记录的内容，有如下4中配置：

*  `docs`：只记录`docid`
 *  `freqs`：记录`docid`和`term frequencies`（词频）
 *  `position`：记录`docid`、`term frequencies`、`term position`
 *  `Offsets`：记录`docid`、`term frequencies`、`term position`、`character offsets`

`text`类型默认配置为`position`，其默认认为`docs`。记录的内容越多，占用的空间越大。

## 2.2 Dynamic Mapping ##

`Elasticsearch`依靠`json`文档字段类型来实现自动识别字段类型，支持的类型

<table> 
 <thead> 
  <tr> 
   <th>JSON类型</th> 
   <th>es类型</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>null</td> 
   <td>忽略</td> 
  </tr> 
  <tr> 
   <td>boolean</td> 
   <td>boolean</td> 
  </tr> 
  <tr> 
   <td>浮点类型</td> 
   <td>float</td> 
  </tr> 
  <tr> 
   <td>整数</td> 
   <td>long</td> 
  </tr> 
  <tr> 
   <td>object</td> 
   <td>object</td> 
  </tr> 
  <tr> 
   <td>array</td> 
   <td>由第一个非null值的类型决定</td> 
  </tr> 
  <tr> 
   <td>string</td> 
   <td>匹配为日期则设为data类型（默认开启） 匹配为数字的话设为float或long类型（默认关闭） 设为text类型，并附带keyword的子字段</td> 
  </tr> 
 </tbody> 
</table>

注意：`mapping`中的字段类型一旦设定后，禁止修改

原因：`Lucene`实现的倒排索引生成后不允许修改(提高效率)。如果要修改字段的类型，需要从新建立索引，然后做`reindex`操作

## 2.3 数据类型 ##

**① 核心数据类型**

字符串型：`text`、`keyword`  
数值型：`long`、`integer`、`short`、`byte`、`double`、`float`、`half_float`、`scaled_float`  
日期类型：`date`  
布尔类型：`boolean`  
二进制类型：`binary`  
范围类型：`integer_range`、`float_range`、`long_range`、`double_range`、`date_range`

**② 复杂数据类型**

数组类型：`array`  
对象类型：`object`  
嵌套类型：`nested object`

**③ 地理位置数据类型**

`geo_point`(点)、`geo_shape`(形状)

**④ 专用类型**

记录IP地址：`ip`  
实现自动补全：`completion`  
记录分词数：`token_count`  
记录字符串hash值：`murmur3`

**⑤ 多字段特性multi-fields**

允许对同一个字段采用不同的配置，比如分词，例如对人名实现拼音搜索，只需要在人名中新增一个子字段为`pinyin`即可。

## 2.4 nested 扁平化数据问题 ##

首先我们创建一个数据，并查看她的数据类型

PUT my_index/_doc/1
    { 
      "group" : "fans",
      "user" : [ 
        { 
          "first" : "John",
          "last" :  "Smith"
        },
        { 
          "first" : "Alice",
          "last" :  "White"
        }
      ]
    }
    
    GET my_index/_mapping

![在这里插入图片描述][20210322122225246.png]  
此时我们查询`Alice Smith`用户竟然能查出来。  
![在这里插入图片描述][20210322122312552.png]  
原因如下：  
![在这里插入图片描述][20210322121606830.png]  
解决这种问题我们需要使用`nested`类型，删除`index`重建创建`index`并查看数据类型

DELETE my_index
    
    PUT my_index
    { 
      "mappings": { 
        "properties": { 
          "user": { 
            "type": "nested" 
          }
        }
      }
    }
    
    GET my_index/_mapping

![在这里插入图片描述][20210322122717157.png]  
此时已经不会出现扁平化导致的问题。

# 三、分词 #

分词是指将文本转换成一系列单词（`term` `or` `token`）的过程，也可以叫做文本分析，在`ElasticSsearch`里面称为`Analysis`。

**分词机制：**

1.  **Character Filter**：对原始文本进行处理，例：去除html标签、特殊字符等；
2.  **Tokenizer**：将原始文本进行分词，例：天气预报–>天气，预报；
3.  **Token Filters**：分词后的关键字进行加工，例：转小写、删除语气词、近义词和同义词等

**`Elasticsearch`自带的分词器：**

<table> 
 <thead> 
  <tr> 
   <th>分词器（Analyzer）</th> 
   <th>特点</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Standard（es默认）</td> 
   <td>支持多语言，按词切分并做小写处理</td> 
  </tr> 
  <tr> 
   <td>Simple</td> 
   <td>按照非字母切分，小写处理</td> 
  </tr> 
  <tr> 
   <td>Whitespace</td> 
   <td>按照空格来切分</td> 
  </tr> 
  <tr> 
   <td>Stop</td> 
   <td>去除语气助词，如the、an、的、这等</td> 
  </tr> 
  <tr> 
   <td>Keyword</td> 
   <td>不分词</td> 
  </tr> 
  <tr> 
   <td>Pattern</td> 
   <td>正则分词，默认\w+,即非字词符号做分割符</td> 
  </tr> 
  <tr> 
   <td>Language</td> 
   <td>常见语言的分词器（30+）</td> 
  </tr> 
 </tbody> 
</table>

**中文分词：**

<table> 
 <thead> 
  <tr> 
   <th>分词器名称</th> 
   <th>介绍</th> 
   <th>特点</th> 
   <th>地址</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>IK</td> 
   <td>实现中英文单词切分</td> 
   <td>自定义词库</td> 
   <td>https://github.com/medcl/elasticsearch-analysis-ik</td> 
  </tr> 
  <tr> 
   <td>Jieba</td> 
   <td>python流行分词系统，支持分词和词性标注</td> 
   <td>支持繁体、自定义、并行分词</td> 
   <td>http://github.com/sing1ee/elasticsearch-jieba-plugin</td> 
  </tr> 
  <tr> 
   <td>Hanlp</td> 
   <td>由一系列模型于算法组成的java工具包</td> 
   <td>普及自然语言处理在生产环境中的应用</td> 
   <td>https://github.com/hankcs/HanLP</td> 
  </tr> 
  <tr> 
   <td>THULAC</td> 
   <td>清华大学中文词法分析工具包</td> 
   <td>具有中文分词和词性标注功能</td> 
   <td>https://github.com/microbun/elasticsearch-thulac-plugin</td> 
  </tr> 
 </tbody> 
</table>

**使用`standard`分词器**

`standard`支持对英文的分词，并不支持中文分词。  
![在这里插入图片描述][20200715092532595.png]  
**使用`IK`分词器**

**安装**：解压`IK`分词器安装包至`elasticsearch`下`plugins`文件夹中，并重命名文件夹为`analysis-ik`。

`IK`提供了两个分词算法`ik_smart`和`ik_max_word`，其中`ik_smart`为最少切分，`ik_max_word`为最细粒度划分。  
![在这里插入图片描述][20200715093101937.png]

# 四、Elasticsearch搜索原理 #

![在这里插入图片描述][20200714193442968.png]  
**\[Term、Posting List\]**  
`Elasticsearch`使用倒排索引提升了查询效率。`Elasticsearch`分别为每个`field`都建立了一个倒排索引，`Kate`、 `John`、 `24`、 `Female`这些叫`term`，而`[1,2]`就是`Posting List`。`Posting List`就是一个`int`的数组，存储了所有符合某个`term`的文档`id`。

`Posting List`可以记录的数据：

1.  **DocId**：文档`id`，文档的原始信息
2.  **TF**：单词频率，记录该词再文档中出现的次数，用于后续相关性算分
3.  **Position**：位置，记录`Field`分词后，单词所在的位置，从0开始
4.  **Offset**：偏移量，记录单词在文档中开始和结束位置，用于高亮显示等

**\[Term Dictionary\]**  
`Elasticsearch`为了能快速找到某个`term`，将所有的`term`排个序，二分法查找`term`，`logN`的查找效率，就像通过字典查找一样，这就是`Term Dictionary`。

**\[Term Index\]**  
`B-Tree`通过减少磁盘寻道次数来提高查询性能，`Elasticsearch`也是采用同样的思路，直接通过内存查找`term`，不读磁盘，但是如果`term`太多，`Term Dictionary`也会很大，放内存不现实，于是有了`Term Index`，就像字典里的索引页一样，`A`开头的有哪些`term`，分别在哪页，可以理解`Term Index`是一颗树：  
![Item Index][]  
这棵树不会包含所有的`term`，它包含的是`term`的一些前缀。通过`Term Index`可以快速地定位到`Term Dictionary`的某个`offset`，然后从这个位置再往后顺序查找。  
![在这里插入图片描述][20200714195155333.png]  
所以`Term Index`不需要存下所有的`term`，而仅仅是他们的一些前缀与`Term Dictionary`的`block`之间的映射关系，再结合`FST`(`Finite State Transducers`)的压缩技术，可以使`Term Index`缓存到内存中。从`Term Index`查到对应的`Term Dictionary`的`block`位置之后，再去磁盘上找`term`，大大减少了磁盘随机读的次数。

**\[压缩\]**  
`Elasticsearch`使用`FST`压缩`Term Index`外，`Elasticsearch`要求`Posting List`是有序的，对`Posting List`也有压缩技巧。 当`Posting List`至少有百万个文档`id`时， 此时对其压缩变得极其有意义。

**\[Frame Of Reference\]**

**Step 1**：`Delta-encode` —— 增量编码  
只记录元素与元素之间的增量，于是`Posting List`由\[73,300,302,332,343,372\]变为\[73,227.2,30,11,29\]

**Step 2**：`Split into blocks` —— 分割成块  
`Lucene`里每个块是256个文档`ID`，这样可以保证每个块，增量编码后，每个元素都不会超过256（1 `byte`）

**Step 3**：`Bit packing` —— 按需分配空间  
对于第一个块，\[73, 227, 2\]，最大元素是227，需要 8`bit`，只分配 8`bit`的空间；

但是对于第二个块，\[30, 11, 29\]，最大的元素才30，只需要5 `bit`，只分配 5`bit`的空间。  
![在这里插入图片描述][20200714200202883.png]  
**\[Roaring bitmaps\]**  
在`Lucene`有多个查询条件，需要快速求出多个`Posting List`的共同交集，通过使用`Roaring bitmaps`算法后两个`Posting List`做位运算即可求出交集。

假设有这样一个数组`[3,6,7,10]`，我们使用`bitmaps`算法表示为`[0,0,1,0,0,1,1,0,0,1]`。

`Roaring bitmaps`将`posting list`按照65535为界限分块，第一块所包含的文档id范围在`0~65535(2^16)`之间，第二块的id范围是`65536~131071`，这样解决了`Bitmap`的缺点：存储空间随着文档个数线性增长。

![在这里插入图片描述][20200714202709295.png]

[20210320153403214.png]: https://img-blog.csdnimg.cn/20210320153403214.png
[20210320154708772.png]: https://img-blog.csdnimg.cn/20210320154708772.png
[20210320155210373.png]: https://img-blog.csdnimg.cn/20210320155210373.png
[20210320163256534.png]: https://img-blog.csdnimg.cn/20210320163256534.png
[20210320170804748.png]: https://img-blog.csdnimg.cn/20210320170804748.png
[20210320170933386.png]: https://img-blog.csdnimg.cn/20210320170933386.png
[20210320171731841.png]: https://img-blog.csdnimg.cn/20210320171731841.png
[20210322122225246.png]: https://img-blog.csdnimg.cn/20210322122225246.png
[20210322122312552.png]: https://img-blog.csdnimg.cn/20210322122312552.png
[20210322121606830.png]: https://img-blog.csdnimg.cn/20210322121606830.png
[20210322122717157.png]: https://img-blog.csdnimg.cn/20210322122717157.png
[20200715092532595.png]: https://img-blog.csdnimg.cn/20200715092532595.png
[20200715093101937.png]: https://img-blog.csdnimg.cn/20200715093101937.png
[20200714193442968.png]: https://img-blog.csdnimg.cn/20200714193442968.png
[Item Index]: https://img-blog.csdnimg.cn/20200714195113607.png
[20200714195155333.png]: https://img-blog.csdnimg.cn/20200714195155333.png
[20200714200202883.png]: https://img-blog.csdnimg.cn/20200714200202883.png
[20200714202709295.png]: https://img-blog.csdnimg.cn/20200714202709295.png