学习使用Elasticsearch

偏执的太偏执、 2023-07-25 11:21 1阅读 0赞

***一.简介:***  
**Elasticsearch是一个基于Lucene的搜索服务器**。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。  
设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。我们建立一个网站或应用程序，并要添加搜索功能，但是想要完成搜索工作的创建是非常困难的。我们希望搜索解决方案要运行速度快，我们希望能有一个零配置和一个完全免费的搜索模式，我们希望能够简单地使用JSON通过HTTP来索引数据，我们希望我们的搜索服务器始终可用，我们希望能够从一台开始并扩展到数百台，我们要实时搜索，我们要简单的多用户，我们希望建立一个云的解决方案。因此我们利用Elasticsearch来解决所有这些问题及可能出现的更多其它问题。

***二.安装:***  
去官网下载自己需要的版本,一般不会用最新的版本,我这里选择的是6.2.2

百度网盘链接:  
[Elasticsearch和kibana][Elasticsearch_kibana]

提取码:bb3t  
![在这里插入图片描述][20200415200736107.png]  
(1).该软件是基于Java编写的解压即用的软件，只需要有Java的运行环境即可，把压缩包解压后，进入到bin目录运行  
**elasticsearch.bat**，出现以下界面，表示成功启动服务器  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTU4ODc1MQ_size_16_color_FFFFFF_t_70]  
浏览器输入：http://localhost:9200，看到浏览器输出服务器的信息，表示安装成功，可以使用了  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTU4ODc1MQ_size_16_color_FFFFFF_t_70 1]  
**注意：程序启动后有两个端口9200和9300，9200端口用于HTTP协议，基于RESTFul来使用，9300端口用于TCP协议，基于jar包来使用**

(2).后台启动  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTU4ODc1MQ_size_16_color_FFFFFF_t_70 2]  
然后在启动时会出现一个小bug,这里需要在设置一下JAVA\_HOME的位置.如下:  
![在这里插入图片描述][20200415210814783.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTU4ODc1MQ_size_16_color_FFFFFF_t_70 3]  
然后,自己去选择使用哪种启动方式  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTU4ODc1MQ_size_16_color_FFFFFF_t_70 4]  
(3).安装head插件  
Elasticsearch默认的客户端工具是命令行形式的，操作起来不方便，也不直观看到数据的展示，所以我们需要去安装一个可视化插件，但是这些插件都是基于H5开发的，在谷歌的应用商店中找到elasticsearch-head插件，然后安装，使用该插件能比较直观的展示服务器中的数据  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTU4ODc1MQ_size_16_color_FFFFFF_t_70 5]  
(4).安装kibana  
该软件也是解压即用的工具，用于管理和监控Elasticsearch的运作，同时内部包含了客户端工具，支持RESTFul操作Elasticsearch。解压后运行bin/kibana.bat，看到启动成功的端口号即可以使用浏览器来使用了  
![在这里插入图片描述][20200415234932504.png]  
浏览器输入：http://localhost:5601  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTU4ODc1MQ_size_16_color_FFFFFF_t_70 6]  
初学者暂时只用的上 Dev Tools  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTU4ODc1MQ_size_16_color_FFFFFF_t_70 7]

***三.概念名词***  
**(1)数据存储图**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTU4ODc1MQ_size_16_color_FFFFFF_t_70 8]  
注意：从Elasticsearch6开始一个索引里面只能有一个类型，后续计划删除类型这个概念，从ES6开始一般让索引名称和类型名称一致

**(2).主要组件**  
**1.索引**  
ES将数据存储于一个或多个索引中，索引是具有类似特性的文档的集合。类比传统的关系型数据库领域来说，索引相当于SQL中的一个数据库，或者一个数据存储方案(schema)。索引由其名称(必须为全小写字符)进行标识，并通过引用此名称完成文档的创建、搜索、更新及删除操作。一个ES集群中可以按需创建任意数目的索  
引。  
**2.类型**  
类型是索引内部的逻辑分区(category/partition)，然而其意义完全取决于用户需求。因此，一个索引内部可定义一个或多个类型(type)。一般来说，类型就是为那些拥有相同的域的文档做的预定义。例如，在索引中，可以定义一个用于存储用户数据的类型，一个存储日志数据的类型，以及一个存储评论数据的类型。类比传统的关系型数据库领域来说，类型相当于表。  
**3.映射**  
Mapping,就是对索引库中索引的字段名称及其数据类型进行定义，类似于mysql中的表结构信息。不过es的mapping比数据库灵活很多，它可以动态识别字段。一般不需要指定mapping都可以，因为es会自动根据数据格式识别它的类型，如果你需要对某些字段添加特殊属性（如：定义使用其它分词器、是否分词、是否存储等），就必须手动添加mapping。需要注意的是映射是不可修改的，一旦确定就不允许改动，在使用自动识别功能时，会以第一个存入的文档为参考来建立映射，后面存入的文档也必须符合该映射才能存入  
**4.文档**  
文档是Lucene索引和搜索的原子单位，它是包含了一个或多个域的容器，基于JSON格式进行表示。文档由一个或多个域组成，每个域拥有一个名字及一个或多个值，有多个值的域通常称为多值域。每个文档可以存储不同的域集，但同一类型下的文档至应该有某种程度上的相似之处。

**(3)分片和副本**  
ES的分片(shard)机制可将一个索引内部的数据分布地存储于多个节点，它通过将一个索引切分为多个底层物理的Lucene索引完成索引数据的分割存储功能，这每一个物理的Lucene索引称为一个分片(shard)。每个分片其内部都是一个全功能且独立的索引，因此可由集群中的任何主机存储。创建索引时，用户可指定其分片的数量，默认数量为5  
个。  
**Shard有两种类型：primary和replica**，即主shard及副本shard。Primary shard用于文档存储，每个新的索引会自动创建5个Primary shard，当然此数量可在索引创建之前通过配置自行定义，不过，一旦创建完成，其Primaryshard的数量将不可更改。Replica shard是Primary Shard的副本，用于冗余数据及提高搜索性能。每个Primaryshard默认配置了一个Replica shard，但也可以配置多个，且其数量可动态更改。ES会根据需要自动增加或减少这些Replica shard的数量。

**(4).分词器**  
把文本内容按照标准进行切分，默认的是standard，该分词器按照单词切分，内容转变为小写，去掉标点，遇到每个中文字符都当成1个单词处理，后面会安装开源的中文分词器插件（ik）

**(5).倒排索引**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTU4ODc1MQ_size_16_color_FFFFFF_t_70 9]  
***四.基本操作:***  
**(1)索引操作:**  
1.建立索引  
**语法：PUT /索引名**  
在没有特殊设置的情况下，默认有5个分片，1个备份，也可以通过请求参数的方式来指定  
![在这里插入图片描述][20200416195310941.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTU4ODc1MQ_size_16_color_FFFFFF_t_70 10]  
如下配置.效果和上图是一致的  
![在这里插入图片描述][20200416195736827.png]  
2.删除索引  
![在这里插入图片描述][20200416195506839.png]  
**(2).文档操作:**  
**1.新增文档:**

语法：
    PUT /索引名/类型名/文档ID 
    { 
     field1: value1,
      field2: value2, 
      ... 
    }

注意：当索引/类型/映射不存在时，会使用默认设置自动添加 ES中的数据一般是从别的数据库导入的，所以文档的ID会沿用原数据库中的ID 索引库中没有该ID对应的文档时则新增，拥有该ID对应的文档时则替换  
每一个文档都内置以下字段  
\_index：所属索引  
\_type：所属类型  
\_id：文档ID  
\_version：乐观锁版本号  
\_source：数据内容  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTU4ODc1MQ_size_16_color_FFFFFF_t_70 11]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTU4ODc1MQ_size_16_color_FFFFFF_t_70 12]  
**2.查询文档**

语法：
     根据ID查询 -> GET /索引名/类型名/文档ID 
     查询所有（基本查询语句） -> GET /索引名/类型名/_search

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTU4ODc1MQ_size_16_color_FFFFFF_t_70 13]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTU4ODc1MQ_size_16_color_FFFFFF_t_70 14]  
查询所有结果中包含以下字段  
took：耗时  
\_shards.total：分片总数  
hits.total：查询到的数量  
hits.max\_score：最大匹配度  
hits.hits：查询到的结果  
hits.hits.\_score：匹配度

3.更新文档:

语法：
    PUT /索引名/类型名/文档ID 
    { 
     field1: value1,
      field2: value2,
       ... 
    }

注意:更新的只是文档的内容

4.删除文档:

语法：
    DELETE /索引名/类型名/文档ID
    注意：这里的删除并不是真正意义上的删除，仅仅是清空文档内容而已，并且标记该文档的状态为删除

**(3).高级查询:**  
1.结果排序

参数格式： 
    {  
    "sort": [
     { 
     field: 排序规则
     },
      ... ] 
    }
      排序规则： 
      asc表示升序 
      desc:表示降序
       没有配置排序的情况下，默认按照评分降序排列

2.分页查询

参数格式：
     { 
      "from": start,//从第几条数据开始
       "size": pageSize//显示几条数据
     }

3.检索查询

参数格式： 
    { 
    "query": {  检索方式: { field: value} } }

检索方式：  
term表示精确匹配，value值不会被分词器拆分，按照倒排索引匹配  
match表示全文检索，value值会被分词器拆分，然后去倒排索引中匹配  
range表示范围检索，其value值是一个对象，如\{ “range”: \{field: \{比较规则: value, …\}\} \} 比较规则有gt / gte / lt / lte 等  
**注意：term和match都能用在数值和字符上，range多用在数值上**

![在这里插入图片描述][20200416210956173.png]  
![在这里插入图片描述][20200416211154809.png]  
4.关键字查询

参数格式：
     { 
      "query": 
      {  
      "multi_match": { 
       "query": value,
        "fields": 
        [field1, field2, ...]
         } 
      }
    }

multi\_match：表示在多个字段间做检索，只要其中一个字段满足条件就能查询出来，多用在字符上

5.高亮显示

参数格式： { 
     "query": {  ... },
      "highlight": {  "fields": {  field1: { }, field2: { }, ... },
      "pre_tags": 开始标签,
       "post_tags" 结束标签
        } 
    }

highlight：表示高亮显示，需要在fields中配置哪些字段中检索到该内容需要高亮显示 必须配合检索(term / match)一起使用

6.逻辑查询

参数格式： 
    { 
     "query": {  
         "bool": { 
      逻辑规则: [
       { 检索方式: { field: value}},
        ... ],
        ... 
                 } 
            } 
    }

逻辑规则：must / should / must\_not，相当于and / or / not

7.过滤查询:

参数格式： 
    {  
    "query": {  
    "bool":
     {  "filter": [ 
     {  检索方式: {  field: value } }， ... ] } } }

从效果上讲过滤查询和检索查询能做一样的效果 区别在于过滤查询不评分，结果能缓存，检索查询要评分，结果不缓存 一般是不会直接使用过滤查询，都是在检索了一定数据的基础上再使用  
关于filter的更多认知推荐大家读这篇博客：https://blog.csdn.net/laoyang360/article/details/80468757

8.分组查询：

参数格式： 
    { 
     "size": 0,
      "aggs": {  
          自定义分组字段: { 
                 "terms": {  
                    "field": 分组字段, 
                       "order": { 自定义统计字段:排序规则}, 
                       "size": 10 //默认显示10组 },
      "aggs": {  //分组后的统计查询，相当于MySQL分组函数查询 
      自定义统计字段: {  
      分组运算: {  
      "field": 统计字段 
                    } 
               } 
             } 
          } 
      } 
    }

分组运算：avg / sum / min / max / value\_count / stats(执行以上所有功能的) 注意：这里是size=0其目的是为了不要显示hit内容，专注点放在观察分组上

9.批处理  
当需要集中的批量处理文档时，如果依然使用传统的操作单个API的方式，将会浪费大量网络资源，Elasticsearch为了提高操作的性能，专门提供了批处理的API  
①mget批量查询

语法： 
    GET /索引名/类型/_mget {  
    "docs": [ 
          { "_id": 文档ID},
          ... 
            ] 
     }

②bulk批量增删改

语法： 
    POST /索引名/类型/_bulk { 
    动作:{ "_id": 文档ID}} 
    { ...} 
    { 动作:{ "_id": 文档ID}} 
    { ...}
    }

动作：create / update / delete，其中delete只有1行JSON，其他操作都是有2行JSON，并且**JSON不能格式化(即不能随意换行)**，如 果是update动作，它的数据需要加个key为doc 如：\{“update”: \{"\_id": xx\}\} \{“doc”: \{“xx”:xx, “xx”:xx\}\}

10.安装IK分词器  
直接把压缩文件中的内容解压，然后放在elasticsearch/plugins下，然后重启即可  
![在这里插入图片描述][20200417112659450.png]  
IK分词器：  
ik\_smart：粗力度分词  
ik\_max\_word：细力度分词

GET /shop_product/_analyze { 
     "text":"I am Groot", 
     "analyzer":"ik_smart"
      }
    
    //举例
    GET /shop_product/_analyze {  
    "text":"英特尔酷睿i7处理器", 
    "analyzer":"ik_smart" 
    }
    
    GET /shop_product/_analyze {  
    "text":"英特尔酷睿i7处理器",
     "analyzer":"ik_max_word"
      }

[Elasticsearch_kibana]: https://pan.baidu.com/s/1ScqT4fIRPVW-aKmz7tWeEg
[20200415200736107.png]: /images/20230528/42254902c08a4105af6c6270e8acab75.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTU4ODc1MQ_size_16_color_FFFFFF_t_70]: /images/20230528/f958d9556c0c4f3fa2ff9e1e69eba2c6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTU4ODc1MQ_size_16_color_FFFFFF_t_70 1]: /images/20230528/fa1e274232394edd99327dd198de70a7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTU4ODc1MQ_size_16_color_FFFFFF_t_70 2]: /images/20230528/f4d9fcc16110417d98656ec3539f7fc1.png
[20200415210814783.png]: /images/20230528/4a325442d65c415bb117f90c2d69dbeb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTU4ODc1MQ_size_16_color_FFFFFF_t_70 3]: /images/20230528/687861513e974efdb275b19553dc7a3d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTU4ODc1MQ_size_16_color_FFFFFF_t_70 4]: /images/20230528/8945e05dc5184d4795922ac0cf8a6b81.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTU4ODc1MQ_size_16_color_FFFFFF_t_70 5]: /images/20230528/2468f88855c84dbda5ac60f4788c6c26.png
[20200415234932504.png]: /images/20230528/0e37af12ea754a0eaabd3f27735cee3c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTU4ODc1MQ_size_16_color_FFFFFF_t_70 6]: /images/20230528/0ab306b1132448beb9a22a6212f8b9f4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTU4ODc1MQ_size_16_color_FFFFFF_t_70 7]: /images/20230528/d1d7851569f347a5b1a87186d0d79fcf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTU4ODc1MQ_size_16_color_FFFFFF_t_70 8]: /images/20230528/8ff4451b49074ade85431c1b31e3b06c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTU4ODc1MQ_size_16_color_FFFFFF_t_70 9]: /images/20230528/764cc54cda5a4a67ad3a96ccc89ea7b8.png
[20200416195310941.png]: /images/20230528/93e3a5da35cc445e92b6ccc8c8182dca.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTU4ODc1MQ_size_16_color_FFFFFF_t_70 10]: /images/20230528/694f57c8ba3c4ff3bf5511d6c58ef7a3.png
[20200416195736827.png]: /images/20230528/75657f7599374d54a6c41ed1db7c8602.png
[20200416195506839.png]: /images/20230528/7cbb8a1f0d734aad99580fd7cde2293d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTU4ODc1MQ_size_16_color_FFFFFF_t_70 11]: /images/20230528/f89aa6f53cf44df8ac1a884946c7af55.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTU4ODc1MQ_size_16_color_FFFFFF_t_70 12]: /images/20230528/12619b200ff541a38a05f6f92372751a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTU4ODc1MQ_size_16_color_FFFFFF_t_70 13]: /images/20230528/d8f74206a33449e9a78affe1f45d6d11.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTU4ODc1MQ_size_16_color_FFFFFF_t_70 14]: /images/20230528/011b888e8135401f82abb2a9fa1f3257.png
[20200416210956173.png]: /images/20230528/65b386df4b0148db8e1dd5e9ec77ebb2.png
[20200416211154809.png]: /images/20230528/32a43712975c44f3b2284497406bc1c3.png
[20200417112659450.png]: /images/20230528/f5251f3b959d4172ac940c5ce349691d.png