ElasticSearch01_下载安装和配置

电玩女神 2022-11-28 13:26 254阅读 0赞

### ElasticSearch ###

*   *   *   ElasticSearch的安装
         *  安装可视化界面 es head（依赖nodejs）
         *  安装Kibana
         *  IK分词器插件（中文分词器）

--------------------

**Lucene** 是一套信息检索工具包，包含索引结构、读写索引的工具、排序和搜索工具类

**ElasticSearch** 基于 **Lucene**，做了一些封装和增强

ES是**分布式全文搜索引擎**，目的是通过简单的 **RESTful API** 来隐藏 Lucene 的复杂性

**应用场景：百度搜索关键词高亮，搜索纠错和建议**

--------------------

###  ElasticSearch的安装 ###

最低 java 开发版本要求：JDK1.8

官网下载，解压即用：https://www.elastic.co/  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JMVV8xMTE_size_16_color_FFFFFF_t_70_pic_center]  
**JVM配置文件：**

如果电脑内存有限，建议修改堆内存初始化值和最大值为512m，默认为1g

# Xms represents the initial size of total heap space
    # Xmx represents the maximum size of total heap space
    
    -Xms512m
    -Xmx512m

**ES配置文件：**

**配置允许跨域访问：**

http.cors.enabled: true
    http.cors.allow-origin: "*"

**启动ES**

**访问9200端口：**

{ 
      "name" : "BLU",
      "cluster_name" : "elasticsearch",
      "cluster_uuid" : "NNESyFEsSH2kvElzRN6t_A",
      "version" : { 
        "number" : "7.7.1",
        "build_flavor" : "default",
        "build_type" : "zip",
        "build_hash" : "ad56dce891c901a492bb1ee393f12dfff473a423",
        "build_date" : "2020-05-28T16:30:01.040088Z",
        "build_snapshot" : false,
        "lucene_version" : "8.5.1",
        "minimum_wire_compatibility_version" : "6.8.0",
        "minimum_index_compatibility_version" : "6.0.0-beta1"
      },
      "tagline" : "You Know, for Search"
    }

--------------------

### 安装可视化界面 es head（依赖nodejs） ###

下载地址：[https://github.com/mobz/elasticsearch-head][https_github.com_mobz_elasticsearch-head]

启动：

cnpm install
    npm run start

访问默认端口9100：

如果之前ES的允许跨域没有配置，则elasticsearch会显示未连接：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JMVV8xMTE_size_16_color_FFFFFF_t_70_pic_center 1]

--------------------

### 安装Kibana ###

官网下载：[https://www.elastic.co/cn/downloads/kibana][https_www.elastic.co_cn_downloads_kibana]

解压并启动，访问默认端口5601：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JMVV8xMTE_size_16_color_FFFFFF_t_70_pic_center 2]  
**Kibana汉化配置：**

i18n.locale: "zh-CN"

--------------------

**ElasticSearch与关系型数据库的对比：**

<table> 
 <thead> 
  <tr> 
   <th>Relational DB</th> 
   <th>ElasticSearch</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>数据库 Database</td> 
   <td>索引 indices</td> 
  </tr> 
  <tr> 
   <td>表 Table</td> 
   <td>types</td> 
  </tr> 
  <tr> 
   <td>行 row</td> 
   <td>documents</td> 
  </tr> 
  <tr> 
   <td>字段 column</td> 
   <td>fields</td> 
  </tr> 
 </tbody> 
</table>

一个集群至少有一个节点，一个节点就是一个elasticsearch进程，节点可以包含多个索引，每个索引默认分为五个主分片，每个主分片有一个副本，它们分布在不同节点上，以防止某个节点挂掉导致数据丢失。

<table> 
 <thead> 
  <tr> 
   <th><img src="https://img-blog.csdnimg.cn/2020081721304490.png#pic_center" alt="在这里插入图片描述"></th> 
   <th>默认分片数为5，默认副本数为1</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><img src="https://img-blog.csdnimg.cn/20200817215728915.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JMVV8xMTE=,size_16,color_FFFFFF,t_70#pic_center" alt="在这里插入图片描述"></td> 
   <td>索引分为5个分片，每个分片1个副本，分布在不同节点中</td> 
  </tr> 
 </tbody> 
</table>

实际上，一个分片就是一个 **Lucene索引**，一个包含 **倒排索引** 的文件目录，倒排索引结构使ES在不扫描全部文档的情况下就可知道哪些文档中包含特定的关键字。

--------------------

**倒排索引示例**

**现有两个文档：**

文档1：Study every day, good good up to forever
    文档2：To forever, study every day, good good up

**词条统计：**

<table> 
 <thead> 
  <tr> 
   <th>term</th> 
   <th>doc1</th> 
   <th>doc2</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Study</td> 
   <td>Y</td> 
   <td>X</td> 
  </tr> 
  <tr> 
   <td>To</td> 
   <td>X</td> 
   <td>X</td> 
  </tr> 
  <tr> 
   <td>every</td> 
   <td>Y</td> 
   <td>Y</td> 
  </tr> 
  <tr> 
   <td>forever</td> 
   <td>Y</td> 
   <td>Y</td> 
  </tr> 
  <tr> 
   <td>day</td> 
   <td>Y</td> 
   <td>Y</td> 
  </tr> 
  <tr> 
   <td>study</td> 
   <td>X</td> 
   <td>Y</td> 
  </tr> 
  <tr> 
   <td>good</td> 
   <td>Y</td> 
   <td>Y</td> 
  </tr> 
  <tr> 
   <td>every</td> 
   <td>Y</td> 
   <td>Y</td> 
  </tr> 
  <tr> 
   <td>to</td> 
   <td>Y</td> 
   <td>X</td> 
  </tr> 
  <tr> 
   <td>up</td> 
   <td>Y</td> 
   <td>Y</td> 
  </tr> 
 </tbody> 
</table>

**尝试搜索：to forever**

<table> 
 <thead> 
  <tr> 
   <th>term</th> 
   <th>doc1</th> 
   <th>doc2</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>to</td> 
   <td>Y</td> 
   <td>X</td> 
  </tr> 
  <tr> 
   <td>forever</td> 
   <td>Y</td> 
   <td>Y</td> 
  </tr> 
 </tbody> 
</table>

**文档1的匹配度更高**

--------------------

### IK分词器插件（中文分词器） ###

下载：[https://github.com/medcl/elasticsearch-analysis-ik/releases][https_github.com_medcl_elasticsearch-analysis-ik_releases]

注：IK版本必须和ES版本对应！

在es的plugin目录下新建文件夹 **ik**，将包解压至ik文件夹内即可

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JMVV8xMTE_size_16_color_FFFFFF_t_70_pic_left]  
IK提供了两种算法：**ik\_smart 最少切分** 和 **ik\_max\_word 最细粒度划分**

**使用Kibana测试IK分词器：**

ik_smart 最少切分:
    
    GET _analyze
    { 
      "analyzer": "ik_smart",
      "text": "中国内地男歌手许嵩"
    } 
    
    
    ik_max_word 最细粒度划分:
    
    GET _analyze
    { 
      "analyzer": "ik_max_word",
      "text": "中国内地男歌手许嵩"
    }

问题："许嵩"被拆开为了许和嵩两个词

**给IK分词器添加自定义词：**

1.  在 **ik** 目录下的 **config** 文件夹中创建 **vae.dic** 字典文件

许嵩

1.  在 IKAnalyzer.cfg.xml 配置文件中设置引用自定义的字典文件

<entry key="ext_dict">vae.dic</entry>

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JMVV8xMTE_size_16_color_FFFFFF_t_70_pic_center]: /images/20221124/aaad4b1132af47cbb1616504fa6d8626.png
[https_github.com_mobz_elasticsearch-head]: https://github.com/mobz/elasticsearch-head
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JMVV8xMTE_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221124/d496a86ef54e4f2d8e59932575b5d100.png
[https_www.elastic.co_cn_downloads_kibana]: https://www.elastic.co/cn/downloads/kibana
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JMVV8xMTE_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221124/1f770798b75c40d28c236e4cf8627fc6.png
[https_github.com_medcl_elasticsearch-analysis-ik_releases]: https://github.com/medcl/elasticsearch-analysis-ik/releases
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JMVV8xMTE_size_16_color_FFFFFF_t_70_pic_left]: /images/20221124/03106ce6ed714f2c9513f13488c25854.png