ES（一）简介与安装

淡淡的烟草味﹌ 2023-03-04 05:30 10阅读 0赞

一、简介：ElasticSearch 是一个近实时的搜索平台， 是一个分布式可扩展的实时搜索和分析引擎，建立在全文搜索引擎 Apache Lucene(TM) 基础上。Elasticsearch 屏蔽了 Lucene 的底层细节，提供了分布式特性，同时对外提供了 Restful API。Elasticsearch 以其易用性迅速赢得了许多用户，被用在网站搜索、日志分析等诸多方面。由于 ES 强大的横向扩展能力，甚至很多人也会直接把 ES 当做 NoSQL 来用。

*  一个分布式的实时文档存储，每个字段都可以被索引与搜索
 *  一个分布式实时分析搜索引擎
 *  能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据

二、基本概念：

1、Document (文档)：文档指的是用户提交给 ES 的一条数据。需要注意的是，这里的文档并非指的是一个纯字符串文本，在 ES 中文档指的是一条 JSON 数据。如果对 MongoDB 有了解的话，这里文档的含义和 MongoDB 中的基本类似。JSON 数据中可以包含多个字段，这些字段可以类比为 MySQL 中每个表的字段。如：

{
      "message": "this is my blog",
      "author": "cyhone"
    }

2、Index (索引)：Index(索引) 可以理解为是文档的集合，同在一个索引中的文档共同建立倒排索引。也有很多人会把索引类比于 MySQL 中 schema 的概念。但在 ES 中 Index 更加灵活，用起来也更加方便。此外，提交给同一个索引中的文档，最好拥有相同的结构。这样对于 ES 来说，不管是存储还是查询，都更容易优化。

3、Type \[已废弃\]：Type 可以理解为是 Index 的子集，类似于 MySQL 中 schema 和 table 的关系。Type 原来存在的目的是为了在同一个 Index 存储异构数据。但其实 ES 中的索引用起来足够方便和灵活，对于异构数据，完全可以再建另外单独的 Index 存储。所以在 Elasticsearch 的新版本中，已经逐步淡化和移除了 Type 的概念。在 7.0 版本中，对于每个 Index，ES 直接内置了一个 `_doc` 的 Type，且一个 Index 只能包含一个 Type。如果用户在添加数据时用到了其他 Type，则会报错。所以不管是新旧版本，大家在使用 ES 的时候，也忘记 Type 这个存在即可，用 `_doc` 即可。

三、与关系型数据库比较：  
Relational DB -> Databases -> Tables -> Rows -> Columns  
Elasticsearch -> Indices -> Types -> Documents -> Fields  
Elasticsearch集群可以包含多个索引(indices)（数据库），每一个索引可以包含多个类型(types)（表），每一个类型包含多个文档(documents)（行），然后每个文档包含多个字段(Fields)（列）。

1、比较：ElasticSearch是一个面向文档型的数据库，一条数据在里面就是一个文档，用 [JSON][] 作为文档序列化格式。下面是一份ElasticSearch和关系型 [数据库][Link 1] 术语的对比关系表：

<table> 
 <tbody> 
 <tr> 
 <th> MySQL </th> 
 <th> ElasticSearch </th> 
 </tr> 
 <tr> 
 <td> Database（数据库） </td> 
 <td> 对应的术语 </td> 
 <td> 含义 </td> 
 </tr> 
 <tr> 
 <td> 索引（Index） </td> 
 <td> 一系列文档的集合，类似于&nbsp;<a href="http://www.codercto.com/category/mysql.html" rel="nofollow">mysql</a>&nbsp;中数据库的概念 </td> 
 </tr> 
 <tr> 
 <td> Table（表） </td> 
 <td> 类型（type） </td> 
 <td> 在Index里面可以定义不同的type，type的概念类似于mysql中表的概念，是一系列具有相同特征数据的结合。 </td> 
 </tr> 
 <tr> 
 <td> Row （行） </td> 
 <td> 文档（Document） </td> 
 <td> 文档的概念类似于mysql中的一条存储记录，并且为json格式，在Index下的不同type下，可以有许多document。 </td> 
 </tr> 
 <tr> 
 <td> Column （列） </td> 
 <td> 字段（Fields） </td> 
 <td>&nbsp;</td> 
 </tr> 
 <tr> 
 <td> Index （索引） </td> 
 <td> Everything Indexed by default （所有字段默认都被索引） </td> 
 <td>&nbsp;</td> 
 </tr> 
 <tr> 
 <td> SQL （结构化查询语言） </td> 
 <td> Query DSL （查询专用语言） </td> 
 <td>&nbsp;</td> 
 </tr> 
 <tr> 
 <td>&nbsp;</td> 
 <td> Shards </td> 
 <td> 在数据量很大的时候，进行水平的扩展，提高搜索性能。 分片只保存了索引中所有数据的一部分。 我们的文档存储在分片中，并且在分片中被索引，但是我们的应用程序不会直接与它们通信，取而代之的是，直接与索引通信。 文档存储在分片中，然后分片分配到你集群中的节点上。当你的集群扩容或缩小，Elasticsearch将会自动在你的节点间迁移分片，以使集群保持平衡。 </td> 
 </tr> 
 <tr> 
 <td>&nbsp;</td> 
 <td> Replicas </td> 
 <td> 防止某个分片的数据丢失，可以并行得在备份数据里及搜索提高性能。 </td> 
 </tr> 
 </tbody> 
</table>

2、索引： 关系型数据库的B-/B+Tree，ES采用倒排索引，ES索引的一切设计都是为了提高搜索的性能。

（1）B-/B+Tree索引：是为优化写入的索引结构，特点是二叉查找效率为logN，同时插入新的节点不必移动全部节点，所以用树型结构存储索引，能同时兼顾插入和查询的性能。

（2）倒排索引：倒排索引的结构：

![ElasticSearch基础及查询语法][ElasticSearch]

举例：

那么ES建立的索引如下：

Name：

<table> 
 <tbody> 
 <tr> 
 <th> Term </th> 
 <th> Posting List </th> 
 </tr> 
 <tr> 
 <td> Kate </td> 
 <td> [1] </td> 
 </tr> 
 <tr> 
 <td> John </td> 
 <td> [2] </td> 
 </tr> 
 <tr> 
 <td> Bill </td> 
 <td> [3] </td> 
 </tr> 
 </tbody> 
</table>

Age：

<table> 
 <tbody> 
 <tr> 
 <th> Term </th> 
 <th> Posting List </th> 
 </tr> 
 <tr> 
 <td> 24 </td> 
 <td> [1,2] </td> 
 </tr> 
 <tr> 
 <td> 29 </td> 
 <td> [3] </td> 
 </tr> 
 </tbody> 
</table>

Sex:

<table> 
 <tbody> 
 <tr> 
 <th> Term </th> 
 <th> Posting List </th> 
 </tr> 
 <tr> 
 <td> 男 </td> 
 <td> [2,3] </td> 
 </tr> 
 <tr> 
 <td> 女 </td> 
 <td> [1] </td> 
 </tr> 
 </tbody> 
</table>

如上，Elasticsearch分别为每个field都建立了一个倒排索引，Kate, John, 24, Female这些叫term，而1,2就是Posting List。Posting list就是一个int的数组，存储了所有符合某个term的文档id。在ES的每一部分中都采用了一些优化及压缩技术，例如Term Index采用类似字典的索引页的方式，可以理解为一棵树，Term Dictionary存储block，从Term Index找到对应的节点后再去Term Dictionary中寻找对应的block，从而磁盘去寻找Term。

![ElasticSearch基础及查询语法][ElasticSearch 1]

这样简化存储后，ES仍然没有满足，为了将Term Index、Term Dictionary及Posting List存储入内存，Term Index使用了FST的压缩，Posting List采用：增量编码压缩，将大数变小数，按字节存储的方式进行压缩。Posting List的压缩：

![ElasticSearch基础及查询语法][ElasticSearch 2]

3、优势：

<table> 
 <tbody> 
 <tr> 
 <th> 优势点 </th> 
 <th> 含义 </th> 
 </tr> 
 <tr> 
 <td> 横向可扩展性 </td> 
 <td> 增加&nbsp;<a href="http://www.codercto.com/category/server.html" rel="nofollow">服务器</a>&nbsp;可直接配置在集群中，只需要保证cluster.name一致即可。 </td> 
 </tr> 
 <tr> 
 <td> 分片机制 </td> 
 <td> 能够提供更好的分布性，分而治之的方式来提升处理效率。 </td> 
 </tr> 
 <tr> 
 <td> 高可用 </td> 
 <td> 提供复制备份（replica）机制。 </td> 
 </tr> 
 <tr> 
 <td> 实时性 </td> 
 <td> 通过将磁盘上的文件放入文件缓存系统来提高查询速度。 </td> 
 </tr> 
 </tbody> 
</table>

关于数据库的水平扩展和竖直扩展：对于大多数数据库而言，横向扩展意味着你的程序将做非常大的改动才能利用这些新添加的设备。对比来说，Elasticsearch天生就是分布式的，它知道如何管理节点来提供高扩展和高可用。这意味着你的程序不需要关心这些。 只要在创建集群(cluster)、节点(node)和分片(shards)的时候，按照一定的规则，则能按照你的需求进行扩展，并保证在硬件故障的时候数据依然安全。为说明分片和复制分片的含义，以及如何扩展，这里举一个栗子：

![ElasticSearch基础及查询语法][ElasticSearch 3]

(1)、启动一个空节点，这时它没有索引也没有文档数据。

(2)、我们添加了一个名为log的索引，设置它有三个主分片。（ES默认是5个主分片）。

(3)、单一节点运行很容易出现单点故障--数据丢失，这时我们扩展第二个节点，设置相同的cluster.name就可以加入同个集群，设置log索引每个主分片有一个复制分片，这时任意一个节点故障都能依然支持客户端的查询需求。

(4)、这时我们继续扩展，扩展第三个节点，ES集群会重新组织自己，分片会重新被分配以达到平衡负载，这时每个节点只有两个分片，与之前相比少了一个，意味着每个节点的分片有更多的资源，比如CPU、I/O等。

(5)、如果一个节点只有一个分片的话，那么该分片就可独享当前节点的所有资源。如果我们需要扩展到6个节点以上？主分片的数量在创建索引时已经确定，那么我们可以增加复制分片的数量，可以设置每个分片有一个复制分片为两个。

(6)、ES可以应对单点故障，这时我们杀掉一个节点进程，且是主节点，ES会在瞬间选举出一个新的主节点，且能够支持所有数据的查询访问。

四、windows安装es：

1、下载安装：从官网[https://www.elastic.co/downloads/elasticsearch][https_www.elastic.co_downloads_elasticsearch]下载安装包，下载后解压；

2、启动：进入安装目录下的bin 目录，双击执行 elasticsearch.bat，该脚本文件执行 ElasticSearch 安装程序，稍等片刻，打开浏览器，输入 [http://localhost:9200][http_localhost_9200] ，显式以下画面，说明ES安装成功。

![70][]

五、linux安装es：这里以es 6.4.2版本为例（其他版本也适用）

1、创建elasticsearch目录：

cd /usr/local/
    mkdir tool
    cd tool
    mkdir elasticsearch
    cd elasticsearch

2、下载：

curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.2.tar.gz

3、解压：

tar -xvf elasticsearch-6.4.2.tar.gz

4、启动：

cd elasticsearch-6.4.2/bin
    ./elasticsearch

启动成功：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfdF95X3k_size_16_color_FFFFFF_t_70][]

如果需要后台启动的话，在启动命令后加&：

./elasticsearch &

5、常见启动问题：

（1）内存分配不够：

![816b009b1ef9b6759d9bf79518510d15.png][]

修改适合本机的内存，修改文件config/jvm.options：

vi ../config/jvm.options

![84fdaa5c902c6d673b8d1677b1118408.png][]

由于我的服务器内存较小，修改为512m，具体可以根据情况修改，如下：

![b8ac737a86dc9dfaf7abef65fb595fd6.png][]

（2）不允许使用root用户启动：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfdF95X3k_size_16_color_FFFFFF_t_70 1][] 那么可以新建一个es用户，并赋予权限：

#添加es用户
    useradd es
    #添加es用户密码
    passwd es
    #将文件夹elasticsearch-6.4.2赋予es权限
    chown -R es:es /usr/local/tool/elasticsearch/elasticsearch-6.4.2
    #切换为es用户
    su es
    #再次启动es
    ./elasticsearch
    #启动成功了，我们再使用一个窗口登录root用户，输入命令：
    curl -X GET http://localhost:9200

访问成功：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfdF95X3k_size_16_color_FFFFFF_t_70 2][]

（3）外部访问问题：在浏览器访问http://xxx.xx.xxx.xxx:9200/拒绝访问（xxx.xx.xxx.xxx为服务器ip）

使用root用户，打开elasticsearch.yml文件：

vi /usr/local/tool/elasticsearch/elasticsearch-6.4.2/config/elasticsearch.yml

文件内增加如下代码，network.host修改为0.0.0.0或者本机ip

network.host: 0.0.0.0

使用es用户启动，发现又出现了错误如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfdF95X3k_size_16_color_FFFFFF_t_70 3][]

1）max file descriptors \[4096\] for elasticsearch process is too low, increase to at least \[65536\]：  使用root用户打开如下文件：

vim /etc/security/limits.conf

在文件末尾添加：

es soft nofile 65535
    
    es hard nofile 65537

2）max virtual memory areas vm.max\_map\_count \[65530\] is too low, increase to at least \[262144\]：解决：

切换到root用户
    
    执行命令：
    sysctl -w vm.max_map_count=262144
    查看结果：
    sysctl -a|grep vm.max_map_count
    显示：
    vm.max_map_count = 262144
    
    上述方法修改之后，如果重启虚拟机将失效，所以：
    解决办法：
    在   /etc/sysctl.conf文件最后添加一行
    vm.max_map_count=262144
    即可永久修改

以上操作后，使用es用户退出，重新登录后启动Elasticsearch即可，外部也可以访问了：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfdF95X3k_size_16_color_FFFFFF_t_70 4][]

六、可视化工具：ElasticSearch的可视化工具有很多，比如elasticsearch-head、Dejavu、ElasticHD、kibana等。这里下载kibana [https://www.elastic.co/cn/][https_www.elastic.co_cn]，点击免费试用，再点

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfdF95X3k_size_16_color_FFFFFF_t_70 5][]

点past realeases选择对应的版本产品，如我下载6.4.2版本的

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfdF95X3k_size_16_color_FFFFFF_t_70 6][]

下载后解压，定位到\\kibana\\kibana-6.4.2-windows-x86\\bin目录下双击`kibana.bat，会弹出cmd窗口，第一次打开需要等待一会`

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfdF95X3k_size_16_color_FFFFFF_t_70 7][]

`可以看到`提示信息`[listening] Server running at http://localhost:5601`，表明`kibana`已经成功启动，并且监听本机的5601端口。这个弹窗不要关闭，在地址栏输入`http://localhost:5601,在dev tools中可以进行操作：`

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfdF95X3k_size_16_color_FFFFFF_t_70 8][]

kibana默认连接本地的es，如果需要修改，打开\\kibana\\kibana-6.4.2-windows-x86\_64\\config下的kibana.yml文件，修改elasticsearch.url即可。

[JSON]: http://www.codercto.com/category/json.html
[Link 1]: http://www.codercto.com/category/database.html
[ElasticSearch]: /images/20230208/f520a084731f49bf8a3783139b2d3b41.png
[ElasticSearch 1]: /images/20230208/37223b35fcf349e38dba5a61bb2c4b92.png
[ElasticSearch 2]: /images/20230208/348640ce847c40d1b11c25e2cd478abf.png
[ElasticSearch 3]: /images/20230208/dc3e9720bbe746019b16beddf5716a1b.png
[https_www.elastic.co_downloads_elasticsearch]: https://www.elastic.co/downloads/elasticsearch
[http_localhost_9200]: http://localhost:9200/
[70]: /images/20230208/ab3f7ce7b3884c5aab9fc47dd671b15d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfdF95X3k_size_16_color_FFFFFF_t_70]: /images/20230208/72a15cb6d6604a4190e8400b55707242.png
[816b009b1ef9b6759d9bf79518510d15.png]: /images/20230208/aede7047f4bf4fdcb879c667fe77df6c.png
[84fdaa5c902c6d673b8d1677b1118408.png]: /images/20230208/53f5a75acb7646f49e016dc7716d4644.png
[b8ac737a86dc9dfaf7abef65fb595fd6.png]: /images/20230208/349365d114fb4a1bbc6b17114620920f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfdF95X3k_size_16_color_FFFFFF_t_70 1]: /images/20230208/a1be94f52121474d93300d73b5c421e5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfdF95X3k_size_16_color_FFFFFF_t_70 2]: /images/20230208/6e33982903484affba87b04901f19967.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfdF95X3k_size_16_color_FFFFFF_t_70 3]: /images/20230208/8ddcebd7795b4e32ba9f9ae40478c933.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfdF95X3k_size_16_color_FFFFFF_t_70 4]: /images/20230208/874ecf5901e44407bbbfceb2de2be012.png
[https_www.elastic.co_cn]: https://www.elastic.co/cn/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfdF95X3k_size_16_color_FFFFFF_t_70 5]: /images/20230208/4006fa604b334076a6be8afdf2196075.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfdF95X3k_size_16_color_FFFFFF_t_70 6]: /images/20230208/11993d92d18b4f51985566d53c4525ed.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfdF95X3k_size_16_color_FFFFFF_t_70 7]: /images/20230208/46e9636863e447499ee464b424fc1e06.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dfdF95X3k_size_16_color_FFFFFF_t_70 8]: /images/20230208/09895a10808b49cc93a50af3d0c3579f.png