Elasticsearch系列(一)--入门

桃扇骨 2021-11-05 12:44 315阅读 0赞

Elasticsearch基于Lucene构建的开源搜索引擎，Java编写，提供restful API，支持横向拓展，能够完成海量数据处理。

应用场景：

1、海量数据分析引擎

2、站内搜索引擎

3、数据仓库

维基百科、GitHub、百度实时日志监控平台等互联网公司都在使用Elasticsearch

版本历史：

1.x-->2.x-->5.x-->6.x-->7.x，目前最新为7.3

#### Linux安装：6.4.2 ####

PS：Elastic5.x到7.0以前， 需要 Java 8 环境，7.0以后需要jdk11

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.2.tar.gz

配置：

修改config/elasticsearch.yml

network.host: 0.0.0.0
    http.cors.enabled: true
    http.cors.allow-origin: "*"

修改：vm.max\_map\_count = 262144

**后台启动：**./bin/elasticsearch -d

问题：Elasticsearch不允许Root用户启动？

解决：添加一个新的用户，并且通过root赋权限，然后切换新用户启动ES

adduser *
    passwd *，然后输入两次密码
    chown -R *:* es文件夹
    chmod 777 es文件夹
    *为用户名，自行修改

#### Elasticsearch ####

是面向文档(document oriented)的，这意味着它可以存储整个对象或文档(document)，在Elasticsearch中，文档归属于一种类型(type),而这些类型存在于索引(index)中

ES和SQL类比：

Relational DB -> Databases -> Tables -> Rows -> Columns
    
    　　Elasticsearch -> Indices -> Types -> Documents -> Fields

#### Head插件： ####

下载，然后启动，如果使用Chrome的直接下载拓展程序就可以了

![1351999-20190802125549591-210526358.png][]

可以看到集群健康值为yellow，也就是status字段

status字段三种颜色各自的含义：

颜色                    意义
    
    green        所有主要分片和复制分片都可用
    
    yellow        所有主要分片可用，但不是所有复制分片都可用
    
    red            不是所有的主要分片都可用

#### 概念： ####

**集群：**默认elasticsearch，就是cluster.name，就是一组具有相同cluster.name值的node集合

**节点：**一个ES实例就是一个node

**索引：**相同属性的文档集合，用来指向一个或多个分片(shards)的“逻辑命名空间(logical namespace)”

**类型：**索引可以定义一个或者多个类型，文档必须属于一个类型

**文档：**是可以被索引的基础数据单位，特指最顶层结构或者根对象(root object)序列化成的JSON数据（以唯一ID标识并存储于Elasticsearch中）。

**分片**number\_of\_shards：每个索引都有多个分片，每个分片是一个Lucene索引，并且它本身就是一个完整的搜索引擎，shard就是数据的容器。不能动态修改

**备份**number\_of\_replicas：拷贝一份分片就完成了分片的备份，可以动态修改

默认创建5个shard和1个replicas，当索引创建完成的时候，主分片的数量就固定了，但是复制分片的数量可以随时调整。默认情况下，一个索引被分配5个主分片

**主要分片**(primary shard)：你索引中的每个文档属于一个单独的主分片，所以主分片的数量决定了索引最多能存储多少数据。

**复制分片**(replica shard)：是主分片的一个副本，它可以防止硬件故障导致的数据丢失，同时可以提供读请求，比如搜索或者从别的shard取回文档。

**Document：**

包含数据和metadata，metadata为\_index,\_type,\_id，通过这三个参数确定唯一的文档，\_id可以自定义，否则ES自动生成

#### 索引API： ####

**1、手动创建索引：**

PUT：http://ip:9200/house

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][]

{
        "settings": {
            "number_of_replicas": 1,
            "number_of_shards": 3
        },
        "mappings": {
            "room": {
                "dynamic": false,
                "properties": {
                    "name": {
                        "type": "text"
                    },
                    "age": {
                        "type": "integer"
                    },
                    "price": {
                        "type": "integer"
                    },
                    "country": {
                        "type": "keyword"
                    }
                }
            }
        }
    }

结果：

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][]

{
        "_index": "house",
        "_type": "room",
        "_id": "YsS1UGwBFuU94SAr0W4c",
        "_version": 1,
        "result": "created",
        "_shards": {
            "total": 2,
            "successful": 1,
            "failed": 0
        },
        "_seq_no": 0,
        "_primary_term": 1
    }

\_index：house

\_type：room

\_id：自动生成，自动生成的ID有22个字符长，简写为UUIDs

**2、通过put/post操作插入数据，自动创建索引：**

PUT/POST：http://ip:9200/website/blog/123

{
        "title": "My first blog entry",
        "text": "Just trying this out...",
        "date": "2014/01/01"
    }

自动生成索引结构如下：

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][]

{
        "state": "open",
        "settings": {
            "index": {
                "creation_date": "1564719889397",
                "number_of_shards": "5",
                "number_of_replicas": "1",
                "uuid": "C2zlsNnnQeeW42wZZAuKmw",
                "version": {
                    "created": "6040299"
                },
                "provided_name": "website"
            }
        },
        "mappings": {
            "blog": {
                "properties": {
                    "date": {
                        "format": "yyyy/MM/dd HH:mm:ss||yyyy/MM/dd||epoch_millis",
                        "type": "date"
                    },
                    "text": {
                        "type": "text",
                        "fields": {
                            "keyword": {
                                "ignore_above": 256,
                                "type": "keyword"
                            }
                        }
                    },
                    "title": {
                        "type": "text",
                        "fields": {
                            "keyword": {
                                "ignore_above": 256,
                                "type": "keyword"
                            }
                        }
                    }
                }
            }
        }
    }

**PS：**不指定ID的情况下，也就是自增情况下不再是put，而是post

http://ip:9200/websit/blog
    {
      "title": "My second blog entry",
      "text":  "Still trying this out...",
      "date":  "2014/01/01"
    }

#### 查询API：GET ####

**1、查询全部：**

http://ip:9200/book/novel/\_search

结果：

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][]

"hits": {
            "total": 4,
            "max_score": 1.0,
            "hits": [
                {
                    "_index": "book",
                    "_type": "novel",
                    "_id": "2",
                    "_score": 1.0,
                    "_source": {
                        "author": "jesen",
                        "title": "b",
                        "word_count": "10022",
                        "publish_date": "2014-01-01"
                    }
                },
                {
                    "_index": "book",
                    "_type": "novel",
                    "_id": "4",
                    "_score": 1.0,
                    "_source": {
                        "author": "tom",
                        "title": "hello",
                        "word_count": "11111",
                        "publish_date": "2018-01-12"
                    }
                },
                {
                    "_index": "book",
                    "_type": "novel",
                    "_id": "1",
                    "_score": 1.0,
                    "_source": {
                        "author": "sam",
                        "title": "a",
                        "word_count": "1002",
                        "publish_date": "2012-01-01"
                    }
                },
                {
                    "_index": "book",
                    "_type": "novel",
                    "_id": "3",
                    "_score": 1.0,
                    "_source": {
                        "author": "tom",
                        "title": "c",
                        "word_count": "100212",
                        "publish_date": "2014-01-12"
                    }
                }
            ]
        }

hits.total为3，也就是查询出三条结果

**2、查询id为123的Document数据：**

GET：http://ip:9200/website/blog/123?pretty

结果：

![1351999-20190802131220793-1125977350.png][]

\_source：对应Document的数据

pretty：输出美化

**3、查询Document的部分字段：**

/website/blog/123?\_source=title,text

![1351999-20190802131251947-1159659681.png][]

**4、只得到\_source部分：**

/website/blog/123/\_source

![1351999-20190802131329518-938896650.png][]

** 5、where条件查询**

查询作者名为Tom的记录：/book/novel/\_search?q=author:tom

![1351999-20190802133145679-709571132.png][]

**6、使用DSL语句查询：**

/book/novel/\_search

{
    	"query": {
    		"match": {
    			"author": "tom"
    		}
    	}
    }

match为匹配，match\_all为查询全部

{
    	"query": {
    		"match_all": {}
    	}
    }

**7、过滤器filter：**

filtered在5.5版本之后已经废弃，可以使用bool

/book/novel/\_search

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][]

{
        "query" : {
            "bool" : {
                "filter" : {
                    "range" : {
                        "word_count" : { "gte" : 11111 }
                    }
                },
                "must" : {
                    "match" : {
                        "author" : "tom"
                    }
                }
            }
        }
    }

![1351999-20190803094645033-485171614.png][]

**8、聚合aggregations：**

{
        "aggs": {
            "all_author": {
                "terms": {
                    "field": "author"
                }
            }
        }
    }

结果：

![1351999-20190803095620237-353024305.png][]

author名为Tom的两个，jesen一个，sam一个

**聚合同样支持条件匹配：**

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][]

{
        "query": {
            "match": {
                "title": "hello"
            }
        },
        "aggs": {
            "all_author": {
                "terms": {
                    "field": "author"
                }
            }
        }
    }

聚合也可以使用某些函数，例如max min sum avg等，详情可以参考：[ES聚合分析（聚合分析简介、指标聚合、桶聚合）][ES]

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][]

{
        "aggs": {
            "all_author": {
                "terms": {
                    "field": "author"
                },
                "aggs": {
                    "avg_word": {
                        "min": {
                            "field": "word_count"
                        }
                    }
                }
            }
        }
    }

![1351999-20190803100847016-180268129.png][]

#### 检查Document是否存在： ####

HEAD：/book/novel/1111，返回404就是不存在，200就是存在

#### 更新API： ####

PUT/POST：/book/novel/4

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][]

{
        "author": "tom",
        "title": "hello world",
        "word_count": "11111",
        "publish_date": "2018-01-12"
    }

![1351999-20190803102114363-72355146.png][]

每次更新version都会+1，result为updated

**PS：必须写全字段，即使这里只是更新title，如果其他字段不写，就会被update为空**

**使用POST/PUT都是可以的**

更新过程如下：

1、从旧文档中检索JSON

2、修改它

3、删除旧文档

4、索引新文档

#### 创建API： ####

在最开始索引API已经说了，不指定ID只能用POST操作，指定ID使用PUT和POST都可以，如果ID存在，就变成了update操作，相当于hibernate中的saveorupdate()

如果只是create操作：

**POST/PUT：**/book/novel/122231?op\_type=create或者是/book/novel/1223/\_create

这时，如果id存在409 Conflict异常，不存在可以create成功，上面两种方式都是可以的

#### 删除API： ####

**删除某条数据：**/book/novel/1223

如果ID存在就返回200 OK，不存在返回404

**删除type下所有的数据：**

POST：/book/novel/\_delete\_by\_query?conflicts=proceed

{
      "query": {
        "match_all": {}
      }
    }

**直接删除索引：**/house

#### 总结： ####

1、创建index：

1).手动创建索引，只能用PUT

2).不指定ID的情况下，只能用POST，可以自动创建索引，但是这种情况下，创建索引的语句会被当做为一条数据

3).指定ID的情况下，通过POST/PUT操作保存数据，都可以自动创建索引

索引最好还是手动创建

2、新增：

1).不指定ID的情况下，只能用POST

2).指定ID的情况下，通过POST/PUT操作保存数据，如果ID存在，就变成update

可以通过id/\_create或者id?op\_type=create，指定为create操作

3、修改：

指定ID，通过POST/PUT都可以

4、删除：

可以删除id或者index以及type下所有的数据

内存参考：[Elasticsearch 权威指南（中文版）][Elasticsearch]

转载于:https://www.cnblogs.com/huigelaile/p/11288018.html

[1351999-20190802125549591-210526358.png]: /images/20211105/443e54fb1eb14d70ae0cf31d1d315075.png
[ContractedBlock.gif]: https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif
[ExpandedBlockStart.gif]: /images/20211105/ba48795f9d0d4e64a5367413c1f7af2e.png
[1351999-20190802131220793-1125977350.png]: /images/20211105/cf9df9a459a94841aeaa476299f2db94.png
[1351999-20190802131251947-1159659681.png]: /images/20211105/55df1649bf4c461b96e497b9a29f85db.png
[1351999-20190802131329518-938896650.png]: /images/20211105/f9c1bc587a744f38ba861be273fa6aa0.png
[1351999-20190802133145679-709571132.png]: /images/20211105/a9e54f29bef44a35af2ca54ebfefc974.png
[1351999-20190803094645033-485171614.png]: /images/20211105/adf71c3e7a3b482096c4dea3cddda388.png
[1351999-20190803095620237-353024305.png]: /images/20211105/3b7af8a944a74383b02feb1ec157dd07.png
[ES]: https://www.bbsmax.com/A/VGzlEo4NJb/
[1351999-20190803100847016-180268129.png]: /images/20211105/cbe46c74a0f649efbcc5025023e8bdfb.png
[1351999-20190803102114363-72355146.png]: /images/20211105/cb84a2d55aff49a9aef5745f9f28a997.png
[Elasticsearch]: https://es.xiaoleilu.com/index.html