大数据面试之ElasticSearch

拼搏现实的明天。 2023-02-17 15:55 49阅读 0赞

### 大数据面试之ElasticSearch ###

*  1.ElasticSearch
 *   *  1.1 ElasticSearch底层实现
     *  1.2 什么是正排索引？什么事倒排索引？优缺点
     *  1.3 ElasticSearch，JAVA如何访问，如何作为Spring Boot的数据库？

说明，感谢亮哥长期对我的帮助，此处多篇文章均为亮哥带我整理。以及参考诸多博主的文章。如果侵权，请及时指出，我会立马停止该行为；如有不足之处，还请大佬不吝指教，以期共同进步。

# 1.ElasticSearch #

Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎.当然 Elasticsearch 并不仅仅是 Lucene 那么简单，它不仅包括了全文搜索功能，还可以进行以下工作:
    分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索。
    实时分析的分布式搜索引擎。
    可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据。
    关系数据库     ⇒ 数据库 ⇒ 表    ⇒ 行    ⇒ 列(Columns)
    
    Elasticsearch  ⇒ 索引(Index)   ⇒ 类型(type)  ⇒ 文档(Docments)  ⇒ 字段(Fields)  
    索引（Index）
    ES将数据存储于一个或多个索引中，索引是具有类似特性的文档的集合。类比传统的关系型数据库领域来说，索引相当于SQL中的一个数据库，或者一个数据存储方案(schema)。索引由其名称(必须为全小写字符)进行标识，并通过引用此名称完成文档的创建、搜索、更新及删除操作。一个ES集群中可以按需创建任意数目的索引。
    类型（Type）
    类型是索引内部的逻辑分区(category/partition)，然而其意义完全取决于用户需求。因此，一个索引内部可定义一个或多个类型(type)。一般来说，类型就是为那些拥有相同的域的文档做的预定义。例如，在索引中，可以定义一个用于存储用户数据的类型，一个存储日志数据的类型，以及一个存储评论数据的类型。类比传统的关系型数据库领域来说，类型相当于“表”。
    
    文档（Document）
    文档是索引和搜索的原子单位，它是包含了一个或多个域（Field）的容器，基于JSON格式进行表示。文档由一个或多个域组成，每个域拥有一个名字及一个或多个值，有多个值的域通常称为“多值域”。每个文档可以存储不同的域集，但同一类型下的文档至应该有某种程度上的相似之处。
    倒排索引（Inverted Index）
    每一个文档都对应一个ID。倒排索引会按照指定语法对每一个文档进行分词，然后维护一张表，列举所有文档中出现的terms以及它们出现的文档ID和出现频率。搜索时同样会对关键词进行同样的分词分析，然后查表得到结果。

[参考][Link 1]

## 1.1 ElasticSearch底层实现 ##

ElasticSearch 设计的理念就是分布式搜索引擎，底层其实还是基于 lucene 的。核心思想就是在多台机器上启动多个 es 进程实例，组成了一个 es 集群。
    
    es 中存储数据的基本单位是索引，比如说你现在要在 es 中存储一些订单数据，你就应该在 es 中创建一个索引order_idx，所有的订单数据就都写到这个索引里面去，一个索引差不多就是相当于是 mysql 里的一张表。

[参考][Link 2]  
[参考][Link 3]  
[参考][Link 4]

## 1.2 什么是正排索引？什么事倒排索引？优缺点 ##

正排索引：
    正排索引是指文档ID为key，表中记录每个关键词出现的次数，查找时扫描表中的每个文档中字的信息，直到找到所有包含查询关键字的文档。
        所有正排的优点是：易维护；缺点是搜索的耗时太长；
    倒排索引：
    由于正排的耗时太长缺点，倒排就正好相反，是以word作为关键索引。表中关键字所对应的记录表项记录了出现这个字或词的所有文档，一个表项就是一个字表段，它记录该文档的ID和字符在该文档中出现的位置情况。
    倒排包含两部分：
    1、由不同的索引词（index term）组成的索引表，称为“词典”（lexicon）。其中包含了各种词汇，以及这些词汇的统计信息（如出现频率nDocs），这些统计信息可以直接用于各种排名算法。
    2、由每个索引词出现过的文档集合，以及命中位置等信息构成。也称为“记录表”。就是正排索引产生的那张表。当然这部分可以没有。具体看自己的业务需求了。
    倒排的优缺点和正排的优缺点整好相反。倒排在构建索引的时候较为耗时且维护成本较高，但是搜索耗时短。

[参考][Link 5]

## 1.3 ElasticSearch，JAVA如何访问，如何作为Spring Boot的数据库？ ##

[参考][Link 6]  
[参考][Link 7]  
[参考][Link 8]

[面试题][Link 9]  
[面试题][Link 10]  
[面试题][Link 11]

[Link 1]: https://blog.csdn.net/yydu_666/article/details/82782561
[Link 2]: https://www.jianshu.com/p/aabe2d352da2
[Link 3]: https://www.cnblogs.com/dreamroute/p/8484457.html
[Link 4]: https://blog.csdn.net/qq_38665235/article/details/90024148
[Link 5]: https://blog.csdn.net/u010412301/article/details/86509873
[Link 6]: https://blog.csdn.net/dfBeautifulLive/article/details/82868116
[Link 7]: https://blog.csdn.net/liuy521/article/details/91351684
[Link 8]: https://blog.csdn.net/linzhiqiang0316/article/details/80343401
[Link 9]: https://blog.csdn.net/weixin_45031351/article/details/93773050
[Link 10]: https://www.cnblogs.com/heqiyoujing/p/11146178.html
[Link 11]: https://blog.csdn.net/abcd1101/article/details/89010070