Lucene原理分析

左手的ㄟ右手 2022-06-08 12:38 278阅读 0赞

ElasticSearch是基于Lucene的搜索服务器，lucene承载了elasticSearch的核心算法和设计系想，所以要想彻底学透ElasticSearch需要从学习Lucene开始。

概念解析：

Lucene定义：基于Java的、高效的全文检索库。

基于java，因为它就是java的一套类包工具，并不是独立运行的产品，可以被拿来在上层开发各种属于自己的应用。

我们把重点放在什么是全文检索？

我们把数据分为两类：

结构化数据：指具有固定格式或有限长度的数据，如数据库，元数据等。

非结构化数据：指不定长或无固定格式的数据，如邮件，word 文档等。

非结构化数据中有些数据也被人拆分为半结构化数据：例如XML、HTML这类具有一定规则的非结构化数据。

先创建索引，再对索引进行搜索的过程就叫做全文索引。所以全文索引被拆分为两部分：索引的创建和索引的搜索。

（注意：这里需要强调一点的是，全文索引不仅适用于非结构化数据，也适用于结构化数据）

举例说明Google、百度等搜索引擎是通过爬虫不断的爬取internet上网站的信息（爬到的html文件可以理解为非结构化数据），然后对这些非结构化数据创建索引并将索引保存在公司的服务器磁盘中，这一过程是创建索引的过程。当我等用户通过搜索引擎输入关键字来查询想要的网站时，引擎根据关键字去索引里分析查找最符合条件的网页连接并做好排序推送给我们，这一过程是搜索索引。

![Center][]

索引究竟保存了什么？

非结构数据我们理解为一个文件，它是由很多字符串组成的，我们把从字符串到文件的映射的索引信息称为反向索引。

创建索引有哪些步骤？

文件一：Students should be allowed to go out with their friends, but notallowed to drink beer.

文件二：My friend Jerry went to school to see his students but found themdrunk which is not

allowed.

1，  词法分析、语言处理

我们拿到原文件后需要先一些处理，将文件拆分为一个个的单词、去除标点符号、去除一些无意义的单词（语气助词、the、a、阿等），这一步处理完后得到的产出是一个个词元（Token）

在我们的例子中，便得到以下词元(Token)：

“Students”，“allowed”，“go”，“their”，“friends”，“allowed”，“drink”，“beer”，“My”，“friend”，

“Jerry”，“went”，“school”，“see”，“his”，“students”，“found”，“them”，“drunk”，“allowed”。

2，  语言处理组件修剪词元

因为语言特殊的魅力，Token还不能直接拿来做索引，我们还要做一次Token的转化和合并，例如英文中大小写、单复数形式、不同的时态，不同的Token其实都是在表达一个意思，所以我们要用语言处理组件做一次处理，处理后的产出叫词（Term）

在我们的例子中，经过语言处理，得到的词(Term)如下：

“student”，“allow”，“go”，“their”，“friend”，“allow”，“drink”，“beer”，“my”，“friend”，“jerry”，

“go”，“school”，“see”，“his”，“student”，“find”，“them”，“drink”，“allow”。

3，  生成索引

每个文件根据Term生成字典值，根据Term排序后合并，生成一个文档倒排列表

如图：

![Center 1][]

4，  存储索引

将以上索引存储到响应介质中，文件或者数据库文件格式。

查询索引做了哪些事情？

1，对查询内容进行词法分析、语言处理（同索引创建一样）

2，not、and、or等运算词的分析（参考oracle、mysql中的意义）

3，  搜索索引，根据前两步的内容去索引库中找到满足查询条件的索引列表

4，  计算权重对返回内容排序，这块比较难理解

需要了解2个概念：

Term Frequency(tf)：即此 Term 在此文档中出现了多少次。tf 越大说明越重要。

Document Frequency (df)：即有多少文档包含此Term。df 越大说明越不重要

df越小tf越大（某个词大家接触的本来就少而有一篇文章缺大肆用到这个词），越是我们想要搜索到的内容。

最后配一张图来加强下对创建索引和查询索引的理解：

![Center 2][]

[Center]: /images/20220608/e2f0967505904643b580d5b8c3d6adcd.png
[Center 1]: /images/20220608/957be673365c43d0aa2bcdb314a2478a.png
[Center 2]: /images/20220608/48df65b19b41402a969a918099decde7.png

发表评论取消回复

表情：

评论列表（有 0 条评论，278人围观）

还没有评论，来说两句吧...

相关阅读

相关 Lucene构建索引的原理及源代码分析

文章目录 1. Lucene是什么 2. 全文检索是什么 3. 术语 4. 创建索引过程 4.1 Lucene创建索引示例代码

Dear 丶/ 2023年10月03日 19:24/ 0 赞/ 26 阅读

相关理解solr工作原理：lucene

文章目录 1, 下载lucene, 获取demo相关jar包 2, 源代码实现明细 org.apache.lucene.demo.IndexFil

我会带着你远行/ 2022年11月13日 10:28/ 0 赞/ 189 阅读

相关 Lucene 工作原理

Lucene是一个高性能的java全文检索工具包，它使用的是倒排文件索引结构。该结构及相应的生成算法如下：　　　　0）设有两篇文章1和2 　　文章1的内容为：T

男娘i/ 2022年07月27日 11:52/ 0 赞/ 165 阅读

相关 lucene原理及java实现

一、Lucene是什么？ Lucene 是一个高效的，基于Java 的全文检索库。所以在了解Lucene之前要费一番工夫了解一下全文检索。那么什么叫做全文检索呢？

た入场券/ 2022年07月17日 02:50/ 0 赞/ 189 阅读

相关 Lucene技巧分析

Lucene中用到的一些设计，主要是为了满足2个特点：1存储小；2检索快。这里把Lucene里用到的技巧单独领出来了解下，是为了多学习一些优秀的算法，开阔思路，在工作中万一

「爱情、让人受尽委屈。」/ 2022年06月08日 13:11/ 0 赞/ 159 阅读

相关 Lucene结构分析

![Center][] 如图是Lucene生成索引的一个实例，主要分为以下几个层次：索引（Index）：一个索引实例就是一个文件夹，该文件夹中所有文件都属于同一

超、凢脫俗/ 2022年06月08日 13:10/ 0 赞/ 163 阅读

相关 Lucene原理分析

ElasticSearch是基于Lucene的搜索服务器，lucene承载了elasticSearch的核心算法和设计系想，所以要想彻底学透ElasticSearch需要从学习

左手的ㄟ右手/ 2022年06月08日 12:38/ 0 赞/ 279 阅读

相关 lucene第二步分析文档

1.1.1. 分析文档将原始内容创建为包含域（Field）的文档（document），需要再对域中的内容进行分析，分析的过程是经过对原始文档提取单词、将字母转为小写、去

秒速五厘米/ 2022年06月06日 14:24/ 0 赞/ 156 阅读

相关 Lucene 工作原理

[Lucene 工作原理][Lucene] Lucene是一个高性能的java全文检索工具包，它使用的是倒排文件索引结构。该结构及相应的生成算法如下：　　　　

怼烎@/ 2022年03月16日 14:27/ 0 赞/ 172 阅读

相关 Lucene源码分析系列

简介市面上lucene源码分析的教程或者书籍太少了。以下整理的二侠的lucene源码分析系列文章，写的很全面，但是没有Lucene基础的不好读懂，建议自己下lucene

墨蓝/ 2022年02月21日 02:52/ 0 赞/ 266 阅读