【Lucene】全文检索技术介绍

r囧r小猫 2022-01-29 09:41 321阅读 0赞

# Lucene 之全文检索技术介绍 #

> 前言：本文只介绍了全文检索的基础概念，后面陆续会介绍 Lucece 的使用。

## 1.什么是全文检索 ##

### 1.1.数据的分类 ###

我们生活种的数据总体分为两种：结构化数据和非结构化数据

*  **结构化数据**：指具有固定格式或有限长度的数据，如数据库，元数据等。
 *  **非结构化数据**：指不定长或无固定格式的数据，如邮件，word文档等磁盘上的文件等。

### 1.2.结构化数据搜索 ###

常见的结构化数据也就是数据库中的数据。在数据库中搜索很容易实现，通常都是使用sql语句进行查询，而且能很快的得到查询结果。

为什么数据库搜索很容易？

因为数据库中的数据存储是**有规律**的，有行有列而且**数据格式、数据长度**都是固定的。

### 1.3.非结构化数据查询方法 ###

从多个文本文件中找出包含 spring 单词的文件。

几种方式实现：

*  目测（开玩笑，一个一个字看，搞笑 : (）
 *  使用程序把文档读取到内存中，然后匹配字符串。**顺序扫描(Serial Scanning)**。
 *  把非结构化数据变成结构化数据，**全文检索(Full-text Search)。**
    
     先根据空格进行字符串拆分，得到一个单词列表，基于单词列表创建一个索引。  
     然后查询索引，根据单词和文档的对应关系找到文档列表。这个过程就叫做全文检索。  
    索引：通俗来说是一个为了提高查询速度，创建某种数据结构的集合。

### 1.4.全文检索 ###

将非结构化数据中的一部分信息提取出来，重新组织，使其变得有一定结构，然后对此有一定结构的数据进行搜索，从而达到搜索相对较快的目的。这部分从非结构化数据中提取出的然后重新组织的信息，我们称之**索引**。

最常见的：**字典**。字典的拼音表和部首检字表就相当于字典的索引，对每一个字的解释是非结构化的，如果字典没有音节表和部首检字表，在茫茫辞海中找一个字只能顺序扫描。然而字的某些信息可以提取出来进行结构化处理，比如读音，就比较结构化，分声母和韵母，分别只有几种可以一一列举，于是将读音拿出来按一定的顺序排列，每一项读音都指向此字的详细解释的页数。我们搜索时按结构化的拼音搜到读音，然后按其指向的页数，便可找到我们的非结构化数据——也即对字的解释。

**这种先建立索引，再对索引进行搜索的过程就叫全文检索(Full-text Search)。**

### 1.5.如何实现全文检索 ###

可以使用**Lucene**实现全文检索。\*\*Lucene是apache下的一个开放源代码的全文检索引擎工具包。\*\*提供了完整的查询引擎和索引引擎，部分文本分析引擎。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能。

官网：[https://lucene.apache.org/][https_lucene.apache.org]

### 1.6.全文检索的应用场景 ###

*  搜索引擎

百度、360 搜索、谷歌、搜狗

*  站内搜索

论坛搜索、微博、文章搜索

*  电商搜索
    
    淘宝搜索、京东搜索
 *  只要是有搜索的地方就可以使用全文检索技术

【Lucene】系列文章  
[【Lucene】全文检索技术介绍][Lucene]  
[【Lucene】实现全文检索][Lucene 1]  
[【Lucene】索引库的维护][Lucene 2]  
[【Lucene】索引库的查询][Lucene 3]

[https_lucene.apache.org]: https://lucene.apache.org/
[Lucene]: https://blog.csdn.net/liu_sisi/article/details/90411086
[Lucene 1]: https://blog.csdn.net/liu_sisi/article/details/90411560
[Lucene 2]: https://blog.csdn.net/liu_sisi/article/details/90414499
[Lucene 3]: https://blog.csdn.net/liu_sisi/article/details/90414614