初识全文检索

我会带着你远行 2022-11-29 12:15 131阅读 0赞

## 什么是全文检索？ ##

全文检索是利用倒排索引技术对需要搜索的数据进行处理，然后提供快速匹配的技术。

其实全文检索还有另外一种专业定义，先创建索引然后对索引进行搜索的过程，就是全文检索。

--------------------

## 倒排索引 ##

倒排索引是一种存储数据的方式，与传统查找有很大区别：

*  传统查找：采用数据按行存储，查找时逐行扫描，或者根据索引查找，然后匹配搜索条件，效率较差。概括来讲是先找到文档，然后看是否匹配。
 *  倒排索引：首先对数据按列拆分存储，然后对文档中的数据分词，对词条进行索引，并记录词条在文档中出现的位置。这样查找时只要找到了词条，就找到了对应的文档。概括来讲是先找到词条，然后看看哪些文档包含这些词条。

--------------------

## 创建倒排索引流程 ##

当我们需要把这些数据创建倒排索引时，会分为两步：

**1、创建文档列表**

首先将数据按列进行拆分存储，类型于mysql的表存储，每一条数据，就是一个文档，形成文档列表：

<table> 
 <tbody> 
  <tr> 
   <td>docId</td> 
   <td>title</td> 
   <td>content</td> 
   <td>score</td> 
   <td>......</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>入门java</td> 
   <td>入门java很容易</td> 
   <td>1</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>精通java</td> 
   <td>精通java很困难</td> 
   <td>1</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>入门mysql</td> 
   <td>入门mysql很容易</td> 
   <td>1</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>4</td> 
   <td>...</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>5</td> 
   <td>...</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
 </tbody> 
</table>

**2、创建倒排索引列表**

对文档中的数据进行分词，得到词条。对词条进行编号，并以词条创建索引。然后记录下包含该词条的所有文档编号（及其它信息）。

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td>词id</td> 
   <td>词典</td> 
   <td>倒排索引docId</td> 
   <td>字段名</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>入门</td> 
   <td>1，3</td> 
   <td>title</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>java</td> 
   <td>1，2</td> 
   <td>title</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>精通</td> 
   <td>2</td> 
   <td>title</td> 
  </tr> 
  <tr> 
   <td>4</td> 
   <td>mysql</td> 
   <td>3</td> 
   <td>title</td> 
  </tr> 
  <tr> 
   <td>5</td> 
   <td>入门</td> 
   <td>1，3</td> 
   <td>content</td> 
  </tr> 
  <tr> 
   <td>6</td> 
   <td>java</td> 
   <td>1，3</td> 
   <td>content</td> 
  </tr> 
  <tr> 
   <td>7</td> 
   <td>容易</td> 
   <td>1，3</td> 
   <td>content</td> 
  </tr> 
  <tr> 
   <td>8</td> 
   <td>精通</td> 
   <td>2</td> 
   <td>content</td> 
  </tr> 
  <tr> 
   <td>9</td> 
   <td>困难</td> 
   <td>2</td> 
   <td>content</td> 
  </tr> 
  <tr> 
   <td>10</td> 
   <td>mysql</td> 
   <td>3</td> 
   <td>content</td> 
  </tr> 
 </tbody> 
</table>

--------------------

## 搜索流程 ##

1.  当用户输入任意的搜索关键词时，首先对用户输入的内容进行词拆分，得到要搜索的所有词条，如用户搜索“java入门教程”，拆分后就是“java 、入门、教程”；
2.  然后拿着这些拆分后的词去倒排索引列表中进行匹配。找到这些词对应的所有文档编号；
3.  然后根据这些编号去文档列表中找到对应的文档。