ElasticSearch学习之(一)--搜索引擎的认知

水深无声 2021-11-09 14:14 441阅读 0赞

### 一、什么事搜索引擎 ###

**1.搜索引擎定义**

搜索引擎是指根据一定的策略、运用特定的[计算机][Link 1]程序从互联网上采集信息，在对信息进行组织和处理后，为用户提供检索服务，将检索的相关信息展示给用户的系统。搜索引擎是工作于[互联网][Link 2]上的一门检索技术，它旨在提高人们获取搜集信息的速度，为人们提供更好的网络使用环境。从功能和原理上搜索引擎大致被分为全文搜索引擎、元搜索引擎、垂直搜索引擎和目录搜索引擎等四大类。

搜索引擎发展到今天，基础架构和算法在技术上都已经基本成型和成熟。搜索引擎已经发展成为根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。

**2.搜索引擎分类**

**全文搜索引擎**

一般网络用户适用于全文搜索引擎。这种搜索方式方便、简捷，并容易获得所有相关信息。但搜索到的信息过于庞杂，因此用户需要逐一浏览并甄别出所需信息。尤其在用户没有明确检索意图情况下，这种搜索方式非常有效。

**元搜索引擎**

元搜索引擎适用于广泛、准确地收集信息。不同的全文搜索引擎由于其性能和信息反馈能力差异，导致其各有利弊。元搜索引擎的出现恰恰解决了这个问题，有利于各基本搜索引擎间的优势互补。而且本搜索方式有利于对基本搜索方式进行全局控制，引导全文搜索引擎的持续改善。

**垂直搜索引擎**

垂直搜索引擎适用于有明确搜索意图情况下进行检索。例如，用户购买机票、火车票、汽车票时，或想要浏览网络视频资源时，都可以直接选用行业内专用搜索引擎，以准确、迅速获得相关信息。

**目录搜索引擎**

目录搜索引擎是网站内部常用的检索方式。本搜索方式旨在对网站内信息整合处理并分目录呈现给用户，但其缺点在于用户需预先了解本网站的内容，并熟悉其主要模块构成。总而观之，目录搜索方式的适应范围非常有限，且需要较高的人工成本来支持维护。

### 二、搜索引擎的原理 ###

**1.搜索引擎的工作原理**

搜索引擎为了以最快的速度得到搜索结果，它搜索的通常是预先整理好的网页索引数据库。搜索引擎，不能真正理解网页上的内容，它只能机械地匹配网页上的文字。真正意义上的搜索引擎，通常指的是收集了互联网上几千万到几十亿个网页并对网页中的每一个文字（即关键词）进行索引，建立索引数据库的全文搜索引擎。当用户查找某个关键词的时候，所有在页面内容中包含了该关键词的网页都将作为搜索结果被搜出来。在经过复杂的算法进行排序后，这些结果将按照与搜索关键词的相关度高低，依次排列。

**2.索引的两大类**

**正排索引（正向索引、前向索引）**

正排表是以文档的ID为关键字，表中记录文档中每个字的位置信息，查找时扫描表中每个文档中字的信息直到找出所有包含查询关键字的文档。

正排表结构如图1所示，这种组织方法在建立索引的时候结构比较简单，建立比较方便且易于维护;因为索引是基于文档建立的，若是有新的文档加入，直接为该文档建立一个新的索引块，挂接在原来索引文件的后面。若是有文档删除，则直接找到该文档号文档对应的索引信息，将其直接删除。但是在查询的时候需对所有的文档进行扫描以确保没有遗漏，这样就使得检索时间大大延长，检索效率低下。

尽管正排表的工作原理非常的简单，但是由于其检索效率太低，除非在特定情况下，否则实用性价值不大。

![Center][]

**倒排索引（反向索引）**

倒排表以字或词为关键字进行索引，表中关键字所对应的记录表项记录了出现这个字或词的所有文档，一个表项就是一个字表段，它记录该文档的ID和字符在该文档中出现的位置情况。

由于每个字或词对应的文档数量在动态变化，所以倒排表的建立和维护都较为复杂，但是在查询的时候由于可以一次得到查询关键字所对应的所有文档，所以效率高于正排表。在全文检索中，检索的快速响应是一个最为关键的性能，而索引建立由于在后台进行，尽管效率相对低一些，但不会影响整个搜索引擎的效率。  
倒排表的结构图如图2：

![Center 1][]

正排索引是从文档到关键字的映射（已知文档求关键字），倒排索引是从关键字到文档的映射（已知关键字求文档）。

### 三、搜索质量评估标准 ###

检索领域两个最基本指标是召回率(Recall Rate)和精确率(Precision Rate)，召回率也叫查全率，精确率也叫查准率。主要目的为了判断该文档是否与用户的搜索请求相关。

如检索“酒店”，系统中所有的酒店内容就是相关，而“美食”的内容就是不相关的，一般情况下，相关的内容就是理论上需要完全被检索到的内容，但是可能搜索结果会与目标产生偏差。这里我们所说的“目标”是找出数据库中所有相关的内容，但是可能由于算法等原因没有呈现在搜索结果中。

通过是否相关和是否被检索到两个维度的指标，我们可以将检索完成后的内容分为四类。如下图：

![aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8zMzc5NS1mYTY1MGU0MjdkMzRhZGViP2ltYWdlTW9ncjIvYXV0by1vcmllbnQvc3RyaXAlN0NpbWFnZVZpZXcyLzIvdy82NDAvZm9ybWF0L3dlYnA][]

**精确率：**搜索结果中有多少是正确的，所以计算公式的分子是结果中与目标相关的文档数（N），分母是所有的查询结果（N+M）。精确率是针对我们预测结果而言的，它表示的是预测为正的样本中有多少是真正的正样本。那么预测为正就有两种可能了，一种就是把正类预测为正类(TP)，另一种就是把负类预测为正类(FP)，也就是

![aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xMjQ5NTI3My1iNGUwNDM1MGYyYzZkYjUyLnBuZz9pbWFnZU1vZ3IyL2F1dG8tb3JpZW50L3N0cmlwJTdDaW1hZ2VWaWV3Mi8yL3cvMTUxL2Zvcm1hdC93ZWJw][]

**召回率：**搜索结果是否召回（覆盖）了系统中存在目标相关文档，所以计算公式的分子是结果中与目标相关的文档数（N），分母是所有与目标相关的文档（N+K）。召回率是针对我们原来的样本而言的，它表示的是样本中的正例有多少被预测正确了。那也有两种可能，一种是把原来的正类预测成正类(TP)，另一种就是把原来的正类预测为负类(FN)。

![aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy82NDA0Nzc4LTk0MTk1MzkyYzcyNTViNTkucG5nP2ltYWdlTW9ncjIvYXV0by1vcmllbnQvc3RyaXAlN0NpbWFnZVZpZXcyLzIvdy8xNDIvZm9ybWF0L3dlYnA][]

以上是作为学习ES过程对于搜索引擎的认知和总结，后面继续记录更新欢迎大家关注！！！

**如有披露或问题欢迎留言或者入群探讨**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDcwNzMz_size_16_color_FFFFFF_t_70][]

[Link 1]: https://baike.baidu.com/item/%E8%AE%A1%E7%AE%97%E6%9C%BA/140338
[Link 2]: https://baike.baidu.com/item/%E4%BA%92%E8%81%94%E7%BD%91/199186
[Center]: /images/20211109/3691a7f351a14bd28fa702e88717cc5a.png
[Center 1]: /images/20211109/22d273360e9d4b3a9dc68e5636d2c626.png
[aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8zMzc5NS1mYTY1MGU0MjdkMzRhZGViP2ltYWdlTW9ncjIvYXV0by1vcmllbnQvc3RyaXAlN0NpbWFnZVZpZXcyLzIvdy82NDAvZm9ybWF0L3dlYnA]: /images/20211109/dfe291109f93478795c6cd84eca3977a.png
[aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xMjQ5NTI3My1iNGUwNDM1MGYyYzZkYjUyLnBuZz9pbWFnZU1vZ3IyL2F1dG8tb3JpZW50L3N0cmlwJTdDaW1hZ2VWaWV3Mi8yL3cvMTUxL2Zvcm1hdC93ZWJw]: /images/20211109/85de89fc3fd24b4bbef9b4eafdc9bf8a.png
[aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy82NDA0Nzc4LTk0MTk1MzkyYzcyNTViNTkucG5nP2ltYWdlTW9ncjIvYXV0by1vcmllbnQvc3RyaXAlN0NpbWFnZVZpZXcyLzIvdy8xNDIvZm9ybWF0L3dlYnA]: /images/20211109/f247a9449a7a403faeb4255a2bf55a21.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDcwNzMz_size_16_color_FFFFFF_t_70]: /images/20211109/9ece36be503f45cfb60ab98105c9b62b.png