Solr基础理论【倒排索引，模糊查询】

浅浅的花香味﹌ 2024-04-20 09:42 63阅读 0赞

### 一.简介 ###

现有的许多不同类型 的技术系统，如关系型数据库、键值存储、操作磁盘文件的map-reduce【映射-规约】引擎、图数据库等，都是为了帮助用户解决颇具挑战性的数据存储与检索问题而设计的。而搜索引擎，尤其是Solr，致力于解决一类特定的问题：搜索大量非结构化的文本数据，并返回最相关的搜索结果。

### 二.文档 ###

Solr是一个文档存储与检索引擎。提交给solr处理的每一份数据都是一个文档。文档可以是一篇新闻报道、一份简历、社交用户信息，甚至是一本书。

每个文档包含一个或多个字段，每个字段被赋予具体的字段类型：字符串、标记化文本、布尔值、日期/时间、经纬度等。潜在的字段类型数量是无限的，因为一个字段类型是有若干个分析步骤组成的，这些步骤会决定数据如何在字段中被处理，以及如何映射到Solr索引中。每个字段在solr的schema文件中被指定特定的字段类型，并告知solr接收到此类内容的处理办法。

如下：

![1343081-20190828195331865-1302978918.png][]

要在solr上执行一个查询，可以在文档上搜索一个或多个字段，即使字段未包含在该文档中。solr将返回哪些包含了与查询匹配的字段内容的文档。值得注意的是，虽然solr为每个文档提供了一个灵活的schema文件，但灵活并不代表无模式。在solr的schema文件中，所有的字段必须被定义，所有的字段名称【包括动态字段命名模式】必须被指定类型。这并不意味着每个文档必须包含所有字段，仅当所有可能的字段出现在一个文档中需要处理时，才会被全部映射到特定字段类型中。当首次接收到包含新字段的文档时，solr会自动猜测未知的新字段类型。通过检查字段中的数据类型，自动将字段增加到solr的schema中。如果输入的数据难以理解，solr可能会对字段类型识别失败，因此，更好的做法是预先定义好字段类型。

### 三.倒排索引 ###

Solr使用Lucene倒排索引来驱动快速搜索功能，并且在查询时提供了许多其他附加功能。

原理：

![1343081-20190829141232850-1105236302.png][]

在传统数据库中，多个文档的表征是一个文档id对应一个或多个内容字段，这些字段包含文档中出现的单词/词项。倒排索引将这个模型颠倒过来，将语料库中的每个单词/词项与出现它们的文档对应起来。在插入倒排索引之前，原始输入的文本会根据空格进行拆分【英文分词，汉语分词使用分词器】，每个词项转换为小写，其它部分保持不变。值得注意的是，在实际中可能还需要很多其它的文本转化，不仅仅是这些简单的处理。在内容分析处理中词项可以被修改，添加或删除。

倒排索引的两个特点：

1.倒排索引中的所有词项对应一个或多个文档。

2.倒排索引中的词项根据字典顺序升序排列。

3.布尔逻辑

Solr默认配置为查询词之间是OR运算。OR运算符为二元运算符，solr还支持+【正，表示true】，-【负，表示false，取反】等一元运算符。

例如：id:'zhangsan' AND -name:'lisi'

4.实现逻辑

![1343081-20190901214342424-635225579.png][]

###  四.模糊查询 ###

既定查询在solr索引中能找到怎样的搜索结果，这并不是总能提前准确知晓，所以solr提供了几种模糊匹配查询功能。模糊匹配可以对索引中的词项进行并不那么准确的匹配。例如，有人想搜索特定的前缀开头的查询【通配符搜索】，有人下个搜索一个或两个字符的拼写变化【模糊搜索或编辑距离搜索】，有人想根据特定距离来匹配两个查询词【邻近搜索】。查询词与短语的多种变化存在于被搜索的文档中，这种情况正是模糊匹配的用武之地。

1.通配符搜索

由于能匹配到的词汇变化已经存在于solr的索引中，所以可以使用星号【\*】通配符实现相同的查询功能。星号通配符匹配查询词中0个或多个字符。若只匹配单个字符，可以使用问好【?】来实现。

备注：首位通配符，虽然solr的通配符功能相当强大，但特定的通配符查询执行可能花销巨大。当通配符搜索执行时，倒排索引中的所有词项与第一个通配符之前的查询词部分匹配。接下来，检查每个候选词项是否与查询中的通配符相匹配。正因为如此，在通配符之前指定越多的字符，查询执行速度越快。执行首位通配符查询是一项花销甚大的操作。例如，假设你需要匹配以ing结尾的所有词项，那么可能会导致严重的性能问题。这是可以做一些额外的配置，在字段类型的分析链中增加ReversedWildcardFilterFactory类。这个类表示在solr索引中两次插入被索引的内容，一次是每个词项的文本，另一个是每个文本的反向文本。带有\*ing首位通配符的查询提交后，solr会搜索反向版本【\*ing也会转为gni\*】，将首位通配符搜索转为标准通配符搜索，这会在反向内容中导致性能问题。在Solr中对所有词项开启双索引，会增加索引的大小且拖慢整体搜索效率。除非必须，否则不建议开启这个功能。

2.区间搜索

solr还提供了在已知区间值中进行搜索的功能，适用于在一个区间内搜索特定文档子集。例如，year:\[18 TO 20\]，匹配：18,19,20，区间查询使用方括号，这是包含边界值的语法。另外，solr还支持使用大括号实现不包含边界值的搜索。；例如：year:\[18,20\}，匹配：18,19。

3.模糊/编辑距离搜索

对于多数搜索应用而言，精确匹配用户输入的文本，灵活处理拼写错误，甚至对正确拼写做出细微修正都是非常重要的。solr基于Damerau-Levenshtein距离的编辑距离度量方法提供了字符变体的处理手段，可以有效解决80%以上的人为拼写错误。solr使用~符号表示模糊编辑距离搜索。例如：adm~。这个查询匹配到原始词项【admin】及与之相距两个编辑距离的其它词项【adman,admni等】。编辑距离被定义为字符的一次插入、删除、替换或位置互换。另外可以修改编辑距离的大小，让搜索可以匹配任意编辑距离的词项。例如：adm~1匹配1个以内的编辑距离。adm~2匹配两个以内的编辑距离【默认值】。请注意，两个以上的编辑距离会使搜索速度大幅下降，也可能匹配出意外的词项。一个或两个编辑距离的搜索使用有效的Levenshtein自动机方法执行，但超过两个编辑距离的查询就会退回更慢的编辑距离实现方法。

4.邻近搜索

与编辑距离搜索类似，邻近搜索可以搜索词与词之间间隔多少词来进行搜索。例如：chief officer ~1匹配两词之间最多间隔一个词这种情况。注意，邻近搜索并不适用于真实的编辑距离，换位可能只算是一次编辑操作。

转载于:https://www.cnblogs.com/yszd/p/11426305.html

[1343081-20190828195331865-1302978918.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/e844535517d744a496a1dd943e62c3f0.png
[1343081-20190829141232850-1105236302.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/d826b9f8bdd84c90b430a463a51bd923.png
[1343081-20190901214342424-635225579.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/cf45c83cd2c64576a6e82c306d62d987.png