Solr/Lucene打分算法
摘要： 检索模型也就是文档和查询词的相关度的评分方法。Lucene使用布尔模型来确定哪些文档匹配上查询词，使用向量空间模型（VSM）来对这些文档评分。
核心
评分算法中的向量空间模型使用Tf-idf计算权重，对给定的词t和文档x，Tf(t,x)的值和词t在x中出现的次数正相关，而idf(t)的值和索引文档集合中包含词t的次数负相关。
相关名词
- tf/词频 度量一个文档里词出现的频率
- idf/逆向文件频率 度量一个词出现在索引中的频率
- coord 文档中发现的查询词的频率
- lengthNorm 根据索引列中的词总数来衡量一个词的重要度
- queryNorm 归一化的参数便于比较查询
- boost(index) 索引时的域的加权
- boost(query) 查询时的域的加权
tf
函数： sqrt(freq)
意义： 一个词在文档里出现的频率越高，则该文档的分值越高
说明： 多次包含同一个词的文档的相关度更高
idf
函数： log(numDocs(docFreq+1) +1
意义： 一个词越多出现在不同的文档里，则它的分值越低
说明： 常见词的重要性要低于不常见的词
coord
函数： overlap/maxOverlap
意义： 对于查询中的词，文档中包含这些词越多分值越高
说明： 分值高的文档要更多地覆盖查询中的词
lengthNorm
函数： 1/sqrt(numTerms)
意义： 如果匹配上包含较少词的索引列中的词，则这个文档有较高的权重
说明： 如果一个词在含有少量词的列中，则它比在包含较多词的列中的词更重要
queryNorm
函数： 1/sqrt(sumOfSquaredWeights)
意义： 和文档的相关性无关，只是为了让不同的查询之间的分值有可比性
总结
打分算法为了达到如下效果：
- 包含所有搜索词的文档是好的
- 匹配很少出现的词比常用词更好
- 长文档不如短文档好
- 多次提及搜索词的文档更好
从正常逻辑看，基本符合预期，但是对长文档的打低分有点奇怪。于是，Lucene允许你定义min/max，指定你认为的文档长度应该是什么范围，在这个区间，lengthNorm都是1.0，低于最小值或高于最大值，lengthNorm会以几何形式下降。
逃离我推掉我的手
怼烎@
我就是我
爱被打了一巴掌
还没有评论，来说两句吧...