solr实践

川长思鸟来 2022-06-18 06:53 150阅读 0赞

在项目是使用solr已经有一段时间了，今天腾出时间来总结下。  
版本：solr5.5

提纲：  
垂直搜索的特点  
Lucene的简单介绍  
solr和Elasticsearch的区别  
完整的solr介绍、使用、实践

正文：  
垂直搜索是针对某一个行业的专业搜索引擎,是搜索引擎的细分和延伸,是对网页库中的某类专门的信息进行一次整合,定向分字段抽取出需要的数据进行处理后再以某种形式返回给用户.相对通用搜索引擎的信息量大、查询不准确、深度不够等提出来的新的搜索引擎服务模式,通过针对某一特定领域、某一特定人群或某一特定需求提供的有一定价值的信息和相关服务.  
其特点就是“专、精、深”,且具有行业色彩,相比较通用搜索引擎的海量信息无序化,垂直搜索引擎则显得更加专注、具体和深入.  
Lucene是apache软件基金会 jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）

![Lucene和外部应用交互][Lucene]

倒排索引：  
首先我们来看为什么顺序扫描的速度慢：  
其实是由于我们想要搜索的信息和非结构化数据中所存储的信息不一致造成的。  
非结构化数据中所存储的信息是每个文件包含哪些字符串，也即已知文件，欲求字符串相对容易，也即是从文件到字符串的映射。而我们想搜索的信息是哪些文件包含此字符串，也即已知字符串，欲求文件，也即从字符串到文件的映射。两者恰恰相反。于是如果索引总能够保存从字符串到文件的映射，则会大大提高搜索速度。  
由于从字符串到文件的映射是文件到字符串映射的反向过程，于是保存这种信息的索引称为反向索引

![倒排表][SouthEast]

![创建索引的流程][SouthEast 1]

![查询流程][SouthEast 2]

Solr还是Elasticsearch？  
![这里写图片描述][SouthEast 3]

solr实践：

1.  选型 MultiCore 还是 SolrCloud？
2.  Dump数据源（支持mysql，json，xml）
3.  分词-过滤器（demo:TN\_Filter）
4.  查询
5.  排序
6.  高可用部署

成功实践：  
1、美团搜索框  
2、美团查找附近的商家查询：  
[http://tech.meituan.com/solr-spatial-search.html][http_tech.meituan.com_solr-spatial-search.html]  
3、途牛汽车票地点查询

参考资料：  
[http://www.importnew.com/12607.html][http_www.importnew.com_12607.html]  
[http://www.importnew.com/12918.html][http_www.importnew.com_12918.html]  
[http://www.cnblogs.com/hoojo/archive/2011/10/21/2220431.html][http_www.cnblogs.com_hoojo_archive_2011_10_21_2220431.html]  
[http://www.wjxfpf.com/2015/10/500845.html][http_www.wjxfpf.com_2015_10_500845.html]  
[http://www.importnew.com/12770.html][http_www.importnew.com_12770.html]  
[http://blog.csdn.net/jcncsdn/article/details/51105612][http_blog.csdn.net_jcncsdn_article_details_51105612]  
[http://www.doc88.com/p-1157698028976.html][http_www.doc88.com_p-1157698028976.html]  
[http://mxdxm.iteye.com/blog/2191342][http_mxdxm.iteye.com_blog_2191342]  
[http://my.oschina.net/lsf930709/blog/620738?fromerr=dcbeAgwX][http_my.oschina.net_lsf930709_blog_620738_fromerr_dcbeAgwX]  
[http://wenku.baidu.com/view/8a55776071fe910ef02df825.html][http_wenku.baidu.com_view_8a55776071fe910ef02df825.html]  
[http://wenku.baidu.com/link?url=C2Yaw5Fv0lwa6wFc4DWd7EBY5y6fetPQ9gVEErDI-DoP\_IHnDvRGKhirgsgRLeaXKodkRy687HfsZXJ\_PFh5lu2y8b8uFUZbIksF1dIPlr3][http_wenku.baidu.com_link_url_C2Yaw5Fv0lwa6wFc4DWd7EBY5y6fetPQ9gVEErDI-DoP_IHnDvRGKhirgsgRLeaXKodkRy687HfsZXJ_PFh5lu2y8b8uFUZbIksF1dIPlr3]  
[http://blog.csdn.net/h185947768/article/details/48415501][http_blog.csdn.net_h185947768_article_details_48415501]  
[http://blog.csdn.net/ckh8913/article/details/7313522][http_blog.csdn.net_ckh8913_article_details_7313522]  
[http://haiziwoainixx.iteye.com/blog/2095473][http_haiziwoainixx.iteye.com_blog_2095473]  
[http://blog.csdn.net/vintage\_1/article/details/50836843][http_blog.csdn.net_vintage_1_article_details_50836843]  
Overlapping\_onDeckSearchers.3DX.22\_mean\_in\_my\_logs.3F”>http://wiki.apache.org/solr/FAQ\#What\_does.22PERFORMANCE\_WARNING:\_Overlapping\_onDeckSearchers.3DX.22\_mean\_in\_my\_logs.3F  
[http://tech.meituan.com/][http_tech.meituan.com]  
[http://blog.csdn.net/forfuture1978/article/details/4711308][http_blog.csdn.net_forfuture1978_article_details_4711308]  
[http://blog.csdn.net/matthewei6/article/details/50610841][http_blog.csdn.net_matthewei6_article_details_50610841]  
[http://www.importnew.com/19418.html][http_www.importnew.com_19418.html]  
[https://www.52ml.net/15536.html][https_www.52ml.net_15536.html]

[Lucene]: /images/20220618/79dc6d7d1ebc4b56a3d15ec84863fe00.png
[SouthEast]: /images/20220618/dce7d619b3ab4c45bc03503d62e0f39d.png
[SouthEast 1]: /images/20220618/f63715c564d240889c569ce5b514db87.png
[SouthEast 2]: /images/20220618/70b1a3ffdc8342979a472818eefd1291.png
[SouthEast 3]: /images/20220618/37a775d7d36c4bafba55c0e8fbcc7293.png
[http_tech.meituan.com_solr-spatial-search.html]: http://tech.meituan.com/solr-spatial-search.html
[http_www.importnew.com_12607.html]: http://www.importnew.com/12607.html
[http_www.importnew.com_12918.html]: http://www.importnew.com/12918.html
[http_www.cnblogs.com_hoojo_archive_2011_10_21_2220431.html]: http://www.cnblogs.com/hoojo/archive/2011/10/21/2220431.html
[http_www.wjxfpf.com_2015_10_500845.html]: http://www.wjxfpf.com/2015/10/500845.html
[http_www.importnew.com_12770.html]: http://www.importnew.com/12770.html
[http_blog.csdn.net_jcncsdn_article_details_51105612]: http://blog.csdn.net/jcncsdn/article/details/51105612
[http_www.doc88.com_p-1157698028976.html]: http://www.doc88.com/p-1157698028976.html
[http_mxdxm.iteye.com_blog_2191342]: http://mxdxm.iteye.com/blog/2191342
[http_my.oschina.net_lsf930709_blog_620738_fromerr_dcbeAgwX]: http://my.oschina.net/lsf930709/blog/620738?fromerr=dcbeAgwX
[http_wenku.baidu.com_view_8a55776071fe910ef02df825.html]: http://wenku.baidu.com/view/8a55776071fe910ef02df825.html
[http_wenku.baidu.com_link_url_C2Yaw5Fv0lwa6wFc4DWd7EBY5y6fetPQ9gVEErDI-DoP_IHnDvRGKhirgsgRLeaXKodkRy687HfsZXJ_PFh5lu2y8b8uFUZbIksF1dIPlr3]: http://wenku.baidu.com/link?url=C2Yaw5Fv0lwa6wFc4DWd7EBY5y6fetPQ9gVEErDI-DoP_IHnDvRGKhirgsgRLeaXKodkRy687HfsZXJ_PFh5lu2y8b8uFUZbIksF1dIPlr3
[http_blog.csdn.net_h185947768_article_details_48415501]: http://blog.csdn.net/h185947768/article/details/48415501
[http_blog.csdn.net_ckh8913_article_details_7313522]: http://blog.csdn.net/ckh8913/article/details/7313522
[http_haiziwoainixx.iteye.com_blog_2095473]: http://haiziwoainixx.iteye.com/blog/2095473
[http_blog.csdn.net_vintage_1_article_details_50836843]: http://blog.csdn.net/vintage_1/article/details/50836843
[http_tech.meituan.com]: http://tech.meituan.com/
[http_blog.csdn.net_forfuture1978_article_details_4711308]: http://blog.csdn.net/forfuture1978/article/details/4711308
[http_blog.csdn.net_matthewei6_article_details_50610841]: http://blog.csdn.net/matthewei6/article/details/50610841
[http_www.importnew.com_19418.html]: http://www.importnew.com/19418.html
[https_www.52ml.net_15536.html]: https://www.52ml.net/15536.html