网站全文检索--Solr

╰半夏微凉° 2022-06-16 02:56 193阅读 0赞

做CMS管理系统时，配置好模版(jetbrick-template)，调用数据库取数据，一个页面上配置了多个数据源，会多次请求数据库，数据库连接一下子耗完，程序报错，这还是在本地开发环境，尝试设置增加数据库连接池大小后，刷新模版页面，出现数据库链接超时的机会减少了。但这不是解决此问题的根本办法。还有一个场景网站搜索时（全文检索），如果去查询数据库，当表中内容过大时会搜索延迟、无法响应等问题。

使用Solr,它会把内容缓存起来， Solr是一个高性能，采用Java5开发，基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。

OK，进入正题，当我系统启动时，会把要缓存的内容加载到 Solr 中，新增内容时，把内容加载到solr，修改内容时删除再新增。配置好网站模版，用户访问网站时，模版引擎访问的是 Solr中的内容，这样减少了数据库请求，加快了网站响应速度。

以上是理论，下面给出网站代码和 Solr的安装（windows + java jdk1.7以上）：

1.下载Solr并安装，我下载的是 solr-5.5.4 ，百度云下载链接：[http://pan.baidu.com/s/1c2Ccp3q][http_pan.baidu.com_s_1c2Ccp3q] 密码：wrx6

2.解压solr-5.5.4到任意目录，我的放在D盘根目录，然后使用 win+r 键打开 dos 窗口，cd 到 solr目录，输入 1. 启动：bin\\solr.cmd start  2. 停止：bin\\solr.cmd stop 或bin\\solr.cmd stop -all  3. 查看：bin\\solr.cmd status，看下面截图 ，然后访问：http://localhost:8983/solr/index.html

![Center][]

![Center 1][]

3.Solr需要新增实例，类似于新增一个数据库，数据放到这个数据库中，可以新增多个实例。在solr-5.5.4目录的server\\solr 目录下新建一个文件夹，名称为实例名，在该目录复制 jcg 文件夹中的 confiig和data文件夹内容到自己新建的目录中，然后在 http://localhost:8983/solr/index.html  网站后台的 Core Admin 中新增实例，实例的名称和刚刚新建的实例文件夹名称一样。类似如---新建了数据库，那么再建一个表，存放具体的数据，在Solr中，是以XML文件的方式配置的，schema.xml，看不明白文字的看下面图片。我在网站新建了一个  xjxqzwfw 的实例 和 实例文件夹，把 jcg文件中的内容全部复制到 xjxqzwfw 目录。然后修改 conf 中的 schema.xml 配置文件（类似于修改表的字段，修改成自己系统的字段，查看 filed属性，这个设置可以自行百度）

![Center 2][]

![Center 3][]

我把该配置文件中的与我系统无关的  filed  字段 删除掉了，改成自己需要的

![Center 4][]

现在所有的服务配置就此完成，可以在网站后台去新增数据，查询数据，删除数据，这些操作可自行百度，我直接贴代码：

在我项目中新建一个java类，

package com.bus.util;
 
 import java.util.ArrayList;
 import java.util.Date;
 import java.util.List;
 import java.util.Map;
 import java.util.Map.Entry;
 
 import org.apache.solr.client.solrj.SolrQuery;
 import org.apache.solr.client.solrj.SolrQuery.ORDER;
 import org.apache.solr.client.solrj.impl.HttpSolrClient;
 import org.apache.solr.client.solrj.response.QueryResponse;
 import org.apache.solr.common.SolrDocument;
 import org.apache.solr.common.SolrInputDocument;
 
 import com.cms.db.entity.CmsContentDto;
 import com.sys.base.SpringContext;
 import com.sys.util.common.DateTools;
 
 public class SolrUtil {
 	
 	/**
 	 * solr http服务地址
 	 * 如：http://192.168.20.117:8983/solr
 	 */
 	private static String solr_url = "http://192.168.20.117:8983/solr";
 	/**
 	 * solr的core 实例
 	 * 如：xjxqzwfw
 	 */
 	private static String solr_core = "xjxqzwfw";
 	
 	//测试
 	public static void main(String[] args) throws Exception {
 		List<CmsContentDto> contentDtos = new ArrayList<CmsContentDto>();
 		CmsContentDto c1 = new CmsContentDto("01d291d75e7f4a94890a28fe67832d90","CHANNELI_1705011127060000","湖南湘江新区管委会召开首届职工代表大会3","","湖南湘江新区管委会召开首届职工代表大会3",new Date(),1L,"3503e9bf-7fba-395d-7096-ac104a189570",new Date(),"");
 		CmsContentDto c2 = new CmsContentDto("1a2c139fd3e54688bac3bb58fa2b6188","CHANNELI_1705011127060000","湖南湘江新区管委会召开首届职工代表大会2","","湖南湘江新区管委会召开首届职工代表大会2",new Date(),1L,"59b5017eadbf4d44bff8184b2c7c3c20",new Date(),"");
 		CmsContentDto c3 = new CmsContentDto("6867119e6d68489a95d6d9b0b6ff472e","CHANNELI_1705011127060000","湖南湘江新区管委会召开首届职工代表大会1","","湖南湘江新区管委会召开首届职工代表大会1",new Date(),1L,"8eda2823-70c8-dca5-2598-569df8852c2b",new Date(),"");
 		contentDtos.add(c1);
 		contentDtos.add(c2);
 		contentDtos.add(c3);
 		addDocumentByBeans(contentDtos); //把数据加载到 Solr中
 		
 		getListDocument(solr_core,"channelId:CHANNELI_1705011127060000",0,10); //查询数据，得到的结果可以打印到控制台
 		//删除所有数据
 		//HttpSolrClient solrClient = new HttpSolrClient("http://192.168.20.117:8983/solr/xjxqzwfw");
 	 //solrClient.deleteByQuery("*:*");
 	 //commitAndCloseSolr(solrClient);
 	}
 	
 	/**
 * 获取solr服务
 * @return
 */
 private static HttpSolrClient getSolrClient() {
 HttpSolrClient hsc = new HttpSolrClient(solr_url +"/"+ solr_core);
 return hsc;
 }
 
 /**
 * 添加文档
 * @param map
 * @param core
 * @throws Exception
 */
 public static void addDocumentByMap(Map<String, String> map) throws Exception {
 SolrInputDocument sid = new SolrInputDocument();
 for (Entry<String, String> entry : map.entrySet()) {
 sid.addField(entry.getKey(), entry.getValue());
 }
 HttpSolrClient solrClient = getSolrClient();
 solrClient.add(sid);
 commitAndCloseSolr(solrClient);
 }
 
 /**
 * 添加文档，通过bean方式
 * @param persons
 * @param core
 * @throws Exception
 */
 public static void addDocumentByBean(CmsContentDto content) throws Exception {
 HttpSolrClient solrClient = getSolrClient();
 solrClient.addBean(content);
 commitAndCloseSolr(solrClient);
 }
 
 /**
 * 添加文档，通过bean方式
 * @param persons
 * @param core
 * @throws Exception
 */
 public static void addDocumentByBeans(List<CmsContentDto> contents) throws Exception {
 HttpSolrClient solrClient = getSolrClient();
 solrClient.addBeans(contents);
 commitAndCloseSolr(solrClient);
 }
 
 /**
 * 根据id删除索引
 * @param ids
 * @param core
 * @throws Exception
 */
 public static void deleteDocumentById(String id) throws Exception {
 HttpSolrClient solrClient = getSolrClient();
 solrClient.deleteById(id);
 commitAndCloseSolr(solrClient);
 }
 
 /**
 * 根据ids集合删除索引
 * @param ids
 * @param core
 * @throws Exception
 */
 public static void deleteDocumentByIds(List<String> ids) throws Exception {
 HttpSolrClient solrClient = getSolrClient();
 solrClient.deleteById(ids);
 commitAndCloseSolr(solrClient);
 }
 
 /**
 * 根据条件删除
 * @param query id:1
 * @throws Exception
 */
 public static void deleteDocumentByQuery(String query)throws Exception{
 	HttpSolrClient solrClient = getSolrClient();
 	solrClient.deleteByQuery(query);
 	commitAndCloseSolr(solrClient);
 }
 
 /**
 * 删除所有索引
 * @throws Exception
 */
 public static void delteteDocumentAll() throws Exception{
 	HttpSolrClient solrClient = getSolrClient();
 	solrClient.deleteByQuery("*:*");
 	commitAndCloseSolr(solrClient);
 }
 
 /**
 * 根据id获取内容
 * @param id
 * @return
 * @throws Exception
 */
 public static CmsContentDto getDocumentById(String id) throws Exception{
 	CmsContentDto contentDto = null;
 	HttpSolrClient solrClient = getSolrClient();
 	SolrDocument doc = solrClient.getById(id);
 	if(doc != null && !doc.get("id").equals("")){
 		contentDto = new CmsContentDto();
 		contentDto.setId(doc.get("id").toString());
 		contentDto.setChannelId(doc.get("channelId").toString());
 		contentDto.setTitle(doc.get("title").toString());
 		contentDto.setContent(doc.get("content").toString());
 		contentDto.setPublishTime(DateTools.strToDate(doc.get("publishTime").toString(), "yyyy-MM-dd HH:mm:ss"));
 		contentDto.setIsPublish(1L);
 		contentDto.setAttachmentPath(doc.get("attachmentPath").toString());
 		contentDto.setAttachPath(doc.get("attachPath").toString());
 		contentDto.setCreateDate(DateTools.strToDate(doc.get("createDate").toString(), "yyyy-MM-dd HH:mm:ss"));
 	}
 	commitAndCloseSolr(solrClient);
 	return contentDto;
 }
 
 /**
 * 查询文档内容集合
 * @param core 实例名
 * @param channelId 查询条件 (查询所有：*:* )(查询channelId下的文章：channelId:CHANNELI_1705011127060000)
 * @param filterQuery 其他过滤条件 （如：title:test1）
 * @param start 开始位置，0
 * @param rows 查询多少条，10
 * @param sortName 排序字段，默认：publishTime
 * @param order 升序降序，默认降序：SolrQuery.ORDER.desc
 * @throws Exception
 */
 public static List<CmsContentDto> getListDocument(String channelId ,String filterQuery,Integer start, Integer rows , String sortName , ORDER order) throws Exception {
 HttpSolrClient solrClient = getSolrClient();
 SolrQuery sq = new SolrQuery();
 
 // q查询
 sq.set("q", "channelId:" + channelId);
 // filter查询
 if(filterQuery != null && !filterQuery.equals("")){
 	sq.addFilterQuery(filterQuery);
 }
 // 排序
 if(sortName != null && !sortName.equals("")){
 	sq.setSort(sortName, order);
 }else{
 	sq.setSort("publishTime", SolrQuery.ORDER.desc);
 }
 // 分页 从第0条开始取，取一条
 sq.setStart(start);
 sq.setRows(rows);
 
 // 设置高亮
 //sq.setHighlight(true);
 // 设置高亮的字段
 //sq.addHighlightField("name");
 // 设置高亮的样式
 //sq.setHighlightSimplePre("");
 //sq.setHighlightSimplePost("");
 
 QueryResponse result = solrClient.query(sq);
 
 // 这里可以从result获得查询数据(两种方式如下)
 // 1.获取document数据
 //System.out.println("1.获取document数据-------------------------");
 //SolrDocumentList results = result.getResults();
 // 获取查询的条数
 //System.out.println("一共查询到" + results.getNumFound() + "条记录");
 /*for (SolrDocument solrDocument : results) {
 System.out.println("id:" + solrDocument.get("id"));
 System.out.println("name:" + solrDocument.get("name"));
 System.out.println("age:" + solrDocument.get("age"));
 System.out.println("addr:" + solrDocument.get("addr"));
 }*/
 
 // 2.获取对象信息,需要传入对应对象的类class
 List<CmsContentDto> contents = result.getBeans(CmsContentDto.class);
 commitAndCloseSolr(solrClient);
 return contents;
 }
 
 /**
 * 提交以及关闭服务
 * @param solrClient
 * @throws Exception
 */
 private static void commitAndCloseSolr(HttpSolrClient solrClient)
 throws Exception {
 solrClient.commit();
 solrClient.close();
 }
 }

需要的jar包，百度云链接： [http://pan.baidu.com/s/1bX4MAi][http_pan.baidu.com_s_1bX4MAi]  密码：uxat

部署在windows server服务器上，写一个bat的文件，把命令写入到bat中，再创建一个快捷方式，把快捷方式拖入到windows启动中，它会跟随服务器启动时自动启动，  
bat文件中的命令：  
D:  
cd D:\\solr-5.5.4  
bin\\solr.cmd start  
我通过以上命令，在cmd窗口中启动solr，但是服务器重启后就不会再运行了，那么需要一个跟随服务器自动启动的命令

[http_pan.baidu.com_s_1c2Ccp3q]: http://pan.baidu.com/s/1c2Ccp3q
[Center]: /images/20220616/c5fcf8777b2e46deb66a3435d3f3401d.png
[Center 1]: /images/20220616/5d491ab2d1a84f329c9c901e7898a857.png
[Center 2]: /images/20220616/30b52639e07d4a45be4ba78c824c5144.png
[Center 3]: /images/20220616/c5cd1f63e420449ba0060083001baf6f.png
[Center 4]: /images/20220616/d3ee3ecb84024e6392b409f4dd2b2726.png
[http_pan.baidu.com_s_1bX4MAi]: http://pan.baidu.com/s/1bX4MAi