Lucene4.3开发之第八步之渡劫初期(八)

末蓝、 2022-04-14 06:14 127阅读 0赞

\[b\]\[color=red\]\[size=x-large\]转载请注明，原创地址，谢谢配合!  
\[url\]http://qindongliang1922.iteye.com/blog/1953409\[/url\]  
\[/size\]\[/color\]\[/b\]  
  
\[b\]\[color=green\]\[size=x-large\]高亮功能一直都是全文检索的一项非常优秀的模块，在一个标准的搜索引擎中，高亮的返回命中结果，几乎是必不可少的一项需求，因为通过高亮，我们可以在我们的搜索界面上快速标记出用户的检索关键词，从而减少了用户自己寻找想要的结果，在一定程度上大大提高了用户的体验性和友好度。\[/size\]\[/color\]\[/b\]  
  
\[b\]\[color=olive\]\[size=x-large\]那么，散仙今天就来看下我们在Lucene中，怎么实现高亮，以及高亮的几种实现方式。  
首先散仙还是喜欢老生常谈的来补充下高亮需要的熟悉的基本知识，当然如果你只是需要实现效果，而不关注它的底层API，那么可以忽略此部分，不过散仙还是要友好的提示一下，如果使用过程中出了点小问题，不会API，可是不容易解决的，除非你愿意各种google。\[/size\]\[/color\]\[/b\]  
  
\[b\]\[color=olive\]\[size=x-large\]要使用高亮，首先就得从索引时开始，因为需要高亮的字段，需要准确的获取位置信息，以及一些偏移量，如果信息不准确，那么可能在结果中，就会出现一些莫名其妙的错位，反映到网页上就是标注了不该标注的字，没有标注该标的内容，所以这一点还是需要注意一下，在索引的时候，我们需要使用项向量记录各个token的位置信息，这很简单，代码如下:\[/size\]\[/color\]\[/b\]

FieldType type=new FieldType(TextField.TYPE_STORED); 
    		 type.setStoreTermVectorOffsets(true);//记录相对增量
    		 type.setStoreTermVectorPositions(true);//记录位置信息
    		 type.setStoreTermVectors(true);//存储向量信息
    		 type.freeze();//阻止改动信息
    		 Field field=new Field("字段名", "值", type);//示例

id:1      name:  中国是一个伟大的国家,我们中国人都是好样的哈哈，中国永远是强大的   content:  你好人民
    id:2      name:  我们有一个家它的名字是中国   content:  中国的大地，富饶
    id:3      name:  我们的中国，我们的大地都是人民的希望的   content:  如果不在片段中生成一些字段的话
    id:4      name:  2014年此时此刻你在做什么的啊   content:  哈哈锄禾日当午
    id:5      name:  当你孤单时你会想起谁，你想不想找个人来陪   content:  我永远不孤单啊

\[b\]\[color=brown\]\[size=x-large\]1，测试普通高亮的核心代码：\[/size\]  
\[/color\]\[/b\]

String filed="name";
 		QueryParser query=new QueryParser(Version.LUCENE_44, filed, new IKAnalyzer(false));
 
 		Query q=query.parse("伟大的中国");//测试字段
 		TopDocs top=searcher.search(q, 100);
 		QueryScorer score=new QueryScorer(q, filed);//传入评分
 		SimpleHTMLFormatter fors=new SimpleHTMLFormatter("", "");//定制高亮标签
 
 		Highlighter highlighter=new Highlighter(fors,score);//高亮分析器
 		// highlighter.setMaxDocCharsToAnalyze(1);//设置高亮处理的字符个数
 		for(ScoreDoc sd:top.scoreDocs){
 
 			Document doc=searcher.doc(sd.doc);
 			String name=doc.get(filed);
 			TokenStream token=TokenSources.getAnyTokenStream(searcher.getIndexReader(), sd.doc, filed, new IKAnalyzer(true));//获取tokenstream
 			Fragmenter fragment=new SimpleSpanFragmenter(score);
 			highlighter.setTextFragmenter(fragment);
 			String str=highlighter.getBestFragment(token, name);//获取高亮的片段，可以对其数量进行限制
 
 			 System.out.println("高亮的片段 =====>"+str);
 		}

\[b\]\[color=green\]\[size=x-large\]输出结果如下\[/size\]\[/color\]\[/b\]

高亮的片段 =====>中国是一个伟大的国家,我们中国人都是好样的哈哈，中国永远是强大的
 高亮的片段 =====>我们的中国，我们的大地都是人民的希望的
 高亮的片段 =====>我们有一个家它的名字是中国

\[b\]\[color=olive\]\[size=x-large\]2,快速高亮，FastVectorHighlighter，这个类可能会消耗更多的存储空间，来换取更好的性能，当然除了性能上提升外，它还有一个非常炫的功能，支持多种颜色标记，高亮关键字，除此之外还支持Ngram的域，以及智能合并相邻高亮短语.  
我们来看下散仙快速高亮的3条测试数据：  
\[/size\]\[/color\]\[/b\]

id:2      name:  中国（China），位于东亚，是一个以华夏文明为主体、中华文化为基础，以汉族为主要种族的统一多民族国家，通用汉语。中国疆域内的各个民族统称为中华民族，龙是中华民族的象征。   content:  中国是世界四大文明古国之一，有着悠久的历史，距今约5000年前，以中原地区为中心开始出现聚落组织进而成国家和朝代，后历经多次演变和朝代更迭，持续时间较长的朝代有夏、商、周、汉、晋、唐、宋、元、明、清等
    id:1      name:  中国的自古以来就是一个非常伟大的民族   content:  中国是一个世界人口大国，拥有13亿多的人口.
    id:3      name:  没有根的野草，飘忽的命运   content:  谁像你当我宝，什么也做到，旧爱数足一块布，在这一刻写句号，只想跟你终老.

\[b\]\[color=green\]\[size=x-large\]核心代码如下：\[/size\]\[/color\]\[/b\]

Query q=query.parse("伟大的中华民族");
 		TopDocs top=searcher.search(q, 100);
 		//QueryScorer score=new QueryScorer(q, filed);
 		//SimpleHTMLFormatter fors=new SimpleHTMLFormatter("", "");//定制高亮标签
 		//Highlighter highlighter=new Highlighter(fors,score);//高亮分析器
 		//FastVectorHighlighter fastHighlighter=new FastVectorHighlighter();
 		FragListBuilder fragListBuilder=new SimpleFragListBuilder();
 	 //注意下面的构造函数里，使用的是颜色数组，用来支持多种颜色高亮
 		FragmentsBuilder fragmentsBuilder= new ScoreOrderFragmentsBuilder(BaseFragmentsBuilder.COLORED_PRE_TAGS,BaseFragmentsBuilder.COLORED_POST_TAGS);
 
 
 	 FastVectorHighlighter fastHighlighter2=new FastVectorHighlighter(true, true, fragListBuilder, fragmentsBuilder);
 		FieldQuery querys=fastHighlighter2.getFieldQuery(q);//reader是传入的流
 
 		// highlighter.setMaxDocCharsToAnalyze(1);//设置高亮处理的字符个数
 		for(ScoreDoc sd:top.scoreDocs){
 
 
 			String snippt=fastHighlighter2.getBestFragment(querys, reader, sd.doc,filed,300);
 
 			 if(snippt!=null){
 
 				 System.out.println("高亮的片段是:"+snippt);
 			 }
 
 
 		}

\[b\]\[color=green\]\[size=x-large\]结果如下，注意有多种颜色标识：\[/size\]\[/color\]\[/b\]

高亮的片段是:中国的自古以来就是一个非常伟大的民族
 高亮的片段是:中国（China），位于东亚，是一个以华夏文明为主体、中华文化为基础，以汉族为主要种族的统一多民族国家，通用汉语。中国疆域内的各个民族统称为中华民族，龙是中华民族的象征。
 高亮的片段是:没有根的野草，飘忽的命运

\[b\]\[color=green\]\[size=x-large\]3.下面散仙来着重说一下，高亮的第三种方式，前台高亮，散仙在上文曾提过，基于高亮的字段，必须的存储，否则无法实现高亮标注，当然这种说法，只是对于后台高亮而言的，那么对于大文本情况下，存储到索引里是非常浪费空间的，而且还有可能会影响到检索速度，所以就提出了，第三种方式。  
  
在前台进行高亮，然后大文本字段，可以存储在外部其他的数据源里面，需要标记时，可以直接根据ID，或者某个字段，读取数据然后通过JS正则在前端替换检索的关键词即可，在这之前需要做的一步就是，使用ajax把检索的关键词，传入后台进行分词，然后将结果返回前台，进行对分词后的数据，进行匹配替换，再加上颜色标记，就可以在前台实现高亮了，这也是前台高亮的实现原理，这种做法，在某些业务场景下，可以大大减少服务器压力，通过客户端减压，以及不用再存储一些向量信息，从而对系统的性能的提高，也是有很大帮助的。  
  
下面散仙给出一个前台高亮的截图，注意用的是快速高亮的索引。  
\[/size\]\[/color\]\[/b\]  
  
\[img\]http://dl2.iteye.com/upload/attachment/0089/9502/048a09f6-5d54-3e5f-ada1-ee92548c6746.jpg\[/img\]  
  
\[b\]\[color=olive\]\[size=x-large\]散仙附上，前台高亮的核心代码\[/size\]\[/color\]\[/b\]

$.ajax({
 
 				type :"post",
 				url: "getContent",
 				data:"str="+str,
 				dataType:"json",
 				async:false,
 				success:function(msg){
 
 				// alert(msg);
 				 $("#div").empty();
 					 $.each(msg, function(i, n) {
 
 						 var temp=""; 
 				 for(var i=0;i<shu.length;i++){
 
 	 if(shu[i]!=""){
 
 	 n.name=n.name.replace(new RegExp(shu[i],'g'), ""+shu[i]+"");
 
 	 }
 	 }
 						 $("#div").append("[*]"+n.name+"
 ");
 						 $("#div").append("[*]===============================
 ")
 				 	});
 
 				}
 			});

\[b\]\[color=green\]\[size=x-large\]至此，有关Lucene的高亮部分的内容，散仙就总结到这里了，如果有什么不足之处，欢迎各位道友指出。大部分场景下，使用普通高亮就可以完成了，当然无论使用那种方式，只要能满足我们的业务就好了，很简单的道理，会抓住老鼠的猫，就是好猫。  
  
  
感谢耐下心读到此处的朋友^\_^， Lucene交流群：324714439  
  
\[/size\]\[/color\]\[/b\]  
  
\[b\]\[color=red\]\[size=x-large\]转载请注明，原创地址，谢谢配合!  
\[url\]http://qindongliang1922.iteye.com/blog/1953409\[/url\]  
\[/size\]\[/color\]\[/b\]