Lucence 柔光的暖阳◎ 2022-03-12 15:38 187阅读 0赞 # Lucene简介 # Lucene是apache软件基金会4 jakarta项目组的一个子项目,是一个开放源代码的全文检索引擎工具包,但它不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎,部分文本分析引擎(英文与德文两种西方语言)。Lucene的目的是为软件开发人员提供一个简单易用的工具包,以方便的在目标系统中实现全文检索的功能,或者是以此为基础建立起完整的全文检索引擎。Lucene是一套用于全文检索和搜寻的开源程式库,由Apache软件基金会支持和提供。Lucene提供了一个简单却强大的应用程式接口,能够做全文索引和搜寻。在Java开发环境里Lucene是一个成熟的免费开源工具。就其本身而言,Lucene是当前以及最近几年最受欢迎的免费Java信息检索程序库。人们经常提到信息检索程序库,虽然与搜索引擎有关,但不应该将信息检索程序库与搜索引擎相混淆。 ### 那么先来说一说什么是全文搜索 ### 说之前先说一说**数据的分类**: 我们生活中的数据总体分为两种:结构化数据和非结构化数据。 (1)**结构化数据**:指具有固定格式或有限长度的数据,如数据库,元数据等。 (2)**非结构化数据**:指不定长或无固定格式的数据,如邮件,word文档等磁盘上的文件 ## 结构化数据查询方法 ## ### 数据库搜索 ### 数据库中的搜索很容易实现,通常都是使用sql语句进行查询,而且能很快的得到查询结果。 为什么数据库搜索很容易? 因为数据库中的数据存储是有规律的,有行有列而且数据格式、数据长度都是固定的。 ## 非结构化数据查询方法 ## ** (1)****顺序扫描法****(Serial Scanning)** 所谓顺序扫描,比如要找内容包含某一个字符串的文件,就是一个文档一个文档的看,对于每一个文档,从头看到尾,如果此文档包含此字符串,则此文档为我们要找的文件,接着看下一个文件,直到扫描完所有的文件。如利用windows的搜索也可以搜索文件内容,只是**相当的慢**。 ** (2)****全文检索****(Full-text Search)** 将非结构化数据中的一部分信息提取出来,重新组织,使其变得有一定结构,然后对此有一定结构的数据进行搜索,从而达到搜索相对较快的目的。这部分从非结构化数据中提取出的然后重新组织的信息,我们称之**索引**。 例如:字典。字典的拼音表和部首检字表就相当于字典的索引,对每一个字的解释是非结构化的,如果字典没有音节表和部首检字表,在茫茫辞海中找一个字只能顺序扫描。然而字的某些信息可以提取出来进行结构化处理,比如读音,就比较结构化,分声母和韵母,分别只有几种可以一一列举,于是将读音拿出来按一定的顺序排列,每一项读音都指向此字的详细解释的页数。我们搜索时按结构化的拼音搜到读音,然后按其指向的页数,便可找到我们的非结构化数据——也即对字的解释。 ** 这种先建立索引,再对索引进行搜索的过程就叫全文检索****(Full-text Search)****。** 虽然创建索引的过程也是非常耗时的,但是索引一旦创建就可以多次使用,全文检索主要处理的是查询,所以耗时间创建索引是值得的。 ### 全文检索的应用场景 ### 对于数据量大、数据结构不固定的数据可采用全文检索方式搜索,比如百度、Google等搜索引擎、论坛站内搜索、电商网站站内搜索等。 # Lucene实现全文检索的流程 # ### 索引和搜索流程图 ### ![1227182-20171011190654543-1014690139.png][] 1、绿色表示索引过程,对要搜索的原始内容进行索引构建一个索引库,索引过程包括: 确定原始内容即要搜索的内容→采集文档→创建文档→分析文档→索引文档 2、红色表示搜索过程,从索引库中搜索内容,搜索过程包括: 用户通过搜索界面→创建查询→执行搜索,从索引库搜索→渲染搜索结果 接下来详细讲解一下这张图片: ## 1,创建索引 ## 对文档索引的过程,将用户要搜索的文档内容进行索引,索引存储在索引库(index)中。 这里我们要搜索的文档是磁盘上的文本文件,根据案例描述:凡是文件名或文件内容包括关键字的文件都要找出来,这里要对文件名和文件内容创建索引。 ### 1.1.1. 获得原始文档 ### ** 原始文档**是指要索引和搜索的内容。原始内容包括互联网上的网页、数据库中的数据、磁盘上的文件等。 从互联网上、数据库、文件系统中等获取需要搜索的原始信息,这个过程就是信息采集,信息采集的目的是为了对原始内容进行索引。在Internet上采集信息的软件通常称为爬虫或蜘蛛,也称为网络机器人,爬虫访问互联网上的每一个网页,将获取到的网页内容存储起来。 Lucene不提供信息采集的类库,需要自己编写一个爬虫程序实现信息采集,也可以通过一些开源软件实现信息采集,如下: (1)Nutch([http://lucene.apache.org/nutch][http_lucene.apache.org_nutch]), Nutch是apache的一个子项目,包括大规模爬虫工具,能够抓取和分辨web网站数据。 (2)jsoup(http://jsoup.org/ ),jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。 (3)heritrix(http://sourceforge.net/projects/archive-crawler/files/),Heritrix 是一个由 java 开发的、开源的网络爬虫,用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性,方便用户实现自己的抓取逻辑。 本案例我们要获取磁盘上文件的内容,可以通过文件流来读取文本文件的内容,对于pdf、doc、xls等文件可通过第三方提供的解析工具读取文件内容,比如Apache POI读取doc和xls的文件内容。 ### 1.1.2. 创建文档对象 ### 获取原始内容的目的是为了索引,在索引前需要将原始内容创建成文档(Document),文档中包括一个一个的域(Field),域中存储内容。 这里我们可以将磁盘上的一个文件当成一个document,Document中包括一些Field(file\_name文件名称、file\_path文件路径、file\_size文件大小、file\_content文件内容),如下图: ![1227182-20171011192234699-115366628.png][] 注意:(1)每个Document可以有多个Field (2)不同的Document可以有不同的Field (3)同一个Document可以有相同的Field(域名和域值都相同) (4)每个文档都有一个唯一的编号,就是文档id。 ### 1.1.3. 分析文档 ### 将原始内容创建为包含域(Field)的文档(document),需要再对域中的内容进行分析,分析的过程是经过对原始文档提取单词、将字母转为小写、去除标点符号、去除停用词等过程生成最终的语汇单元,可以将语汇单元理解为一个一个的单词。 比如下边的文档经过分析如下: 原文档内容: Lucene is a Java full-text search engine. 分析后得到的**语汇单元**: lucene、java、full、search、engine 每个单词叫做一个**Term**,不同的域中拆分出来的相同的单词是不同的term。term中包含两部分一部分是文档的域名,另一部分是单词的内容。 例如:文件名中包含apache和文件内容中包含的apache是不同的term。 ### 1.1.4. 创建索引 ### 对所有文档分析得出的语汇单元进行索引,索引的目的是为了搜索,最终要实现只搜索被索引的语汇单元从而找到Document(文档)。 ![1227182-20171011194345059-873127678.png][] ### ** ![1227182-20171011193525215-791530589.png][]** ### 注意:(1)创建索引是对语汇单元索引,通过词语找文档,这种索引的结构叫**倒排索引结构**。 (2)传统方法是根据文件找到该文件的内容,在文件内容中匹配搜索关键字,这种方法是顺序扫描方法,数据量大、搜索慢。 ** (3)倒排索引结构**是根据内容(词语)找文档,如下图: ![1227182-20171011193758934-50928958.png][] ** 倒排索引结构也叫反向索引结构,包括索引和文档两部分,索引即词汇表,它的规模较小,而文档集合较大。** 查询语法 1、基础的查询语法,关键词查询: 域名+“:”+搜索的关键字 例如:content:java 2、范围查询 域名+“:”+\[最小值 TO 最大值\] 例如:size:\[1 TO 1000\] 范围查询在lucene中支持数值类型,不支持字符串类型。在solr中支持字符串类型。 3、组合条件查询 1)+条件1 +条件2:两个条件之间是并且的关系and 例如:+filename:apache +content:apache 2)+条件1 条件2:必须满足第一个条件,应该满足第二个条件 例如:+filename:apache content:apache 3)条件1 条件2:两个条件满足其一即可。 例如:filename:apache content:apache 4)-条件1 条件2:必须不满足条件1,要满足条件2 例如:-filename:apache content:apache <table> <tbody> <tr> <td style="vertical-align:top;"> <p>Occur.MUST 查询条件必须满足,相当于and</p> </td> <td style="vertical-align:top;"> <p>+(加号)</p> </td> </tr> <tr> <td style="vertical-align:top;"> <p>Occur.SHOULD 查询条件可选,相当于or</p> </td> <td style="vertical-align:top;"> <p>空(不用符号)</p> </td> </tr> <tr> <td style="vertical-align:top;"> <p>Occur.MUST_NOT 查询条件不能满足,相当于not非</p> </td> <td style="vertical-align:top;"> <p>-(减号)</p> </td> </tr> </tbody> </table> 第二种写法: 条件1 AND 条件2 条件1 OR 条件2 条件1 NOT 条件2 需要导入的依赖: <dependency> <groupId>org.apache.lucene</groupId> <artifactId>lucene-core</artifactId> <version>6.6.1</version> </dependency> <dependency> <groupId>org.apache.lucene</groupId> <artifactId>lucene-queryparser</artifactId> <version>6.6.1</version> </dependency> 建议实现代码: package com.ns.lucence; import java.io.IOException; import java.util.ArrayList; import java.util.List; import java.util.Set; import org.apache.commons.lang3.StringUtils; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.Tokenizer; import org.apache.lucene.analysis.tokenattributes.CharTermAttribute; import org.apache.lucene.document.Document; import org.apache.lucene.document.Field; import org.apache.lucene.document.TextField; import org.apache.lucene.index.DirectoryReader; import org.apache.lucene.index.IndexWriter; import org.apache.lucene.index.IndexWriterConfig; import org.apache.lucene.queryparser.classic.ParseException; import org.apache.lucene.queryparser.classic.QueryParser; import org.apache.lucene.search.ConstantScoreQuery; import org.apache.lucene.search.IndexSearcher; import org.apache.lucene.search.Query; import org.apache.lucene.search.ScoreDoc; import org.apache.lucene.search.TopDocs; import org.apache.lucene.search.Weight; import org.apache.lucene.search.Weight.WordScore; import org.apache.lucene.store.Directory; import org.apache.lucene.store.RAMDirectory; public class TestLucence { public static void main(String[] args) throws Exception { //注意:检索和正文的分词器要一致,否则会出现问题 //接受条件,创建查询 List<String> fields=new ArrayList<>(); fields.add("\"基金\""); fields.add("\"销量\""); StringBuilder sf=new StringBuilder(); sf.append("QUESTION:"+StringUtils.join(fields, "OR")); Query query = null; QueryParser parser = new QueryParser("查询关键字字典", new WordAnalyzers()); try { //满足一个即可 query=parser.parse("IR_URLCONTENT:\"基金\" IR_URLCONTENT:\"销量\""); //都满足 +IR_URLCONTENT:\"基金\" +IR_URLCONTENT:\"销量\" 或者 AND IR_URLCONTENT:\"基金\" AND IR_URLCONTENT:\"销量\" } catch (ParseException e) { e.printStackTrace(); } //接受内容,分析文档(分词),创建索引 //索引库存放于内存 Directory directory = new RAMDirectory(); //索引库存放于文件: Directory directory = FSDirectory.open(new File("E:\\programme\\test")); //创建分词器 WordAnalyzers wordAnalyzers=new WordAnalyzers(); IndexWriterConfig indexWriterConfig = new IndexWriterConfig(wordAnalyzers); // indexWriterConfig.setSimilarity(new LocalSimilarity()); //创建索引库 IndexWriter iwriter =null; try { iwriter = new IndexWriter(directory, indexWriterConfig); //存储要创建索引的正文 Document doc = new Document(); //这个Field用来构建一个字符串Field,但是不会进行分析,会将整个串存储在索引中,TYPE_STORED是否存储 doc.add(new Field("IR_URLCONTENT", "我的基金的销量是多少", TextField.TYPE_STORED)); iwriter.addDocument(doc); iwriter.close(); } catch (Exception e) { e.printStackTrace(); } //开始查询 //read indexes in a Directory DirectoryReader ireader = DirectoryReader.open(directory); IndexSearcher isearcher = new IndexSearcher(ireader); //相似性的计算 // isearcher.setSimilarity(new LocalSimilarity()); if (ireader.numDocs() > 0) { TopDocs topDocs; topDocs = isearcher.search(new ConstantScoreQuery(query),ireader.numDocs()); if (topDocs != null) { ScoreDoc[] hits = topDocs.scoreDocs; if (hits.length > 0) { WordScore wordScore = Weight.get(); // 当前query命中文章 for (int i = 0; i < hits.length; i++) { int doc = hits[i].doc; Set<String> values=wordScore.words(doc); for(String value:values){ System.out.println(value); } } } } } } } //自定义分词器 class WordAnalyzers extends Analyzer{ @Override protected TokenStreamComponents createComponents(String fieldName) { return new TokenStreamComponents(new Tokenizer(){ private final CharTermAttribute termAtt = addAttribute(CharTermAttribute.class); private Character preChar; @Override public boolean incrementToken() throws IOException { clearAttributes(); if (preChar != null) { termAtt.append(preChar); preChar = null; return true; } int i = 0; while ((i = input.read()) != -1) { if ((i >= 'a' && i <= 'z') || (i >= 'A' && i <= 'Z') || (i >= '0' && i <= '9') || i == '_') { // 拼接 termAtt.append((char) i); } else if (i == ' ' || i == '\u3000' || i == '\r' || i == '\n') { if (termAtt.length() == 0) { // 无数据时,继续读 } else { // 有数据时,直接完成 return true; } } else { if (termAtt.length() == 0) { // 无数据时,直接完成 termAtt.append((char) i); return true; } else { // 有数据时,保留下一个字符 preChar = (char) i; return true; } } } if (termAtt.length() != 0) { return true; } return false; } }); } } [1227182-20171011190654543-1014690139.png]: /images/20220312/b2315c0ca232458480c74d8551bc171d.png [http_lucene.apache.org_nutch]: http://lucene.apache.org/nutch [1227182-20171011192234699-115366628.png]: /images/20220312/39e8a07d3bf64413b83db093e6fe123e.png [1227182-20171011194345059-873127678.png]: /images/20220312/d6ddbb57855d41dd902e740ce0f1a17d.png [1227182-20171011193525215-791530589.png]: /images/20220312/1e24e4e5152f441397b323abbf374e8d.png [1227182-20171011193758934-50928958.png]: /images/20220312/478eb8460b4a43d58c81e58967b1f55d.png
相关 Spring Boot 中集成 Lucence 2.1 依赖导入 首先需要导入 Lucene 的依赖,它的依赖有好几个,如下: <!-- Lucence核心包 --> <dependency> 系统管理员/ 2024年03月27日 16:58/ 0 赞/ 72 阅读
相关 Solr和Lucence简介 Solr和Lucence简介 Solr 是什么? ApacheSolr 是一个开源的搜索服务器,Solr使用 Java语言开发,主要基于 HTTP 和Apac 迷南。/ 2024年03月25日 23:01/ 0 赞/ 86 阅读
相关 lucence > [http://www.chedong.com/tech/lucene.html][http_www.chedong.com_tech_lucene.html] Luce 悠悠/ 2022年08月06日 13:04/ 0 赞/ 176 阅读
相关 lucence的原理以及整合java "Apache Lucene(TM) is a high-performance, full-featured text search engine library writt 傷城~/ 2022年06月08日 12:59/ 0 赞/ 284 阅读
相关 lucence搜索应用结合数据库 lucence搜索结合数据库进行应用 应先把数据库数据取出建立索引库并进行保存 可定时更新,也可实时更新 > package cn.psw.youwenbid 向右看齐/ 2022年03月16日 12:16/ 0 赞/ 202 阅读
相关 Lucence Lucene简介 Lucene是apache软件基金会4 jakarta项目组的一个子项目,是一个开放源代码的全文检索引擎工具包,但它不是一个完整的全文检索引擎,而是 柔光的暖阳◎/ 2022年03月12日 15:38/ 0 赞/ 188 阅读
相关 Lucence思维导图 lucene 全文检索 ![在这里插入图片描述][20191211154031639.png] Lucene搜索 ![在这里插入图片描述][20191211171 向右看齐/ 2021年07月04日 21:30/ 0 赞/ 263 阅读
还没有评论,来说两句吧...