Lucene Solr 811 --- slor+Lucene入门

快来打我* 2022-11-27 12:07 172阅读 0赞

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTgwODgxNDAyNQ_size_16_color_FFFFFF_t_70_pic_center]

### 文章目录 ###

*  solr
 *  lucene
 *   *  倒排索引
     *  实际举例
     *  lucene API 介绍
     *   *  创建项目
         *  创建索引
         *  查看索引
         *  从索引查询

--------------------

# solr #

Solr是一个高性能，基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展，并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。

# lucene #

Lucene是apache jakarta项目的一个子项目，是一个开放源代码的全文检索引擎开发工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。

## 倒排索引 ##

我们一般情况下,先找到文档,再在文档中找出包含的词;  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTgwODgxNDAyNQ_size_16_color_FFFFFF_t_70_pic_center 1]  
倒排索引则是这个过程反过来,用词,来找出它出现的文档.  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTgwODgxNDAyNQ_size_16_color_FFFFFF_t_70_pic_center 2]

## 实际举例 ##

<table> 
 <thead> 
  <tr> 
   <th>文档编号</th> 
   <th>文档内容</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>1</td> 
   <td>全文检索引擎工具包</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>全文检索引擎的架构</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>查询引擎和索引引擎</td> 
  </tr> 
 </tbody> 
</table>

分词结果

<table> 
 <thead> 
  <tr> 
   <th>文档编号</th> 
   <th>分词结果集</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>1</td> 
   <td>{全文,检索,引擎,工具,包}</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>{全文,检索,引擎,的,架构}</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>{查询,引擎,和,索引,引擎}</td> 
  </tr> 
 </tbody> 
</table>

倒排索引

<table> 
 <thead> 
  <tr> 
   <th>编号</th> 
   <th>单词</th> 
   <th>文档编号列表</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>1</td> 
   <td>全文</td> 
   <td>1,2</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>检索</td> 
   <td>1,2</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>引擎</td> 
   <td>1,2,3</td> 
  </tr> 
  <tr> 
   <td>4</td> 
   <td>工具</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>5</td> 
   <td>包</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>6</td> 
   <td>架构</td> 
   <td>2</td> 
  </tr> 
  <tr> 
   <td>7</td> 
   <td>查询</td> 
   <td>3</td> 
  </tr> 
  <tr> 
   <td>8</td> 
   <td>索引</td> 
   <td>3</td> 
  </tr> 
 </tbody> 
</table>

## lucene API 介绍 ##

### 创建项目 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTgwODgxNDAyNQ_size_16_color_FFFFFF_t_70_pic_center 3]

### 创建索引 ###

**新建 maven 项目,添加依赖**

<?xml version="1.0" encoding="UTF-8"?>
    <project xmlns="http://maven.apache.org/POM/4.0.0"
             xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
             xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
        <modelVersion>4.0.0</modelVersion>
    
        <groupId>cn.tedu</groupId>
        <artifactId>lucene-demo</artifactId>
        <version>1.0-SNAPSHOT</version>
    
        <dependencies>
            <dependency>
                <groupId>org.apache.lucene</groupId>
                <artifactId>lucene-core</artifactId>
                <version>8.1.1</version>
            </dependency>
    
            <dependency>
                <groupId>junit</groupId>
                <artifactId>junit</artifactId>
                <version>4.12</version>
            </dependency>
    
            <dependency>
                <groupId>org.apache.lucene</groupId>
                <artifactId>lucene-analyzers-smartcn</artifactId>
                <version>8.1.1</version>
            </dependency>
    
        </dependencies>
        <build>
            <plugins>
                <plugin>
                    <groupId>org.apache.maven.plugins</groupId>
                    <artifactId>maven-compiler-plugin</artifactId>
                    <version>3.8.0</version>
                    <configuration>
                        <source>1.8</source>
                        <target>1.8</target>
                    </configuration>
                </plugin>
            </plugins>
        </build>
    </project>

**创建测试类,添加以下代码**

package lucendemo;
    
    import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
    import org.apache.lucene.document.*;
    import org.apache.lucene.index.IndexWriter;
    import org.apache.lucene.index.IndexWriterConfig;
    import org.apache.lucene.store.FSDirectory;
    import org.junit.Test;
    
    import java.io.File;
    import java.io.IOException;
    
    public class Test1 { 
        String[] a = { 
                "3, 华为 - 华为电脑, 爆款",
                "4, 华为手机, 旗舰",
                "5, 联想 - Thinkpad, 商务本",
                "6, 联想手机, 自拍神器"
        };
    
        @Test
        public void test1() throws IOException { 
            //把索引生成到d:/abc 目录
            //需要封装这个目录
            FSDirectory d = FSDirectory.open(new File("d:/abc").toPath());
    
            //创建中文分词工具 SmartChineseAnlyzer
            IndexWriterConfig conf = new IndexWriterConfig(new SmartChineseAnalyzer());
            //创建索引输出工具 IndexWriter
            IndexWriter writer = new IndexWriter(d, conf);
    
            //循环处理四篇文档,生成倒排索引输出
            for (String s:a){ 
                String[] a = s.split(",\\s*");
                //[商品id,名称,卖点]
                //三个商品数据,要封装到Document对象
                Document doc = new Document();
                doc.add(new LongPoint("id",Long.parseLong(a[0])));
                doc.add(new StoredField("id",Long.parseLong(a[0])));
                doc.add(new TextField("title",a[1], Field.Store.YES));
                doc.add(new TextField("sellPoint",a[2],Field.Store.YES));
    
                writer.addDocument(doc);
            }
            writer.flush();
            writer.close();
        }
    }

### 查看索引 ###

**运行 luke**  
运行lucene 8.1.1中的luke应用程序,指定索引的存放目录  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTgwODgxNDAyNQ_size_16_color_FFFFFF_t_70_pic_center 4]  
**查看文档**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTgwODgxNDAyNQ_size_16_color_FFFFFF_t_70_pic_center 5]  
**指定分词器,并测试分词**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTgwODgxNDAyNQ_size_16_color_FFFFFF_t_70_pic_center 6]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTgwODgxNDAyNQ_size_16_color_FFFFFF_t_70_pic_center 7]  
拆词效果并不是很好

**查询测试**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTgwODgxNDAyNQ_size_16_color_FFFFFF_t_70_pic_center 8]

1.  id的查询  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTgwODgxNDAyNQ_size_16_color_FFFFFF_t_70_pic_center 9]

### 从索引查询 ###

*  在测试类中添加 test2() 测试方法

package lucendemo;
    
    import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
    import org.apache.lucene.document.*;
    import org.apache.lucene.index.*;
    import org.apache.lucene.search.IndexSearcher;
    import org.apache.lucene.search.ScoreDoc;
    import org.apache.lucene.search.TermQuery;
    import org.apache.lucene.search.TopDocs;
    import org.apache.lucene.store.FSDirectory;
    import org.junit.Test;
    
    import java.io.File;
    import java.io.IOException;
    public class Test1 { 
        String[] a = { 
                "3, 华为 - 华为电脑, 爆款",
                "4, 华为手机, 旗舰",
                "5, 联想 - Thinkpad, 商务本",
                "6, 联想手机, 自拍神器"
        };
        
        @Test
        public void test2() throws IOException { 
            //封装d:/abc文件夹
            FSDirectory d = FSDirectory.open(new File("d:/abc").toPath());
    
            //创建索引读取工具:IndexReader
            IndexReader reader = DirectoryReader.open(d);
            //创建查询器:IndexSearch
            IndexSearcher searcher = new IndexSearcher(reader);
    
            //封装查询的关键词和查询的数量
            TermQuery q = new TermQuery(new Term("title", "华为"));
    
            //用查询器执行查询,得到的查询结果[{id:0,score:0.556},{id:2,score:0.34},{....}]
            TopDocs topDocs = searcher.search(q, 20);
            //遍历处理查询结果
            for (ScoreDoc sdoc: topDocs.scoreDocs) { 
                int id = sdoc.doc;
                float score = sdoc.score;
                Document doc = searcher.doc(id);
                System.out.println(id);
                System.out.println(score);
                System.out.println(doc.get("id"));
                System.out.println(doc.get("score"));
                System.out.println(doc.get("sellPoint"));
                System.out.println("----------------------------------------");
            }
        }
    }

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTgwODgxNDAyNQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221124/eacf5b0956754058a564ff197f9a5d15.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTgwODgxNDAyNQ_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221124/6b0d4d82e7054aba976886ff5d99ab04.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTgwODgxNDAyNQ_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221124/906159b190c7438eaa0e10a6880e32bf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTgwODgxNDAyNQ_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221124/cbe4da748ae840ccbd9bb95cfe9b74ac.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTgwODgxNDAyNQ_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221124/5fe105ad2ccf492cbcf66bbf4f98f654.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTgwODgxNDAyNQ_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221124/cb629b97fc7c4107913bf7aa28f1c7af.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTgwODgxNDAyNQ_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221124/07ec6162e05c4cd2ae297ea80ee31e0f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTgwODgxNDAyNQ_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221124/4f53957a7b2d41e5a8fde3491a845870.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTgwODgxNDAyNQ_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20221124/a9fc1bd9335d48e893e80a2d150112c4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTgwODgxNDAyNQ_size_16_color_FFFFFF_t_70_pic_center 9]: /images/20221124/c401bb4cb8b1483a9cd028a80097be1d.png