solr

Solr是一个高性能，基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展，并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。

lucene

Lucene是apache jakarta项目的一个子项目，是一个开放源代码的全文检索引擎开发工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。

倒排索引

我们一般情况下,先找到文档,再在文档中找出包含的词;
在这里插入图片描述
倒排索引则是这个过程反过来,用词,来找出它出现的文档.

实际举例

文档编号	文档内容
1	全文检索引擎工具包
2	全文检索引擎的架构
3	查询引擎和索引引擎

分词结果

文档编号	分词结果集
1	{全文,检索,引擎,工具,包}
2	{全文,检索,引擎,的,架构}
3	{查询,引擎,和,索引,引擎}

倒排索引

编号	单词	文档编号列表
1	全文	1,2
2	检索	1,2
3	引擎	1,2,3
4	工具	1
5	包	1
6	架构	2
7	查询	3
8	索引	3

lucene API 介绍

创建项目

在这里插入图片描述

创建索引

新建 maven 项目,添加依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>cn.tedu</groupId>
    <artifactId>lucene-demo</artifactId>
    <version>1.0-SNAPSHOT</version>
    <dependencies>
        <dependency>
            <groupId>org.apache.lucene</groupId>
            <artifactId>lucene-core</artifactId>
            <version>8.1.1</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
        </dependency>
        <dependency>
            <groupId>org.apache.lucene</groupId>
            <artifactId>lucene-analyzers-smartcn</artifactId>
            <version>8.1.1</version>
        </dependency>
    </dependencies>
    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.8.0</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>
        </plugins>
    </build>
</project>

创建测试类,添加以下代码

package lucendemo;
import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
import org.apache.lucene.document.*;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.store.FSDirectory;
import org.junit.Test;
import java.io.File;
import java.io.IOException;
public class Test1 { 
    String[] a = { 
            "3, 华为 - 华为电脑, 爆款",
            "4, 华为手机, 旗舰",
            "5, 联想 - Thinkpad, 商务本",
            "6, 联想手机, 自拍神器"
    };
    @Test
    public void test1() throws IOException { 
        //把索引生成到d:/abc 目录
        //需要封装这个目录
        FSDirectory d = FSDirectory.open(new File("d:/abc").toPath());
        //创建中文分词工具 SmartChineseAnlyzer
        IndexWriterConfig conf = new IndexWriterConfig(new SmartChineseAnalyzer());
        //创建索引输出工具 IndexWriter
        IndexWriter writer = new IndexWriter(d, conf);
        //循环处理四篇文档,生成倒排索引输出
        for (String s:a){ 
            String[] a = s.split(",\\s*");
            //[商品id,名称,卖点]
            //三个商品数据,要封装到Document对象
            Document doc = new Document();
            doc.add(new LongPoint("id",Long.parseLong(a[0])));
            doc.add(new StoredField("id",Long.parseLong(a[0])));
            doc.add(new TextField("title",a[1], Field.Store.YES));
            doc.add(new TextField("sellPoint",a[2],Field.Store.YES));
            writer.addDocument(doc);
        }
        writer.flush();
        writer.close();
    }
}

查看索引

运行 luke
运行lucene 8.1.1中的luke应用程序,指定索引的存放目录
在这里插入图片描述
查看文档

指定分词器,并测试分词

拆词效果并不是很好

查询测试
在这里插入图片描述

id的查询

从索引查询

在测试类中添加 test2() 测试方法

package lucendemo;

import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
import org.apache.lucene.document.;
import org.apache.lucene.index.;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TermQuery;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.store.FSDirectory;
import org.junit.Test;

import java.io.File;
import java.io.IOException;
public class Test1 {

String[] a = { 
        "3, 华为 - 华为电脑, 爆款",
        "4, 华为手机, 旗舰",
        "5, 联想 - Thinkpad, 商务本",
        "6, 联想手机, 自拍神器"
};
@Test
public void test2() throws IOException { 
    //封装d:/abc文件夹
    FSDirectory d = FSDirectory.open(new File("d:/abc").toPath());
    //创建索引读取工具:IndexReader
    IndexReader reader = DirectoryReader.open(d);
    //创建查询器:IndexSearch
    IndexSearcher searcher = new IndexSearcher(reader);
    //封装查询的关键词和查询的数量
    TermQuery q = new TermQuery(new Term("title", "华为"));
    //用查询器执行查询,得到的查询结果[{id:0,score:0.556},{id:2,score:0.34},{....}]
    TopDocs topDocs = searcher.search(q, 20);
    //遍历处理查询结果
    for (ScoreDoc sdoc: topDocs.scoreDocs) { 
        int id = sdoc.doc;
        float score = sdoc.score;
        Document doc = searcher.doc(id);
        System.out.println(id);
        System.out.println(score);
        System.out.println(doc.get("id"));
        System.out.println(doc.get("score"));
        System.out.println(doc.get("sellPoint"));
        System.out.println("----------------------------------------");
    }
}