solr4.8.1学习笔记

不念不忘少年蓝@ 2022-07-11 12:19 168阅读 0赞

![这里写图片描述][SouthEast]

# solr4.8.1 #

全文搜索服务器  
下载solr–>Lucene3.5.0(solr3.5.0)  
SolrJ

solr wiki

# 1、Solr4.8.1整合到Tomcat中并添加MMSeg4j中文分词器 #

下载最新的lucene和solr。注意solr和lucene版本要一致；并且4.8版本必须使用jdk7以上，否则报错:`java.lang.UnsupportedClassVersionError: org/apache/solr/client/solrj/SolrServerException : Unsupported major.minor version 51.0。`

![这里写图片描述][SouthEast 1]

新建home与server目录（server存放solr的服务，home是solr的home）：

![这里写图片描述][SouthEast 2]

将下载的Solr包解压进入example的solr文件夹中拷贝其中的内容到刚建的home文件夹中。  
![这里写图片描述][SouthEast 3]

将example的webapps文件夹中的solr.war包拷贝到刚建的server文件夹中并解压得到。

![这里写图片描述][SouthEast 4]

我们需要在home文件夹中创建一个文件夹命名为data用于存放索引。  
![这里写图片描述][SouthEast 5]

修改`E:\solr\home\collection1\conf`目录下的`solrconfig.xml`文件（102行）：  
`<dataDir>${solr.data.dir:E:\solr\home\data}</dataDir>`  
修改E:\\solr\\apache-tomcat-7.0.53\\conf下server.xml:  
在Host节点中添加：

将`E:\solr\solr-4.8.1\example\lib\ext`目录下的所有jar包拷贝到`E:\solr\server\solr\WEB-INF\lib`目录下。  
访问[http://localhost:8080/solr][http_localhost_8080_solr] 看到了界面说明solr服务安装成功：  
![这里写图片描述][SouthEast 6]

整合mmseg4j中文分词器  
下载中文分词器![这里写图片描述][SouthEast 7]  
将mmseg4j-1.9.1\\dist 目录中的三个jar包拷贝到E:\\solr\\server\\solr\\WEB-INF\\lib目录中  
打开MMSeg4j解压目录中的README.txt文件:  
![这里写图片描述][SouthEast 8]  
添加README.txt中如上图画方框中的xml内容到`Solr\home\collection1\conf\schema.xml`文件的types节点中,并修改最后一项的dicPath为dic：  
![这里写图片描述][SouthEast 9]

在Solr/home文件夹中创建dic文件夹，也就是dicPath配置的dic参数  
![这里写图片描述][SouthEast 10]

为什么要在home目录中创建dic文件夹那，通过MMSeg4j的README.txt文件可以知道：

dicPath 指定词库位置（每个MMSegTokenizerFactory可以指定不同的目录，当是相对目录时，是相对 solr.home 的目录）  
拷贝词库到dic目录中，如果你下载的MMSeg4j文件没有data文件夹，可以下载其他的MMSeg4j文件看看，我下载的mmseg4j-1.9.1就没有data文件夹，但是1.8.5版本是包含data文件夹的，把data文件夹中的文件拷贝到dic文件夹中，好了中文分词器就配好了。启动Solr服务器。

访问启动的Solr的：

![这里写图片描述][SouthEast 11]

这三个就是mmseg4j的分词：  
![这里写图片描述][SouthEast 12]  
使用mmseg4j的mmseg4j-analysis-1.9.1.jar会出现如下错误：  
![这里写图片描述][SouthEast 13]  
这是由于源码的一个BUG引起的，需要修改上面下载的`mmseg4j-analysis-1.9.1.jar`。  
找到`E:\lucene教程\mmseg4j-1.9.1\mmseg4j-analysis\src\main\java\com\chenlb\mmseg4j\analysis\MMSegTokenizer.java`修

改文件:  
![这里写图片描述][SouthEast 14]  
然后使用maven重新编译打包:

cd E:\lucene教程\mmseg4j-1.9.1\mmseg4j-analysis
       mvn clean package -DskipTests

在`E:\lucene教程\mmseg4j-1.9.1\mmseg4j-analysis\target`目录下生成新的jar包`mmseg4j-analysis-1.9.2-SNAPSHOT.jar`，将其替换`E:\solr\server\solr\WEB-INF\lib`目录下原有的`mmseg4j-analysis-1.9.1.jar`即可

# 2、solrJ的使用 #

1、新建项目，导入jar包。将E:\\solr\\solr-4.8.1\\dist\\solrj-lib目录下所有包导入项目中并添加solr-core-4.8.1.jar和solr-solrj-4.8.1.jar，  
![这里写图片描述][SouthEast 15]  
2、创建SolrServer

/** * HttpSolrServer、EmbeddedSolrServer是两种建立solr服务的方式； * HttpSolrServer：需要访问外部solr服务，通过HTTP协议访问服务 * EmbeddedSolrServer：将solr集成到项目中 */
      public static HttpSolrServer server = null;
    
      static{
        server = new HttpSolrServer("http://localhost:8080/solr");
      }

添加文档

/** * 添加一个document，这里使用默认的field。默认的Field大多是用标准分词器 * field和fieldType在E:\solr\home\collection1\conf\schema.xml文件中配置 * @throws SolrServerException * @throws IOException */
      @Test
      public void addDocument() throws SolrServerException, IOException{
        SolrInputDocument document = new SolrInputDocument();
        //id是唯一主键，如果添加多个id相同的document，之前的document会被更新
        document.addField("id", "1");
        document.addField("title", "浙江是吴越文化、江南文化的发源地，是中国古代文明的发祥地之一。");
        document.addField("content", "浙江是吴越文化、江南文化的发源地，是中国古代文明的发祥地之一。早在5万年前的旧石器时代，就有原始人类“建德人”活动，境内有距今7000年的河姆渡文化、距今6000年的马家浜文化和距今5000年的良渚文化，是典型的山水江南、鱼米之乡，被称为“丝绸之府”、“鱼米之乡”。");
        server.add(document);
        server.commit();
      }
    
    /** * 添加一个document，这里使用自定义的field。 * field和fieldType在E:\solr\home\collection1\conf\schema.xml文件中配置 * @throws SolrServerException * @throws IOException */
      @Test
      public void addDocumentByMyField() throws SolrServerException, IOException{
        SolrInputDocument document = new SolrInputDocument();
        //id是唯一主键，如果添加多个id相同的document，之前的document会被更新
        document.addField("id", "1");
        document.addField("msg_title", "浙江是吴越文化、江南文化的发源地，是中国古代文明的发祥地之一。");
        document.addField("msg_content", "浙江是吴越文化、江南文化的发源地，是中国古代文明的发祥地之一。早在5万年前的旧石器时代，就有原始人类“建德人”活动，境内有距今7000年的河姆渡文化、距今6000年的马家浜文化和距今5000年的良渚文化，是典型的山水江南、鱼米之乡，被称为“丝绸之府”、“鱼米之乡”。");
        server.add(document);
        server.commit();
      }

附自定义Field：  
![这里写图片描述][SouthEast 16]

# 3、solr添加文档 #

## 3.1、直接添加文档 ##

/** * 基于列表添加document * @throws SolrServerException * @throws IOException */
      @Test
      public void addDocumentByList() throws SolrServerException, IOException{
        List<SolrInputDocument> documents = new ArrayList<SolrInputDocument>();
    
        SolrInputDocument document = new SolrInputDocument();
        document.addField("id", "1");
        document.addField("msg_title", "浙江是吴越文化、江南文化的发源地，是中国古代文明的发祥地之一。");
        document.addField("msg_content", "浙江是吴越文化、江南文化的发源地，是中国古代文明的发祥地之一。早在5万年前的旧石器时代，就有原始人类“建德人”活动，境内有距今7000年的河姆渡文化、距今6000年的马家浜文化和距今5000年的良渚文化，是典型的山水江南、鱼米之乡，被称为“丝绸之府”、“鱼米之乡”。");
        documents.add(document);
    
        SolrInputDocument document1 = new SolrInputDocument();
        document1.addField("id", "2");
        document1.addField("msg_title", "江苏，简称“苏”，省会南京。");
        document1.addField("msg_content", "江苏省际陆地边界线3383公里，面积10.26万平方公里，占全国的1.06%，人均国土面积在全国各省区中最少。");
        documents.add(document1);
    
        server.add(documents);
        server.commit();
      }

## 3.2、基于java bean完成文档添加 ##

/** * 基于java bean添加document * @throws SolrServerException * @throws IOException */
      @Test
      public void addDocumentByBean() throws SolrServerException, IOException{
        List<Message> list = new ArrayList<Message>();
    
        list.add(new Message("3","3","3"));
        list.add(new Message("4","4","4"));
    
        server.addBeans(list);
    
        server.addBean(new Message("5", "5", "5"));
    
        server.commit();
      }

Message.java:

package com.lbl.pojo;
    
    import org.apache.solr.client.solrj.beans.Field;
    
    public class Message { 
    
      //要添加annotation。可以放到属性上，也可以放到set方法上
      @Field
      private String id;
      @Field
      private String msg_title;
      @Field
      private String msg_content;
    
      public Message() {
        super();
        // TODO Auto-generated constructor stub
      }
      public Message(String id, String msg_title, String msg_content) {
        super();
        this.id = id;
        this.msg_title = msg_title;
        this.msg_content = msg_content;
      }
      public String getId() {
        return id;
      }
      public String getMsg_title() {
        return msg_title;
      }
      public String getMsg_content() {
        return msg_content;
      }
      public void setId(String id) {
        this.id = id;
      }
      public void setMsg_title(String msg_title) {
        this.msg_title = msg_title;
      }
      public void setMsg_content(String msg_content) {
        this.msg_content = msg_content;
      }
    
    }

# 4、solr的查询 #

在![这里写图片描述][SouthEast 17]中设置默认搜索域

如果一次查询多个域，用“或”链接，可以在![这里写图片描述][SouthEast 17]设置：

<!--设置multiValued可以查询多个域，但要设置copyField ->
      <field name="msg_all" type="textComplex" indexed="true" stored="true" multiValued="true" />
    
    <copyField source="msg_title" dest="msg_all"/>
      <copyField source="msg_content" dest="msg_all"/>

## 基于结果集的查询 ##

![这里写图片描述][SouthEast 18]

## 基于bean的查询 ##

# ![这里写图片描述][SouthEast 19] #

# 5、高亮查询 #

@Test
      public void query01() throws SolrServerException, IOException{
        SolrQuery query = new SolrQuery("msg_title:中国");
        QueryResponse queryResponse = server.query(query);
        SolrDocumentList results = queryResponse.getResults();
    
        System.out.println(results.size());
    
        for (SolrDocument solrDocument : results) {
          System.out.println("id:" + solrDocument.get("id") + "\nmsg_title:" + solrDocument.get("msg_title") + "\nmsg_content:" + solrDocument.get("msg_content"));
        }
      }
    
      @Test
      public void query02() throws SolrServerException, IOException{
        SolrQuery query = new SolrQuery("msg_title:中国");
    // SolrQuery query = new SolrQuery("*");//查询所有
    
    
        query.setHighlight(true)//设置高亮
        .setHighlightSimplePre("<span color='red'>")
        .setHighlightSimplePost("<span/>")
        .setParam("hl.fl", "msg_title")
    
        //分页（默认不是按照id排序）
        .setStart(0)//从第几个开始
        .setRows(3);//查询及条记录
    
    
        QueryResponse queryResponse = server.query(query);
        SolrDocumentList results = queryResponse.getResults();
    
        System.out.println(results.size());
    
        for (SolrDocument solrDocument : results) {
          System.out.println("id:" + solrDocument.get("id") + "\nmsg_title:" + solrDocument.get("msg_title") + "\nmsg_content:" + solrDocument.get("msg_content"));
    
          //要显示高亮内容需要使用如下语法(注意：这里必须存储，否则根本查询不出来数据)：
          String id = solrDocument.get("id").toString();
          //根据id将设为高亮的字段查询出来
          System.out.println(queryResponse.getHighlighting().get(id));
        }
    
      }

![这里写图片描述][SouthEast 20]

[SouthEast]: /images/20220711/92ba07535dfd4841b61bd4cf0b85be5c.png
[SouthEast 1]: /images/20220711/99558e2bde304a0ca22722d4d545da13.png
[SouthEast 2]: /images/20220711/79048be644be4b18aee63d94faad6b60.png
[SouthEast 3]: /images/20220711/952d4e11e04545dcbcac6b8729109f75.png
[SouthEast 4]: /images/20220711/e7d0a40bb3524327b6e7531cf1ffd90c.png
[SouthEast 5]: /images/20220711/e29d4a7fd95c487397c3f9ab3cf531da.png
[http_localhost_8080_solr]: http://localhost:8080/solr
[SouthEast 6]: /images/20220711/03d266153c4145cd8482eec7374851dd.png
[SouthEast 7]: /images/20220711/483b48002740483cafbf009591979b0f.png
[SouthEast 8]: /images/20220711/2679c559f28648b18ce9434b1dd065aa.png
[SouthEast 9]: /images/20220711/083865635ca44fc7b9f5bfa8e956dfeb.png
[SouthEast 10]: /images/20220711/d701975586bd410e95e9a471db774a83.png
[SouthEast 11]: /images/20220711/6ec5bb9e2da04a70bc51c6c20d998943.png
[SouthEast 12]: /images/20220711/e70fd1b06b4a4c428c0f3e59cd392c91.png
[SouthEast 13]: /images/20220711/45460effa98941cf9fb32bf59e0d409c.png
[SouthEast 14]: /images/20220711/43531c17ff374f59baf92428436ea912.png
[SouthEast 15]: /images/20220711/44965ee22e9c4bfe802fbb859c9cc9be.png
[SouthEast 16]: /images/20220711/2ffb471a207145898c704e8a07708c5a.png
[SouthEast 17]: /images/20220711/340ee6b05e374675a42a404e8e57aa50.png
[SouthEast 18]: /images/20220711/6e7dd4f5246f4d0e9e5c51b109dad8ab.png
[SouthEast 19]: /images/20220711/43d6c53c21eb4c57aadb1aea214efd70.png
[SouthEast 20]: /images/20220711/317044231aeb4a01bcabc4643eb5dbd5.png