Solr III——schema.xml的配置

客官°小女子只卖身不卖艺 2022-08-05 11:30 131阅读 0赞

schema.xml用于定义文档的字段、字段类型以及其他相关信息。以下是一个schema.xml的示例，转自[http://blog.csdn.net/jediael\_lu/article/details/37937339][http_blog.csdn.net_jediael_lu_article_details_37937339]

<?xml version="1.0" encoding="UTF-8" ?>
       
    <schema name="nutch" version="1.5">
        <types>
            <fieldType name="string" class="solr.StrField" sortMissingLast="true"
                omitNorms="true"/> 
            <fieldType name="long" class="solr.TrieLongField" precisionStep="0"
                omitNorms="true" positionIncrementGap="0"/>
            <fieldType name="float" class="solr.TrieFloatField" precisionStep="0"
                omitNorms="true" positionIncrementGap="0"/>
            <fieldType name="date" class="solr.TrieDateField" precisionStep="0"
                omitNorms="true" positionIncrementGap="0"/>
    
            <fieldType name="text" class="solr.TextField"
                positionIncrementGap="100">
                <analyzer>
                    <tokenizer class="solr.WhitespaceTokenizerFactory"/>
                    <filter class="solr.StopFilterFactory"
                        ignoreCase="true" words="stopwords.txt"/>
                    <filter class="solr.WordDelimiterFilterFactory"
                        generateWordParts="1" generateNumberParts="1"
                        catenateWords="1" catenateNumbers="1" catenateAll="0"
                        splitOnCaseChange="1"/>
                    <filter class="solr.LowerCaseFilterFactory"/>
    
                    <filter class="solr.RemoveDuplicatesTokenFilterFactory"/>
    
                </analyzer>
            </fieldType>
            <fieldType name="url" class="solr.TextField"
                positionIncrementGap="100">
                <analyzer>
                    <tokenizer class="solr.StandardTokenizerFactory"/>
                    <filter class="solr.LowerCaseFilterFactory"/>
                    <filter class="solr.WordDelimiterFilterFactory"
                        generateWordParts="1" generateNumberParts="1"/>
                </analyzer>
            </fieldType>
        </types>
        <fields>
            <field name="id" type="string" stored="true" indexed="true"/>
    
            
            <field name="batchId" type="string" stored="true" indexed="false"/>
            <field name="digest" type="string" stored="true" indexed="false"/>
            <field name="boost" type="float" stored="true" indexed="false"/>
    
            
            <field name="host" type="url" stored="false" indexed="true"/>
            <field name="url" type="url" stored="true" indexed="true"
                required="true"/>
            <field name="content" type="text" stored="false" indexed="true"/>
            <field name="title" type="text" stored="true" indexed="true"/>
            <field name="cache" type="string" stored="true" indexed="false"/>
            <field name="tstamp" type="date" stored="true" indexed="false"/>
    
            <field name="_version_" type="long" indexed="true" stored="true"/>
            
            <field name="anchor" type="string" stored="true" indexed="true"
                multiValued="true"/>
    
            
            <field name="type" type="string" stored="true" indexed="true"
                multiValued="true"/>
            <field name="contentLength" type="long" stored="true"
                indexed="false"/>
            <field name="lastModified" type="date" stored="true"
                indexed="false"/>
            <field name="date" type="date" stored="true" indexed="true"/>
    
            
            <field name="lang" type="string" stored="true" indexed="true"/>
    
            
            <field name="subcollection" type="string" stored="true"
                indexed="true" multiValued="true"/>
    
            
            <field name="author" type="string" stored="true" indexed="true"/>
            <field name="tag" type="string" stored="true" indexed="true" multiValued="true"/>
            <field name="feed" type="string" stored="true" indexed="true"/>
            <field name="publishedDate" type="date" stored="true"
                indexed="true"/>
            <field name="updatedDate" type="date" stored="true"
                indexed="true"/>
    
            
            <field name="cc" type="string" stored="true" indexed="true"
                multiValued="true"/>
                
                
            <field name="tld" type="string" stored="false" indexed="false"/>
        </fields>
        <uniqueKey>id</uniqueKey>
        <defaultSearchField>content</defaultSearchField>
        <solrQueryParser defaultOperator="OR"/>
    </schema>

在schema.xml的内容，共分为六个主要部分。分别是：field、copyField、fieldType、uniqueKey、defaultSearchField、solrQueryParser。下面一一介绍这六块内容。

**field**

field是用来定义具体的字段的信息的。一个field标签的示例如下：

field标签中的各个属性说明如下表所示：

<table style="font-size:undefined; border-collapse:collapse; margin-top:10px; margin-bottom:10px; font-family:微软雅黑; widows:auto; width:599px"> 
 <tbody style="background-color:inherit"> 
  <tr style="background-color:inherit"> 
   <td style="word-break:break-all; border:1px solid rgb(153,153,153); padding:5px 16px 5px 12px; min-height:25px; min-width:25px; height:25px; background-color:inherit; width:153px"> 
    <div style="min-width:2px; background-color:inherit">
      属性名称 
    </div> </td> 
   <td style="word-break:break-all; border:1px solid rgb(153,153,153); padding:5px 16px 5px 12px; min-height:25px; min-width:25px; height:25px; background-color:inherit; width:404px"> 
    <div style="min-width:2px; background-color:inherit">
      说明 
    </div> </td> 
  </tr> 
  <tr style="background-color:inherit"> 
   <td style="word-break:break-all; border:1px solid rgb(153,153,153); padding:5px 16px 5px 12px; min-height:25px; min-width:25px; height:25px; background-color:inherit; width:153px"> 
    <div style="min-width:2px; background-color:inherit">
      name 
    </div> </td> 
   <td style="word-break:break-all; border:1px solid rgb(153,153,153); padding:5px 16px 5px 12px; min-height:25px; min-width:25px; height:25px; background-color:inherit; width:404px"> 
    <div style="min-width:2px; background-color:inherit">
      字段的名称 
    </div> </td> 
  </tr> 
  <tr style="background-color:inherit"> 
   <td style="word-break:break-all; border:1px solid rgb(153,153,153); padding:5px 16px 5px 12px; min-height:25px; min-width:25px; height:25px; background-color:inherit; width:153px"> 
    <div style="min-width:2px; background-color:inherit">
      type 
    </div> </td> 
   <td style="word-break:break-all; border:1px solid rgb(153,153,153); padding:5px 16px 5px 12px; min-height:25px; min-width:25px; height:25px; background-color:inherit; width:404px"> 
    <div style="min-width:2px; background-color:inherit">
      字段的类型，该类型需要在fieldType元素中定义，具体定义方法参见本文对fieldType的定义 
    </div> </td> 
  </tr> 
  <tr style="background-color:inherit"> 
   <td style="word-break:break-all; border:1px solid rgb(153,153,153); padding:5px 16px 5px 12px; min-height:25px; min-width:25px; height:25px; background-color:inherit; width:153px"> 
    <div style="min-width:2px; background-color:inherit">
      stored 
    </div> </td> 
   <td style="word-break:break-all; border:1px solid rgb(153,153,153); padding:5px 16px 5px 12px; min-height:25px; min-width:25px; height:25px; background-color:inherit; width:404px"> 
    <div style="min-width:2px; background-color:inherit">
      该属性代表该字段的值是否会被存储。未被存储的话，在查询的时候是不会显示出来的。假设现在有一个叫user的core，其中包含name、age、birthday三个字段。其中，birthday的stored属性为false。则查询所有user信息的时候，只有name、age这两个字段的值会被显示出来，而查询结果是不会显示birthday字段的。 
    </div> </td> 
  </tr> 
  <tr style="background-color:inherit"> 
   <td style="word-break:break-all; border:1px solid rgb(153,153,153); padding:5px 16px 5px 12px; min-height:25px; min-width:25px; height:25px; background-color:inherit; width:153px"> 
    <div style="min-width:2px; background-color:inherit">
      indexed 
    </div> </td> 
   <td style="word-break:break-all; border:1px solid rgb(153,153,153); padding:5px 16px 5px 12px; min-height:25px; min-width:25px; height:25px; background-color:inherit; width:404px"> 该属性代表该字段是否可以用于索引。若为true，则在条件查询时，可以以该字段为查询条件。例如，假设现在有条数据，其name字段的值是tom。若indexed属性为true，则在查询时，可以通过q=name:tom的查询条件查到该条数据。若indexed为false，即便这条name值是tom是确实存在的，但通过q=name:tom的查询条件也查不到该条数据。<br style="background-color:inherit"> 另外还需注意的是，如果该字段可能被用于排序、分组等操作，indexed属性也需要是true</td> 
  </tr> 
  <tr style="background-color:inherit"> 
   <td style="word-break:break-all; border:1px solid rgb(153,153,153); padding:5px 16px 5px 12px; min-height:25px; min-width:25px; height:25px; background-color:inherit; width:153px"> 
    <div style="min-width:2px; background-color:inherit">
      multiValued 
    </div> </td> 
   <td style="word-break:break-all; border:1px solid rgb(153,153,153); padding:5px 16px 5px 12px; min-height:25px; min-width:25px; height:25px; background-color:inherit; width:404px"> 
    <div style="min-width:2px; background-color:inherit">
      若一个字段中可能会存储多个值，则该属性需要为true 
    </div> </td> 
  </tr> 
  <tr style="background-color:inherit"> 
   <td style="word-break:break-all; border:1px solid rgb(153,153,153); padding:5px 16px 5px 12px; min-height:25px; min-width:25px; height:25px; background-color:inherit; width:153px"> 
    <div style="min-width:2px; background-color:inherit">
      required 
    </div> </td> 
   <td style="word-break:break-all; border:1px solid rgb(153,153,153); padding:5px 16px 5px 12px; min-height:25px; min-width:25px; height:25px; background-color:inherit; width:404px"> 
    <div style="min-width:2px; background-color:inherit">
      该属性代表非空。 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

**copyField**

在以下两种情况下，建议使用copyField：

1.将多个字段复制到一个单一的字段中，方便搜索；

2.对同一个字段进行多次不同的分析处理；

在这里，由于我目前只对第一条有些许的了解，故只说第一条。copyField例：

在本例中，分别有三个字段：name、identityID、text。前两者是实际需要的字段，但是text字段并非用于存储实际值，而是将name、identityID字段的值生成索引，以供查询。若不创建text这个字段。如果想查一条name=tom、identityID=123xxx的数据的话，查询条件应该这么写：name:tom AND identityID:123xxx。在搜索的时候，会反复轮询两遍全部数据，并从中晒出符合条件的记录。但是如果通过copyField字段将这两个字段的值复制过来并生成索引，再做同样的查询的时候，只需要对text进行查询就可以了。

**fieldType**

一个常见的fieldType配置如下所示：

name属性就是给fieldType的名称，也是<field>标签中type属性应该填的值。

class属性是该类型对应的java类。class值以solr开始的，是个简写，代表着org.appache.solr.analysis包。

sortMissingLast属性和sortMissingFirst属性是一对相对应的属性，当sortMissingLast为true时，代表若某条数据的该字段没有值时，在排序时该条数据应该排在所有该字段有值的数据之后。sortMissingFirst则与之想法，应该排在最前面。这两个属性的默认值都是false。

在fieldType中还可以配置分词器，在这里只介绍如何配置中文的分词器。目前常见的分词器中，mmseg4j和ik-analyzer这两个分词器比较常见，在本文中只介绍如何配置mmseg4j。

mmseg4j的版本应该是与solr版本有比较严格的对应关系的，如果版本不符合要求，则会报错，但是这一点我并没有亲自验证过。

本文中用到的solr版本是4.10.4。用到的mmseg4j相关的jar包的版本为 ： mmseg4j-analysis-1.9.1.jar、mmseg4j-core-1.9.1.jar、mmseg4j-solr-2.2.0.jar。只要是solr4.10.x都可以通用我所提到的这些mmseg4j JAR包。

首先下载与Solr4.10匹配的mmseg4j JAR包，URL：[http://download.csdn.net/detail/u010997403/9111515][http_download.csdn.net_detail_u010997403_9111515]

然后将mmseg4j-analysis-1.9.1.jar、mmseg4j-core-1.9.1.jar、mmseg4j-solr-2.2.0.jar这三个jar包全部拷贝到tomcat中的solr/WEB-INF/lib中。

之后配置schema.xml。配置的代码如下所示：

配置完成后，就可以重启solr服务器，向该字段中添加值了。首先先来看一眼经过该分词器分词的效果：

![Center][]  
    由图中可见，分词效果还是比较理想的。那么现在，就把“这里的数据都是免费的”这句话存入索引中，通过条件查询来看一下分词的效果。  
![Center 1][]

从查询结果可以看出，虽然查询的时候并没有用到模糊搜索，但是也能通过“免费”这个词把一整条数据都给查出来。

[http_blog.csdn.net_jediael_lu_article_details_37937339]: http://blog.csdn.net/jediael_lu/article/details/37937339
[http_download.csdn.net_detail_u010997403_9111515]: http://download.csdn.net/detail/u010997403/9111515
[Center]: /images/20220731/31c671297f124975847984c758dc604e.png
[Center 1]: /images/20220731/00b2e8050f5e4019a84517ba972f80f9.png