Lucene建索引值为空且不会分词和parser.parse一直为空的问题解决

港控/mmm° 2021-06-11 15:13 271阅读 0赞

### 1.提示： ###

注意网络上提供的一些中文分词器IKAnalyzer，中央仓库的IKAnalyzer版本较低，5.0以下，用起来不方便，

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNzk2ODYxMw_size_16_color_FFFFFF_t_70][]

所以网上找了找，找了个支持lucene 6.6.0的中文分词器，谁知竟然是没用的，没用竟然还不报错（也可能是我的问题），导致里无法生成索引，查询时query一直为空

QueryParser parser = new QueryParser("productName", ikAnalyzer);
    Query query = parser.parse("xx");

给个网盘地址：链接：https://pan.baidu.com/s/1uvk1VU\_FCjZ3BcluhZInVw    提取码：1gw2     大家可以试一试

### 解决方法： ###

试着放弃IKAnalyzer，用CJKAnalyzer（中日韩分词器，二元分词)试试，就可以了0.0，这是luke查看索引的图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNzk2ODYxMw_size_16_color_FFFFFF_t_70 1][]

### 2.索引时不会分词 ###

public void indexAll() {
    		CJKAnalyzer ikAnalyzer = new CJKAnalyzer();
    		IndexWriter indexWriter = null;
    		try {
    			Directory directory = FSDirectory.open(Paths.get(DIR_PATH));
    			IndexWriterConfig config = new IndexWriterConfig(ikAnalyzer);
    			indexWriter = new IndexWriter(directory, config);
    		} catch (IOException e) {
    			e.printStackTrace();
    			logger.info("文件读取错误---");
    		}
    		List<Product> products = productRepository.findAll();
    		try {
    			for (Product product : products) {
    				Document document = new Document();
    				logger.info("{}添加索引:{}", product.getProductId(), product.getProductName());
    				document.add(new TextField("productName", product.getProductName(), Field.Store.YES));
    				document.add(new TextField("productId", product.getProductId(), Field.Store.YES));
    				document.add(new TextField("content",product.toString(),Field.Store.YES));
    				indexWriter.addDocument(document);
    			}
    			indexWriter.commit();
    			indexWriter.close();
    		} catch (IOException e) {
    			e.printStackTrace();
    			logger.info("文件写入错误--");
    		}
    		logger.info("--------索引结束:---");
    	}

这个是代码问题。是因为StringField不支持分词，而TextField既支持索引，也支持分词。

##  ##

### lucene常见Field: ###

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <th> 
    <table> 
     <tbody> 
      <tr> 
       <th style="width:175px;"> <p>IntField</p> </th> 
       <th style="width:673px;"> <p>主要对int类型的字段进行存储，需要注意的是如果需要对InfField进行排序使用SortField.Type.INT来比较，如果进范围查询或过滤，需要采用NumericRangeQuery.newIntRange()</p> </th> 
      </tr> 
      <tr> 
       <td style="width:175px;"> <p>LongField</p> </td> 
       <td style="width:673px;"> <p>主要处理Long类型的字段的存储，排序使用SortField.Type.Long,如果进行范围查询或过滤利用NumericRangeQuery.newLongRange()，LongField常用来进行时间戳的排序，保存System.currentTimeMillions()</p> </td> 
      </tr> 
      <tr> 
       <td style="width:175px;"> <p>FloatField</p> </td> 
       <td style="width:673px;"> <p>对Float类型的字段进行存储，排序采用SortField.Type.Float,范围查询采用NumericRangeQuery.newFloatRange()</p> </td> 
      </tr> 
      <tr> 
       <td style="width:175px;"> <p>BinaryDocVluesField</p> </td> 
       <td style="width:673px;"> <p>只存储不共享值，如果需要共享值可以用SortedDocValuesField</p> </td> 
      </tr> 
      <tr> 
       <td style="width:175px;"> <p>NumericDocValuesField</p> </td> 
       <td style="width:673px;"> <p>用于数值类型的Field的排序(预排序)，需要在要排序的field后添加一个同名的NumericDocValuesField</p> </td> 
      </tr> 
      <tr> 
       <td style="width:175px;"> <p>SortedDocValuesField</p> </td> 
       <td style="width:673px;"> <p>用于String类型的Field的排序，需要在StringField后添加同名的SortedDocValuesField</p> </td> 
      </tr> 
      <tr> 
       <td style="width:175px;"> <p>StringField</p> </td> 
       <td style="width:673px;"> <p>用户String类型的字段的存储，StringField是只索引不分词</p> </td> 
      </tr> 
      <tr> 
       <td style="width:175px;"> <p>TextField</p> </td> 
       <td style="width:673px;"> <p>对String类型的字段进行存储，TextField和StringField的不同是TextField既索引又分词</p> </td> 
      </tr> 
      <tr> 
       <td style="width:175px;"> <p>StoredField</p> </td> 
       <td style="width:673px;"> <p>存储Field的值，可以用IndexSearcher.doc和IndexReader.document来获取此Field和存储的值</p> </td> 
      </tr> 
     </tbody> 
    </table></th> 
  </tr> 
 </tbody> 
</table>

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNzk2ODYxMw_size_16_color_FFFFFF_t_70]: /images/20210518/078a44b7cb3a4ed6af5407db965ded19.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNzk2ODYxMw_size_16_color_FFFFFF_t_70 1]: /images/20210518/acdc09a160834e32b59d151668c4e128.png