solr 近实时搜索

Bertha 。 2022-06-17 09:30 230阅读 0赞

**摘要：** Solr的近实时搜索NRT(Near Real Time Searching)意味着文档可以在索引以后马上可以被查询到。Solr不会因为本次提交而阻塞更新操作，不会等待后台合并操作(merge)的完成而是直接检索索引并返回数据。[参见原文][Link 1]

> 利用NRT，就可以设置soft commit，因为标准的commit操作代价高昂，soft commit可以做到近乎实时的查询效果而不丢失数据。

### Commits 与 Optimizing ###

一个commit操作可以使新的查询请求能够感知到索引的变化，一般使用的 `hard commit`通过事务的方式确保数据是最新的，并且会有同步方法(fsync)的调用确保数据能持久化。而`soft commit`效率高是因为没有调用同步方法，这样的话，一旦JVM崩溃，可能会丢失数据。使用NRT可以使Solr多做`soft commit`而少一点`hard commit`。

我们所使用的`optimize`很像`hard commit`，不同的是它会强制将所有的索引片段合并为一个。一般我们很少使用它，因为它会重写整个索引。正常情况下，片段合并会根据配置自动进行，调用`optimize`只是手动加快了这一进程。

对于`soft commit`，常用下面两个参数：

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>maxDocs</td> 
   <td>int型，每多少个文档push到索引一次</td> 
  </tr> 
  <tr> 
   <td>maxTime</td> 
   <td>long型，每多少毫秒push到索引一次</td> 
  </tr> 
 </tbody> 
</table>

### Auto commit ###

使用autocommit也可以使用上面两个参数`maxDocs`和`maxTime`。

一般，设置autocommit为每1-10分钟一次，设置autosoftcommit为每秒一次。这样的话，新的文档就可以在1秒内被添加到索引，就算出现意外，丢失的数据也只是上一次hard commit之后添加的数据。

这是一段commit的配置，从经验角度，配置`maxTime`参数比`maxDocs`效果好，尤其是索引量很大的时候。一般还建议对于批处理的索引请求关闭`autoSoftCommit`功能。

### 其他的参数 ###

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>参考值（默认）</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>waitSearcher</td> 
   <td>布尔（true）</td> 
   <td>新的搜索器打开并注册为主查询搜索器之前，是否阻塞查询</td> 
  </tr> 
  <tr> 
   <td>softCommit</td> 
   <td>布尔（false）</td> 
   <td>是否执行softCommit</td> 
  </tr> 
  <tr> 
   <td>expungeDeletes</td> 
   <td>布尔（false）</td> 
   <td>仅针对<code>commit</code>，是否清理掉已经delete的数据</td> 
  </tr> 
  <tr> 
   <td>maxSegments</td> 
   <td>整数（1）</td> 
   <td>优化为多少个片段segments</td> 
  </tr> 
 </tbody> 
</table>

下面就是一个配置片段：

### 在URL中使用commit参数 ###

下面的URL使用了`commit`操作使得测试文档被插入后可以立即生效：  
`http://localhost:8983/solr/core0/update?stream.body=<add><doc> <field name="id">testdoc</field></doc></add>&commit=true`

接下来，你可能会用到下面这个URL：  
`http://localhost:8983/solr/core0/update?stream.body=<optimize/>`

还可以添加更多的参数，比如优化为10个片段，不需要等待操作结束：

`http://localhost:8983/solr/core0/update?optimize=true&maxSegments=10&waitFlush=false`

### 改变默认的commitWithin行为 ###

参数`commitWithin`会使文档在一个确定的时间段内commit，因此常常用于NRT检索。但是，对于master/slave 环境，可能会导致新的文档不能复制到slave中（因为只有commit操作才会触发复制机制，softcommit不会使 replicate生效）。如果你需要这样的做，那就只能使用`hard commit`了，例如：

<commitWithin>
      <softCommit>false</softCommit>
    </commitWithin>

[Link 1]: https://cwiki.apache.org/confluence/display/solr/Near+Real+Time+Searching