在elasticsearch里如何高效的使用filter [性能优化必看]

叁歲伎倆 2021-09-20 05:18 275阅读 0赞

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][]

在elasticsearch里如何高效的使用filter \[性能优化必看\] 博客分类： 搜索引擎，爬虫

这里有一篇很好的文章，很不错，翻译和整理了一下，英文不错的，建议直接看原文：[http://euphonious-intuition.com/2013/05/all-about-elasticsearch-filter-bitsets/][http_euphonious-intuition.com_2013_05_all-about-elasticsearch-filter-bitsets]

elasticsearch里面有BOOL [filter][]、AND、OR、NOT [filter][]，这几个看起来很相似，都有什么区别呢？什么时候用bool[filter][]？什么时候用AND filter呢？

事实上，bool filter和AND 、OR、NOT filter 是完全不同，在查询性能上面的影响是非常大的。

首先咱们需要了解的是filter里面都是怎么工作的，其中核心的一个东西叫[BitSet][]， 可以理解为一个很大的bit数组，数组里面的每个元素有2个状态:0和1（bloom filter知道么？），而filter大家都知道，只处理文档是否匹配与否，不涉及文档评分操作。如果一个文档和filter查询匹配，那么其对应的 bit位就设置为1，匹配不上则设置为0。

es在执行filter查询过滤的时候，会打开lucene的每个segment段文件，然后去判断里面的文档符合该filter与否，这个匹配的结果我 们就可以用bitset来存储起来，下次同样的filter查询过来，我们就直接使用内存里面的bitset来进行判断就行了，而不需要再打开 lucene的segment文件了，避免了io的操作，这样就可以大大提高查询处理的速度，这也是为什么filter这么高效的原因。

因为lucene的segment段文件是不变的，lucene会产生新段，但是旧段是不变的，所以bitset是重复利用的，根据不同的filter条 件和不同的段，会产生相应的bitset，另外不同的查询可能会涉及到多个bitset的做交集，计算机对这种bit位处理过程是非常拿手的，速度很快。

另外，如果filter的结果如果是空的，那么里面的bitset位都是0，es以后在处理该filter的时候，会把该bitset整个忽略掉，提高性能。

前面说完了基础内容，咱们再看看bool filter和AND filter这些的区别吧

bool filter会使用到前面提到过的bitset数据结构（bitset派），而AND \\OR\\ NOTfilter则不能利用到bitset（non-bitset派），为什么呢？

AND、OR、NOT filter是doc by doc的逐个文档的处理，es逐个加载文档里面的字段内容，然后检查字段的内容是否满足查询条件，不满足的文档就排除在结果集之外，依次迭代进行，直到过 完一遍所有的文档，这中间的过程用不到前面提到过的bitset，也就不能重复利用缓存资源

如果你有多个filter条件，即一个AND、OR、NOT里面包含多个filter过滤条件（支持数组的方式），那么处理的逻辑就是每个filter会 将依次将生成的结果集传到下一个filter，理论上处理的文档数会越来越少，因为只会过滤减少，不会增加，这样依次过滤，所以一般限制条件比较苛刻的可 以放前面执行，这样后面的filter需要处理的文档数就会很小，这样可以大大提高整体处理的速度，另外除了数量上的考虑外，还需要考虑filter的效 率问题，一些filter执行效率很低，如Geo filter（大量计算）或者script based filter（动态脚本），建议将这些性能开销比较大的查询放最后执行来提高整体的处理速度。

好了，现在应该有这么一个概念了，AND、OR、NOT是文档by文档，依次处理，如果你的结果集很大，即一个很宽松的查询，命中很多，那么你使用 AND、OR、NOT filter是不合适的，但是有些filter是必须文档by文档处理的，如下面的这几个filter：

*  Geo\* filters
 *  Scripts
 *  Numeric\_range

所以除了上面那几个没有办法的，其它的filter应该一律使用bool filter来提高查询性能。

如果你的查询里面需要同时使用到bitset和non-bitset类型的filter，则可以组合起来使用bool filter和AND\\OR\\NOT filter，

前面说了，AND 是结果集依次向后传递，所以我们把性能比较好的放前面，non-bitset放AND的filter的后面，如下面一个包含多个filter类型的复杂的filter

{ 
      "and" : [
        { 
          "bool" : { 
            "must" : [
              {  "term" : { } },
              {  "range" : { } },
              {  "term" : { } }
            ]
          }
        },
        { 
          "or" : [
            {  "custom_script" : { } },
            {  "geo_distance" : { } }
          ]
        }
      ]
    }

and 在最外层做wrapper，第一个filter是一个bool filter，里面有3个must的子filter，处理完了之后，得到文档结果集，然后再执行一个or的子filter，OR里面两个查询会分别进行，最终的文档结果集就是我们的搜索结果了。

总之，filter使用的时候，一定要优先使用bitset流，然后还要考虑filter顺序和组合的问题

*  Geo, Script or Numeric\_range filter: 使用 And/Or/Not Filters
 *  所有其它的: 使用 Bool Filter

掌握了以上这些，就不难写出高性能的查询了。