最近工作中遇到ElasticSearch一些问题总结

骑猪看日落 2022-06-15 22:24 312阅读 0赞

最近在使用ElasticSearch来查询我们的一些实时数据，中间也遇到不少的问题，今天在此简单总结记录一下。es的功能的确十分强大，大部分数据库能实现的需求，基本在es里面都能实现，当然两者都有一些特殊的功能，是双方不能实现或者不容易实现的。

案例一：

es单个字段分组后，分页是个小坑，因为分组结果里面，只提供了size来限制返回，并没有类似offset和limit的参数来支持分页，所以这个地方，一般提供的是top N的分组数据，如果想分页，只能自己在内存中实现。

案例二：

如下面的sql：

select a, b , count(*) as c form t1 group a, b  order by c desc

在es多个字段分组后，排序都是组内有序，而不是整体数据有序，如果想实现整体数据有序，有两种解决办法可以解决：

方法一：

使用agg-script，使用script来实现聚合，这样唯一的缺点就是大数据量下，耗时比较高。

//多字段分组
    TermsBuilder one = AggregationBuilders.terms("one").script(new Script("doc['stid'].value +'#' + doc['qid'].value"));

方法二：

使用copy字段，将多维字段，提供合并成一个字段，这样分组时候就可以直接使用这个字段进行分组，效率较高，但灵活性比较低，如果要是有7,8个字段都需要两两组合分组，那么索引里面的冗余字段就会多出好多个，索引体积的增大也会影响检索和聚合性能。

{
      "mappings": {
        "test": {
          "properties": {
            "f": {
              "type": "string",
              "index": "not_analyzed",
              "copy_to": "f_and_g" },
            "g": {
              "type": "string",
              "index": "not_analyzed",
              "copy_to": "f_and_g" },
            "f_and_g": {
              "type": "string",
              "index": "not_analyzed" }
          }
        }
      }
    }

当然上面的分组能处理，但是分页问题依然和案例一是一样的情况，所有的分组都有这个问题。

案例三：

如下面的sql：

select max(tt.su1),max(tt.su2) 
    FROM 
    (
    select name ,sum(c1) as su1 ,sum(c2) as su2 from tp group by name
    ) as tt

上面这个sql，是分组某个字段后，对其中几个指标进行sum，完事之后，在外层又要取到sum后的某个指标的最大值，这个问题在1.x的es中是不能解决的，但是在2.x之后，es提供了管道聚合，其功能更加强大，类似实现数据里面的多个子查询的功能。

下面我们看看如何使用es来完成上面的这个功能：

java代码如下：

//构建查询请求体
            SearchRequestBuilder search = client.prepareSearch("spark").setTypes("spark");
    
            //分组字段是id，排序由多个字段排序组成
            TermsBuilder tb= AggregationBuilders.terms("name").field("name");
    
            //添加两个sum指标
            tb.subAggregation(AggregationBuilders.sum("c1").field("c1"));
            tb.subAggregation(AggregationBuilders.sum("c2").field("c2"));
    
            //添加管道聚合获取max值
            MaxBucketBuilder maxx=  PipelineAggregatorBuilders.maxBucket("max").setBucketsPaths("name>c1");
            MaxBucketBuilder maxx2=  PipelineAggregatorBuilders.maxBucket("max2").setBucketsPaths("name>c2");
    
    
    
            //封装聚合实体
            search.addAggregation(maxx);
            search.addAggregation(maxx2);
            search.addAggregation(tb);
    
            //获取指标里面的最大值
            InternalBucketMetricValue imb=search.get().getAggregations().get("max") ;
            InternalBucketMetricValue imb2=search.get().getAggregations().get("max2") ;
    
            //输出值的结果
            System.out.println(imb.value());
            System.out.println(imb2.value());
    
    
    
            client.close();

curl如下：

{
      "aggregations" : {
        "max" : {
          "max_bucket" : {
            "buckets_path" : [ "name>c1" ]
          }
        },
        "max2" : {
          "max_bucket" : {
            "buckets_path" : [ "name>c2" ]
          }
        },
        "name" : {
          "terms" : {
            "field" : "name"
          },
          "aggregations" : {
            "c1" : {
              "sum" : { "field" : "c1" } },
            "c2" : {
              "sum" : { "field" : "c2" } }
          }
        }
      }
    }

总结：从上面的几个案例看，es在分组时候的需要考虑的问题要多点，但也大部分都能使用scrpit方式解决，但分组的分页问题，确实不太好弄，这个地方基本上都是看topN的数据比较方便，如果非要看所有的数据，而且必须分页，那只能在内存总实现了，所以建议这个地方需要慎重考虑。

有什么问题可以扫码关注微信公众号：我是攻城师(woshigcs)，在后台留言咨询。 技术债不能欠，健康债更不能欠， 求道之路，与君同行。

![输入图片说明][3214000f-5633-3c17-a3d7-83ebda9aebff.jpg]

[3214000f-5633-3c17-a3d7-83ebda9aebff.jpg]: /images/20220616/dc08c5349dec415bb2a3a6d62a18cedb.png