elasticsearch中使用runtime fields

比眉伴天荒 2024-03-27 11:22 30阅读 0赞

## 1、背景 ##

在我们使用`es`的开发过程中可能会遇到这么一种情况，比如我们的线路名称字段`lineName`字段在设置`mapping`的时候使用的是`text`类型，但是后期发现需要使用这个字段来进行`聚合操作`，那么我们除了对索引进行`reindex`操作外，还有什么办法可以解决这个问题呢？此处我们通过`runtime field`来解决。

## 2、runtime field介绍 ##

### 2.1 runtime field可以实现的功能 ###

运行时字段是在查询时评估的字段。是在es`7.11之后增加的`运行时字段使您能够：

1.  将字段添加到现有文档，而无需重新索引数据
2.  在不了解数据结构的情况下开始处理数据
3.  在查询时覆盖从索引字段返回的值
4.  定义特定用途的字段，而不修改原始mapping  
    ![runtime field 的作用][runtime field]

### 2.2 runtime field优缺点 ###

1.  runtime field是运行时增加的字段，不会被索引和存储，不会增加索引的大小。
2.  runtime field 可以像普通字段一样使用，可以进行`查询`,`排序`,`聚合`等操作。
3.  可以动态的添加字段。
4.  可以在查询时覆盖字段的值。即`fields`中和`_source`中可以返回同名的字段，但是值可能不一样。
5.  阻止mapping爆炸，可以先使用后定义。
6.  针对经常被搜索或聚合等操作的字段，不适合使用runtime field，而应该定义在mapping中。
7.  runtime field不会出现在`_source`中，需要通过`fields api`来获取。

## 3、创建runtime field的方式 ##

### 3.1 通过mapping的方式创建 ###

#### 3.1.1、添加runtime field ####

PUT /index_script_fields
    {
      "mappings": {
        "runtime": {
          "aggLineName": {
            "type": "keyword",
            "script": {
              "source": "emit(doc['lineName'].value)"
            }
          }
        },
        "properties": {
          "lineId": {
            "type": "keyword"
          },
          "lineName": {
            "type": "text"
          }
        }
      }
    }

#### 3.1.2、更新 runtime field ####

POST /index_script_fields/_mapping
    {
      "runtime": {
        "aggLineName": {
          "type": "keyword",
          "script": {
            "source": "emit(doc['lineName'].value)"
          }
        }
      }
    }

#### 3.1.3、删除runtime field ####

POST /index_script_fields/_mapping
    {
      "runtime": {
        "aggLineName": null 
      }
    }

### 3.2 通过search request定义runtime field ###

GET /index_script_fields/_search
    {
      "runtime_mappings": {
        "lineName": {
          "type": "keyword",
          "script": "emit(params['_source']['lineName']+'new')"
        }
      }, 
      "query": {
        "match_all": {}
      },
      "fields": [
        "lineName"
      ]
    }

![通过search request定义runtime field][search request_runtime field]

## 4、需求 ##

我们存在一个线路mapping，其中`lineName`在设计的使用使用了`text`类型，现在我们需要根据这个字段来进行聚合操作，那么使用`runtime field`该如何操作呢？

## 5、实现 ##

### 5.1 mapping ###

PUT /index_script_fields
    {
      "mappings": {
        "properties": {
          "lineId": {
            "type": "keyword"
          },
          "lineName": {
            "type": "text"
          }
        }
      }
    }

注意此时的`lineName`的类型是`text`

### 5.2 插入数据 ###

PUT /index_script_fields/_bulk
    {"index":{"_id":1}}
    {"lineId":"line-01","lineName":"线路A"}
    {"index":{"_id":2}}
    {"lineId":"line-01","lineName":"线路A"}
    {"index":{"_id":3}}
    {"lineId":"line-02","lineName":"线路C"}

### 5.3、根据线路来进行聚合 ###

从上方的`mapping`中可以`lineName`是`text`类型，是不可进行聚合操作的，那么此时我们想进行聚合操作，就可以使用`runtime field`来实现。

#### 5.3.1 不使用runtime field ####

![不使用runtime field][runtime field 1]

#### 5.3.2 使用runtime field ####

##### 5.3.2.1 dsl #####

GET /index_script_fields/_search
    {
      "runtime_mappings": {
        "aggLineName": {
          "type": "keyword",
          "script": "emit(params['_source']['lineName']+'new')"
        }
      }, 
      "query": {
        "match_all": {}
      },
      "fields": [
        "lineName"
      ],
      "aggs": {
        "agg_line_name": {
          "terms": {
            "field": "aggLineName",
            "size": 10
          }
        }
      }
    }

##### 5.3.2.2 java代码 #####

@Test
    @DisplayName("lineName字段是text类型，无法进行聚合操作，定义一个runtime field来进行聚合操作")
    public void test01() throws IOException {
        
        SearchRequest request = SearchRequest.of(searchRequest ->
                searchRequest.index(INDEX_NAME)
                        // 查询所有数据
                        .query(query -> query.matchAll(matchAll -> matchAll))
                        // runtime field字段不会出现在 _source中，需要使用使用 fields api来获取
                        .fields(fields -> fields.field("lineName"))
                        // 创建一个 runtime filed 字段类型是 keyword
                        .runtimeMappings("aggLineName", runtime ->
                                runtime
                                        // 此处给字段类型为keyword
                                        .type(RuntimeFieldType.Keyword)
                                        .script(script ->
                                        script.inline(inline ->
                                                // runtime field中如果使用 painless脚本语言，需要使用emit
                                                inline.lang(ScriptLanguage.Painless)
                                                        .source("emit(params['_source']['lineName']+'new')")
                                        )
                                )
                        )
                        // 进行聚合操作
                        .aggregations("agg_line_name", agg ->
                                // 此处的 aggLineName即为上一步runtime field的字段
                                agg.terms(terms -> terms.field("aggLineName").size(10))
                        )
                        .size(100)
        );
    
        System.out.println("request: " + request);
        SearchResponse<Object> response = client.search(request, Object.class);
        System.out.println("response: " + response);

##### 5.3.3.3 运行结果 #####

![聚合][016aae5e0e2349f9ae7859b53ebeca6b.png]

## 6、完整代码 ##

[https://gitee.com/huan1993/spring-cloud-parent/blob/master/es/es8-api/src/main/java/com/huan/es8/runtimefield/RuntimeFieldCorrectMappingError.java][https_gitee.com_huan1993_spring-cloud-parent_blob_master_es_es8-api_src_main_java_com_huan_es8_runtimefield_RuntimeFieldCorrectMappingError.java]

## 7、参考链接 ##

1、[https://www.elastic.co/guide/en/elasticsearch/reference/8.6/runtime.html][https_www.elastic.co_guide_en_elasticsearch_reference_8.6_runtime.html]

[runtime field]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/6aa17abafac74c538dae702ac57f5a8b.png
[search request_runtime field]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/01522adfb98147afbf26fe204de6c996.png
[runtime field 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/db03a661f40e40aabcbb14955fc11be8.png
[016aae5e0e2349f9ae7859b53ebeca6b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/d43dd362d0f24570b48f7557598e0628.png
[https_gitee.com_huan1993_spring-cloud-parent_blob_master_es_es8-api_src_main_java_com_huan_es8_runtimefield_RuntimeFieldCorrectMappingError.java]: https://gitee.com/huan1993/spring-cloud-parent/blob/master/es/es8-api/src/main/java/com/huan/es8/runtimefield/RuntimeFieldCorrectMappingError.java
[https_www.elastic.co_guide_en_elasticsearch_reference_8.6_runtime.html]: https://www.elastic.co/guide/en/elasticsearch/reference/8.6/runtime.html