Java 实现 ElasticSearch-SQL 检索流程

淩亂°似流年 2023-09-23 18:03 42阅读 0赞

#### 背景 ####

记录一个最近半年犯了两次的低级编码错误，校验某个字符串信息为枚举类的某实例时，写成了：`枚举类的实例.equals(字符串)` ，结果总是 `false` ，打印信息貌似正确，实际执行结果总是不达预期，仔细看看代码才发现问题。本文记录本周开发工作中遇到的几个小问题，Bug 是无法完全消除的，只能尽量减少。

#### ES 连接及时关闭 ####

查看某进程的端口占用时，看到好多正连接着的 ES 连接对象，普通的 Java Web 应用，没有后台任务，怎么会保持这么多连接呢？

**问题分析**：代码有缺陷，有些请求使用 ES 进行数据查询完成后，没有关闭 ES 连接对象。ES 连接不关闭，有什么问题呢？

Linux 的每个连接都会创建一个文件句柄，毫无疑问，Socket 连接用完后不关闭，会导致端口资源泄漏。

#### jackson 序列化异常 ####

在将 ElasticSearch 的 `Response` 对象序列化时碰到一个异常信息：

Caused by: com.fasterxml.jackson.databind.exc.InvalidDefinitionException: No serializer found for class org.elasticsearch.common.text.Text and no properties discovered to create BeanSerializer (to avoid exception, disable SerializationFeature.FAIL_ON_EMPTY_BEANS) (through reference chain: org.elasticsearch.action.search.SearchResponse["hits"]->org.elasticsearch.search.SearchHits["hits"]->org.elasticsearch.search.SearchHit[0]->org.elasticsearch.search.SearchHit["shard"]->org.elasticsearch.search.SearchShardTarget["nodeIdText"])
    复制代码

有两种解决办法：

1.  定义一个配置类，设置 jackson 的序列化配置属性。
2.  通过 SpringBoot 的全局配置 `spring.jackson.serialization.FAIL_ON_EMPTY_BEANS` 设置为 false ，该配置默认为 true ，这个方式更方便。

#### ElasticSearch 执行 SQL 的 Java 实现 ####

回到文章标题说的问题，ElasticSearch 6 以后的版本支持 SQL 语句检索了，如何用 Java 代码实现 ES SQL 检索呢？

**第一 Part，基础知识。** 先搞明白需求及相关的技术支持，主要如下：

1.  ElasticSearch-SQL 功能，区分 GitHub 上的一个插件和 ElasticSearch 自身的支持能力。ES 6 以后内置了X-Pack 组件，提供了 Elasticsearch SQL 能力，就是说不用安装插件就可以使用 ES SQL 能力了。而网上很多都是介绍 ElasticSearch SQL 插件安装的，却不曾想 ES 已经内置了。
2.  ES 6 与 ES 8 的 Rest API 的语法不一样，8 以上的版本语句是 `/_xpack/_sql?format=` ，但是旧版本是 `/_xpack/sql?format=` ，版本依赖问题有时候挺坑的。网上大量的资料，估计都是来自官网，全都是 `/_xpack/_sql?format=`，结果我测试用的环境是 ES6 的，一直报错。

**第二 Part，** Java 实现 ES-SQL 操作的几种方法：

1.  Rest API 请求 `/_xpack/sql?format=`。
2.  JDBC-ES ，这个功能是收费的。

确定方案一。

第三 Part，使用 `elasticsearch-rest-high-level-client` 包的 RestAPI 客户端工具可以实现 ES-SQL 的操作。基本思路是构建一个 RestClient 对象，请求路径为 `/_xpack/_sql?format=json` 这个用 txt 的时候，总是得不到结果，用 json 就没问题。

重要源代码如下：

// ES 连接信息构造
    RestClientBuilder restClientBuilder  = null;
    if (hasPwd) {
    	final CredentialsProvider credentialsProvider = new BasicCredentialsProvider();
    	
    	/** 设置 ES 认证信息 */
        credentialsProvider.setCredentials(AuthScope.ANY,new UsernamePasswordCredentials(userName, password));
    	restClientBuilder = RestClient.builder(https)
                        .setHttpClientConfigCallback(httpAsyncClientBuilder -> httpAsyncClientBuilder.setDefaultCredentialsProvider(credentialsProvider));
    } else {
      	restClientBuilder = RestClient.builder(https)
    }
    
    // xpack-sql 请求构造
    String searchIndex = "/_xpack/sql?format=json";
    Request request = new Request("POST", searchIndex);
    request.setJsonEntity(queryJsonString);
    
    RestClient restClient = restClientBuilder.build();
    try {
        Response response = restClient.performRequest(request);
        String body = EntityUtils.toString(response.getEntity());
        // TODO 处理 ES 响应结果
    } catch (IOException e) {
    }
    复制代码

#### ToDesk 服务占据高 CPU ####

电脑一直占据大量的 CPU，top 看是 ToDesk 进程，执行下面的操作好了：

sudo launchctl unload /Library/LaunchDaemons/com.youqu.todesk.service.plist
    复制代码

我碰到的问题，绝对不是个例，百度是个好东西，面向百度编程也没什么不好啊！