ElasticSearch - 基于 JavaRestClient 操作索引库和文档

深碍√TFBOYSˉ_ 2024-03-01 06:20 7阅读 0赞

**目录**

一、RestClient操作索引库

1.1、RestClient是什么？

1.2、JavaRestClient 实现创建、删除索引库

1.2.1、前言

1.2.1、初始化 JavaRestClient

1.2.2、创建索引库

1.2.3、判断索引库是否存在

1.2.4、删除索引库

1.3、JavaRestClient 实现文档的 CRUD

1.3.1、初始化 JavaRestClient

1.3.2、添加文档（酒店数据）到索引库

1.3.3、根据 id 查询酒店数据

1.3.4、根据 id 修改酒店数据

1.3.5、根据 id 删除文档数据

1.3.6、批量导入文档

--------------------

## 一、RestClient操作索引库 ##

--------------------

### 1.1、RestClient是什么？ ###

前面我们已经了解了如何利用 DSL 语句去操作 es 的索引库和文档，但作为 java 程序员，将来肯定是要通过 java 代码去操作 es 的，那么想要实现这些，就需要通过 es 官方提供的 RestClient 实现.

RestClient 实际上就是 es 官方提供的各种语言的客户端，他的作用就是帮助我们组装 DSL 语句，然后发送 http 请求给 es 服务器，而我们只需要通过 java 代码将请求发送给客户端，然后客户端就会帮我们来处理剩下的这些事情.

官方文档地址：[Elasticsearch Clients | Elastic][Elasticsearch Clients _ Elastic]

![1d1b297855c64893a89224a12b24a252.png][]

### 1.2、JavaRestClient 实现创建、删除索引库 ###

#### 1.2.1、前言 ####

这里我将以一个 酒店 demo 工程来演示 JavaRestClient 的操作.

具体来讲，这是一个酒店的数据，创建的 sql 如下：

CREATE TABLE `tb_hotel` (
      `id` bigint(20) NOT NULL COMMENT '酒店id',
      `name` varchar(255) NOT NULL COMMENT '酒店名称；例：7天酒店',
      `address` varchar(255) NOT NULL COMMENT '酒店地址；例：航头路',
      `price` int(10) NOT NULL COMMENT '酒店价格；例：329',
      `score` int(2) NOT NULL COMMENT '酒店评分；例：45，就是4.5分',
      `brand` varchar(32) NOT NULL COMMENT '酒店品牌；例：如家',
      `city` varchar(32) NOT NULL COMMENT '所在城市；例：上海',
      `star_name` varchar(16) DEFAULT NULL COMMENT '酒店星级，从低到高分别是：1星到5星，1钻到5钻',
      `business` varchar(255) DEFAULT NULL COMMENT '商圈；例：虹桥',
      `latitude` varchar(32) NOT NULL COMMENT '纬度；例：31.2497',
      `longitude` varchar(32) NOT NULL COMMENT '经度；例：120.3925',
      `pic` varchar(255) DEFAULT NULL COMMENT '酒店图片；例:/img/1.jpg',
      PRIMARY KEY (`id`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

之后我们创建 索引库 的时候，就需要基于上述 sql 数据，来考虑 mapping 约束.

#### 1.2.1、初始化 JavaRestClient ####

a）引入 es 的 RestHighLevelClient 依赖

<dependency>
                <groupId>org.elasticsearch.client</groupId>
                <artifactId>elasticsearch-rest-high-level-client</artifactId>
            </dependency>

b）由于 SpringBoot 默认的 ES 版本是 7.6.2，因此这里我们需要覆盖默认的 ES 版本.

在 yml 配置文件中添加如下版本信息即可.

c）初始化 RestHighLevelClient.

这里我们创建一个测试类 HotelIndexTest ，用来演示 RestClient 操作的相关方法.

@SpringBootTest
    class HotelIndexTest {
    
        private RestHighLevelClient client;
    
        @BeforeEach
        public void setUp() {
            client = new RestHighLevelClient(RestClient.builder(
                    HttpHost.create("http//云服务器ip:9200")
                    //将来如果是集群，这里还可以通过 HttpHost.create 继续连接多个节点
            ));
        }
    
        @AfterEach
        public void tearDown() throws IOException {
            client.close();
        }
    
    }

#### 1.2.2、创建索引库 ####

这里就需要根据前面提供的表结构来考虑 mapping 该如何建立.

**具体的要考虑：字段名、数据类型、是否参与搜索、是否分词、如果分词，分词器是什么？**

**这里可以先使用 Kibana 来编写.**

PUT /hotel 
    {
      "mappings": {
        "properties": {
          "id": { 
            // id 按照数据库那边的定义，这里因该类型设置为 long
            // 但是这里比较特殊，在索引库中 id 比较特殊，将来都是字符串类型.
            // 又因为 id 将来不做分词处理，因此是 keyword 类型
            // id 将来肯定要参与 crud ，因此 index 就默认为 true 即可.
            "type": "keyword"
          },
          "name": {
            // 酒店的名字需要搜索和分词.
            "type": "text",
            "analyzer": "ik_max_word", "copy_to": "all"
          },
          "address": {
            // 有时候我们需要根据地址来查询附近的酒店，分词也是有必要的("例如 徐汇龙华西路315弄58号")
            "type": "text",
            "analyzer": "ik_max_word",
            "copy_to": "all"
          },
          "price": {
            //将来要根据价格范围过滤酒店，所以需要搜索，分词就没必要了.
            "type": "integer"
          },
          "score": {
            //这里就和 price 一样了
            "type": "integer"
          },
          "brand": {
            //酒店的品牌肯定是不需要分词了，但一定需要参与搜索.
            "type": "keyword",
            "copy_to": "all"
          },
          "city": {
            //城市名字不要分词，但需要参与搜索
            "type": "keyword",
            "copy_to": "all"
          },
          "star_name": {
            //一星、二星、三星... 分词是没有意义的，组合起来才有意义.
            //有的人就想住5星酒店，那肯定要参与搜索.
            "type": "keyword"
          },
          "business": {
            //商圈比如: 虹桥、外滩... 这些肯定不需要分词，但一定需要参与搜索.
            "type": "keyword",
            "copy_to": "all"
          },
          "pic": {
            //图片这里就是一个 url 路径，不需要分词，也没有人会搜这个 url
            //因此就这个 url 就可以当作关键字来处理.
            "type": "keyword",
            "index": false
          },
          "location": {
            //在 es 中有两种特殊的方式，专门来表示地理坐标
            //"geo_point": 表示地图上的点
            //"geo_shape": 表示地图上的区域，也就是多个点组成.
            //那么酒店肯定是属于一个点(毕竟从地球上看，再大的酒店也不过是点)
            // geo_point 里面由 经度 和 纬度 组成，并且是这两拼在一起组成的字符串
            "type": "geo_point"
          },
          "all": {
            // 将来 name、address、brand... 这些字段大概率都需要参与搜索
            // 也就意味着用户输入的的关键字，我们后端都需要根据多个字来搜.
            // 并且我们可以想象以下 es 作搜索的时候, 根据多个字段去搜索的效率肯定是要比一个字段搜索效率要低
            //这里对比以下数据库就清楚了.
            //最重要的是, 我们也希望用户输入名称就能搜到相关的内容, 用户输入品牌也能搜到相关内容...
            // es 就中有一个字段 "copy_to", 就是将当前字段的值拷贝到指定字段.
            //这里我们就将需要搜索的字段都拷贝到 all 这个字段中就 ok
            //这也就实现了在一个字段里, 搜索到多个字段的内容.
            "type": "text",
            "analyzer": "ik_max_word"
          }
        }
      }  
    }

> 自定义 all 字段的解读:

将来 name、address、brand... 这些字段大概率都需要参与搜索，也就意味着用户输入的的关键字，我们后端都需要根据多个字来搜，并且我们可以想象以下 es 作搜索的时候, **根据多个字段去搜索的效率肯定是要比一个字段搜索效率要低**，这里对比以下数据库就清楚了~

最重要的是, 我们也希望用户输入名称就能搜到相关的内容, 用户输入品牌也能搜到相关内容... es 就中有一个字段 "copy\_to", 就是将当前字段的值拷贝到指定字段。这里我们就将需要搜索的字段都拷贝到 all 这个字段中就 ok ，实现了在一个字段里, 搜索到多个字段的内容.

而且这里还做了优化，**并不是真的吧文档拷贝进去，而是创建索引，将来你去查的时候，是看不到这些字段，但搜却能搜到（类似于根据指针找到数据所在位置）**.

copy\_to 用法如下：

1.  拷贝到单个字段中："copy\_to": "all" （拷贝到 all 字段中）
2.  拷贝到多个字段中："copy\_to": \["all", "suggestion"\] （拷贝到 all 和 suggestion 字段中）

创建索引库代码如下：

@Test
        public void testCreateHotelIndex() throws IOException {
            //1.创建 Request 对象
            CreateIndexRequest request = new CreateIndexRequest("hotel");
            //2.编写请求参数(MAPPING_TEMPLATE 是一个静态常量，内容是创建索引库的 DSL 语句)
            request.source(MAPPING_TEMPLATE, XContentType.JSON);
            //3.发起请求
            client.indices().create(request, RequestOptions.DEFAULT);
        }

*  CreateIndexRequest 的构造参数就是请求创建的索引库的名字.
 *  MAPPING\_TEMPLATE：是自定义的静态常量，内容是创建索引库的 DSL 语句.
 *  client.indices()： 这个方法的返回值是一个对象（indices 是 index 的复数形式），包含了操作索引库的所有方法.
 *  RequestOptions.DEFAULT ：就表示走默认的方法.

![2fe7842464fd41b8a91787d05d1f6aeb.png][]

执行以后发现运行成功了~

![e0406921d4db4d178bc7795f9e172d1b.png][]

之后去 Elastic DevTools 上去 GET，就可以看到新增的索引库了~

![fed2753f10e34323bb8e3907e1af6e12.png][]

#### 1.2.3、判断索引库是否存在 ####

判断索引库是否存在代码如下：

@Test
        public void testExistsHotelIndex() throws IOException {
            //1.创建 Request 对象
            GetIndexRequest request = new GetIndexRequest("hotel");
            //2.发送请求
            boolean exists = client.indices().exists(request, RequestOptions.DEFAULT);
            System.out.println(exists);
        }

很多时候，我们先写 client.indices().exists 就可以之间看出需要什么参数

![9250f796157a46d48b151225bf7bccb1.png][]

运行以后，可以看到通过了（true 是因为上个案例添加索引库是存在的）.

![2dc6c4c79ba54a84b54c9ddd7095c5d3.png][]

#### 1.2.4、删除索引库 ####

判断删除索引库代码如下：

@Test
        public void testDeleteHotelIndex() throws IOException {
            //1.创建 Request 对象
            DeleteIndexRequest request = new DeleteIndexRequest("hotel");
            //2.发送请求
            client.indices().delete(request, RequestOptions.DEFAULT);
        }

![59f0e42d67f74377a4805275220eb197.png][]

之后再查询就发现查询不到了，表明删除成功.

![11db3dd8668c40139c756dc50bba60ba.png][]

### 1.3、JavaRestClient 实现文档的 CRUD ###

#### 1.3.1、初始化 JavaRestClient ####

这里的初始化操作和操作索引库的初始化一样（本质上都是连接 JavaRestClient 客户端）.

@SpringBootTest
    class HotelDocumentTest {
    
        private RestHighLevelClient client;
    
        @BeforeEach
        public void setUp() {
            client = new RestHighLevelClient(RestClient.builder(
                    HttpHost.create("http://云服务器ip:9200")
            ));
        }
    
        @AfterEach
        public void tearDown() throws IOException {
            client.close();
        }
    
    }

#### 1.3.2、添加文档（酒店数据）到索引库 ####

> Ps：操作文档前需要先创建对应索引库

这里我先通过 MyBatis-Puls 从数据库拿到数据，然后添加文档.

实体类如下（这里重写构造方法主要是为了 location 属性（地理位置），将经度，纬度合二为一）：

@Data
    @NoArgsConstructor
    public class HotelDoc {
        private Long id;
        private String name;
        private String address;
        private Integer price;
        private Integer score;
        private String brand;
        private String city;
        private String starName;
        private String business;
        private String location;
        private String pic;
    
        public HotelDoc(Hotel hotel) {
            this.id = hotel.getId();
            this.name = hotel.getName();
            this.address = hotel.getAddress();
            this.price = hotel.getPrice();
            this.score = hotel.getScore();
            this.brand = hotel.getBrand();
            this.city = hotel.getCity();
            this.starName = hotel.getStarName();
            this.business = hotel.getBusiness();
            this.location = hotel.getLatitude() + ", " + hotel.getLongitude();
            this.pic = hotel.getPic();
        }
    }

@NoArgsConstructor：生成无参构造.

编写添加文档代码：

@Test
        public void testAddDocument() throws IOException {
            //1.获取酒店数据
            Hotel hotel = hotelService.getById(5865979L);
            //2.转化文档(主要是地理位置)
            HotelDoc hotelDoc = new HotelDoc(hotel);
            //3.转化为 JSON 格式
            String hotelJson = objectMapper.writeValueAsString(hotelDoc);
            //4.构造请求
            IndexRequest request = new IndexRequest("hotel").id(hotel.getId().toString());
            //5.添加请求参数(json 格式)
            request.source(hotelJson, XContentType.JSON);
            //6.发送请求
            client.index(request, RequestOptions.DEFAULT);
        }

运行后发现通过了

![d2167abd89104382bb1d13a85e9ead91.png][]

在 Kibana 上查询就可以得到对应的数据

![34852eca954049b09b17faf09c9634db.png][]

#### 1.3.3、根据 id 查询酒店数据 ####

这里值得注意的是：通过 client.get 查询到的是一个 GetResponse 对象，需要获取里面的原数据.

代码如下：

@Test
        public void testGetDocument() throws IOException {
            //1.构造请求
            GetRequest request = new GetRequest("hotel").id("5865979");
            //2.发送请求
            GetResponse response = client.get(request, RequestOptions.DEFAULT);
            //3.转化成json
            String json = response.getSourceAsString();
            System.out.println(json);
        }

![e376b8c4fd1344e1a15b228453fdac83.png][]

运行后就可以得到对应的数据

![bb53fd022f2c488bae7c762b7605fb24.png][]

#### 1.3.4、根据 id 修改酒店数据 ####

修改文档数据有两种方式（之前提到过）：

*  全量更新（就是上面演示的添加文档）：再次写入 id 一样的文档，就会删除旧文档，添加新文档.
 *  局部更新（演示这个）：只更新部分字段.

@Test
        public void testUpdateDocument() throws IOException {
            //1.构造请求
            UpdateRequest request = new UpdateRequest("hotel", "5865979");
            //2.填写参数
            request.doc(
                "name", "地表最强酒店",
                    "price", "99999"
            );
            //3.发送请求
            client.update(request, RequestOptions.DEFAULT);
        }

> 注意：request.doc 的参数中不可以直接传递对象，可以将对象先转化为 JSON 格式，然后在 doc 参数中通过 XContentType 指定 JSON 类型即可，如下

public void updateByArticleId(Long articleId) {
            //1.创建修改请求
            UpdateRequest request = new UpdateRequest(ESConstants.INDEX_ARTICLE, articleId.toString());
            //2.填写修改参数
            //1) 远程调用获取修改后的文章信息
            ArticleESVO articleESVO = getESVOByArticleId(articleId);
            String result = objectMapper.writeValueAsString(articleESVO);
            //2) 修改文档
            request.doc(result, XContentType.JSON);
            //2.发送修改请求
            client.update(request, RequestOptions.DEFAULT);
        }

![a676483b343b4d0b9d9b1edff73e0659.png][]

在 Kibana 上通过 GET 查询如下：

![af23b3bd1c9545dc961f3d628604b2c2.png][]

#### 1.3.5、根据 id 删除文档数据 ####

删除文档代码如下：

@Test
        public void testDeleteDocument() throws IOException {
            //1.构造请求
            DeleteRequest request = new DeleteRequest("hotel", "5865979");
            //2.发送请求
            client.delete(request, RequestOptions.DEFAULT);
        }

#### 1.3.6、批量导入文档 ####

例如导入酒店的所有数据，代码如下：

@Test
        public void testBulkDocument() throws IOException {
            //1.获取酒店所有数据
            List<Hotel> hotelList = hotelService.list();
            //2.构造请求
            BulkRequest request = new BulkRequest();
            //3.准备参数
            for(Hotel hotel : hotelList) {
                //转化为文档(主要是地理位置)
                HotelDoc hotelDoc = new HotelDoc(hotel);
                String json = objectMapper.writeValueAsString(hotelDoc);
                request.add(new IndexRequest("hotel").id(hotel.getId().toString()).source(json, XContentType.JSON));
            }
            //4.发送请求
            client.bulk(request, RequestOptions.DEFAULT);
        }

运行后可以看到通过了

![20289cf2f28844baab1b71e08761f245.png][]

之后再 Kibana 上随机查询一个酒店数据都是存在的

![04aa29158cf2451fb7aa4188b628fd51.png][]

![b8112e917ea44e41a3ae94708ced7396.gif][]

[Elasticsearch Clients _ Elastic]: https://www.elastic.co/guide/en/elasticsearch/client/index.html
[1d1b297855c64893a89224a12b24a252.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/01/a4cd345dac0a4ddfa3399aa7a710a92c.png
[2fe7842464fd41b8a91787d05d1f6aeb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/01/fcb0513a07ac40d8bf6cb6a5ee1ba61c.png
[e0406921d4db4d178bc7795f9e172d1b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/01/9f6f09547cc94192844cf87e4b0862ab.png
[fed2753f10e34323bb8e3907e1af6e12.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/01/895da93f303648cd9359c2a865bc9ace.png
[9250f796157a46d48b151225bf7bccb1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/01/612365bd7cc540ca80f7f58bbd135a3e.png
[2dc6c4c79ba54a84b54c9ddd7095c5d3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/01/d7f015b05ac24b1ca3c1b538ee775def.png
[59f0e42d67f74377a4805275220eb197.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/01/c7eb1be3ff5348a4bf7f4c14649f4aae.png
[11db3dd8668c40139c756dc50bba60ba.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/01/031f33a0b88b43c496c9f623d0e6bcd3.png
[d2167abd89104382bb1d13a85e9ead91.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/01/1d27e5b30f474814aaab5ef7f53b93f8.png
[34852eca954049b09b17faf09c9634db.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/01/783e7d403b894dd3b5afe6e5bd2cea49.png
[e376b8c4fd1344e1a15b228453fdac83.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/01/8ec48007e06d433f94d422af01c6c97c.png
[bb53fd022f2c488bae7c762b7605fb24.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/01/783912b467b3478fbac28a38272b4bf5.png
[a676483b343b4d0b9d9b1edff73e0659.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/01/412abfb7416b4bed89ff054ce864e770.png
[af23b3bd1c9545dc961f3d628604b2c2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/01/059cd111a39c40fba0ea23f9012eedf6.png
[20289cf2f28844baab1b71e08761f245.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/01/2d25700fdec34efa89ebe2ac08e30e07.png
[04aa29158cf2451fb7aa4188b628fd51.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/01/c1b7bd234d314061b88601e79ce367cf.png
[b8112e917ea44e41a3ae94708ced7396.gif]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/01/3a7585afd653475784f81faf5b853e97.png