Elasticsearch索引迁移的三种方式

骑猪看日落 2023-10-17 15:30 122阅读 0赞

## 0、引言 ##

将ES中的索引拷贝到其他ES中，或者将ES整体迁移，研究发现有两个开源的工具：elaticserch-dump和 Elasticsearch-Exporter。  
除此之外，logstash在索引同步、迁移方面的作用也很大。  
两工具及logstash实现迁移的介绍、安装、使用、验证效果等展示如下：

## 1、elasticsearch-dump迁移 ##

### 1.1 elasticsearch-dump简介 ###

Tools for moving and saving indicies. 从来移动和保存索引的工具。  
[https://github.com/taskrabbit/elasticsearch-dump][https_github.com_taskrabbit_elasticsearch-dump]

### 1.2 elasticsearch-dump安装 ###

1) yum install epel-release
    2) yum install nodejs
    3) yum install npm
    4) npm install elasticdump
    5) cd node_modules/elasticdump/bin  后便可以执行操作。
     
     
      
       1 
       2 
       3 
       4 
       5

安装后如下所示：

[root@N3 elasticdump]# pwd
    /home/tp/node_modules/elasticdump
    [root@N3 elasticdump]# ls -al
    total 388
    drwxr-xr-x 2 root root 4096 Mar 21 15:46 bin
    -rw-r--r-- 1 root root 174 Mar 18 2016 Dockerfile
    -rw-r--r-- 1 root root 299251 Mar 15 2014 elasticdump.jpg
    -rw-r--r-- 1 root root 6172 Feb 2 23:47 elasticdump.js
    drwxr-xr-x 2 root root 4096 Jul 13 2016 .github
    drwxr-xr-x 3 root root 4096 Mar 21 15:46 lib
    -rw-r--r-- 1 root root 11356 May 22 2014 LICENSE.txt
    drwxr-xr-x 10 root root 4096 Mar 21 15:46 node_modules
    -rw-r--r-- 1 root root 44 May 22 2014 .npmignore
    -rw-r--r-- 1 root root 15135 Mar 21 15:46 package.json
    -rw-r--r-- 1 root root 13335 Dec 14 06:20 README.md
    drwxr-xr-x 3 root root 4096 Mar 21 15:46 test
    -rw-r--r-- 1 root root 1150 Dec 2 07:54 .travis.yml
     
     
      
       1 
       2 
       3 
       4 
       5 
       6 
       7 
       8 
       9 
       10 
       11 
       12 
       13 
       14 
       15 
       16 
       17

### 1.3 elasticsearch-dump 使用 ###

'#拷贝analyzer如分词
    elasticdump \
      --input=http://production.es.com:9200/my_index \
      --output=http://staging.es.com:9200/my_index \
      --type=analyzer
    '#拷贝映射
    elasticdump \
      --input=http://production.es.com:9200/my_index \
      --output=http://staging.es.com:9200/my_index \
      --type=mapping
    '#拷贝数据
    elasticdump \
      --input=http://production.es.com:9200/my_index \
      --output=http://staging.es.com:9200/my_index \
      --type=data
     
     
      
       1 
       2 
       3 
       4 
       5 
       6 
       7 
       8 
       9 
       10 
       11 
       12 
       13 
       14 
       15

### 1.4 elasticsearch-dump实战小结 ###

源ES版本1.6.0，目标ES版本：2.3.4，验证发现：analyzer和mapping可以拷贝成功。  
但是，**data拷贝不成功**。目标机器ES中不能显示出数据。根本原因没有排查到。

## 2、 Elasticsearch-Exporter迁移 ##

### 2.1 Elasticsearch-Exporter简介 ###

[https://github.com/mallocator/Elasticsearch-Exporter][https_github.com_mallocator_Elasticsearch-Exporter]  
A small script to export data from one Elasticsearch cluster into another. 将ES中的数据向其他导出的简单脚本实现。

### 2.2、Elasticsearch-Exporter安装 ###

[http://www.dahouduan.com/2014/12/25/centos-yum-install-nodejs-npm/][http_www.dahouduan.com_2014_12_25_centos-yum-install-nodejs-npm]  
centos用 yum 方式安装 nodejs 和 npm

npm install nomnom
    npm install colors
    npm install elasticsearch-exporter --production
     
     
      
       1 
       2 
       3

安装后：

[root@N3 elasticsearch-exporter]# ll -ls
    total 80
     4 drwxr-xr-x 2 root root 4096 Mar 21 22:01 drivers
    12 -rw-r--r-- 1 root root 11523 Sep 19 2014 exporter.js
    12 -rw-r--r-- 1 root root 11324 Mar 16 2014 LICENSE
     4 drwxr-xr-x 4 root root 4096 Mar 21 22:01 node_modules
    12 -rw-r--r-- 1 root root 11259 Sep 19 2014 options.js
    16 -rw-r--r-- 1 root root 14500 Mar 21 22:01 package.json
    16 -rw-r--r-- 1 root root 12645 Sep 19 2014 README.md
     4 drwxr-xr-x 2 root root 4096 Apr 25 2014 tools
    
     
     
      
       1 
       2 
       3 
       4 
       5 
       6 
       7 
       8 
       9 
       10 
       11

### 2.3、 Elasticsearch-Exporter使用 ###

node exporter.js -a <source hostname> -b <target hostname> -p <s port> -q <t port> -i <s index> -j <t index>
     
     
      
       1

即可实现跨机器索引的迁移。

更多的参数可以查看node exporter.js –help

[root@N3 elasticsearch-exporter]# node exporter.js --help
    Elasticsearch Exporter - Version 1.4.0
    Usage: exporter [options]
    Options:
      -a <hostname>, --sourceHost <hostname>  迁移源机器地址
      -b <hostname>, --targetHost <hostname>  迁移目的机器地址（如果没有设置索引，目的地址需要有别于源地址）
      -p <port>, --sourcePort <port>   源机器的ES的端口，9200（一般）
      -q <port>, --targetPort <port>    目标机器的ES的端口，9200（一般）
    
      -i <index>, --sourceIndex <index> 源ES待导出的索引，如果该值不设定，整个的数据库都会导出。
      -j <index>, --targetIndex <index>目标机器ES的索引，如果源索引设定，该值必须填写。
     
     
      
       1 
       2 
       3 
       4 
       5 
       6 
       7 
       8 
       9 
       10 
       11

### 2.4、 Elasticsearch-Exporter 索引迁移实战（验证ok） ###

[root@No3 elasticsearch-exporter]# node exporter.js -a 10.221.110.31-b 100.0.1.130 -p 9200 -q 9200 -i awppx -j awppx
    同步最后会显示：
    Number of calls: 169
    Fetched Entries: 8064 documents
    Processed Entries: 8064 documents
    Source DB Size: 8064 documents
     
     
      
       1 
       2 
       3 
       4 
       5 
       6

代表同步成功。  
源ES版本1.6.0，目标ES版本：2.3.4，  
验证发现：可以使用 Elasticsearch-Exporter跨机器、跨ES版本同步索引成功。

## 3、logstash定向索引迁移 ##

[root@N3 bin]# cat ./logstash_output_mongo/logstash_es22es.conf
    input {
      elasticsearch {
      hosts => [ "100.200.10.54:9200" ]
      index => "doc"
      size => 1000
      scroll => "5m"
      docinfo => true
      scan => true
      }
    }
    
    filter {
    json {
      source => "message"
      remove_field => ["message"]
      }
      mutate {
      # rename field from 'name' to 'browser_name'
      rename => { "_id" => "wid" }
    }
    }
    
    output {
      elasticsearch {
      hosts => [ "100.20.32.45:9200" ]
      document_type => "docxinfo"
      index => "docx"
      }
    
      stdout {
      codec => "dots"
      }
    
    }
     
     
      
       1 
       2 
       3 
       4 
       5 
       6 
       7 
       8 
       9 
       10 
       11 
       12 
       13 
       14 
       15 
       16 
       17 
       18 
       19 
       20 
       21 
       22 
       23 
       24 
       25 
       26 
       27 
       28 
       29 
       30 
       31 
       32 
       33 
       34 
       35

4、小结  
对比发现， Elasticsearch-Exporter在索引迁移方面相对更好用。（待深入研究补充）  
而logstash定向索引用于辅助解决 Elasticsearch-Exporter不同版本迁移有Bug的情形。

来源:http://blog.csdn.net/laoyang360/article/details/65449407

[https_github.com_taskrabbit_elasticsearch-dump]: https://github.com/taskrabbit/elasticsearch-dump
[https_github.com_mallocator_Elasticsearch-Exporter]: https://github.com/mallocator/Elasticsearch-Exporter
[http_www.dahouduan.com_2014_12_25_centos-yum-install-nodejs-npm]: http://www.dahouduan.com/2014/12/25/centos-yum-install-nodejs-npm/