ES索引备份还原

我会带着你远行 2024-03-30 17:07 26阅读 0赞

#### ES索引备份还原 ####

*  一、规划
 *  二、备份
 *   *   *   *  方案一：备份到集群共享目录
             *  方案二：备份到HDFS
             *  ES还原

--------------------

## 一、规划 ##

es数据出于线上数据安全考虑，对于es已有的索引数据可以进行安全备份，通常可以将es备份到共享文件目录或者一些其它的数据存储的文件系统eg：HDFS、Amazon S3、Azure Cloud。备份会生成索引的快照存储到指定的仓库路径下，当需要进行数据还原的时候，就可以通过访问备份还原的接口快速实现数据还原。

## 二、备份 ##

ES备份存储的仓库可以为:Shared filesystem(NAS等)、 Amazon S3, HDFS和Azure Cloudde等常用文件系统，本文档只提供备份到Shared filesystem和HDFS

##### 方案一：备份到集群共享目录 #####

**步骤：**  
**1）**、搭建集群共享目录 (这里使用NFS也可以使用其它共享目录技术)  
**安装NFS服务端：**  
a、选择集群中某一个节点，可以选择ES的Master节点，检查是否安装NFS

rpm -qa | grep nfs  
    rpm -qa | grep rpcbind

b、如果没有安装，则安装NFS

yum install nfs-utils  rpcbind
    离线环境需要自己去下载相关包安装

c、设置开机启动

systemctl  enable  rpcbind.service
    systemctl  enable  nfs-server.service

d、启动NFS

systemctl  start   rpcbind.service
    systemctl  start   nfs-server.service

e、创建共享目录

mkdir  /mont/backups/my_backup   具体目录名可以自己设置
    chown  -R  用户名  /mont/backups/my_backup
    
    这里的用户名必须是启动ES的用户

f、设置可以访问的地址和权限

vi  /etc/exports 添加下面内容：
    /mont/backups/my_backup  *(rw,sync,no_root_squash,no_subtree_check)
    
    代表所有网段都可以访问，如果想配置为特定ip，可以添加为es集群中所有节点的ip

g、刷新配置并查看

exportfs  -a     刷新配置并立刻生效
    showmount  -e  ip    这里ip为当前创建共享目录主机ip

**配置NFS客户端(所有除开上一步中的外的所有ES节点都需执行如下操作)**

a、检查是否安装NFS

rpm -qa | grep nfs  
    rpm -qa | grep rpcbind

b、如果没有安装，则安装NFS

yum install nfs-utils  rpcbind
    离线环境需要自己去下载相关包安装

c、设置开机启动

systemctl  enable  rpcbind.service
    systemctl  enable  nfs-server.service

d、启动NFS

systemctl  start   rpcbind.service
    systemctl  start   nfs-server.service

e、创建共享目录

mkdir  /mont/backups/my_backup  保持和NFS服务端目录一致
    chmod -R  用户名  /mont/backups/my_backup
    这里的用户名必须是启动ES的用户

f、挂载目录

showmount  -e   ip   ip为NFS服务端ip
    mount -t nfs  ip:/mont/backups/my_backup  /mont/backups/my_backup  ip同上

h、设置开机挂载

vi /etc/fstab
    ip:/mont/backups/my_backup  /mont/backups/my_backup nfs defaults 0 0
    ip为NFS服务端ip

2）、修改es配置

修改elasticsearch.yml，配置path.repo的属性为上述共享目录，然后重启集群

3）、注册快照仓库  
![在这里插入图片描述][41fa360f48a14af7acb3808d365490ca.png]

通过post操作可以对备份仓库信息作出变更

![在这里插入图片描述][dbfd843c12134771ac6cbc966645f5f6.png]

4）、创建快照

创建所有索引快照：  
![在这里插入图片描述][5aef47ff280041e99514c7a3ccea5de6.png]

my_backup:仓库名
    snapshot_1:快照名

创建部分索引快照：  
![在这里插入图片描述][4ffc90ccd10d4118b670ff61d0509ee1.png]

my_backup:仓库名
    snapsot_2:快照名

通过indices属性可以指定哪些索引需要生成快照信息

5）、快照删除  
![在这里插入图片描述][e8b84d39f4044507ae552b1b70ce1d7b.png]

my_backup:仓库名
    snapshot_2:快照名，查看存在的快照可用：

![在这里插入图片描述][bcbb75c23e4949f789cce658246506ee.png]

my_backup:仓库名，其余为固定参数

##### 方案二：备份到HDFS #####

HDFS快照/还原插件是针对最新的Apache Hadoop 2.x（当前为2.7.1）构建的。如果您使用的发行版与Apache Hadoop协议不兼容，请考虑使用自己的发行版替换plugin文件夹内的Hadoop库（可能必须调整所需的安全权限）  
**步骤：**

1）、安装repository-hdfs插件
    2）、注册仓库

![在这里插入图片描述][c047a4c26ebe4df89dedf54c1b2eff93.png]

my_hdfs_repository:仓库名
    uri：hdfs访问路径
    path：hdfs上存储目录

**如果hadoop设置了kerberos安全认证则：**  
把kerberos认证文件放到es config目录下repository-hdfs目录之中并命名为：krb5.keytab  
然后创建hdfs快照仓库：  
![在这里插入图片描述][220126ffb97842fe9c2eca8e8ae5927e.png]

如果每个节点使用的是不同的服务主体则需要使用\_HOST参数：  
![在这里插入图片描述][161b2a85ccd74441a2f7f586333472af.png]

**其余步骤参考方案一**

##### ES还原 #####

还原快照所有：  
![在这里插入图片描述][eee3a65dfd1b4cdebb592b5aca4bdeba.png]

my\_backup：索引仓库名  
snapshot\_1：快照名

还原快照特定索引：

POST /_snapshot/my_backup/snapshot_1/_restore{
        
        "indices": "index_1", 
      }

index\_1：需要还原的索引名  
my\_backup：仓库名  
snapshot\_1:快照名

--------------------

[41fa360f48a14af7acb3808d365490ca.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/5addc01306c54376b61c1f5657c4e22e.png
[dbfd843c12134771ac6cbc966645f5f6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/bcbd926cbcfb4eac970df7b5bab70d5a.png
[5aef47ff280041e99514c7a3ccea5de6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/45eb9b9f8bcb4fe48383a8a0768e1b11.png
[4ffc90ccd10d4118b670ff61d0509ee1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/4d38f8d71bce451e9ffb1ccec8e966b5.png
[e8b84d39f4044507ae552b1b70ce1d7b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/6bda1c3324694657bb10319346992b9b.png
[bcbb75c23e4949f789cce658246506ee.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/4d1f174ecbca40d6bcf0aa312bd0a93b.png
[c047a4c26ebe4df89dedf54c1b2eff93.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/ebb735e83fd243359483a64bf1a43992.png
[220126ffb97842fe9c2eca8e8ae5927e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/dc7fe746e724487ba6dfa402ac91cb4b.png
[161b2a85ccd74441a2f7f586333472af.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/6c2a3a65ecc148ad946e74dbcb016c3f.png
[eee3a65dfd1b4cdebb592b5aca4bdeba.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/46f38f5b8cbf4deb8c87cdfa7a73f25f.png