第1.8章 elasticsearch水平扩展

不念不忘少年蓝@ 2022-04-24 06:02 200阅读 0赞

在[Elasticsearch 5.6.6][]中下载程序包。

tar -zxvf elasticsearch-5.6.6.tar.gz 
    ln -s elasticsearch-5.6.6 elasticsearch
    groupadd elk
    useradd elk -g elk
    chown -R elk:elk /application/elasticsearch-5.6.6
    chown -R elk:elk /application/elasticsearch

将`/application/elasticsearch/plugins`中的文件复制过来  
![1][]  
将`/application/elasticsearch/config`中`x-pack也复制过来`  
将`/application/elasticsearch/bin`中x-pack复制过来  
注意权限：

chown -R elk:elk /application/elasticsearch/config/x-pack
    chown -R elk:elk /application/elasticsearch/logs
    chown -R elk:elk /application/elasticsearchplugins

启动后，提示

[2019-04-18T10:58:25,586][ERROR][o.e.b.Bootstrap          ] [bwhs199] node validation exception
    [2] bootstrap checks failed
    [1]: max file descriptors [65535] for elasticsearch process is too low, increase to at least [65536]
    [2]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

执行下面的命令，重启

vi /etc/sysctl.conf 
    # 添加
    vm.max_map_count=655360
    #再执行此命令
    sysctl -p
    
    vi /etc/security/limits.conf
    # 添加下面两行
    *        hard    nofile           65536
    *        soft    nofile           65536

在当前es节点，添加自身的host，执行`./elasticsearch -d`即可  
![1][1 1]  
接着就可以在kibana中看到es动态平衡后的效果,shard的调整由es自身的平衡机制控制，es其他节点根本不需要重启  
![1][1 2]  
从下图可以看出个索引数据已经在写入了  
![1][1 3]  
按照上面的操作，es平均分配后，会带来一个问题.如果有一个磁盘比较小，他也会分配同样多的shard，导致很快磁盘出现报警。只是平衡分区，这样节点都一样，很容易扩展和维护  
![1][1 4]  
好吧，我妥协，再挂在一个磁盘把，虽然配置很简单，但是更改配置后，怎么平滑重启es呢？

chown -R elk:elk /appdata/elasticsearch/data

![1][1 5]  
查看官方文档[Rolling upgrades][]，以及[elasticsearch如何安全重启节点][elasticsearch]  
1、停止分区

PUT _cluster/settings
    {
      "transient": {
        "cluster.routing.allocation.enable": "none"
      }
    }

2、停止需要升级的节点  
注意`curl -XPOST http://10.101.3.199:9200/_cluster/nodes/_local/_shutdown`这个已经作废了。

ps -ef|grep elasticsearch
     kill -9 xxx(pid)

3、启动需要升级的节点

sudo su - 
    su - elk
    cd /application/elasticsearch/bin
    ./elasticsearch -d

4、恢复分区分配  
执行`GET _cat/nodes`查看节点是否起来，执行`GET _cluster/health`查看集群是否监控，如果没有问题，再恢复分区,这样就可以了。

PUT _cluster/settings
    {
      "transient": {
        "cluster.routing.allocation.enable": "all"
      }
    }

这个分配操作消耗大量的计算资源  
![1][1 6]

[Elasticsearch 5.6.6]: https://www.elastic.co/cn/downloads/past-releases/elasticsearch-5-6-6
[1]: https://img-blog.csdnimg.cn/20190418103020263.png
[1 1]: /images/20220218/a749bc7ccaa6444a9b7ce920b6551411.png
[1 2]: /images/20220218/f29290875fed42e683efd3f433d3656e.png
[1 3]: /images/20220218/e0c3b82a2fa9423aad8f75ad9d3a896a.png
[1 4]: /images/20220218/566e1645358c4b03b8bc28f5f1ac324d.png
[1 5]: /images/20220218/7e94f7a9261b4734b09681301e7eae33.png
[Rolling upgrades]: https://www.elastic.co/guide/en/elasticsearch/reference/5.6/rolling-upgrades.html
[elasticsearch]: https://zhaoyanblog.com/archives/555.html
[1 6]: /images/20220218/e723ce4103854abc92fb439c6ce6d287.png