elasticsearch基础

迷南。 2022-05-11 07:50 241阅读 0赞

#### 概念介绍 ####

ELK新增了一个Beats，它是一个轻量级的日志收集处理工具(Agent)，Beats占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方推荐，改名为Elastic Stack  
`Elasticsearch`是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能  
`Logstash`对内存、cpu、io等资源消耗比较高。相比 Logstash，Beats所占系统的CPU和内存几乎可以忽略不计  
`Kibana`可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。  
分配三台虚拟机  
192.168.75.127 主节点 es1+kibana  
192.168.75.128 数据节点es2+logstash  
192.168.75.129 数据节点es3  
es是java开发的，都需要安装jdk1.8

### 版本 ###

Elasticsearch之所以从2一跃跳到5，因为Elastic体系内还有logstash、Kibana、beats等产品。为了统一各产品版本，所以直接将Elasticsearch的版本从2提升到5。  
5.x版本提供了许多新的特性，并且基于Lucene6.x。明显的是性能方面提升，磁盘空间少一半；索引时间少一半；查询性能提升25%；IPV6也支持了。

目前ES已经出到了7.x版本，而Spring Data elasticsearch项目的更新速度一直比较慢。目前比较适合集成的版本就是3.0.2.RELEASE。同时，对应的Springboot也需要升级到2.x。

入门阶段，可以先本地安装`2.4.5`，该版本可以直接使用

<dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
    </dependency>

#### 安装 ####

1、下载  
linux上安装elk好多坑，建议就在windows上安装单机版，尽量快点上手。  
es、kibana、logstash均可在华为云开源镜像站搜索下载，速度超快  
[https://mirrors.huaweicloud.com/][https_mirrors.huaweicloud.com]

插件下载，以analysis-icu来说，需要离线下载安装：

https://artifacts.elastic.co/downloads/elasticsearch-plugins/analysis-icu/analysis-icu-7.4.0.zip

安装方法：

unix：sudo bin/elasticsearch-plugin install file:///path/to/plugin.zip
    windows：bin\elasticsearch-plugin install file:///C:/path/to/plugin.zip

解压并改名 elasticsearch  
修改配置文件config/elasticsearch.yml  
配置如下：

# cluster.name要一致
    cluster.name: myelk
    # node.name要唯一，节点名称有master和data两种
    node.name: master
    node.master: true
    node.data: false
    node.ingest: false
    network.host: 0.0.0.0 #这样改支持远程访问
    http.port: 9200
    discovery.zen.ping.unicast.hosts: ["192.168.75.127","192.168.75.128","192.168.75.129"]

3、下载kibana版本要和els一致  
想要kibana汉化，只需要在config/kibana.yml中添加以下配置

i18n.locale: "zh-CN"

4、安装logstash 并导入movielens数据  
windows修改logstash.conf文件如下，

input {
      file {
        path => ["D:/software/ELK/my-data-temp/ml-latest-small/movies.csv"]
        start_position => beginning
        sincedb_path => "D:/software/ELK/my-data-temp/ml-latest-small/abc"
      }
    }
    5、es监控工具，cerebro，安装后可以直接安装，默认监听本地es

启动 `logstash -f logstash.conf`

#### 总结 ####

1、`9200`Http协议，主要用于外部通讯  
`9300`Tcp协议，服务之间就是通过tcp协议通讯。默认 9300 是 Java 客户端的端口。ES集群之间是通过9300进行通讯。  
2、elasticsearch必须用非root启动，否则出现异常

java.lang.RuntimeException: can not run elasticsearch as root

启动时出现异常，修改两个文件

报错：Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x0000000085330000, 2060255232, 0) failed; error='Cannot allocate memory' (errno=12)
    
    vim config/jvm.options
        -Xms2g
        -Xmx2g

报错：max number of threads [3895] for user [zhangsan] is too low, increase to at least [4096]
    vim /etc/security/limits.d/20-nproc.conf
    * hard nofile 65536  #新增这一行，大小按照提示修改

报错:max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
    vim /etc/sysctl.conf 
    vm.max_map_count=262144

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoYW5nX2xp_size_16_color_FFFFFF_t_70]

[https_mirrors.huaweicloud.com]: https://mirrors.huaweicloud.com/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoYW5nX2xp_size_16_color_FFFFFF_t_70]: /images/20220511/958ed5c01fa14a1992d58b9f60da5f2f.png