ELK快速入手

迈不过友情╰ 2022-12-13 14:13 209阅读 0赞

### 一： 功能： ###

151：ES主服务器

152： ES从服务器

153： 远程连接152和151  
密码都是12345

ssh root@192.168.203.151
    ssh root@192.168.203.152

### 二：时间同步： ###

时区同步：

timedatactl set-timezone Asia/Shanghai
    # 时区存放地
    vim etc/loacltime
    # 时区文件
    cd /usr/share/zoneinfo

时间同步：

安装：ntpdate，设置同步时间

# 安装
    apt-get install ntpdate -y
    # 设置寻找aliyun的服务器，同步时间
    ntpdate time1.aliyun.com
    # 命令查看时区
    date
    # 自己主机硬件时钟与服务器同步
    hwclock --systohc

设置定时任务，时间校准：

# 进入编辑模式
    crontab -e
    # 修改定时
    */5 * * * */usr/sbin/ntpdate time1.aliyun.com  >> /dev/null 2>&1 &

### 三：密钥文件配置： ###

1：生成公私密钥

2：互换公钥实现151和152的免密登录

# 192.168.203.151主机上执⾏
    ssh-keygen -t rsa
    ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.203.152
    # 192.168.203.152主机上执⾏
    ssh-keygen -t rsa
    ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.203.151

### 四：主机名解析： ###

151：主服务器， 152：从服务器  
151：master.itcast.com  
152: node.itcast.com  
151, 152.153: 配置

vim /etc/hosts
    192.168.253.151  master.itcast.com   master
    192.168.253.152  node.itcast.com   node

### 五：配置java环境： ###

ES 服务需要java环境：  
虽然elasticsearch软件内部已经集成了java软件，但是其他的组件没有办法共享elasticsearch内部的java，尤其是logstash仍然会使用到java软件，所以我们这里提前将java环境部署起来。

创建目录(有则不用重复创建，我们的目录结构都是一样的)：

mkdir /data/{
        softs,server} -p
     cd /data/softs

下载java或者上传java安装包：

# 此处wget是从网上下载比较版，这个地方可以直接把韦伟老师给的安装包放入/data/softs目录中
    wget https://download.java.net/openjdk/jdk11/ri/openjdk-11+28_linux-x64_bin.tar.gz
    ls /data/softs

安装java：

tar -xf openjdk-11+28_linux-x64_bin.tar.gz -C /data/server 
    cd /data/server/
    # 删除原先部署的用于jenkins的java(如果有的话)
    rm -f java
    ln -s jdk-11 java

配置java环境变量：

# vi /etc/profile.d/java.sh
    # java env set
    export JAVA_HOME=/data/server/java
    export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

终端种使用source执行脚本

source /etc/profile.d/java.sh
    chmod +x /etc/profile.d/java.sh

检查效果：

java -version

**创建软连接（需要执行）**

cd /data/softs
    解压到 /data/server
    修改java软连接

### 六： 创建专有账号： ###

创建账号

useradd -m elastic
    echo elastic:12345 | chpasswd

设置sudo权限

echo "elastic ALL=(ALL) NOPASSWD:ALL" >/etc/sudoers.d/elastic
    chmod 0440 /etc/sudoers.d/elastic

### 七： ES 安装与运行 ###

*  1、打开es配置文件: `vi elasticsearch/config/elasticsearch.yml`
 *  2、把如下配置写入es配置文件

# vi elasticsearch/config/elasticsearch.yml
    # 设定elasticsearch集群的名称
    cluster.name: elastic.itcast.com
    # 设定集群master界面的名称
    node.name: master.itcast.com
    node.master: true
    node.data: true
    # 设定elasticsearch的存储目录，包括数据目录和日志目录
    path.data: /data/server/elasticsearch/data
    path.logs: /data/server/elasticsearch/logs
    # 允许所有主机都能访问我们的 elasticsearch
    network.host: 192.168.203.151
    # 设置elasticsearch对外的访问端口
    http.port: 9200
    # 设定主机发现
    discovery.seed_hosts: ["master.itcast.com","node.itcast.com"]
    cluster.initial_master_nodes: ["master.itcast.com"]
    # 开启跨域访问支持，默认为false
    http.cors.enabled: true
    # 跨域访问允许的域名地址，(允许所有域名)以上使用正则
    http.cors.allow-origin: "*"

3：配置依赖（不需要做）  
elasticsearch启动的时候，默认虚拟内存大小为262144，我们需要提前设置虚拟内存大小为262144

echo 'vm.max_map_count=262144' > /etc/sysctl.d/elastic.conf
    sysctl -p /etc/sysctl.d/elastic.conf

elasticsearch启动的时候，对文件描述符有限制，所以我们需要设置elastic文件描述符限制数量为65536

echo 'elastic - nofile 65536' > /etc/security/limits.d/elastic.conf

elasticsearch的配置文件中存在数据目录和日志目录，我们需要提前创建

mkdir /data/server/elasticsearch/{
        data,logs} -p

因为我们要基于elastic用户来启动软件，所以需要提前设置相关属性

chown -R elastic:elastic /data/server/elasticsearch
    chown -R elastic:elastic /data/server/elasticsearch-7.3.2/

4：启动ES服务

cd /data/server/
    # 切换到elastic用户
    su elastic
    # 加载配置文件
    source /etc/profile.d/elastic.sh
    sudo chmod +x /etc/profile.d/elastic.sh
    # 运行
    elasticsearch 
    # 后台运行
    elasticsearch -d

5：访问：有数据则启动中

192.168.203.151：9200/
    192.168.203.152：9200/

返回JSON则证明运行了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70_pic_center]

查看端口证明启动了：

netstat -tnulp | grep 9200

终端测试运行结果：(相当于浏览器访问)

curl 192.168.203.151:9200

### 八： ES相关的接口： ###

1： 检查集群状态：http://可以不写

curl http://192.168.203.151:9200/_cat/health

![在这里插入图片描述][20201012174404389.png_pic_center]

出错返回JSON， 正常是一串字符。

返回详细信息：

curl 192.168.203.151:9200/_cat/health -v

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70_pic_center 1]

2： 查看‘结点：

curl 192.168.203.151:9200/_cat/nodes

![在这里插入图片描述][20201012174459399.png_pic_center]

3: 查看索引库：（索引库—被检索的数据存入数据库中，相当于mysql数据库）

curl 192.168.203.151:9200/_cat/indices

![在这里插入图片描述][20201012174526631.png_pic_center]

4: 新建索引库：

\-X + 指定方式

curl -XPUT 192.168.203.151:9200/index_test

![在这里插入图片描述][20201012174740491.png_pic_center]

5: 查看库的配置信息

curl 192.168.203.151:9200/index_test

![在这里插入图片描述][20201012174810610.png_pic_center]

格式化显示：

curl 192.168.203.151:9200/index_test?pretty

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70_pic_center 2]

删除索引库：

curl -XDELETE 192.168.203.151:9200/index_test

![在这里插入图片描述][20201012175051456.png_pic_center]

### 九：配置切片设置： ###

number\_of\_shards : 分片数： 对存储空间进行切片，把数据拆分在不同的分片中（相当于windows的分盘）

number\_of\_replicas: 复制集： 每一个分片，设置的同步备份的服务数。（备份数量）

如何设置？

curl -X PUT 192.168.203.151:9200/index_test2 -H 'Content-Type:application/json' -d '{"settings": {"number_of_shards": 3,"number_of_replicas": 1}}'

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70_pic_center 3]

### 十：Logstash部署与使用： ###

功能：从数据源获取数据，然后将数据传送到elasticsearch中。

1： 下载logstash:  
(联网下载)

cd /data/softs/
    wget https://artifacts.elastic.co/downloads/logstash/logstash-7.3.2.tar.gz

（安装包安装）

# 将压缩文件解压到 /data/server/目录下
    tar -xf logstash-7.3.2.tar.gz -C /data/server/
    cd /data/server/
    # 创建一个软连接
    ln -s logstash-7.3.2/ logstash

2：配置环境变量：

sudo vim /etc/profile.d/logstash.sh
    
    # 内容如下：
    
    # logstash env set
    export LOGSTASH_HOME=/data/server/logstash
    export PATH=$LOGSTASH_HOME/bin:$PATH

3：使用souse执行脚本：

source /etc/profile.d/logstash.sh
    chmod +x /etc/profile.d/logstash.sh

4：命令的格式：  
命令格式：

input {
         
        stdin {
        }
    }
    output {
        
        stdout {
        } 
    }

格式解析：

*  input \{\} 用于接受信息的输入，output \{\} 用于对内部的数据输出
 *  stdin \{\} 表示屏幕上的标准输入，stdout \{\} 表示屏幕的标准输出

5：demo启动测试：

测试一：测试logstash的输入和输出

logstash -e 'input { stdin { } } output { stdout {} }'

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70_pic_center 4]  
在终端中输入： renshanwen  
![在这里插入图片描述][20201012180845373.png_pic_center]  
测试二： 测试终端输入，输出到elasticsearch中：

> logstash -e ‘input \{ stdin\{\} \} output \{ elasticsearch \{ hosts => \[“master.itcast.com:9200”\] index => “message” \} \}’  
> ![在这里插入图片描述][20201012181259238.png_pic_center]  
> 发现启动成功，然后在屏幕中输入：wo hao niu

![在这里插入图片描述][20201012181409342.png_pic_center]  
在elasticsearch中查看所有的索引：创建了message表示成功。  
![在这里插入图片描述][20201012181802390.png_pic_center]  
查看内容：  
![在这里插入图片描述][20201012182113800.png_pic_center]

### 十一：Kibana的部署： ###

部署在： 192.168.203.152主机上：  
1、专属账号\*\*

kibana软件为了避免权限过于强大，默认情况下已经禁止root用户来启动kibana了，所以接下来我们需要定制一 个专门为ELK环境的账号：kibana

创建账号：

useradd -m kibana
    echo kibana:12345 | chpasswd

设置kibana账号免密sudo：

echo "kibana ALL=(ALL) NOPASSWD:ALL" > /etc/sudoers.d/kibana
    chmod 0440 /etc/sudoers.d/kibana

**2、获取软件**

从官网上下载最新的软件：

cd /data/softs/
    # 此处wget是从网上下载，同学们直接使用我给的
    wget https://artifacts.elastic.co/downloads/kibana/kibana-7.3.2-linux-x86_64.tar.gz
    mkdir /data/server/ -p
    tar -xf kibana-7.3.2-linux-x86_64.tar.gz -C /data/server/
    cd /data/server/
    ln -s kibana-7.3.2-linux-x86_64/ kibana

环境变量设置：

# vi /etc/profile.d/kibana.sh
    # kibana env set
    export KIBANA_HOME=/data/server/kibana
    export PATH=$KIBANA_HOME/bin:$PATH

使用source执行脚本

source /etc/profile.d/kibana.sh
    chmod +x /etc/profile.d/kibana.sh

**3、定制启动属性**

修改配置文件：

# vi kibana/config/kibana.yml
    # 设定 kibana 对外开放的通信端口
    server.port: 5601
    # 设定可以访问 kibana 的主机地址
    server.host: "0.0.0.0"
    # 设定 elasticsearch 的主机地址
    elasticsearch.hosts: ["http://master.itcast.com:9200"]
    # 设定 kibana 的数据索引
    kibana.index: ".kibana"
    # 设定中文显示格式
    i18n.locale: "zh-CN"

**4、启动服务**

因为kibana默认需要使用普通用户来访问，所以我需要采用普通用户启动：

chown -R kibana.kibana /data/server/kibana
    chown -R kibana.kibana /data/server/kibana-7.3.2-linux-x86_64

启动服务：

su kibana
    # 终端运行
    kibana
    # 后台运行
    nohup kibana >>/dev/null 2>&1 &

> 注：Kibana should not be run as root. Use --allow-root to continue.

\*\*5、检查效果

### FileBeat部署： ###

部署在`192.168.203.151`中；

**1、软件部署**

获取软件：

此处文件夹存在则不用创建！

cd /data/softs/
    # 此处curl是从网上下载安装包比较版，大家直接把韦伟老师发的filebeat-7.3.2-linux-x86_64.tar.gz拷贝到/data/softs目录即可
    curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.3.2-linux-x86_64.tar.gz
    tar -xf filebeat-7.3.2-linux-x86_64.tar.gz -C /data/server/
    cd /data/server/
    ln -s filebeat-7.3.2-linux-x86_64/ filebeat

环境变量设置：

# vi /etc/profile.d/filebeat.sh
    # filebeat env set
    export FILEBEAT_HOME=/data/server/filebeat/
    export PATH=$FILEBEAT_HOME:$PATH

执行脚本

source /etc/profile.d/filebeat.sh
    chmod +x /etc/profile.d/filebeat.sh

检查效果：

filebeat version

**2、简单应用**

根据我们对ELK的经典架构的了解，他的数据收集和处理流程是：`filebeat -> logstash -> elasticsearch -> kibana`，接下来我们就写一个简单的数据收集，然后将数据传输到logstash

编辑配置文件：

cd /data/server/filebeat/
    ls

> 结果显示：filebeat.yml 这就是filebeat的配置文件，里面有12部分的配置，而我们重点关心的就是"Filebeat inputs" 和 “Outputs”

默认效果：

egrep -v '#|^$' filebeat.yml

\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TP4Und9Y-1602501849352)(images/Snipaste\_2020-07-22\_23-45-50.jpg)\]

> 属性解析：
> 
> ① 默认的数据分片个数是：1
> 
> ② 默认配置的输入信息是获取本机上的系统日志，但是从文件输入的功能没有开启，输出目标是elasticsearch

我们基于该配置文件中的信息，拷贝一份稍作修改，生成一个新的文件test.yml：

filebeat.inputs:
    - type: log
        enabled: true
      paths:
        - /var/log/*.log
    output.elasticsearch:
      hosts: ["master.itcast.com:9200"]
      template.name: "filebeat"

> 属性解析：
> 
> ① enabled：true 表示启用这条配置
> 
> ② template.name 在将数据传入到elasticsearch的时候，自动添加一个索引，名称是：filebeat

控制台启动，方便调试：

filebeat -e -c test.yml

调试完成，后台启filebeat：

nohup filebeat -e -c test.yml > /dev/null 2>&1 &

回到elasticsearch查看效果：

curl 192.168.203.151:9200/_cat/indices

> 结果显示：在elasticsearch中多了好几条索引数据，索引命名格式：“自定义索引名-版本号-日期-6位编号”

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/cb0e8eb0414f4a7ea95f00d62cb6fc3c.png
[20201012174404389.png_pic_center]: /images/20221123/ac3d5d0d5133430481fa027da3cd4896.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/6a3f315c10984fcb8abd45ed87d29c61.png
[20201012174459399.png_pic_center]: /images/20221123/67f2bc85821f40f59461437190d75878.png
[20201012174526631.png_pic_center]: /images/20221123/498320c8d73c4976ab353b357c041417.png
[20201012174740491.png_pic_center]: /images/20221123/c9d25b4983744a1a843bb24c439834fd.png
[20201012174810610.png_pic_center]: /images/20221123/f565eb4e0ee5418fab65f7e86481c85d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/ccc4c81ed0104030bd6ed85f8376e20a.png
[20201012175051456.png_pic_center]: /images/20221123/a8720ea7cb4a4a8ebee28d9329190606.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/cb0f5046c0e844d4990951ffbf386ec4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/2a9c21779c1540ec86b94ab81b8bfc3b.png
[20201012180845373.png_pic_center]: /images/20221123/9928650dff6c45cfb7679de3ef41779d.png
[20201012181259238.png_pic_center]: /images/20221123/fa0b4bb3550d4d11903a0b4cef8fdcbc.png
[20201012181409342.png_pic_center]: /images/20221123/b6612f162fe64fd0abfb4cedf785f463.png
[20201012181802390.png_pic_center]: /images/20221123/0d52b55ce52545baa6679b143eb76f63.png
[20201012182113800.png_pic_center]: /images/20221123/7a00d14c3255471caaf7cae1c89b5885.png