elk搭建

落日映苍穹つ 2023-08-17 15:35 151阅读 0赞

Elasticsearch + Logstash + Kibana（ELK）是一套开源的日志管理方案。在志邦项目部署了三台服务器到生产环境，生产环境用了nginx做负载均衡，通常，日志被分散的储存不同的服务器（tomcat）上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下，对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心，而且志邦接口较多，接口报文存储查询较慢，目前也是存在放在es非关系数据上。

开源实时日志分析 ELK 平台能够完美的解决我们上述的问题， ELK 由 ElasticSearch 、 Logstash 和 Kiabana 三个开源工具组成。

Logstash：负责日志的收集，处理

Elasticsearch：负责日志检索，分析和储存

Kibana：负责日志的可视化，图形化

### 2.1       安装Elasticsearch ###

以elk用户启动ES (以root用户启动会报错)

所以我们创建一个elk文件以及elk用户

创建 elk用户，elk文件夹，并把文件夹权限赋给elk用户

mkdir elk

useradd elk

chown -R elk elk

chgrp -R elk elk

解压 elasticsearch-7.1.0-linux-x86\_64.tar.gz

切换用户

su elk

cd elasticsearch-7.1.0

cd config

配置文件

elasticsearch.yml :

node.name: node-1 \#集群节点

bootstrap.memory\_lock: false

bootstrap.system\_call\_filter: false

network.host: 10.10.0.16 \#外网访问

cluster.initial\_master\_nodes: \["node-1"\] \#主节点

http.cors.enabled: true

http.cors.allow-origin: "\*"

启动

./bin/elasticsearch &

ERROR: \[3\] bootstrap checks failed

\[1\]: max file descriptors \[65535\] for elasticsearch process is too low, increase to at least \[65536\]

\[2\]: max virtual memory areas vm.max\_map\_count \[65530\] is too low, increase to at least \[262144\]

\[3\] max number of threads \[1024\] for user \[lish\] likely too low, increase to at least \[2048\]

解决：\[1\]修改vim /etc/sysctl.conf添加下面配置：

vm.max\_map\_count=65536

然后执行命令：

sysctl -p

\[2\]修改vim /etc/security/limits.conf添加如下内容:

\* soft nofile 65535

\* hard nofile 65535

\[3\] vim /etc/security/limits.d/90-nproc.conf

修改如下内容：

\* soft nproc 1024

\#修改为

\* soft nproc 2048

启动

./bin/elasticsearch &

浏览器输入：ip:port

例如10.10.0.16:9200

### 2.2      安装Logstash ###

1、解压安装包

tar -zxvf logstash-7.1.0.tar.gz

cd logstash-7.1.0/

2、编写配置文件

cd conf

vim conf/log4j\_to\_es.conf

输入以下内容：

<table> 
 <tbody> 
 <tr> 
 <td> 
 <div> 
 # For detail structure of this file 
 # Set: https://www.elastic.co/guide/en/logstash/current/configuration-file-structure.html 
 input { 
 &nbsp; 
 &nbsp; tcp { 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; port =&gt; 4560 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; codec =&gt; json_lines #文本字符 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; mode =&gt; "server" 
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; host =&gt; "10.10.0.16" #logstash 应用服务器地址 
 &nbsp;&nbsp;&nbsp; } 
 } 
 filter { 
 &nbsp; #Only matched data are send to output. 
 } 
 output { 
 &nbsp; # For detail config for elasticsearch as output, 
 &nbsp; # See: https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html 
 &nbsp; elasticsearch { 
 &nbsp;&nbsp;&nbsp; action =&gt; "index"&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #The operation on ES 
 &nbsp;&nbsp;&nbsp; hosts&nbsp; =&gt; "10.10.0.16:9200"&nbsp;&nbsp; #ElasticSearch host, can be array. 
 &nbsp;&nbsp;&nbsp; index&nbsp; =&gt; "oms%{+YYYY.MM}"&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #每个月创建一个索引 
 &nbsp; } 
 &nbsp; #stdout { codec =&gt; rubydebug } 
 } 
 </div> </td> 
 </tr> 
 </tbody> 
</table>

logsatsh输入源为tcp类型，监听端口4560  保证与项目保持一致

hap logback

![905643-20190915215926848-471301406.png][]

启动logstash，读取配置文件（使用-f指定配置文件）

./bin/logstash -f config/log4j\_to\_es.conf &

### 2.3      安装Kibana ###

1、解压压缩包

tar -zxvf kibana-7.1.0-linux-x86\_64.tar.gz

cd kibana-7.1.0/

2、配置Kibana（启动端口，elasticsearch url）

cd config

vim kibana.yml

server.port: 5601

elasticsearch.url: [http://10.10.0.16:9200][http_10.10.0.16_9200]

3、启动kibana：

./bin/kibana &

打开10.10.10.016:5601

选择创建索引

![905643-20190915220057445-969062136.png][]

![905643-20190915220106905-1895738936.png][]

创建完成可以在这看到

![905643-20190915220121391-1785281079.png][]

所有索引在这边，可以进行删除等操作

![905643-20190915220140572-1038601411.png][]

![905643-20190915220201938-1136699368.png][]

到这里进行查询

![905643-20190915220216807-625014791.png][]

如果在你的logstash里面有错误 为json解析错误如下图，那么修改配置文件

![905643-20190915220234591-240778628.png][]

![905643-20190915220250251-484494872.png][]

注释输入源格式

![905643-20190915220303407-594801359.png][]

如果是json  它会解析字段，并按照字段存储

![905643-20190915220317381-1798812428.png][]

否则将全部存储在message

![905643-20190915220331122-1560478656.png][]

转载于:https://www.cnblogs.com/wushenghfut/p/11524535.html

[905643-20190915215926848-471301406.png]: /images/20230810/1f2b830d697042b2a82715f41c95075a.png
[http_10.10.0.16_9200]: http://10.10.0.16:9200
[905643-20190915220057445-969062136.png]: /images/20230810/c772fb0aee32466c975676da03852dd5.png
[905643-20190915220106905-1895738936.png]: /images/20230810/e1e2430158e94d76a4d822aca57f79fa.png
[905643-20190915220121391-1785281079.png]: /images/20230810/8b3270741e5143709e87e7c2db7870ce.png
[905643-20190915220140572-1038601411.png]: /images/20230810/7dcb8a7c70af48ffa57dba598d562851.png
[905643-20190915220201938-1136699368.png]: /images/20230810/2b8765badc984885a50a73b5e0c9f508.png
[905643-20190915220216807-625014791.png]: /images/20230810/fca8d6f8529d455fac2881f0e4d7d634.png
[905643-20190915220234591-240778628.png]: /images/20230810/78236ce5c78d45cf86ee32dc653631f0.png
[905643-20190915220250251-484494872.png]: /images/20230810/8830082e9a684e1ea1bbec5219b1c263.png
[905643-20190915220303407-594801359.png]: /images/20230810/aa5b60eddf6d43529267bd3677032b24.png
[905643-20190915220317381-1798812428.png]: /images/20230810/2d5c92a715024d4bb2791149f2ccde81.png
[905643-20190915220331122-1560478656.png]: /images/20230810/3322da866d124e45bf638676e063dcc6.png