ELK-01 elk初体验

elk是什么

在项目初期的时候，大家都是赶着上线，一般来说对日志没有过多的考虑，当然日志量也不大，所以用log4j就够了，随着应用的越来越多，日志散落在各个服务器的logs文件夹下，确实有点不大方便。

当我们需要日志分析的时候你大概会这么做：直接在日志文件中 grep、awk 就可以获得自己想要的信息。

那你们想过这种方式的问题吗？

日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询
应用太多，面临数十上百台应用时你该怎么办
随意登录服务器查询log对系统的稳定性及安全性肯定有影响
如果使用人员对Linux不太熟练那面对庞大的日志简直要命

ELK因此就应运而生，那么为什么要用ELK呢？ELK又能给我们解决哪些问题呢？

日志统一收集，管理，访问。查找问题方便安全
使用简单，可以大大提高定位问题的效率
可以对收集起来的log进行分析
能够提供错误报告，监控机制

ELK架构设计

ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。

LogStash

它可以流放到各自的服务器上收集Log日志，通过内置的ElasticSearch插件解析后输出到ES中
ElasticSearch

这是一个基于Lucene的分布式全文搜索框架，可以对logs进行分布式存储，有点像hdfs。此为ELK的核心组件，日志的分析以及存储全部由es完成，因此在后面的课程中我们还会对此进行重点讲解。
Kibana

它可以多维度的展示es中的数据。这也解决了用mysql存储带来了难以可视化的问题。他提供了丰富的UI组件，简化了使用难度，数据在es中的展示是比较让人蛋疼的，后面再讲es的时候让大家看看。

目前ELK主要两种框架

普通框架

个性化扩展框架（针对日志数据需要二次处理以及多方使用的场景）

70 1

补充：

FileBeat：轻量级收集日志系统，速度快，稳定，不占资源。

Es集群：一片数据不要超过10G，一台上面不要超过50G。

如何快速搭建一套稳定的ELK环境

1.官方下载 //www.elastic.co/cn/products

2.版本：elasticsearch 5.6.4，kibana5.2.0 ，logstash5.6.3三个版本（注意 JDK需要1.8）

3.安装logstash

（1）解压，在config目录建：logstash.conf

（2）做好input ，filter，output三大块，其中input是吸取logs文件下的所有log后缀的日志文件，filter是一个过滤函数，这里不用配置，output配置了导入到hosts为127.0.0.1:9200的elasticsearch中，每天一个索引

input {
     file {
        type => "log"
        path => "/logs/*.log"
        start_position => "beginning"
    }
}
output {
  stdout {
   codec => rubydebug { }
  }
  elasticsearch {
    hosts => "127.0.0.1"
    index => "log-%{+YYYY.MM.dd}"
  }
}

（3）bin目录下启动logstash了，配置文件设置为conf/logstash.conf ，启动命令：./logstash -f ../config/logstash.conf

4.安装elasticSearch(具体安装步骤以后介绍)

ELK中的核心，启动的时候一定要注意，因为es不可以进行root账户启动，所以你还需要重新添加一个账户，我这里是apps。在安装过程中大家会遇到以下几个问题：

（1）max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

    解决方法：vi /etc/security/limits.conf
                     \[用户名\] hard nofile 65536
                     \[用户名\] soft nofile 65536

（2）max number of threads [1024] for user [apps] is too low, increase to at least [2048]

    解决办法：vi /etc/security/limits.d/90-nproc.conf 
                     修改如下内容：
                             \* soft nproc 1024
                             \#修改为
                             \* soft nproc 2048

（3）max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]

    解决办法：vi /etc/sysctl.conf 
                     添加下面配置：
                             vm.max\_map\_count=655360
                             并执行命令：
                             sysctl -p