Centos7部署ELK

港控/mmm° 2022-12-27 15:29 241阅读 0赞

#### Centos7部署ELK7.8.0 ####

![c64e02c8f59e9371b66c02190beccc6a.png][]

###下载7.8.0
        https://mirrors.huaweicloud.com/filebeat/7.8.0/filebeat-7.8.0-linux-x86_64.tar.gz
        https://mirrors.huaweicloud.com/logstash/7.8.0/logstash-7.8.0.tar.gz
        https://mirrors.huaweicloud.com/kibana/7.8.0/kibana-7.8.0-linux-x86_64.tar.gz
        https://mirrors.huaweicloud.com/elasticsearch/7.8.0/elasticsearch-7.8.0-linux-x86_64.tar.gz
    
    ###节点
        192.168.163.130 	redis，logstash，elasticsearch，kibana
        192.168.163.131 	filebeat
    #关闭防火墙
        systemctl stop firewalld.service
    
    1.安装jdk
        tar -zxvf 00/jdk-8u111-linux-x64.tar.gz 
        mv jdk1.8.0_111/ jdk1.8/
        vim /etc/bashrc
            export  JAVA_HOME=/opt/jdk1.8
            export  JRE_HOME=$JAVA_HOME/jre
            export  CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
            export  PATH=$JAVA_HOME/bin:$PATH
        source /etc/bashrc
    2.源码安装redis
        tar zxf redis-3.2.9.tar.gz -C /opt
        cd /opt/redis-3.2.9
        make && make install PREFIX=/usr/local/redis 
        cp /opt/redis-3.2.9/redis.conf /usr/local/redis/bin/ 
        cd /usr/local/redis/bin/
        vim ./redis.conf
            daemonize yes                           #开启后台运行
            timeout 120                             #超时时间
            bind 0.0.0.0                            #任何地址IP都可以登录redis
            protected-mode no                       #关闭redis保护机制否则在没有密码校验情况下redis远程登录失败
        ./redis-server #前端启动
        ./redis-server redis.conf	#后台启动
        ./redis-cli	 #redis的连接，默认连接localhost运行在6379端口的redis服务：
        ./redis-cli -h 127.0.0.1 -p 6379 
        ./redis-cli shutdown	#关闭redis服务
    3.安装Elasticsearch
        tar -zvxf elasticsearch-7.8.0.tar.gz
        vim /opt/elasticsearch-7.8.0/config/elasticsearch.yml
            #这里指定的是集群名称，需要修改为对应的，开启了自发现功能后，ES会按照此集群名称进行集群发现
            cluster.name: my-application
            node.name: node-1
            
            #目录需要手动创建
            path.data: /data/appdata/elk
            path.logs: /data/applogs/elk
            
            #设置为true来锁住内存。因为内存交换到磁盘对服务器性能来说是致命的，当jvm开始swapping时es的效率会降低，所以要保证它不swap
            bootstrap.memory_lock: true
    
            #ES监听地址任意IP都可访问
            network.host: 0.0.0.0
            http.port: 9200
            
            cluster.initial_master_nodes: ["node-1"]
            
            # enable cors，保证_site类的插件可以访问es    
            http.cors.enabled: true             
            http.cors.allow-origin: "*"         
        vim /etc/sysctl.conf	#修改系统参数
            vm.max_map_count=655360	#添加参数,单个进程支持最大线程数
        sysctl -p	#重新载入配置
        vim /etc/security/limits.conf	#修改资源参数
            *   soft    nofile  65536
            *   hard    nofile  131072  
            *   soft    nproc   65536
            *   hard    nproc   131072 
            *   soft    memlock unlimited
            *   hard    memlock unlimited
        vim /etc/security/limits.d/20-nproc.conf	#设置用户资源参数
            elk     soft    nproc       65536	#添加
        #创建用户并赋权
            useradd elk
            groupadd elk
            useradd elk -g elk
        #创建数据和日志目录并修改目录权限
            mkdir -p /data/appdata/elk
            mkdir -p /data/applogs/elk
            chmod 777 -R /data
            chown -R elk:elk /opt/elasticsearch-7.8.0
        #切换用户并后台启动ES：(elk用户修改了资源参数，如不切位elk用户启动会暴毙)
            su elk
            nohup /opt/elasticsearch-7.8.0/bin/elasticsearch >> /dev/null 2>&1 &	#7.8版本兼容jdk1.8，可在bin/elasticsearch文件指定自带的jdk
        #查看ES状况
            http://192.168.163.130:9200/_search?pretty
    4.安装ES的head插件（es图形界面）
        yum -y install nodejs npm git     #安装node.js、npm和git工具
        #安装nodejs的其他方法
            wget https://nodejs.org/dist/v14.15.1/node-v14.15.1-linux-x64.tar.xz
            tar -xJf node-v14.15.1-linux-x64.tar.xz
            ln -s /opt/node-v14.15.1-linux-x64/bin/node  /usr/local/bin/node
            ln -s /opt/node-v14.15.1-linux-x64/bin/npm /usr/local/bin/npm
        node -v
        npm -v
        npm config set registry http://registry.npm.taobao.org/	#修改源地址为淘宝npm镜像，加快下载速度
        npm install -g grunt-cli	#安装grunt
        ln -s /opt/node-v14.15.1-linux-x64/bin/grunt  /usr/local/bin/grunt
        git clone git://github.com/mobz/elasticsearch-head.git
        cd /opt/elasticsearch-head	#进入到head插件程序目录安装head所需的库和第三方框架
        npm install	#可能会报phantomjs-prebuilt错误，npm install phantomjs-prebuilt@2.1.16 --ignore-scripts
        #修改head的配置
            #(L97)在/opt/elasticsearch-head/Gruntfile.js文件中添加 http: '*'
                connect: {
                    server: {
                        options: {
                            http: '*',
                            port: 9100,
                            base: '.',
                            keepalive: true
                        }
                    }
                }
            #(L4388)修改head目录的配置文件/opt/elasticsearch-head/_site/app.js 找到如下内容：
                this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://localhost:9200";  #将其中的"http://localhost:9200"; 改为"http://192.168.163.130:9200";示head插件将通过台ES机器访问es集群
        #启动head插件服务
            cd /opt/elasticsearch-head
            nohup npm run start >> /dev/null 2>&1 &  #后台行运
        #访问head插件
            http://192.168.163.130:9100
    5.安装kibana（es图形界面）
    #head是为了方便我们操作管理es，同时提供了可视化的数据查询界面，而kibana是一个数据可视化中间件，为了更直观的展示es的数据。
        tar -zxvf kibana-7.8.0-linux-x86_64.tar.gz 
        vim /opt/kibana-7.8.0-linux-x86_64/config/kibana.yml	#修改内容如下：
            server.port: 5601	#开启默认端口5601
            server.host: "192.168.163.130"	#kibana站点IP
            elasticsearch.url: http://192.168.163.130:9200        
            kibana.index: ".kibana"
            i18n.locale: "zh-CN" 	#中文界面
        chown elk:elk /opt/kibana-7.8.0-linux-x86_64/ -R
        su elk
        nohup /opt/kibana-7.8.0-linux-x86_64/bin/kibana >> /dev/null 2>&1 &	#后台启动kibana
        #浏览器访问，刚访问的时候没有创建索引所以没有看不到数据
            http://192.168.163.130:5601
    6.安装filebeat
    #源码安装
        tar -zxvf filebeat-7.8.0-linux-x86_64.tar.gz -C /opt
        cd /opt/filebeat-7.8.0-linux-x86_64
        vim filebeat.yml
            enabled：true
            paths：程序日志路径
            output.redis: 
                hosts: ["192.168.163.130:6379"]
                key: elk_logs
        nohup /opt/filebeat-7.8.0-linux-x86_64/filebeat >> /dev/null 2>&1 &  
    #yum安装
        cd /etc/yum.repos.d
        vim elk.repo
            [filebeat]
            name=Elasticsearch repository for 7.x packages
            baseurl=https://artifacts.elastic.co/packages/7.x/yum
            gpgcheck=0
            gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
            enabled=1
            autorefresh=1
            type=rpm-md
        yum -y install filebeat
        rpm -qc filebeat	#查看配置文件所在位置
        vim /etc/filebeat/filebeat.yml	#修改以下几个字段
            ...
        systemctl start filebeat	#启动后会同步日志至redis
    7.安装logstash
        tar -zxvf logstash-7.8.0.tar.gz -C /opt
        cd /opt/logstash-7.8.0
        ./bin/logstash -e 'input { stdin { } } output { stdout {} }'	#测试logstash是否可用
        vim ./config/logstash-simple.conf	#创建主配文件进行测试
            input { stdin { } }
            output {
                stdout { codec=> rubydebug }
            }
        ./bin/logstash -f ./config/logstash-simple.conf	#使用logstash参数-f读取配置文件进行测试
        vim ./config/redis-spring.conf 	#创建配置文件获取redis日志的数据
            input {
              redis {
                port => "6379"
                host => "192.168.163.130"
                data_type => "list"
                type => "log"
                key => "elk_logs"
              }
            }
            output {
              elasticsearch {
                 hosts => "192.168.163.130:9200"
                 index => "logstash1-%{+YYYY.MM.dd}"
              }
            }
        nohup ./bin/logstash -f ./config/redis-spring.conf >> /dev/null 2>&1 &	#通过配置文件启动,启动后自动从redis读取数据
        curl http://192.168.163.130:9200/_search?pretty	#查看ES是否接受到数据

[c64e02c8f59e9371b66c02190beccc6a.png]: /images/20221120/8666d757550d4aa1908ad4c56528729b.png