elasticsearch -6.4.1 kibana-6.4.1 logstash-6.5.4同步mysql windows环境

一时失言乱红尘 2021-09-28 01:22 188阅读 0赞

1.[下载elasticsearch-6.4.1][elasticsearch-6.4.1]  
选择windows 环境下的包，然后减压放到d盘，建议文件建名称使用用英语。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI5NzY4Nzk_size_16_color_FFFFFF_t_70]  
2.修改config\\elasticsearch.yml文件  
把前景的\#去掉  
设置集群名字:cluster.name: cluster-name  
设置IP: network.host: 127.0.0.1  
设置端口: http.port: 9200  
3.启动elasticsearch，选择\\bin/elasticsearch.bat双击  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI5NzY4Nzk_size_16_color_FFFFFF_t_70 1]  
出现这个表示启动成功。  
然后在浏览器中输入你配置的地址,出现下面表示elasticsearch您已经安装成功了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI5NzY4Nzk_size_16_color_FFFFFF_t_70 2]  
4[安装kibana-6.4.1][kibana-6.4.1]  
选择windows的版本![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI5NzY4Nzk_size_16_color_FFFFFF_t_70 3]  
下载后放到es同级目录，其实放的目录没关系。  
5.配置kibana的配置文件\\config\\kibana.yml  
配置kibana的访问地址，配置关联的es的地址，默认情况下把\#去掉就可以  
server.host: “localhost”  
elasticsearch.url: “[http://localhost:9200][http_localhost_9200]”  
6.启动kibana，\\bin\\kibana.bat双击kibana.bat，出现如下界面表示安装成功。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI5NzY4Nzk_size_16_color_FFFFFF_t_70 4]  
7.在浏览器输入：[http://localhost:5601/出现如下界面表示安装成功][http_localhost_5601]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI5NzY4Nzk_size_16_color_FFFFFF_t_70 5]  
8.使用logstash-6.5.4同步mysql 数据  
下载`[logstash-6.5.4](https://www.elastic.co/downloads/logstash)`解压和es放到一个目录，放到哪个目录没有关系。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI5NzY4Nzk_size_16_color_FFFFFF_t_70 6]  
9.下载mysql8的驱动，放入到bin目录下，下载地址https://pan.baidu.com/s/1bUkAEQNvZwv5ubSYc9O6mw  
10.配置mysql同步文件，新建mysqltoes.conf（名字没关系）

input {
     stdin { }
        jdbc {
        #填写你的mysql链接串8以后驱动必须这样写，不然后出错，这个问题我搞了好几天才解决
            jdbc_connection_string => "jdbc:mysql://localhost:3306/springboot?characterEncoding=utf8&useSSL=false&serverTimezone=UTC&rewriteBatchedStatements=true"
            #链接数据库用户名称
            jdbc_user => "root"
            #链接数据库的密码
            jdbc_password => "root"
            #指定驱动的位置
            jdbc_driver_library => "D:/1-search/logstash-6.5.4/bin/mysql-connector-java-8.0.12.jar"
            #最新的mysql驱动写法，写以前的驱动会报错
            jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
            jdbc_paging_enabled => "true"
            jdbc_page_size => "50000"
            #同步的表，这里也可以只想一个写了sql的文件
            statement => "SELECT codeid,parentid,cityName FROM tb_da_area"
            #表示每分钟都同步数据
            schedule => "* * * * *"
        }
     }
     filter {
      date {
        # 有多个项的话能匹配多个不同的格式
        match => [ "logdate", "MMM dd yyyy HH:mm:ss","ISO8601" ]
        target => "fieldName1"
        timezone => "Asia/Shanghai"
      }
    }
    
     output {
         stdout {
            codec => json_lines
        }
        elasticsearch {
        #数据到es
            hosts => "localhost:9200"
            #指定索引，名字任意
            index => "myindex"
            #指定类型，任意
            document_type => "doc"
            document_id => "%{id}"
        }
    }

11.进入 logstashbin目录执行 logstash -f mysqltoes.conf 看到如下信息表述数据同步成功，下面截图的数据需要根据您同步的数据觉定。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI5NzY4Nzk_size_16_color_FFFFFF_t_70 7]  
12.在kibana查询数据是否已经同步  
选中dev tools 执行 GET /\_cat/indices?v 命令  
看到如下界面：myindex是在logstash中配置，表示数据同步成功![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI5NzY4Nzk_size_16_color_FFFFFF_t_70 8]

[elasticsearch-6.4.1]: https://www.elastic.co/downloads/elasticsearch
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI5NzY4Nzk_size_16_color_FFFFFF_t_70]: /images/20210923/ad5a58d703514d90ad45c6c4d110bd85.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI5NzY4Nzk_size_16_color_FFFFFF_t_70 1]: /images/20210923/0198d71de1874056ac8e5ee2ec55c4c9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI5NzY4Nzk_size_16_color_FFFFFF_t_70 2]: /images/20210923/fd5b29f80aed48e3a04009fceddeab33.png
[kibana-6.4.1]: https://www.elastic.co/downloads/kibana
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI5NzY4Nzk_size_16_color_FFFFFF_t_70 3]: /images/20210923/cd39e4eff1c34f86b041471dcd63ce49.png
[http_localhost_9200]: http://localhost:9200
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI5NzY4Nzk_size_16_color_FFFFFF_t_70 4]: /images/20210923/692d1e767d2c4a30a163c230fc294301.png
[http_localhost_5601]: http://localhost:5601/%E5%87%BA%E7%8E%B0%E5%A6%82%E4%B8%8B%E7%95%8C%E9%9D%A2%E8%A1%A8%E7%A4%BA%E5%AE%89%E8%A3%85%E6%88%90%E5%8A%9F
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI5NzY4Nzk_size_16_color_FFFFFF_t_70 5]: /images/20210923/1833c59fd6ac4a3c8ef48da9c8e494c9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI5NzY4Nzk_size_16_color_FFFFFF_t_70 6]: /images/20210923/b086c91cb09d4514b2f70113dc7b94e9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI5NzY4Nzk_size_16_color_FFFFFF_t_70 7]: /images/20210923/a83e331afe0e40838a82172140053927.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI5NzY4Nzk_size_16_color_FFFFFF_t_70 8]: /images/20210923/ed34e97ba6654df29f5cc0209a7e7cba.png