elk之使用logstash同步mysql数据到elasticsearch(aws es)

- 日理万妓 2022-01-15 23:45 278阅读 0赞

./bin/logstash-plugin install logstash-output-amazon\_es

./bin/logstash-plugin install logstash-input-jdbc

tar -zxvf mysql-connector-java-8.0.16.tar.gz

mysql.conf   
input \{  
  jdbc \{  
    jdbc\_driver\_library => "/home/elk/mysql-connector-java-8.0.16.jar"  
    jdbc\_driver\_class => "com.mysql.jdbc.Driver"  
    jdbc\_connection\_string => "jdbc:mysql://192.168.3.92:3306/plus"  
jdbc\_default\_timezone => "UTC"  
    jdbc\_user => "root"  
    jdbc\_password => "111111"  
    schedule => "\* \* \* \* \*"  
use\_column\_value => true  
    statement => "SELECT \* from tablename where updated\_at>=:sql\_last\_value"  
    tracking\_column => "updated\_at"  
    tracking\_column\_type => "timestamp"  
    jdbc\_fetch\_size => 10  
    type => "sns\_feeds"  
  \}  
\}  
filter \{  
    mutate \{  
        remove\_field => \[ "@timestamp" \]  
    \}  
\}  
output\{  
    stdout \{ \}  
    elasticsearch \{  
        hosts => "https://aws\_domain:443"  
    index => "%\{type\}"  
document\_id => "%\{id\}"  
        ssl => true  
    \}  
\}

发表评论取消回复

表情：

评论列表（有 0 条评论，278人围观）

还没有评论，来说两句吧...

相关阅读

相关使用Logstash将Mysql数据同步到Elasticsearch

使用logstash将mysql数据导入到elasticsearch过程： 1 安装elasticsearch 网址：[https://www.elastic.co/down

小咪咪/ 2023年06月23日 17:55/ 0 赞/ 168 阅读

相关 logstash-input-jdbc 同步mysql数据到es

场景在某些搜索类的项目中，经常需要同步mysql的数据到es，方便及时打通两边的数据满足业务上对于数据搜索的需求，通常情况下，可以考虑两种数据同步方案，全量同步或增量同

我会带着你远行/ 2023年05月28日 15:55/ 0 赞/ 5 阅读

相关 ELK logstash 同步mysql oracle数据到es中 logstash 的安装和配置

之前记录了 ElasticSearch 的安装配置 [点击直达][Link 1] ，接下来我们使用 logstash 同步mysql 或者 oracle 数据到

蔚落/ 2023年02月26日 06:22/ 0 赞/ 46 阅读

相关使用logstash-6.5.4同步mysql 数据到ES里面

1.ES的全套下载地址 : [https://download.csdn.net/download/zhangshengqiang168/13452585][https_dow

约定不等于承诺〃/ 2022年12月26日 10:19/ 0 赞/ 160 阅读

相关 ElasticSearch学习之(十)-Logstash实现从ES同步数据到Mysql数据库

Logstash概述 Logstash是一个具有实时管道功能的开源数据收集引擎，Logstash可以动态地将来自不同数据源的数据统一起来，并将数据规范化为所

朱雀/ 2022年11月07日 13:18/ 0 赞/ 409 阅读

相关 elk之使用logstash同步mysql数据到elasticsearch(aws es)

./bin/logstash-plugin install logstash-output-amazon\_es ./bin/logstash-plugin install

- 日理万妓/ 2022年01月15日 23:45/ 0 赞/ 279 阅读

相关 Logstash 同步mysql数据到ElasticSearch

1.解压Logstash 2.在logstash根目录新建custom文件夹，用于自定义的一些配置文件，如下图 ![watermark_type_ZmFuZ3poZW5na

痛定思痛。/ 2021年11月05日 23:22/ 0 赞/ 406 阅读

相关 Logstash配置同步mysql到es配置

关于logstash安装:https://www.cnblogs.com/toov5/p/10301727.html Logstash是一个开源数据收集引擎，具有实时管道功能

一时失言乱红尘/ 2021年10月23日 19:14/ 0 赞/ 429 阅读

相关 Logstash多表同步MySQL数据到ES

1、Logstash下载前往官网下载logstash，下载地址[https://www.elastic.co/downloads/logstash][https_www

柔情只为你懂/ 2021年10月19日 01:34/ 0 赞/ 535 阅读

相关使用logstash同步mysql数据到elasticsearch(包含配置es,springboot集成搜索)

参考： [https://cloud.tencent.com/developer/article/1183253][https_cloud.tencent.com_de

比眉伴天荒/ 2021年09月19日 02:00/ 0 赞/ 426 阅读