通过logstash将关系型数据库数据同步到ES

野性酷女 2022-11-22 00:01 184阅读 0赞

input {
      # 多张表的同步只需要设置多个jdbc的模块就行了
      jdbc {
          # mysql 数据库链接,shop为数据库名
          jdbc_connection_string => "jdbc:mysql://localhost:3306/库名称?useUnicode=true&characterEncoding=utf8&serverTimezone=UTC"
          # 用户名和密码
          jdbc_user => "root"
          jdbc_password => "root"
    
          # 驱动
          jdbc_driver_library => "D:/es/logstash-7.3.2/mysql/mysql-connector-java-5.1.6-bin.jar"
    
          # 驱动类名
          jdbc_driver_class => "com.mysql.jdbc.Driver"
          jdbc_validate_connection => "true"
    
          #是否分页
          jdbc_paging_enabled => "true"
          jdbc_page_size => "1000"
          #时区
          jdbc_default_timezone => "Asia/Shanghai"
    
          #直接执行sql语句
          statement => "select * from 表命 where id >=:sql_last_value order by id asc"
          # 执行的sql 文件路径+名称
          # statement_filepath => "/hw/elasticsearch/logstash-6.2.4/bin/test.sql"
    
          #设置监听间隔  各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新
          schedule => "* * * * *"
          #每隔10分钟执行一次
          #schedule => "*/10 * * * *"
          #是否记录上次执行结果, 如果为真,将会把上次执行到的 tracking_column 字段的值记录下来,保存到last_run_metadata_path
          record_last_run => true
          #记录最新的同步的offset信息
          last_run_metadata_path => "D:/es/logstash-7.3.2/logs/last_id.txt"
    
          use_column_value => true
          #递增字段的类型，numeric 表示数值类型, timestamp 表示时间戳类型
          tracking_column_type => "numeric"
          tracking_column => "id"
          
          clean_run => false
    
          # 索引类型
          #type => "jdbc"
        }
    
    }
    
    
    output {
      elasticsearch {
            #es的ip和端口
            hosts => ["http://localhost:9200"]
            #ES索引名称（自己定义的）
            index => "spider"
            #文档类型
            document_type => "_doc"
            #设置数据的id为数据库中的字段
            document_id => "%{id}"
        }
        stdout {
            codec => json_lines
        }
    }

下图是不经意间查阅到mysql同步es的选型，各中间件的优缺点都有说明

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2MjA0NzY0_size_16_color_FFFFFF_t_70][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2MjA0NzY0_size_16_color_FFFFFF_t_70]: /images/20221120/4167ed3764a74a24a0df56b59271d5f5.png