Logstash2.3.4趟坑之集成Redis哨兵模式

待我称王封你为后i 2022-04-11 07:16 124阅读 0赞

\[img\]http://dl2.iteye.com/upload/attachment/0119/6165/90591442-ca5a-33f7-9baa-e547a1aeee24.png\[/img\]  
\[size=medium\]最新在使用Lostash2.3.4收集数据的时候，在读取redis数据的时候，报了如下的一个异常：  
  
异常如下\[/size\]

Pipeline aborted due to error {:exception=>#<URI::InvalidURIError: the scheme redis does not accept registry part: redis_master_10214 (or bad hostname?)>, :backtrace=>["/home/search/logstash-2.3.4/vendor/jruby/lib/ruby/1.9/uri/generic.rb:214:in `initialize'"

\[size=medium\]Logstash自带的ruby是1.9的版本，自带集成的redis插件也是最新的redis-rb3.3.1  
  
Logstash里面默认自带了redis插件，也就是redis-rb3.3.1  
  
如果没带可以进入logstash目录：  
  
logstash-2.3.4\\vendor\\jruby\\bin进行安装\[/size\]

cd logstash-2.3.4\vendor\jruby\bin
    gem install redis

\[size=medium\]如果redis采用的是哨兵模式的集群，那么redis-rb插件也是支持的，具体的看官网github文档：  
  
\[url\]https://github.com/redis/redis-rb\[/url\]  
  
logstash的代码如下：\[/size\]

input{
       
     stdin{}
    }
    
    
    filter{
       
    
    ruby{
       
    init => "
    require 'redis'
    
    class Rconn  
       @@SENTINELS = [{:host => '192.168.10.214', :port => 26381},
                 {:host => '192.168.10.214', :port => 26382},
                 {:host => '192.168.10.214', :port => 26383}]
       def self.con   
       @@con  
       end 
    
       def self.SENTINELS
       @@SENTINELS
       end 
       @@con = Redis.new(:url => 'redis://redismaster10214', :sentinels => Rconn.SENTINELS, :role => :master)
    end
    "
    code => "
    event['redis_data']=Rconn.con.get(event['message']) 
    "
    }
    }
    
    output{
       
      stdout { codec => rubydebug }
    }

\[size=medium\]注意下面这句话\[/size\]

:url => 'redis://redismaster10214'

\[size=medium\]redis的哨兵masterName在ruby1.9中必须不能带下划线，否则会报下面的异常：  
错误的用法\[/size\]

:url => 'redis://redis_master_10214'
    <URI::InvalidURIError: the scheme redis does not accept registry part: redis_master_10214 (or bad hostname?)>,

\[size=medium\]ruby里面的标准的url校验，发现url里面如果有带下划线的，会认为是不合法的url，具体可参考下面两个问题连接：  
  
\[url\]https://github.com/docker/compose/issues/472\[/url\]  
  
\[url\]http://stackoverflow.com/questions/2180465/can-domain-name-subdomains-have-an-underscore-in-it\[/url\]  
  
目前在ruby1.9的版本中发现此bug，使用最新的版本ruby2.3.0则没有此问题，说明在高版本的ruby中 已经修复了此问题，但是logstash最新的版本绑定的jruby版本是1.9的ruby，所以还存在此问题，只能在使用时避免，真是血泪教训，花费了大半天时间趟的坑。\[/size\]  
\[b\]\[color=green\]\[size=large\]  
有什么问题可以扫码关注微信公众号：我是攻城师(woshigcs)，在后台留言咨询。  
技术债不能欠，健康债更不能欠， 求道之路，与君同行。  
\[/size\]\[/color\]\[/b\]  
\[img\]http://dl2.iteye.com/upload/attachment/0104/9948/3214000f-5633-3c17-a3d7-83ebda9aebff.jpg\[/img\]