storm 安装 mysql_storm-安装

怼烎@ 2023-01-12 07:41 80阅读 0赞

1. 单机安装storm测试环境

2. 集群storm安装

http://blog.csdn.net/tanggao1314/article/details/52348632

2. storm 将处理结果保存到mysql

2) 将jar包上传到storm lib目录

3) 将jar 导入到idea

4) 按照java 操作mysql 即可

需求，将storm的一个数据流，直接保存到es，可以省略很多环节!

测试1： 百度到 公认的使用 storm-elastic-search 一个jar 很是方便，在maven中进行如下配置

com.hmsonline

storm-elastic-search

0.1.0

同时，部署es 下载最新的2.4.0，安装

tar zxvf elasticsearch-2.4.0.tar.gz

cd elasticsearch-2.4.0

安装es plugin插件

bin/plugin install mobz/elasticsearch-head

问题1: 在storm上进行测试，提示找不到某些class,需要将storm-elastic-search相关的jar包，都上传到storm安装目录lib下。

问题2: 运行后 错误提示 没有节点可用，然后在es错误文件显示，连接库版本为0.90，而当前需要的版本最少为2.0 版本不兼容...

下载一个es0.90版本，发现可以使用

接着安装kibana 4 ，发现不能与es0.9兼容，支持最低es版本为1.4.4

升级es0.9到es1.4.4后，发现storm-elastic-search不能与es1.4.4兼容。

看一下代码 最重要的是EsIndexBolt, 因为需求只是将数据上传到es中，为了与最新es2.4兼容，去掉了storm-elastic-search的依赖，将es2.4安装文件的lib文件统一copy到storm安装目录下的lib中，开始了繁琐的代码修改。因为EsIndexBolt是基于旧版本的es0.90编写的。

每个文件中的org.apache.storm的引用都需要去掉，变成backtype.storm的引用。

EsConfig 中ImmutableSettings.settingsBuilder()   需要修改成Settings.Builder(), 因为新版es jar 没有ImutableSettings

DefaultEsTupleMapper.java 将source 修改为document, 这个是自定义的，与自己的bolt相同即可

StormElasticSearchClient.java 38行 TransportClient transportClient = new TransportClient(settings); 新的es  TransportClient 没有此构造方法需要修改为

TransportClient transportClient = TransportClient.builder().settings(settings).build();

TransportAddresses.java 中的 transformToInetAddress 方法，修改为

return new InetSocketTransportAddress(InetAddress.getByName(hostname), port(hostAndPort\[1\])); 因为新版本es

InetSocketTransportAddress 类的构造函数发生变化

发表评论取消回复

表情：

评论列表（有 0 条评论，80人围观）

还没有评论，来说两句吧...

相关阅读

相关 storm 安装 mysql_storm-安装

1. 单机安装storm测试环境 2. 集群storm安装 http://blog.csdn.net/tanggao1314/article/details/5234863

怼烎@/ 2023年01月12日 07:41/ 0 赞/ 81 阅读

相关 Storm 快速安装及部署示例

本文提供最简单快速的安装示例： Storm依赖zookeeper和Python环境，具体安装步骤不再列出，只简单介绍Storm的安装过程。 1，Linux环境下载st

拼搏现实的明天。/ 2022年07月16日 00:59/ 0 赞/ 178 阅读

相关 storm集群安装步骤

> 一、环境准备 1. storm官方地址[：http://storm.apache.org/index.html][http_storm.apache.org_index

不念不忘少年蓝@/ 2022年06月08日 06:47/ 0 赞/ 203 阅读

相关 Storm安装和使用Demo

http://blog.csdn.net/sqh201030412/article/details/78426812 一,Storm集群的安装 1.下载安

悠悠/ 2022年06月05日 01:40/ 0 赞/ 140 阅读

相关 Storm之安装部署（一）

Apache Storm 安装部署 1、安装 ZooKeeper 详见我的另外一篇博文《ZooKeeper的集群搭建与配置》[https://blog.csdn.net/

落日映苍穹つ/ 2022年05月10日 06:38/ 0 赞/ 157 阅读

相关 storm_伪集群安装

创建linux虚拟机，用户名密码都为gary，ip为192.168.32.131。关闭防火墙： service iptables stop chkconfig ipta

柔光的暖阳◎/ 2022年04月11日 13:22/ 0 赞/ 247 阅读

相关 storm_安装与配置

安装storm集群的步骤如下： 1. 搭建ZooKeeper集群; 2. 安装storm依赖库; 3. 下载并解压storm发行版本; 4. 配置storm.yaml

忘是亡心i/ 2022年04月08日 08:30/ 0 赞/ 185 阅读

相关 Storm 集群的入门安装

文章目录 1、前提 2、集群说明 3、安装步骤 3.1、下载 storm 3.2、上传、

迷南。/ 2022年01月30日 15:23/ 0 赞/ 200 阅读

相关 Storm集群安装详解

storm有两种操作模式: 本地模式和远程模式。本地模式：你可以在你的本地机器上开发测试你的topology，一切都在你的本地机器上模拟出来; 远端模式：你提交的to

ゞ浴缸里的玫瑰/ 2022年01月13日 07:37/ 0 赞/ 258 阅读

相关 Storm安装部署

1.基础环境准备前提是安装好jdk,zookeeper这里不做描述 2.安装storm 1. 下载安装包 2. 解压安装包 tar -zxvf apache...

朱雀/ 2020年10月25日 02:09/ 0 赞/ 693 阅读