streamsets添加mysql驱动_StreamSets3.9.1安装说明

- 日理万妓 2022-11-01 04:23 270阅读 0赞

\#1新建账号 streamsets

useradd streamsets

passwd streamsets

输入密码： streamsets

\#1上传并解压streamsets-datacollector-core-3.9.1.tgz

\[streamsets@cdhagent2 streamsets-datacollector-3.9.1\]$ tar -zxvf streamsets-datacollector-core-3.9.1.tgz

\#异常，文件上限

Configuration of maximum open file limit is too low: 1024 (expected at least 32768)

\[root@cdhagent2 ~\]\#  vi /etc/security/limits.conf

sdc soft nofile     32768

sdc hard nofile     32768

\[root@cdhagent2 ~\]\# vi /etc/profile

ulimit -HSn 32768

\[root@cdhagent2 ~\]\# source /etc/profile

\#2 启动服务

\[streamsets@cdhagent2 streamsets-datacollector-3.9.1\]$ cd /home/streamsets/streamsets-datacollector-3.9.1

\[streamsets@cdhagent2 streamsets-datacollector-3.9.1\]$ nohup ./bin/streamsets dc 2>&1 &

\#3 服务地址

http://192.192.0.27:18630/

账号: admin

密码: admin

\#4 新增Mysql binlog的资源包与驱动

\#通过网页端Package Manager进行安装，安装后可查看对应生成的目录

\[streamsets@cdhagent2 streamsets-datacollector-3.9.1\]$ cd streamsets-libs

\[streamsets@cdhagent2 streamsets-libs\]$cd streamsets-datacollector-mysql-binlog-lib

Install RPM:

$ tar xf streamsets-datacollector-3.9.1-\[operating system\]-all-rpms.tar

$ yum localinstall streamsets\*.rpm

Run Data Collector on an EL6 operating system:

$ service sdc start

Run Data Collector on an EL7 operating system:

$ systemctl start sdc

Browse to http://localhost:18630/

The default username and password are “admin” and “admin”.

发表评论取消回复

表情：

评论列表（有 0 条评论，270人围观）

还没有评论，来说两句吧...

相关阅读

相关 Streamsets之CDH安装

Streamsets之CDH安装一、环境介绍二、下载StreamSets安装包 2.1 下载地址 2.2 下载内容一、环境

我会带着你远行/ 2023年03月03日 08:46/ 0 赞/ 9 阅读

相关 Cloudera Manager安装streamsets

文章目录 1, 下载streamsets的parcel文件 2, 使用cloudera manager安装parcel a, 分发parcel报错

ゞ浴缸里的玫瑰/ 2022年12月14日 08:52/ 0 赞/ 302 阅读

相关 StreamSets之默认密码修改

> Q: How do I change the StreamSets admin password? > A: > 1、在路径etc/sdc/下找到form-realm

淡淡的烟草味﹌/ 2022年11月16日 13:55/ 0 赞/ 308 阅读

相关 streamsets添加mysql驱动_StreamSets3.9.1安装说明

\1新建账号 streamsets useradd streamsets passwd streamsets 输入密码： streamsets \1上传并解压strea

- 日理万妓/ 2022年11月01日 04:23/ 0 赞/ 271 阅读

相关 StreamSets 下载安装教程

本教程以 StreamSet 3.4.0 为例 StreamSet有多种安装方式，最简单的一种就是下载压缩包，直接解压即可使用 1、下载StringSet压缩包 S

我会带着你远行/ 2022年05月17日 08:18/ 0 赞/ 1486 阅读

相关 StreamSets 简介

目录 1. 什么是StreamSet Data Collector 2. 如何使用StreamSets Data Collector 3. StreamSets Data

亦凉/ 2022年05月14日 05:47/ 0 赞/ 464 阅读

相关 Mysql 到 Hbase 数据如何实时同步，强大的 Streamsets 告诉你

很多情况大数据集群需要获取业务数据，用于分析。通常有两种方式：业务直接或间接写入的方式业务的关系型数据库同步到大数据集群的方式第一种可以是在业务中编写代码

布满荆棘的人生/ 2022年03月22日 05:42/ 0 赞/ 414 阅读

相关编译Streamsets源代码报错问题

执行这个命令是成功的 mvn package -Pdist,ui -DskipTests 但是执行这个命令失败了 mvn idea:idea 错误信息如下：

冷不防/ 2021年09月28日 23:36/ 0 赞/ 672 阅读

相关使用Streamsets实现TensorFlow的二分类

原文链接：[https://streamsets.com/blog/binary-classification-of-streaming-data-using-tensorfl

水深无声/ 2021年09月28日 18:58/ 0 赞/ 373 阅读

相关 Streamsets自定义组件开发

需求痛点在实际项目的使用过程中，有些情况下现有的组件不能完全满足具体的业务需求，比如JDBC插入数据不是真正的batch提交的、较低版本的没有提供FieldMapper

谁践踏了优雅/ 2021年09月28日 15:42/ 0 赞/ 755 阅读