kafka处理流式数据_通过Apache Kafka集成流式传输大数据

浅浅的花香味﹌ 2023-02-25 03:59 135阅读 0赞

kafka处理流式数据

从实时过滤和处理大量数据，到将日志数据和度量数据记录到不同来源的集中处理程序中，Apache Kafka越来越多地集成到各种系统和解决方案中。 使用[CData Sync][] ，可以轻松地将此类解决方案应用于任何CRM，ERP或Analytics软件。

## 配置Apache Kafka目标以进行CData同步 ##

在CData Sync中设置Kafka目标非常简单。 只需提供“服务器”和“端口”，然后复制命令就可以接管—不需要其他配置。 要设置这种连接，请首先导航到“连接”页面，然后单击“目标”选项卡，然后选择“ Kafka”。

![1- Apache Kafka集成][1- Apache Kafka]

指定服务器和端口属性。 如果启用了身份验证，请同时指定“用户”和“密码”属性。 单击“保存更改”和“测试连接”以保存更改，并确保CData Sync可以连接到Kafka服务器。

![2- Apache Kafka集成][2- Apache Kafka]

其他一些属性可用，并在“高级”选项卡中进行了分类：

*  **启用幂等：**确保邮件仅传递一次。 在某些情况下，生产者可能会产生重复的消息。 为了进行验证，客户端可以在执行作业后将消耗的结果数与“受影响的记录”状态进行比较。
 *  **序列化格式：**指定产生的消息的格式； 可用值为**JSON，XML和CSV** 。
 *  **主题：**如果指定，则该属性将替代表名作为复制的目标主题。

## 增量更新如何工作 ##

CData Sync使无缝更新变得无缝。 服务器不需要任何配置，并且所有必需的属性都已预先配置，具体取决于Source和Source表。

与SQL Server等其他数据库工具不同，Kafka不支持可靠的状态存储方式。 CData Sync使用本地SQLite数据库来解决此问题。 它将存储上次复制表的时间，并使用该时间戳过滤最新记录。 大多数企业系统都提供一个系统列来指定记录的最后更新日期，这足以满足此目的。

例如，QuickBooks Online中的“帐户”表包含此列。 复制表：

![format_png][]

并在修改三个记录后运行另一个副本：

![format_png 1][]

某些表没有自动更新的列，该列保存记录的最后更新日期。 在这种情况下，别无选择，只能从一开始就完全复制结果。 Kafka提供了附加到消息的时间戳字段，可用于区分较新的结果。

QuickBooks Online中的department表没有用于指定上次更新时间的列。 复制此表将导致：

![format_png 2][]

在添加两个新记录的同时运行复制一次，将产生：

![format_png 3][]

## 优化查询 ##

有多种方法可以管理CData Sync生成的消息大小。 可能需要进行优化，具体取决于Kafka服务器的配置，或者值得考虑的只是简单地提高复制性能。

**压缩类型：**指定如何压缩生成的数据。 可用选项为gzip，lz4，snappy或无。 指定非“ none”以外的压缩类型将减少消息有效负载。

**最大批处理大小：**指定在单个请求中发送的最大批处理大小（以字节为单位）。 批处理中充满了整个消息。 如果批次已等待一段时间，则可以提前发送批次而无需填充。 降低此值可能会降低性能，但是如果生成的消息超过服务器的最大允许消息大小，则可能有必要。

**排除列：**如果单个记录本身太大，则转换功能提供了一种从输出消息中省略某些列的方法。 这是最常用的聚合列。 要排除列，请导航至作业，然后单击所需表旁边的转换按钮：

![format_png 4][]

接下来，取消选择聚合列：

![format_png 5][]

最后，单击“确定”进行保存。

## 设置CData Sync来管理数据源 ##

通过使用计划作业，可以设置完全自动的记录提取，Kafka消费者可以使用该记录始终与新条目保持最新。 时间可以根据特定数据集的需要进行调整。

要安排作业，请选择所需的作业。 在“计划”部分下，选中“计划此作业自动运行”框。 最后，选择适当的间隔。

![format_png 6][]

## 结论 ##

[CData Sync][]和Apache Kafka可以成为强大的组合。 可以从任何数据源复制到Kafka使用者，以支持从分析到日志记录的一系列需求。 自动检测新记录并安排作业可确保新数据稳定地流向其订户。 压缩，转换和其他优化可以进一步控制数据格式，量和频率。 下载CData Sync的[30天免费试用版][30] ，今天就开始将大数据流式传输到Apache Kafka！

[![format_png 7][]][30]

> 翻译自: [https://www.javacodegeeks.com/2019/11/stream-big-data-with-apache-kafka-integration.html][https_www.javacodegeeks.com_2019_11_stream-big-data-with-apache-kafka-integration.html]

kafka处理流式数据

[CData Sync]: https://www.cdata.com/sync?utm_source=jcg&utm_medium=post&utm_campaign=kafka
[1- Apache Kafka]: /images/20230209/e883b5ac8af64554b07f31717a549b0f.png
[2- Apache Kafka]: /images/20230209/39cc342a7824443a88bd7e654cd7777d.png
[format_png]: http://imgconvert.csdnimg.cn/aHR0cHM6Ly93d3cuamF2YWNvZGVnZWVrcy5jb20vd3AtY29udGVudC91cGxvYWRzLzIwMTkvMTEvMy5qcGc?x-oss-process=image/format,png
[format_png 1]: http://imgconvert.csdnimg.cn/aHR0cHM6Ly93d3cuamF2YWNvZGVnZWVrcy5jb20vd3AtY29udGVudC91cGxvYWRzLzIwMTkvMTEvNC5qcGc?x-oss-process=image/format,png
[format_png 2]: http://imgconvert.csdnimg.cn/aHR0cHM6Ly93d3cuamF2YWNvZGVnZWVrcy5jb20vd3AtY29udGVudC91cGxvYWRzLzIwMTkvMTEvNS5qcGc?x-oss-process=image/format,png
[format_png 3]: /images/20230209/9fc618ec7ed84760b36edc5e67fae34a.png
[format_png 4]: /images/20230209/09fedc7cca2847cc90d0c4748396944c.png
[format_png 5]: /images/20230209/e8f48b5671554ae988ba1cb53bf8b153.png
[format_png 6]: /images/20230209/e8f49374db7a4112a00f8c9e7d85f18e.png
[30]: https://www.cdata.com/sync/download/?utm_source=jcg&utm_medium=post&utm_campaign=kafka
[format_png 7]: /images/20230209/75fbeb069b1c499e84fbbce4c6b98ee9.png
[https_www.javacodegeeks.com_2019_11_stream-big-data-with-apache-kafka-integration.html]: https://www.javacodegeeks.com/2019/11/stream-big-data-with-apache-kafka-integration.html