kafka中的compacted topics

曾经终败给现在 2022-10-29 01:58 106阅读 0赞

### 概述 ###

本篇用来解析\[2\]

\[2\]中所有Flink SQL的含义

## ##

### ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FwcGxleXVjaGk_size_16_color_FFFFFF_t_70][] ###

## ##

### Compacted Topics ###

那么这个概念是什么意思呢？

引用\[1\]中的一段话

As mentioned at the begining, tombstones and compacted topics are often (but not always) two sides of the same coin.

A compacted topic retains the latest **value** for every **key**, and so is a perfect way to retain state with which you might want to rehydrate a target datastore with.

意思就是说更新非常快，时刻需要保持最新值的一种kafka topic

所以经常需要做的是upsert操作

**References:**

\[1\][Kafka Connect, ksqlDB, and Kafka Tombstone messages][Kafka Connect_ ksqlDB_ and Kafka Tombstone messages]

\[2\][03 Temporal Table Join between a non-compacted and compacted Kafka Topic][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FwcGxleXVjaGk_size_16_color_FFFFFF_t_70]: /images/20221024/eb697ae3142146f18f2e5d8793f1c95c.png
[Kafka Connect_ ksqlDB_ and Kafka Tombstone messages]: https://rmoff.net/2020/11/03/kafka-connect-ksqldb-and-kafka-tombstone-messages/
[03 Temporal Table Join between a non-compacted and compacted Kafka Topic]: https://github.com/ververica/flink-sql-cookbook/blob/master/joins/03/03_kafka_join.md

发表评论取消回复

表情：

评论列表（有 0 条评论，106人围观）

还没有评论，来说两句吧...

相关阅读

相关 kafka删除topic

1. 首先需要在config/server.properties中添加 delete.topic.enable=true 属性 2. 用topic list找到想要删除的to

曾经终败给现在/ 2024年04月03日 10:33/ 0 赞/ 83 阅读

相关 Kafka的Topic配置详解

一、Kafka中topic级别配置配置topic级别参数时，相同(参数)属性topic级别会覆盖全局的，否则默认为全局配置属性值。创建topic参数

约定不等于承诺〃/ 2022年12月19日 08:43/ 0 赞/ 645 阅读

相关 kafka中的compacted topics

概述本篇用来解析\[2\] \[2\]中所有Flink SQL的含义 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow

曾经终败给现在/ 2022年10月29日 01:58/ 0 赞/ 107 阅读

相关 kafka删除topic

运行./kafka-topics.sh -delete -zookeeper \[zookeeper server\] -topic \[topic name\]；如果kafk

不念不忘少年蓝@/ 2022年05月28日 03:07/ 0 赞/ 269 阅读

相关在Kafka中修改Topic的preferred replica

目前我们的topic test-add-replication-topic中partition 0的replicas为\[1,2\]，则1为preferred replica

缺乏、安全感/ 2022年05月25日 13:22/ 0 赞/ 175 阅读

相关 Kafka删除主题topic

1.关闭所有和topic相关的生产者和消费者 2.在server.properties添加设置 kafka topic可删除 delete.topic.enable=tr

红太狼/ 2022年03月19日 06:23/ 0 赞/ 145 阅读

相关 Kafka 删除topic

删除topic里面的数据这里没有单独的清空数据的命令，这里要达到清空数据的目的只需要以下步骤：一、如果当前topic没有使用过即没有传输过信息：可以彻底删除。二

桃扇骨/ 2022年02月26日 10:26/ 0 赞/ 318 阅读

相关 kafka删除topic数据

[kafka删除topic数据][kafka_topic] 一、概述生产环境中，有一个topic的数据量非常大。这些数据不是非常重要，需要定期清理。要求：默认

╰半橙微兮°/ 2022年02月02日 08:51/ 0 赞/ 420 阅读

相关 kafka删除一个topic

前言当我们在shell中执行topic删除命令的时候\` kafka-topics --delete --topic xxxx --zookeeper xxx\`，会显

﹏ヽ暗。殇╰゛Y/ 2021年12月22日 23:47/ 0 赞/ 320 阅读

相关 Kafka删除Topic

CDH平台勾选 delete.topics.enable 重启Kafka，否则Topic会标记为marked for deletion，重启才会真正删除。取消

曾经终败给现在/ 2021年09月23日 06:48/ 0 赞/ 404 阅读