数据天生就是流式的

骑猪看日落 2022-01-27 13:49 95阅读 0赞

## 题外话 ##

好久没写文章，发现写长文太辛苦了，所以慢慢往短文开始靠。这次算是第一个实践。

## 完全由流式计算构建的体系 ##

部门目前核心其实就是流式计算，从根部开始(一个超大的Kafka集群)开始，延伸出一个超级庞大的树形结构。整个过程都是数据自我驱动进行流转，没有使用类似Azkaban/Oozie 等外部工具去让数据从一个系统流转到另外一个系统。 而我之前提出 [Transformer架构][Transformer] 本质就是一个流式数据架构。

这个架构的核心概念是：

**你开发的任何一个应用，本质上都是将两个或者多个节点连接起来，从而使得数据可以在不同节点之间流转**

## 数据的流转必然由批量到流式 ##

如果说在大数据领域，批量处理是第一次数据革命，那么流式处理则必然是第二次数据革命。

从某种角度而言，批量是流式处理的一个特例，譬如隔天处理数据，本质就是时间窗口为一天的流式计算。当然我们也可以实现以数量为窗口的计算。

当你需要借助外力的时候，事情往往就变得并不美好了。你需要额外的维护譬如Oozie等系统里的工作流，并且你需要考虑各个系统能够完成的时间，从而协调好组件。

数据流转的理想状态应该就如同河水一样，当源头水量变大后，水压会自动迫使数据自动流转速度加快。当我们需要灌溉新的农田时，我们只要接上某个河道（比如Kafka）,通过创建新的支流(由流式引擎比如Spark Streaming完成)，就可以很方便的将水引入。整个过程是水压驱动水的流转。

## 批量与流式的微妙关系 ##

Spark Streaming的实现则让流式和批量之间的关系愈加微妙。批量处理是Spark Streaming流式处理的一个窗口特别大的特例，但是如果细加观察,Spark Streaming 的每个batch 又都是一个批处理，只是因为这个批处理可以足够小，看起来就像数据在真实流动一样，所以我们也称之为流式处理。

而Storm这种流式引擎则能实现最细粒度的流转，但是这种细粒度的流转在很多场景并不足够高效，因为在流转的过程中，往往下游无法接受来一条就处理一条的情况，需要通过小窗口的batch来完成更加高效的入库操作。

所以从某种角度而言，Spark Streaming 这种将批处理和流处理巧妙融合的方式可以保证自己可以充分利用流式和批处理的优势。

从另外一个角度而言，流式不过是一个具有无限数据的批处理过程。

[Transformer]: https://yq.aliyun.com/articles/60239

发表评论取消回复

表情：

评论列表（有 0 条评论，95人围观）

还没有评论，来说两句吧...

相关阅读

相关【流式计算系列day4】Streaming流式架构101—它是什么？

Streaming101起源于在O'really上发表的两篇博客，原文如下： [https://www.oreilly.com/ideas/the-world-beyond

r囧r小猫/ 2023年07月13日 04:23/ 0 赞/ 12 阅读

相关互联网人，天生就是送外卖的料！

![format_png][] 2020，形势大变！过去的互联网骄子们，如今不得不面对现实，纷纷另寻出路。那么，他们转行后都适合做什么呢？让

àì夳堔傛蜴生んèń/ 2023年03月12日 07:26/ 0 赞/ 10 阅读

相关 kafka处理流式数据_通过Apache Kafka集成流式传输大数据

kafka处理流式数据从实时过滤和处理大量数据，到将日志数据和度量数据记录到不同来源的集中处理程序中，Apache Kafka越来越多地集成到各种系统和解决方案中。使用[

浅浅的花香味﹌/ 2023年02月25日 03:59/ 0 赞/ 181 阅读

相关限流算法就是这么简单

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20yOTAz

怼烎@/ 2023年01月15日 13:29/ 0 赞/ 138 阅读

相关 python流式计算_如何处理流式FX数据并计算livestream ATR（）？

我正在尝试使用python进行算法交易，以便进行回溯测试。在首先我下载了一些tick数据，然后将它们重新采样为10秒的OHLC数据，然后使用ATR指示符作为定义函数：df

我不是女神ヾ/ 2023年01月08日 15:23/ 0 赞/ 143 阅读

相关什么是流式、版式软件

流式排版： PDF的流式排版指相对于包含的文字、数字、表格和图形图像以特定的版排方式，保存后的内容是原始的编辑元素，电脑端通过PDF

喜欢ヅ旅行/ 2022年12月28日 06:23/ 0 赞/ 708 阅读

相关流式数据处理方法

文章目录定长记录变长记录+分隔符定长长度+变长记录 TLV格式通常需要

曾经终败给现在/ 2022年12月17日 05:18/ 0 赞/ 233 阅读

相关流式数据中的数学统计量计算

在科技飞速发展的今天，每天都会产生大量新数据，例如银行交易记录，卫星飞行记录，网页点击信息，用户日志等。为了充分利用这些数据，我们需要对数据进行分析。在数据分析领域，很重要的一

ゝ一纸荒年。/ 2022年06月13日 09:25/ 0 赞/ 187 阅读

相关数据天生就是流式的

题外话好久没写文章，发现写长文太辛苦了，所以慢慢往短文开始靠。这次算是第一个实践。完全由流式计算构建的体系部门目前核心其实就是流式计算，从根部开始(一个超大

骑猪看日落/ 2022年01月27日 13:49/ 0 赞/ 96 阅读

相关 mybatis流式查询数据

mybatis流式查询数据 MyBatis 提供了一个叫 org.apache.ibatis.cursor.Cursor 的接口类用于流式查询，这个接口继承了 java.

拼搏现实的明天。/ 2021年09月25日 12:10/ 0 赞/ 1051 阅读