大数据起步之wormhole初识

你的名字 2022-02-16 02:10 262阅读 0赞

第一个接触wormhole是公司的一个开发项目，由于之前供职于宜信，接触到这个开源项目，目前宜信已经推出Davinci、Moonbox、Wormhole、UAV.Monitor等10项领先开源技术，以将宜信的技术和方法开放共享，繁荣技术生态。

开源网址：[ https://github.com/edp963/wormhole][https_github.com_edp963_wormhole]

### wormhole的简介： ###

*  Wormhole是一个SPAAS（Stream Processing as a Service）平台解决方案。Wormhole面向大数据项目开发和管理人员，致力于简化和统一开发管理流程。尤其是针对流式实时和流式准实时数据处理场景，Wormhole提供了可视化的操作界面，极简的配置流程，基于SQL的业务开发方式，并屏蔽了大数据处理底层技术细节，极大的降低了开发管理门槛，使得大数据项目开发和管理变得更加轻量敏捷可控可靠。

### Wormhole的设计理念： ###

*  统一流式处理DAG高阶分形抽象：构建由 Source DataSys，Kafka Topic，Spark Stream（Flink Stream），Sink DataSys 组成的物理 DAG；每个物理 DAG 里可以并行处理多个由 Source Namespace，Flow，Sink Namespace 组成的逻辑 DAG；每个 Flow 本身是典型的 Spark RDD DAG
 *  统一通用流转消息UMS协议抽象：UMS 是 Wormhole 定义的流消息协议规范；UMS 试图抽象统一所有结构化消息；UMS 自身携带结构化数据 Schema 信息；Wh4 支持用户自定义半结构化 JSON 格式
 *  统一表命名空间Namespace定义抽象：Namespace 唯一定位所有数据存储所有结构化逻辑表；\[Data System\].\[Instance\].\[Database\].\[Table\].\[Table Version\].\[Database Partition\].\[Table Partition\]

### wormhole的基本原理： ###

正在总结。。。。。。。。。。（马上更新）

[https_github.com_edp963_wormhole]: https://github.com/edp963/wormhole

发表评论取消回复

表情：

评论列表（有 0 条评论，262人围观）

还没有评论，来说两句吧...

相关阅读

相关一文初识大数据Flink框架

?Apache Flink是一个开源的分布式流处理框架，用于处理流数据和批量数据。它可以在一个单独的机器或一个集群上运行，并具有高效的数据处理能力，特别是对于大规模数据集...

逃离我推掉我的手/ 2024年04月22日 06:58/ 0 赞/ 65 阅读

相关初识数据结构

1.什么叫做数据结构 1.1定义 > 数据结构:是相互之间存在一种或者多种特定关系的数据元素的集合。 1.2分类 ![在这里插入图片描述][bf76c27a

缺乏、安全感/ 2023年10月05日 23:36/ 0 赞/ 6 阅读

相关初识C++之数据类型（二）

初识C++之数据类型(二） 2.1 整型 2.2 sizeof关键字 2.3 实型（浮点型） 2.4 字符型 2.5 转义字符 2.6

以你之姓@/ 2022年08月28日 02:49/ 0 赞/ 186 阅读

相关大数据HBase系列之初识HBase

1. HBase简介 1.1 为什么使用HBase 传统的RDBMS关系型数据库（MySQL/Oracle）存储一定量数据时进行数据检索没有问题，可当数据量上升

Love The Way You Lie/ 2022年05月14日 07:05/ 0 赞/ 211 阅读

相关大数据起步之Paxos算法

Paxos算法是[莱斯利·兰伯特][Link 1]（英语：Leslie Lamport，[LaTeX][]中的“La”）于1990年提出的一种基于消息传递且具有高度容错特性的一

超、凢脫俗/ 2022年04月16日 04:11/ 0 赞/ 177 阅读

相关初识数据结构之数组

为什么很多编程语言中数组都从0开始编号？提到数组，我想你肯定不陌生，甚至还会自信地说，它很简单啊。是的，在每一种编程语言中，基本都会有数组这种数据类型。不过，它不仅

叁歲伎倆/ 2022年04月14日 04:45/ 0 赞/ 210 阅读

相关大数据起步之wormhole初识

第一个接触wormhole是公司的一个开发项目，由于之前供职于宜信，接触到这个开源项目，目前宜信已经推出Davinci、Moonbox、Wormhole、UAV.Monitor

你的名字/ 2022年02月16日 02:10/ 0 赞/ 263 阅读

相关大数据组件之初识Hive

现在在互联网行业，稍微和大数据研发或者数据分析工作沾边的，都会有听到Hive这个工具。那么Hive是什么呢，是什么情况出现了Hive这个工具，它用来处理什么样的问题，哪些是它不

不念不忘少年蓝@/ 2022年01月13日 10:17/ 0 赞/ 194 阅读

相关初识大数据与云计算

One.大数据是什么？ 1.大数据其实就是就是解决了海量数据的存储以及海量数据有效存储的问题. 2.大数据的概念其实早在以前就有人提出过理论，只不过当时

港控/mmm°/ 2021年11月01日 08:40/ 0 赞/ 349 阅读

相关 jvm之初识

一、jvm体系结构： ![这里写图片描述][Image 1] 二、.class文件：这个众所周知，这里就不废话了，.class文件就是javac编译之后产生的文件三

亦凉/ 2021年05月12日 11:55/ 0 赞/ 596 阅读