第六章 sink数据存储

红太狼 2024-04-03 14:03 63阅读 0赞

## 第六章 sink数据存储 ##

Data sinks 使用 DataStream 并将它们转发到文件、套接字、外部系统或打印它们。Flink 自带了多种内置的输出格式，这些格式相关的实现封装在 DataStreams 的算子里：

### writeAsText() ###

TextOutputFormat - 将元素按行写成字符串。通过调用每个元素的 toString() 方法获得字符串。

### writeAsCsv(…) ###

CsvOutputFormat - 将元组写成逗号分隔值文件。行和字段的分隔符是可配置的。每个字段的值来自对象的 toString() 方法。

### print() ###

printToErr() - 在标准输出/标准错误流上打印每个元素的 toString() 值。 可选地，可以提供一个前缀（msg）附加到输出。这有助于区分不同的 print 调用。如果并行度大于1，输出结果将附带输出任务标识符的前缀。

### writeUsingOutputFormat() ###

FileOutputFormat - 自定义文件输出的方法和基类。支持自定义 object 到 byte 的转换。

### writeToSocket ###

根据 SerializationSchema 将元素写入套接字。

### addSink ###

调用自定义 sink function。Flink 捆绑了连接到其他系统（例如 Apache Kafka）的连接器，这些连接器被实现为 sink functions。  
注意，DataStream 的 write\*() 方法主要用于调试目的。它们不参与 Flink 的 checkpointing，这意味着这些函数通常具有至少有一次语义。刷新到目标系统的数据取决于 OutputFormat 的实现。这意味着并非所有发送到 OutputFormat 的元素都会立即显示在目标系统中。此外，在失败的情况下，这些记录可能会丢失。

为了将流可靠地、精准一次地传输到文件系统中，请使用 StreamingFileSink。此外，通过 .addSink(…) 方法调用的自定义实现也可以参与 Flink 的 checkpointing，以实现精准一次的语义。

### 项目实践 ###

[参考vip资料分享网][vip]

[vip]: https://www.681vip.com/flinkChapter06.html

发表评论取消回复

表情：

评论列表（有 0 条评论，63人围观）

还没有评论，来说两句吧...

相关阅读

相关 MySQL 高级 - 第六章 | 存储引擎

MySQL从 3.23 开始就包含InnoDB存储引擎，5.5之后就默认采用InnoDB引擎InnoDB是MySQL的默认事务型引擎，它被设计用来处理大量的短期（）事务，...

墨蓝/ 2024年05月06日 23:21/ 0 赞/ 66 阅读

相关第六章 sink数据存储

第六章 sink数据存储 Data sinks 使用 DataStream 并将它们转发到文件、套接字、外部系统或打印它们。Flink 自带了多种内置的输出格式，这些格式

红太狼/ 2024年04月03日 14:03/ 0 赞/ 64 阅读

相关第一行代码第六章数据存储

第六章数据存储 6.1 持久化技术简介保存在内存中的数据是瞬时状态的，保存在存储设备中的数据是处于持久状态的。Android系统主要提供了3种方式用于简单地实现

约定不等于承诺〃/ 2023年10月09日 22:06/ 0 赞/ 4 阅读

相关数据结构第六章图

6.1 图的逻辑结构图是由顶点的有穷非空集合和顶点之间边的集合组成，通常表示为： G=(V，E) 其中：G表示一个图，V是图G中顶点的集合，E是图G中顶点之间边的集

淡淡的烟草味﹌/ 2023年10月08日 10:03/ 0 赞/ 28 阅读

相关数据结构：第六章图

数据结构：第六章图 6.1图的概述完全图 n个顶点的无向图中边数达到n（n-1）/2成为无向完全图 n个顶点的有向图中遍数达到n（n-1）有向图的完全图

谁践踏了优雅/ 2023年01月02日 04:29/ 0 赞/ 196 阅读

相关数据结构 | 第六章树

文章目录一、树 1、树的基本概念 1.1 树的定义

古城微笑少年丶/ 2022年10月18日 10:00/ 0 赞/ 207 阅读

相关【数据存储】【Redis】第六章：Redis缓存Hash类型的使用

package com.sky.testmodule.controller; import com.sky.testmodule.constant.T

落日映苍穹つ/ 2022年09月11日 12:29/ 0 赞/ 162 阅读

相关第六章

1.目录管理的主要功能：按名存取；提高检索速度；文件共享；允许文件重名。 2.在索引节点中设置连接引用（links）计数的目的是为了实现目录管理的文件共享功能。 3.实现“

以你之姓@/ 2022年06月17日 03:46/ 0 赞/ 328 阅读

相关《大话数据结构》第六章树

《大话数据结构》第六章树树的存储结构表示法二叉树顺序存储二叉树顺序存储二叉树测试案

骑猪看日落/ 2022年03月16日 02:44/ 0 赞/ 378 阅读

相关《第一行代码》第六章数据存储全方案

6.1 简介保存在内存中的数据是处于瞬时状态的，而保存在存储设备中的数据才是处于持久状态的。 android系统中主要提供了3种方式用于简单地实现数据持久化功能：

短命女/ 2021年09月26日 14:10/ 0 赞/ 407 阅读