Flink DataSet 工具类 DataSetUtils 常用API

桃扇骨 2021-11-09 04:40 230阅读 0赞

DataSetUtils类提供了一些生成index和数据采样和分析的方法，包括countElementsPerPartition、zipWithIndex、zipWithUniqueId、sample、sampleWithSize、summarize等。

**首先构造输入数据 **

DataSet<Tuple2<Integer,String>> input = env.fromElements(Tuple2.of(1,"a"),Tuple2.of(2,"b"),Tuple2.of(3,"c"),Tuple2.of(4,"d"),Tuple2.of(5,"e"),Tuple2.of(6,"f"));

**countElementsPerPartition    统计每个分区中元素的个数**

返回Tuple2<partitionID,elementCount>

DataSetUtils.countElementsPerPartition(input).print();

**zipWithIndex    给每个元素生成唯一的、连续的index**

返回Tuple2<Long, T>

先调用countElementsPerPartition计算每个分区中元素的数量，然后为分区中的元素生成index

DataSetUtils.zipWithIndex(input).print();

**zipWithUniqueId    ****给每个元素生成唯一的、不连续的ID**

与zipWithIndex不同，不需要计算每个分区中的元素数量

DataSetUtils.zipWithUniqueId(input).print();

**sample    ****对输入数据进行采样操作**

withReplacement:是否可以重复采样

fraction:每个元素被选中的概率，不能重复采样时fraction \[0,1\],可以重复采样时fraction\[1,∞\]

DataSetUtils.sample(input,false ,0.3 ).print();

可以指定种子的采样操作,seed固定时，生成的样本集不变,上面的无种子采样其实后台调用了随机数种子

DataSetUtils.sample(input,false ,0.3 ,3 ).print();

**sampleWithSize    生成指定大小的样本集  **

numSamples:样本数量

DataSetUtils.sampleWithSize(input,false ,2 ).print();

生成指定大小的样本集，指定种子

DataSetUtils.sampleWithSize(input,false,2 ,3 ).print();

**summarize    统计分析每个列的元素**

返回DataSet<TupleSummaryAggregator<R>>  包括最大最小值，均值，方差，标准差等

System.out.println(DataSetUtils.summarize(input));

发表评论取消回复

表情：

评论列表（有 0 条评论，230人围观）

还没有评论，来说两句吧...

相关阅读

相关 1、Flink批处理（DataSet API）- 基础概览和 DataSet API 编程指南

link 中的 DataSet 程序是在数据集上实现转换的常规程序（例如，filtering, mapping, joining, grouping）。数据集最初是从某些...

逃离我推掉我的手/ 2024年04月19日 14:37/ 0 赞/ 10 阅读

相关 Flink：下沉Sink常用API

依赖  <dependency> <groupId>org.apache.flink</groupId>

朴灿烈づ我的快乐病毒、/ 2024年03月23日 10:35/ 0 赞/ 7 阅读

相关 Flink：数据源DataSource常用API

DataStream和DataSet的用法一样 // DataStream StreamExecutionEnvironment env = Stream

你的名字/ 2024年03月23日 10:23/ 0 赞/ 10 阅读

相关 Java学习——Java常用常见工具类API

一. Java API > Java　API(Java　Application　Programming　Interface)是Java应用程序编程接口的缩写，Java中的

今天药忘吃喽~/ 2023年09月28日 14:16/ 0 赞/ 64 阅读

相关 Flink Dataset Api（四）迭代操作

一、bulkIteration 迭代算法在很多数据分析领域会用到，比如机器学习或者图计算。为了从大数据中抽取有用信息，这个时候往往会需要在处理的过程中用到迭代计算。大数据

野性酷女/ 2023年05月31日 08:00/ 0 赞/ 85 阅读

相关 Flink学习（四）-- Flink常用流处理API

文章目录 Flink流处理API 1. environment 创建执行环境 1.1 createLocalEnvironment

青旅半醒/ 2022年12月27日 01:19/ 0 赞/ 215 阅读

相关 Flink教程(5)-Flink常用API

【订阅[专栏合集][Link 1],作者所有付费文章都能看】文章目录 FlinkAPI Environment

你的名字/ 2022年12月25日 12:54/ 0 赞/ 105 阅读

相关 1.11.Flink DataSetAPI、DataSet API之Data Sources、DataSet API之Transformations、DataSet Sink部分详解

1.11.Flink DataSetAPI 1.11.1.DataSet API之Data Sources 1.11.2.DataSet API之Transformat

电玩女神/ 2022年11月18日 00:13/ 0 赞/ 107 阅读

相关 Flink DataSet API编程指南

Flink中的DataSet程序是实现数据集转换的常规程序（例如，过滤，映射，连接，分组）。数据集最初是从某些来源创建的（例如，通过读取文件或从本地集合创建）。结果通过接收器返

r囧r小猫/ 2021年11月22日 06:42/ 0 赞/ 276 阅读

相关 Flink DataSet 工具类 DataSetUtils 常用API

DataSetUtils类提供了一些生成index和数据采样和分析的方法，包括countElementsPerPartition、zipWithIndex、zipWithUni

桃扇骨/ 2021年11月09日 04:40/ 0 赞/ 231 阅读