4.1.12 Flink-流处理框架-Flink流处理API之支持的数据类型总结

秒速五厘米 2022-10-31 10:58 162阅读 0赞

**目录**

1.写在前面

2.Flink支持的数据类型

2.1 基础数据类型

2.2 Java 和 Scala 元组（Tuples）

2.3 Scala 样例类（case classes）

2.4 Java 简单对象（POJOs）

2.5 其它（Arrays, Lists, Maps, Enums, 等等）

--------------------

# 1.写在前面 #

Flink 流应用程序处理的是以数据对象表示的事件流。所以在 Flink 内部，我们 需要能够处理这些对象。它们需要被序列化和反序列化，以便通过网络传送它们； 或者从状态后端、检查点和保存点读取它们。为了有效地做到这一点，Flink 需要明 确知道应用程序所处理的数据类型。Flink 使用类型信息的概念来表示数据类型，并 为每个数据类型生成特定的序列化器、反序列化器和比较器。

Flink 还具有一个类型提取系统，该系统分析函数的输入和返回类型，以自动获 取类型信息，从而获得序列化器和反序列化器。但是，在某些情况下，例如 lambda 函数或泛型类型，需要显式地提供类型信息，才能使应用程序正常工作或提高其性能。

Flink 支持 Java 和 Scala 中所有常见数据类型。使用最广泛的类型有以下几种。

# 2.Flink支持的数据类型 #

## 2.1 基础数据类型 ##

Flink 支持所有的 Java 和 Scala 基础数据类型，Int, Double, Long, String, …

DataStream<Integer> numberStream = env.fromElements(1, 2, 3, 4);
    numberStream.map(data -> data * 2);

## 2.2 Java 和 Scala 元组（Tuples） ##

DataStream<Tuple2<String, Integer>> personStream = env.fromElements(
     new Tuple2("Adam", 17),
     new Tuple2("Sarah", 23) );
    personStream.filter(p -> p.f1 > 18);

## 2.3 Scala 样例类（case classes） ##

case class Person(name: String, age: Int)
    val persons: DataStream[Person] = env.fromElements(
    Person("Adam", 17),
    Person("Sarah", 23) )
    persons.filter(p => p.age > 18)

## 2.4 Java 简单对象（POJOs） ##

public class Person {
    public String name;
    public int age;
     public Person() {}
     public Person(String name, int age) {
    this.name = name;
    this.age = age;
    }
    }
    DataStream<Person> persons = env.fromElements(
    new Person("Alex", 42),
    new Person("Wendy", 23));

## 2.5 其它（Arrays, Lists, Maps, Enums, 等等） ##

Flink 对 Java 和 Scala 中的一些特殊目的的类型也都是支持的，比如 Java 的 ArrayList，HashMap，Enum 等等。