flink的开发中用了哪些算子？

Flink中的算子是将一个或多个DataStream转换为新的DataStream，可以将多个转换组合成复杂的数据流拓扑。

在Flink中，有多种不同的DataStream类型，他们之间是使用各种算子进行的。如下图所示：

flink中常用的算子

• mapDataStream --> DataStream]：输入一个参数产生一个参数，map的功能是对输入的参数进行转换操作。
• flatMap[DataStream --> DataStream]：输入一个参数，产生0、1或者多个输出，这个多用于拆分操作
• filter[DataStream --> DataStream]：结算每个元素的布尔值，并返回为true的元素
• keyBy[DataSteam --> DataStream]：逻辑地将一个流拆分成不相交的分区，每个分区包含具有相同key的元素，在内部以hash的形式实现的。以key来分组。注意，以下类型无法作为key：

• 1. POJO类，且没有实现hashCode函数
• 2. 任意形式的数组类型

• reduce[KeyedStream --> DataStream]：滚动和并操作，合并当前元素和上一次合并的元素结果。
• fold[KeyedStream --> DataStream]：用一个初始的一个值，与其每个元素进行滚动合并操作。
• aggregation[KeyedStream --> DataStream]：分组流数据的滚动聚合操作：min和minBy的区别是min返回的是一个最小值，而minBy返回的是其字段中包含的最小值的元素（同样元原理适用于max和maxBy）
• window[KeyedStream --> DataStream]：windows是在一个分区的KeyedStreams中定义的，windows根据某些特性将每个key的数据进行分组（例如：在5s内到达的数据）。
• windowAll[DataStream --> AllWindowedStream]：Windows可以在一个常规的DataStream中定义，Windows根据某些特性对所有的流（例如：5s内到达的数据）。注意：这个操作在很多情况下都不是并行操作的，所有的记录都会聚集到一个windowAll操作的任务中
• window apply[WindowedStream --> DataStream]：将一个通用的函数作为一个整体传递给window。
• window reduce【WindowedStream --> DataStream】：给窗口赋予一个reduce的功能，并返回一个reduce的结果。
• window fold【WindowedStream --> DataStream】：给窗口赋予一个fold的功能，并返回一个fold后的结果。
• aggregation on windows【WindowedStream --> DataStream】：对window的元素做聚合操作，min和minBy的区别是min返回的是最小值，而minBy返回的是包含最小值字段的元素。（同样原理适用于max和maxBy）
• union【DataStream --> DataStream】：对两个或两个以上的DataStream做union操作，产生一个包含所有的DataStream元素的新DataStream。注意：如果将一个DataStream和自己做union操作，在新的DataStream中，将看到每个元素重复两次
• window join【DataStream --> DataStream】：根据给定的key和window对两个DataStream做join操作
• window coGroup【DataStream --> DataStream】：根据一个给定的key和window对两个DataStream做CoGroups操作。
• connect【DataStream --> ConnectedStreams】：连接两个保持她们类型的数据流。
• coMap、coFlatMap【ConnectedStreams --> DataStream】：作用于connected数据流上，功能与map和flatMap一样。
• split【DataStream --> SplitStream】：根据某些特征把一个DataStream拆分成两个或多个DataStream
• select【SplitStream --> DataStream】：从一个SplitStream中获取一个或多个DataStream
• iterate【DataStream --> IterativeStream --> DataStream】：在流程中创建一个反馈循环，将一个操作的输出重定向到之前的操作，这对于定义持续更新模型的算法来说很有意义的。
• extract timestamps【DataStream --> DataStream】：提取记录中的时间戳来跟需要事件时间的window一起发挥作用。

flink的一些算子比较

union和connect

• connect只能连接两个流，而union可以连接多于两个流
• connect连接的两个流类型可以不一致，而union连接的流的类型必须一致

map和flatmap

• Map: 一对一转换,即一条转换成另一条[DataStream->DataStream]
• FlatMap: 一行变零到多行[DataStream->DataStream]

CoMap和CoFlatMap

• 跟map and flatMap类似，只不过作用在ConnectedStreams上

• split是将DataStream转成SplitStream；select是将SplitStream转成DataStream
• select跟split搭配使用，从SplitStream中选择一个或多个流

• Join：只输出条件匹配的元素对。
• CoGroup: 除了输出匹配的元素对以外，未能匹配的元素也会输出。
• CoFlatMap：没有匹配条件，不进行匹配，分别处理两个流的元素。在此基础上完全可以实现join和cogroup的功能，比他们使用上更加自由。