大数据面数据：Flink Allowed Lateness & Side OutPut？

虽说水位线(Watermark)表明早于它的事件不应该再出现，但是接收到水位线以前的的消息是不可避免的，这就是所谓的迟到事件。实际上迟到事件是乱序事件的特例，和一般乱序事件不同的是它们的乱序程度超出了水位线的预计，导致窗口在它们到达之前已经关闭。

迟到事件出现时窗口已经关闭并产出了计算结果，因此处理的方法有3种： 

- 重新激活已经关闭的窗口并重新计算以修正结果。

- 将迟到事件收集起来另外处理。 

- 将迟到事件视为错误消息并丢弃。

Flink 默认的处理方式是第3种直接丢弃，其他两种方式分别使用Allowed Lateness和 Side Output。

Side Output机制可以将迟到事件单独放入一个数据流分支，这会作为 window计算结果的副产品，以便用户获取并对其进行特殊处理。Allowed Lateness机制允许用户设置一个允许的最大迟到时长。

Flink 会在窗口关闭后一直保存窗口的状态直至超过允许迟到时长，这期间的迟到事件不会被丢弃，而是默认会触发窗口重新计算。

因为保存窗口状态需要额外内存，并且如果窗口计算使用了 ProcessWindowFunction API 还可能使得每个迟到事件触发一次窗口的全量计算，代价比较大，所以允许迟到时长不宜设得太长，迟到事件也不宜过多，否则应该考虑降低水位线提高的速度或者调整算法。 

这里总结机制为： 

- 窗口window 的作用是为了周期性的获取数据。 

- watermark的作用是防止数据出现乱序(经常)，事件时间内获取不到指定的全部数据，而做的一种保险方法。 

- allowLateNess是将窗口关闭时间再延迟一段时间。 

- sideOutPut是最后兜底操作，所有过期延迟数据，指定窗口已经彻底关闭了，就会把数据放到侧输出流。