Kafka Source 接收并处理来自 Kafka 的点击数据(指定事件时间)，开一个滚动窗口(Tumble Windows) 每 10 秒统计一次 pv 并将结果输出到 Print Sink 中。,运行以上的 FlinkSQL 后观察发现数据流正常，但是一直没能触发窗口计算，没有结果输出。,watermark 是用于处理乱序事件的。流处理从事件产生，到流经source，再到operator，中间是有一个过程和时间的。虽然大部分情况下流到 operator 的数据都是按照事件产生的时间顺序来的，但是也不排除由于网络等原因导致部分数据延迟到达，产生乱序。对于迟到的数据我们又不能无限期地等待下去，因此需要有个衡量事件时间进度的机制来保证一个特定的时间后必须触发 window 进行计算，这个特别的机制就是 watermark。,在 多并行度的情况下，source 的每个 sub task 通常独立生成水印。watermark 通过 operator 时会推进 operators 处的当前 event time，同时 operators 会为下游生成一个新的 watermark。多并行度的情况下 watermark对齐会取所有 channel 最小的 watermark。,并行流中的 watermark,由于目标 Topic 只有一个分区而 source 并行度设置为 2 ，这导致了只有一个线程可以处理该分区而另一个线程获取不到数据，因此一直没能获取最小的 watermark。最终导致一直无法触发窗口计算。,可通过手动设置并行度来解决，保证 source 并行度 <= 目标 Topic Partition 分区数。这里将 source 并行度设置为 1 之后便可正常输出结果。,并行度设置为 1,正常输出
© 版权声明
文章版权归作者所有，未经允许请勿转载。
">