在flink 1.11之前的版本中，提供了两种生成水印（Watermark）的策略，分别是AssignerWithPunctuatedWatermarks和AssignerWithPeriodicWatermarks，这两个接口都继承自TimestampAssigner接口。
flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/functions/source/SourceFunction.java
如Flink1.4 生成时间戳与Watermarks所介绍的，Flink提供了一个抽象类，允许程序员可以分配自己的时间戳并发送Watermark。更具体地说，可以通过AssignerWithPeriodicWatermarks或AssignerWithPunctuatedWatermarks接口来实现，具体实现取决于用户具体情况。第一个接口将周期性的发送Watermark，第二个则基于传入记录的某些属性发送Watermark，例如，当在流中遇到特殊元素时。
对于流式处理，最大的特点是数据上具有时间的属性特征，Flink根据时间产生的不同位置分为三个时间概念：
watermark的生成策略有两种：一种是周期性生成，另外一种是根据特定标记生成。在实际使用中大多数情况下会选择周期性生成方式也就是AssignerWithPeriodicWatermarks方式，使用方式如下：
前面两个会执行的更加有效率，因为在元素到来时，Flink 可以增量的把元素聚合到每个窗口上。
所谓事件时间，就是Flink DataStream中的数据元素自身带有的、其实际发生时记录的时间戳，具有业务含义，并与系统时间独立。很显然，由于外部系统产生的数据往往不能及时、按序到达Flink系统，所以事件时间比处理时间有更强的不可预测性。
之前的文章中已经屡次提到过Flink的事件时间（event time）、水印（watermark）、乱序（out-of-order）、迟到数据（late element）这些概念。
如果idea环境，使用jdk1.8的话，可能会智能提示，让你把24行改与lambda表达式，看上去更清爽一些：
flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/TimeCharacteristic.java
一个watermark 代表了 watermark所包含的timestamp 数值,表示后来的数据已经再也没有小于或等于这个时间的了.
本节适用于在事件时间上运行的程序。有关事件时间，处理时间和提取时间的介绍，请参阅Flink1.4 事件时间与处理时间。
“时间”在我们日常的开发学习过程中是特别常见的一个名词，例如：Java中的日期处理类、获取系统的当前时间、毫秒级的时间戳等等。接下来让我们来看看在Flink框架中，对时间不同的概念。Flink框架中有三个时间的语义：事件时间（Event Time ）、摄入时间（Ingestion Time）、系统处理时间（Processing Time）。
flink-table_2.11-1.7.0-sources.jar!/org/apache/flink/table/sources/definedTimeAttributes.scala
注意:一般我们都是直接使用Flink提供好的BoundedOutOfOrdernessTimestampExtractor
在谷歌发表了 GFS、BigTable、Google MapReduce 三篇论文后，大数据技术真正有了第一次飞跃，Hadoop 生态系统逐渐发展起来。
在用户代码中，我们设置生成水印和事件时间的方法assignTimestampsAndWatermarks（）中这里有个方法的重载
flink join,Flink是下一代大数据计算平台，可处理流计算和批量计算。《Flink-1.9流计算开发：十五、join函数》cosmozhu写的本系列文章的第十五篇。通过简单的DEMO来演示join函数执行的效果 。
flink时间语义 1、Event Time：事件创建时间； 2、Ingestion Time：数据进入Flink的时间； 3、Processing Time：执行操作算子的本地系统时间，与机器相关；
在上一篇博客中，博主已经为大家介绍了DataStream API 开发之【Time 与 Window】，并着重介绍了常用的 Window API 。本篇博客，我们就趁热打铁，继续接下去讲， DataStream API 开发之【EventTime 与 Window】。
如图所示，在事件发生之后，生成的数据被收集起来，首先进入分布式消息队列，然后被 Flink 系统中的 Source 算子读取消费，进而向下游的转换算子（窗口算子）传递，最终由窗口算子进行计算处理。
1.Flink 三种Join的代码测试 1.1 数据源 1.2 join 1.3 intervalJoin 1.3.1 intervalJoin API用法 1.3.2 intervalJoin SQL用法 1.4 coGroup
Flink Streaming API借鉴了谷歌数据流模型(Google Data Flow Model)，它的流API支持不同的时间概念。Flink明确支持以下3个不同的时间概念。
本文主要研究一下flink的BoundedOutOfOrdernessTimestampExtractor
CEP 即Complex Event Processing - 复杂事件，Flink CEP 是在 Flink 中实现的复杂时间处理(CEP)库。处理事件的规则，被叫做“模式”(Pattern)，Flink CEP 提供了 Pattern API，用于对输入流数据进行复杂事件规则定义，用来提取符合规则的事件序列。
《零基础学Flink》这个系列已经做了不少篇了，接下来几章会更加贴近案例来说明一些功能，今天我们先来说说如何将两个流join起来。这次我们以实时汇率和订单流合并为最后牌价为案例，进行说明。
本文将解释如何在 Flink 的 Table API 和 SQL 中为基于时间的操作定义时间属性。
时间语义，要配合窗口操作才能发挥作用。最主要的用途，当然就是开窗口、根据时间段做计算了。下面我们就来看看 Table API 和 SQL 中，怎么利用时间字段做窗口操作。在 Table API 和 SQL 中，主要有两种窗口：Group Windows 和 Over Windows（时间语义的文章推荐）
在上一篇的分析【Flink DataStream中CoGroup实现原理与三种 join 实现】中基于DataStream的join只能实现在同一个窗口的两个数据流之间进行join, 但是在实际中常常是会存在数据乱序或者延时的情况，导致两个流的数据进度不一致，就会出现数据跨窗口的情况，那么数据就无法在同一个窗口内join。flink 基于KeyedStream提供了一种interval join 机制，intervaljoin 连接两个keyedStream, 按照相同的key在一个相对数据时间的时间段内进行连接。
Kafka的一系列配置，可以从官网直接copy过来@～@～ 然后正式生产模拟数据：
首先，我们会学习如何定义时间属性，时间戳和水位线。然后我们将会学习底层操作process function，它可以让我们访问时间戳和水位线，以及注册定时器事件。接下来，我们将会使用Flink的window API，它提供了通常使用的各种窗口类型的内置实现。我们将会学到如何进行用户自定义窗口操作符，以及窗口的核心功能：assigners（分配器）、triggers（触发器）和evictors（清理器）。最后，我们将讨论如何基于时间来做流的联结查询，以及处理迟到事件的策略。
* 按时间顺序发生的数据1 -> 2，本来应该是1先发送，1先到达，但是在1发送过程中，因为网络延时之类的原因，导致1反而到达晚了，变成2先到达，也就造成所谓的接收乱序；
如前文所预告的一样，今天我们来分析一下，如何通过flink完成实时热销榜单Top5的计算，本文案例，需要使用前文一些内容，如果不了解的同学，请移步《零基础学Flink：Join两个流》。
之前的《万字长文深度解析WordCount程序》使用WordCount展示了Flink程序的基本结构，本文将以股票价格案例来演示如何使用Flink的DataStream API。通过本文，你可以学到：
在流处理中，时间是一个非常核心的概念，是整个系统的基石。比如，我们经常会遇到这样的需求：给定一个时间窗口，比如一个小时，统计时间窗口的内数据指标。那如何界定哪些数据将进入这个窗口呢？在窗口的定义之前，首先需要确定一个应用使用什么样的时间语义。
除了看过两周 Flink 外，其他的框架都没有接触过，只是简单的拿来用一下，也并不是很了解，所以本篇教程如果有什么错误，欢迎指出。
在 Flink 的流式处理中，绝大部分的业务都会使用 eventTime，一般只在 eventTime 无法使用时，才会被迫使用 ProcessingTime 或者 IngestionTime。
使用Flink SQL来统计5秒内 每个用户的 订单总数、订单的最大金额、订单的最小金额
Flink在流处理中提供了不同的时间语义支持，其中有两种核心的时间语义：ProcessingTime与EventTime。
本篇是flink 的「电商用户行为数据分析」的第 8 篇文章，为大家带来的是市场营销商业指标统计分析之订单支付实时监控的内容！通过本期内容，我们可以实现通过使用CEP和Process Function来实现订单支付实时监控的功能，还能学会通过connect 和 join来实现flink双流join的功能，可谓干货满满！受益的朋友记得三连支持一下 ~
前面，我们已经学过了 一文搞懂 Flink 处理 Barrier 全过程，今天我们一起来看一下 flink 是如何处理水印的，以 Flink 消费 kafka 为例
平时我们都是用过电商平台购买商品，当我们购买某个商品之后会有提示购买成功或者失败，那么这玩意在系统后台是如何处理订单的实时对账呢？接下来我们将使用两种方式 ( table api 和 process function) 进行这个对账的分析。
### 本地代码flink streaming读取远程环境的kafka的数据，写入远程环境的HDFS中； public static void main(String[] args) throws Exception { // set up the streaming execution environment final StreamExecutionEnvironment env =StreamExecutionEnvironment.getExecutionEn
https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/stream/operators/joining.html
本文将通过源码分析，带领大家熟悉Flink Watermark 之传播过程，顺便也可以对Flink整体逻辑有一个大致把握。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
