学习一门新的编程语言时，往往会从"hello world"程序开始，而接触一套新的大数据计算框架时，则一般会从WordCount案例入手，下面以大数据中最经典入门案例WordCount为例，来编写Flink代码，Flink底层源码是基于Java代码进行开发，在Flink编程中我们除了可以使用Java语言来进行编写Flink程序外，还可以使用Scala、Python语言来进行编写Flink程序，在后文章中我们将会主要使用Java和Scala来编写Flink程序。下面来准备下Flink开发环境。
官网：https://flink.apache.org/ 一、Flink的重要特点 1）事件驱动型（Event-driven） 事件驱动的应用程序是一个有状态的应用程序，它从一个或多个事件流接收事件，并通过触发计算、状态更新或外部操作对传入事件作出反应。 事件驱动应用程序是传统应用程序设计的一种发展，它具有分离的计算和数据存储层。在这种体系结构中，应用程序从远程事务数据库读取数据并将其持久化。 相反，事件驱动应用程序基于有状态流处理应用程序。在这个设计中，数据和计算被放在同一个位置，从而产生本地（内存或
Flink1.13.6 MySQL5.7.27 JDK8 Hadoop3.1.4 集成环境Idea2020
https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/dev/table/overview/
前言 本文使用环境版本 Hive：2.3.9 Flink：flink-1.12.7-bin-scala_2.12 依赖 <?xml version="1.0" encoding="UTF-8"?> <
注：数据文件/Users/jimmy/Downloads/word.txt的位置，大家可根据实际情况调整，该文件的内容类似：
依次执行：clean、resources、compile、testResources、testCompile、test、jar(打包)。
Flink提供了多个层次的API供开发者使用，越往上抽象程度越高，使用起来越方便；越往下越底层，使用起来难度越大
Flink 分别提供了基于 Java 语言和 Scala 语言的 API ，如果想要使用 Scala 语言来开发 Flink 程序，可以通过在 IDEA 中安装 Scala 插件来提供语法提示，代码高亮等功能。打开 IDEA , 依次点击 File => settings => plugins 打开插件安装页面，搜索 Scala 插件并进行安装，安装完成后，重启 IDEA 即可生效。
flink是一款开源的大数据流式处理框架，他可以同时批处理和流处理，具有容错性、高吞吐、低延迟等优势，本文简述flink在windows和linux中安装步骤，和示例程序的运行，包括本地调试环境，集群环境。另外介绍Flink的开发工程的构建。
（1）上传apache-maven-3.6.1-bin.tar.gz到/opt/software目录，并解压更名
这个是查询资源文件报错 scala.io.Source.fromInputStream 读资源，里面涉及到隐式import Codes._，这个有个隐患，去找隐式值，当前环境一直没找对，把源码改下，重新编译通过了。
2、使用 root 用户或者具有 sudo 权限的用户在 linux 上创建 jdk 存放目录
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" x
Kyuubi最新版本已经发布，本文主要介绍基于Kyuubi SQL网关整合多计算引擎Flink和Spark实践案例总结。另外，翻看Release Notes发现Kyuubi Web UI功能增强，新增SQL编辑器，本文亦一并尝鲜实践记录。
从上一节wordcount的示例可以看到，flink的处理过程分为下面3个步骤：
http://archive.apache.org/dist/phoenix/phoenix-5.1.2/
需要将配置了hive.metastore.uris的配置文件复制到项目resources路径下
gitee地址：https://gitee.com/shawsongyue/aurora.git 源码直接下载可运行，模块：aurora_flink Flink 版本：1.18.0 Jdk 版本：11
Flink的安装和部署主要分为本地（单机）模式和集群模式，其中本地模式只需直接解压就可以使用，不用修改任何参数，一般在做一些简单测试的时候使用。本地模式在这里不再赘述。集群部署模式主要包含Standalone、Hadoop Yarn 、Kubernetes等，Flink可以借助以上资源管理器来实现分布式计算，目前企业使用最多的是Flink 基于Hadoop Yarn资源管理器模式，下面我们重点讲解Flink 基于Standalone集群、Yarn资源管理器以及Kubernetes集群部署方式。
今天要做一个Flink的测试，因此需要创建一个简单的Flink项目，于是找到了下面这种方式来创建一个Flink启动项目。
提到了.mvn/wrapper/maven-wrapper.jar和当前jdk版本不兼容…
此版本保留与 0.14.0 版本相同的表版本 (6)，如果从 0.14.0 升级，则无需升级表版本。有一些模块和 API 更改以及行为更改，如下所述，用户在使用 0.15.0 版本之前应采取相应的操作。
今天是 Flink 从 0 到 1 系列的第 2 篇：《WordCount及FlinkSQL》。
Flink 示例专栏是 Flink 专栏的辅助说明，一般不会介绍知识点的信息，更多的是提供一个一个可以具体使用的示例。本专栏不再分目录，通过链接即可看出介绍的内容。
读取文本文件，例如遵守 TextInputFormat 规范的文件，逐行读取并将它们作为字符串返回。
注意！使用迭代器的时候对象必须是实现持久化的，否则报错，详情可以看我的另外一篇文章、
摘要：本文介绍了安家老师带来的的 Dinky 在 K8S 上进行整库同步的实践分享。内容包括：
Flink有个UI界面，可以用于监控Flilnk的job运行状态 http://localhost:8081/
本案例编写Flink代码选择语言为Java和Scala，所以这里我们通过IntelliJ IDEA创建一个目录，其中包括Java项目模块和Scala项目模块，将Flink Java api和Flink Scala api分别在不同项目模块中实现。步骤如下：
点击左上角File->new Project->后面直接点击下一步->GroupID与artifactId、version随便填写->填写项目名称，点击完成。
导入成功之后有一点要注意，就是java_2.12中的2.12指的是scala的版本，导入依赖成功之后即在对应目录创建包与对应类开始项目的编写。
Flink从1.13版本开始支持在SQL Client从savepoint恢复作业。flink-savepoint介绍
除了常见的standalone模式，Flink还支持将任务提交到Yarn环境执行，任务所需的计算资源由Yarn Remource Manager来分配，如下图(来自Flink官网)：
groupBy会将一个DataSet转化为一个GroupedDataSet，聚合操作会将GroupedDataSet转化为DataSet。如果聚合前每个元素数据类型是T，聚合后的数据类型仍为T。
https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/
在前面Fayson介绍了《0876-7.1.7-如何在CDP中部署Flink1.14》，同时Flink也提供了SQL Client的能力，可以通过一种简单的方式来编写、调试和提交程序到Flink集群，而无需编写一行Java或Scala代码。本篇文章主要介绍如何在CDP集群中使用Flink SQL Client与Hive集成。Flink与Hive的集成，主要有如下两个目的：
Hudi社区最近发生了一些有趣的变化，Hudi集成Flink的方案也已经发布，我个人在官网根据文档试验了一把，整体感觉还不错。我们目前并没有在生产环境中使用，但是随着社区发展和功能越来越完善，相信会有更多的业务开始尝试使用Hudi。本文在此做一个Flink和Hudi集成的分享，作者明喆sama。
•下载Flink 1.12.2包：https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.12.2/flink-1.12.2-bin-scala_2.11.tgz•Hudi编译：https://github.com/apache/hudi•git clone https://github.com/apache/hudi.git && cd hudi•mvn clean package -DskipTests注意：默认是用scala-2.11编译的 如果我们用的是flink1.12.2-2.12版本，可以自己编译成scala-2.12版本的 mvn clean package -DskipTests -Dscala-2.12 包的路径在packaging/hudi-spark-bundle/target/hudi-spark-bundle_2.12-..*-SNAPSHOT.jar•上述包打好后其他步骤可参考官网步骤：https://hudi.apache.org/docs/flink-quick-start-guide.html（注意：官网使用的是Flink 1.11.x版本，测试时报如下错误
主要是因为作者在使用IDEA，maven做Flink开发的时候出现的问题。Flink作业在提交到生产环境集群的时候不要把Flink相关源码等打入jar包中，因为这样可能会出现当生产版本与开发版本不同的时候就会出现冲突。
发生依赖冲突主要表现为系统启动或运行中会发生异常，99%表现为三种NoClassDefFoundError、ClassNotFoundException、NoSuchMethodError。
针对目前大家对OOM的类型不太熟悉，那么来总结一下各种OOM出现的情况以及解决方法。把各种OOM的情况列出来，然后逐一进行代码编写复现和提供解决方法。
1.1、官网下载:https://flink.apache.org/downloads.html#apache-flink-172
Flink还可以做机器学习，常用机器学习KMeans，LinearRegression，学习使用地址如下：
昨天群里有人问 Flink 1.12 读取Hbase的问题，于是看到这篇文章分享给大家。本文作者Ashiamd。
上一篇文章中我对新一代大数据处理引擎Flink做了简单的介绍，包括：批量计算与流式计算的区别、流式计算引擎的重要性，以及Flink相比其他流式计算引擎的优势。因为Flink性能优秀，解决了之前流式计算引擎的痛点，非常适合电商促销、风险控制、异常检测、金融交易等领域，阿里、腾讯、华为、美团、滴滴等大公司为了保证业务的实时性，正在积极将Flink部署在生产环境。Flink是当前大数据界冉冉升起的新星。比起Hadoop和Spark，精通Flink技术的人才相对较少，因此，掌握Flink技术对于转行或跳槽的朋友来说显得越发重要。
Apache Flink作为开源的分布式流处理框架,受到了广泛的关注和应用。本文将分享如何从零开始搭建一个Flink运行环境,并在其上运行一个“WordCount”的例子程序。
https://www.scala-lang.org/download/2.11.12.html
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
