首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

#flink

Flink 基于 TDMQ for Apache Pulsar 的离线场景使用实践

腾讯云开发者

Apache Flink 是一个开源的流处理和批处理框架,具有高吞吐量、低延迟的流式引擎,支持事件时间处理和状态管理,以及确保在机器故障时的容错性和一次性语义。...

6100

大数据统一SQL网关:最新版Kyuubi整合Flink、Spark方案的实践案例总结

用户9421738

Kyuubi最新版本已经发布,本文主要介绍基于Kyuubi SQL网关整合多计算引擎Flink和Spark实践案例总结。另外,翻看Release Notes发现...

3210

惊呆!Flink开发者知识盲区:最新版Flink如何以Standalone运行模式部署到Yarn集群

用户9421738

这是个有趣的Flink资源管理的使用案例。随着业务需求的遍地开花和数据量的成倍增长,集团内部一个兄弟部门(姑且称为客户吧)现有的技术构架有点陈旧,已经无法支撑日...

1810

抖音集团基于 Apache Doris 的实时数据仓库实践

SelectDB技术团队

在直播、电商等业务场景中存在着大量实时数据,这些数据对业务发展至关重要。而在处理实时数据时,我们也遇到了诸多挑战,比如实时数据开发门槛高、运维成本高以及资源浪费...

12110

大数据开发语言scala:源于Java,隐式转换秒杀Java

叫我阿柒啊

在多年的学习路上,也掌握了几门比较常见的语言,例如Java、Python以及前端Vue生态中包含的语言。很多时候,各种语言相似功能的框架都会被放在一起比较,来评...

15120

flink之时间和窗口

用户11134802

所谓的“窗口”,一般就是划定的一段时间范围,也就是“时间窗”;对在这范围内的数据进行处理,就是所谓的窗口计算。所以窗口和时间往往是分不开的。

8610

flink之Datastram3

用户11134802

Flink1.12以前(当前使用的是flink1.17),Sink算子的创建是通过调用DataStream的.addSink()方法实现的。

4300

flink之DataStream2

用户11134802

这是接上文的flink之Datastream1,文章链接 https://cloud.tencent.com/developer/article/2428018...

6700

flink之DataStream算子1

用户11134802

Flink对POJO(Plain Ordinary Java Object简单的Java对象,实际就是普通JavaBeans)类型的要求如下:

9100

flink之taskslots和并行度的关系

用户11134802

这是在算子链的博客基础上写的,想要看到一些作业流程,可以去flink之算子链的那篇博客理清作业的并行度的关系。

7710

flink之算子链

用户11134802

一个数据流在算子之间传输数据的形式可以是一对一(one-to-one)的直通(forwarding)模式,也可以是打乱的重分区(redistributing)模...

14410

flink之核心概念、基础配置

用户11134802

当处理数据的数据量过大的时候,flink会把一个算子操作复制多份到多个节点,数据来了之后就可以到其中任意一个执行。这样一来,一个算子任务就被拆分成了多个并行的“...

9000

flink之运行架构、作业提交流程

用户11134802

JobManager 是一个 Flink 集群中任务管理和调度的核心,是控制应用执行的主进程。

8810

flink集群模式

用户11134802

TaskManager的组成:由若干个(在底层flink-conf.yaml文件配置)taskSlot组成

8600

flink基础之wordcount计算

用户11134802

回顾一下flink程序的基础步骤 :1、获取环境 2、配置基础环境的配置(checkpoint、并行度之类) 3、执行的业务的逻辑

7210

flink特点

用户11134802

体现在时间上,flink内置事件时间和处理时间 对于乱序的数据,也能提供准确的结果

6810

Flink 基于 TDMQ for Apache Pulsar 的离线场景使用实践

腾讯云中间件团队

Apache Flink 是一个开源的流处理和批处理框架,具有高吞吐量、低延迟的流式引擎,支持事件时间处理和状态管理,以及确保在机器故障时的容错性和一次性语义。...

28220

魔改笔记四:友链页重构及友链朋友圈适配

柳神

4月08日,店长久违的更新了方舟系列的友链卡片,作为店长铁粉,当然要第一时间买店长的火柴啦,于是我将店长所有的友链卡片稍微整合了一下,结合安知鱼的教程,最终实现...

14210

flink的基本流程

用户11134802

需要注意的是,写完输出(sink)操作并不代表程序已经结束。因为当main()方法被调用时,其实只是定义了作业的每个执行操作,然后添加到数据流图中;这时并没有真...

5700

Flink SQL性能优化实践

Jimaks

在大数据处理领域,Apache Flink以其流处理和批处理一体化的能力,成为许多企业的首选。然而,随着数据量的增长,性能优化变得至关重要。本文将深入浅出地探讨...

17910
领券