首页
学习
活动
专区
圈层
工具
发布

#flink

从零开始学Flink:Flink SQL 极简入门

用户4160816

Flink SQL 是 Apache Flink 的核心模块之一,它让开发者可以使用标准的 SQL 语法来编写流处理和批处理作业。对于不想深究 Java/Sca...

6910

告别 UNION ALL!GROUPING SETS 让你的 SQL 只扫描一次表

ETL 小当家

GROUPING SETS 是 SQL 中 GROUP BY 子句的扩展功能,它的核心作用是:在一次查询中同时执行多个不同维度的分组统计,最后将所有分组的结果合...

10710

从零开始学Flink:状态管理与容错机制

用户4160816

流式计算任务通常需要 7x24 小时长期运行,面对网络抖动、机器故障或代码 Bug,如何保证任务不挂?或者挂了之后能自动恢复且数据不丢、不重?这正是 Flink...

9110

一文搞懂物化视图:从原理到实战,查询性能提升 10 倍的秘密

ETL 小当家

物化视图是数据库中的一种特殊对象,它存储了查询结果的物理副本,与普通视图(只保存查询定义)不同。

8410

SQL视图实战指南:高效维护逻辑,告别重复代码

ETL 小当家

视图是从一个或多个表(或其他视图)导出的虚拟表。它本身不包含实际的数据,而是根据定义它的查询语句从相关的表中动态检索数据。可以将视图理解为一个存储起来的查询,查...

7410

【赵渝强老师】基于Hudi的大数据湖仓一体架构

赵渝强老师

Apache Hudi(Hadoop Upserts Delete and Incremental)是下一代流数据湖平台。Apache Hudi将核心仓库和数据...

13010

Flink源码阅读:Kafka Connector

Jackeyzhe

在介绍 Kafka Connector 之前,我们先来看一下在 Flink 中是如何支持自定义 Source 和 Sink 的。我们来看一张 Flink 官方文...

11610

Flink源码阅读:Mailbox线程模型

Jackeyzhe

在以前的线程模型中,Flink 通过 checkpointLock 来隔离保证不同线程在修改内部状态时的正确性。通过 checkpointLock 控制并发会在...

8510

Flink源码阅读:Mailbox线程模型

Jackeyzhe

在以前的线程模型中,Flink 通过 checkpointLock 来隔离保证不同线程在修改内部状态时的正确性。通过 checkpointLock 控制并发会在...

7200

Flink源码阅读:JobManager的HA机制

Jackeyzhe

JobManager 在 Flink 集群中发挥着重要的作用,包括任务调度和资源管理等工作。如果 JobManager 宕机,那么整个集群的任务都将失败。为了解...

8410

Flink源码阅读:Netty通信

Jackeyzhe

前文中我们了解了 Flink 的数据交互过程,上游的 Task 将数据写入到 ResultSubpartition 的 buffers 队列中。下游的 Task...

7510

Flink源码阅读:Task数据交互

Jackeyzhe

经过前面的学习,Flink 的几个核心概念相关的源码实现我们已经了解了。本文我们来梳理 Task 的数据交互相关的源码。

10210

Flink源码阅读:Task数据交互

Jackeyzhe

经过前面的学习,Flink 的几个核心概念相关的源码实现我们已经了解了。本文我们来梳理 Task 的数据交互相关的源码。

10610

Flink源码阅读:双流操作

Jackeyzhe

通过Flink学习笔记:多流 Join一文的介绍,我们知道 Flink 有三种数据关联的方式,分别是 Window Join、Interval Join 和 C...

11410

Flink源码阅读:窗口

Jackeyzhe

前文我们梳理了 Watermark 相关的源码,Watermark 的作用就是用来触发窗口,本文我们就一起看一下窗口相关的源码。

7710

Flink源码阅读:Watermark机制

Jackeyzhe

前面我们已经梳理了 Flink 状态和 Checkpoint 相关的源码。从本文开始,我们再来关注另外几个核心概念,即时间、Watermark 和窗口。

11110

Apache Flink Docker 容器化部署指南

轩辕镜像

Apache Flink® 是一个强大的开源分布式流处理与批处理框架,具备高吞吐、低延迟和强状态一致性等特性。通过 Docker 方式部署 Flink,可实现环...

37210

Flink源码阅读:Watermark机制

Jackeyzhe

前面我们已经梳理了 Flink 状态和 Checkpoint 相关的源码。从本文开始,我们再来关注另外几个核心概念,即时间、Watermark 和窗口。

10310

Grafana+Prometheus监控Flink on YARN系统搭建

用户4128047

1.简介 Flink支持多种监控指标的汇报reporter,例如jmx、slf4j、Prometheus、InfluxDB等。 Grafana+Promet...

21710

Flink网络帧大小限制问题

用户4128047

       Flink的网络帧大小限制问题,需要调整Akka消息帧大小配置。解决方案如下: 1. 主要配置修改 在 flink-conf.yaml...

13910
领券