8 月 26 日，AWS 在大数据官方博客上挂了一篇公告，标题起得跟联欢会似的，《AWS and DuckLabs: Building the future o...

　　数据落到对象存储，组织成 Iceberg 表，再由 Spark、Flink 等计算引擎读写。相比直接管理大量文件，Schema、Snapshot、分区和表版...

九月底，Apache Iceberg 的 dev 邮件列表上挂出一个投票，标题是 [VOTE][SPEC] Forbid writing new equalit...

一条 join 落在集群上，可能走四种完全不同的算法，代价差出一个量级甚至更多。选哪一种的不是你，是 Spark 自己，依据是它手里那份统计信息。统计信息大概率...

前阵子帮一个团队排查问题，他们说数据同步任务跑了几个月，一直好好的，突然发现有几张表的数据没同步过来。查了半天，日志里有一行警告：

Flink CDC 的 MySQL 连接器（flink-cdc）通过 Debezium 引擎读取 MySQL 的 binlog。Binlog 是 MySQL 的...

聊 Flink 稳定性，大多数人第一反应是「容错对不对」「Checkpoint 能不能按时完成」。这没错，但当我这几年反复救火后越来越清楚一件事：稳定性从来不是...

写在前面：信创推进到今天，数据库、操作系统、中间件都有了能打的国产选项。但有一个很底层、又很要命的环节一直安静地缺位——把 Oracle 里的数据变更实时抓出来...

本文是一篇关于Apache DolphinScheduler 在实际项目中的应用实战笔记，包含 DolphinScheduler 执行 SQL 或存储过程、调用...

摘要： 基于 Apache Flink 和腾讯云弹性 MapReduce （ EMR ）构建批流一体数据平台，利用 Flink 统一 API 和执行引擎，结合 ...

摘要： 本文介绍基于腾讯云弹性 MapReduce （ EMR ）、 Flink 和 Kafka 构建日志实时分析完整架构的方案。该方案涵盖日志采集、消息队列缓...

摘要： 腾讯云弹性 MapReduce （ EMR ）提供超过 30 种开源大数据组件，涵盖 Hive 、 Spark 、 Flink 、 StarRocks ...

摘要： 腾讯云弹性 MapReduce （ EMR ）提供 Flink 组件的部署和管理能力，支持流式计算场景。用户可以通过 EMR 快速搭建 Flink 集群...

结论:这不是一次单点参数调优,而是一次大状态实时作业稳定性治理。某实时特征作业负责消费用户行为事件,按用户维度聚合多时间窗口状态,并把结果写入在线 KV 存储,...

____数据仓库(DATA WAREHOUSE)，是做大数据基本都会去涉及的项目。简单来说，数仓是数据结构化存储和查询，并利用分布式计算引擎进行计算得到业务需要...

查看flink写入db日志，发现没有最后一个session窗口统计数据写入的日志。猜测是flink没有触发session窗口过期，遂采取以下步骤进行问题复现和定...

此外，flink配置文件flink-conf.yaml和运行依赖jar包，vvp会挂载到/flink/conf 和 /flink/usrlib路径下。这里咱们直...