用户9421738

腾讯云

开发者社区

文档建议反馈控制台

首页TVP

LV0

发表了文章 4天前2024-11-04 10:32:44

电力行业数据湖方案：Flink基于HiveCatalog增删改查Hudi实践攻略及TableNotPartitioned异常修复

本文主要记录电力行业客户数据湖技术架构演进遇到的问题，已有架构为FlinkSQL实时写入Hudi、Hive on Spark查询，现在准备引入FlinkSQL增...

用户9421738 4天前2024-11-04 10:32:44

flink、数据湖、官方文档、实践、异常

发表了文章 14天前2024-10-25 13:02:53

教育行业PyFlink整合FlinkML机器学习场景实践总结

本文主要记录教育行业高校PyFlink整合Flink ML的场景案例实践总结。PyFlink是可以使用Python语言开发Apache Flink的功能API，...

用户9421738 14天前2024-10-25 13:02:54

机器学习、教育、行业、集群、实践

发表了文章 24天前2024-10-14 14:50:19

一文掌握教育行业FlinkCDC+Paimon实时湖仓案例实践总结

Paimon支持以多种形式FlinkCDC实时导入源端数据与元数据变更(schema evolution)到Paimon表中。也就是说源端增加列、不用重启Fli...

用户9421738 24天前2024-10-14 14:50:19

教育、部署、行业、实践、数据

发表了文章 2024-09-122024-09-12 19:27:33

电力行业数据湖技术方案Flink、Hudi、Hive on Spark案例全攻略记录及Hive查询MOR rt表异常修复

本文主要记录电力行业客户的数据湖技术方案实践案例，方案概括为基于FlinkSQL+Hudi流式入湖、同步表元数据到Hive，基于Hive catalog统一元数...

用户9421738 2024-09-122024-09-12 19:27:33

数据湖、异常、spark、hive、flink

发表了文章 2024-09-122024-09-12 19:26:48

行业客户现场SparkStreaming实时计算使用案例问题总结

虽然当前实时计算领域所有厂商都推荐Flink框架，但是某些传统行业客户因为多年固化的业务场景仍然坚持使用SparkStreaming框架。本文主要记录Spark...

用户9421738 2024-09-122024-09-12 19:26:48

集群、实时计算、数据、程序、行业

发表了文章 2024-08-302024-08-30 16:53:50

Spark流计算Structured Streaming实践总结

Structured Streaming是基于Spark SQL引擎的可扩展、可容错流计算引擎。用户可以向使用批计算一样的方式使用流计算。Spark SQL持续...

用户9421738 2024-08-302024-08-30 16:53:50

streaming、流计算、实践、数据、spark

发表了文章 2024-08-062024-08-06 15:18:06

厉害了！一文撕开Kafka Compact Topic神秘面纱

随着平台Kafka的对接客户越来越多，我发现很多人只知道Kafka Topic可以根据设置保存大小和保存时间触发数据清理机制，但是并不熟悉Kafka Topic...

用户9421738 2024-08-062024-08-06 15:18:07

数据、线程、kafka、测试、配置

发表了文章 2024-08-012024-08-01 12:40:12

一文搞定现网项目最新版本Redis7集群800节点实践案例总结

截至目前本人接触到的最大Redis7集群节点规模已达800+，Redis官方宣称最大集群节点规模可达1000。本文以最小规模集群为例，进行完整的项目实践总结记录...

用户9421738 2024-08-012024-08-01 12:40:12

迁移、redis、集群、实践、数据

发表了文章 2024-07-022024-07-02 11:22:27

大数据统一SQL网关：最新版Kyuubi整合Flink、Spark方案的实践案例总结

Kyuubi最新版本已经发布，本文主要介绍基于Kyuubi SQL网关整合多计算引擎Flink和Spark实践案例总结。另外，翻看Release Notes发现...

用户9421738 2024-07-022024-07-02 11:21:03

spark、大数据、flink、实践、网关

发表了文章 2024-07-022024-07-02 11:20:16

一文掌握最新数据湖方案Spark+Hadoop+Hudi+Hive整合案例实践总结

大数据生态发展数年，各种组件版本迭代升级在所难免。组件之间、不同版本之间的适配整合升级，尤为重要。本文主要讲述当前火热的数据湖方案Spark+Hadoop+Hu...

用户9421738 2024-07-022024-07-02 11:20:16

数据湖、实践、spark、hadoop、hive

发表了文章 2024-07-022024-07-02 11:19:22

干货！一文掌握通过网络抓包排查Kafka集群性能问题的实践总结

众所周知，Kafka是一个开源分布式事件流平台，尤其以高吞吐、低延迟著称，并且已经被数千家企业用于高性能数据管道、流分析、数据集成和核心业务应用程序。

用户9421738 2024-07-022024-07-02 11:19:22

kafka、集群、实践、网络、性能

发表了文章 2024-07-022024-07-02 11:15:25

惊呆！Flink开发者知识盲区：最新版Flink如何以Standalone运行模式部署到Yarn集群

这是个有趣的Flink资源管理的使用案例。随着业务需求的遍地开花和数据量的成倍增长，集团内部一个兄弟部门(姑且称为客户吧)现有的技术构架有点陈旧，已经无法支撑日...

用户9421738 2024-07-022024-07-02 11:15:25

部署、集群、开发者、yarn、flink

发表了文章 2024-07-022024-07-02 11:14:56

重磅好文！现场故障回顾：最新版Kafka数据过期未删除问题的源码深入剖析与终极解决方案总结

周五晚上电话轰炸，驻场人员反映某公安厅数据上报业务故障。究其原因是数据域Kafka集群不可用。经过排查发现虽然Kafka集群设置了3天数据过期时间(且Topic...

用户9421738 2024-07-022024-07-02 11:14:56

kafka、解决方案、日志、数据、源码

发表了文章 2024-07-022024-07-02 11:14:24

一次性完整剖析Kafka数据端到端延迟的详解总结

在线业务诸如欺诈检测、支付系统和股票交易平台等场景，要求Kafka数据高效可靠地传输。本文详细剖析Kafka数据传输端到端延迟的内容、在保证延迟指标的同时，通过...

用户9421738 2024-07-022024-07-02 11:14:25

程序、数据、网络、压缩、kafka

发表了文章 2024-07-022024-07-02 11:12:41

基于最新版本rocketmq制作docker镜像全攻略纪要

最近有个项目需要基于docker部署一个rocketmq集群。本文主要记录笔者如何根据官方工具自己动手制作最新版本rockermq的docker镜像。所谓官方工...

用户9421738 2024-07-022024-07-02 11:12:42

脚本、镜像、rocketmq、操作系统、工具

发表了文章 2024-07-022024-07-02 11:12:12

如何基于radvd模拟IPv6玩转Keepalived实践详解

毫不夸张地说，IPv6地址数量可以覆盖地球上的每一粒沙子。IPV6优势显著，尤其是支持无状态的自动配置（Stateless Auto Configuration...

用户9421738 2024-07-022024-07-02 11:12:12

配置、实践、ipv6、keepalived、编译

发表了文章 2024-07-022024-07-02 11:11:47

重磅利器：kafka-conect基于exactly-once语义实时同步Kafka到Clickhouse

本文详细讲述clickhouse-kafka-connect项目“有且仅有一次”语义的实现方案和案例实践总结。该项目基于Kafka connect框架和Clic...

用户9421738 2024-07-022024-07-02 11:11:48

kafka、clickhouse、数据、同步、存储

订阅了专栏 2024-07-022024-07-02 11:01:06

腾讯云自媒体分享计划

3 文章5.9K 订阅数

关注了用户 2024-07-022024-07-02 11:01:05

腾讯云自媒体分享计划
腾讯｜产品运营 (已认证)

申请条件：至少有 10 篇或以上符合投稿要求可迁入腾讯云专栏的原创技术文章。

3 文章0 回答6K 关注者

12 下一页

个人简介

暂未填写公司和职称
暂未填写个人简介
腾讯云开发者社区
暂未填写学校和专业
暂未填写个人网址
暂未填写所在城市
加入社区时间：2022-01-27

个人成就

获得 19 次赞同
文章被阅读 3.7K 次

关注了：1关注者：11

用户9421738

电力行业数据湖方案：Flink基于HiveCatalog增删改查Hudi实践攻略及TableNotPartitioned异常修复

教育行业PyFlink整合FlinkML机器学习场景实践总结

一文掌握教育行业FlinkCDC+Paimon实时湖仓案例实践总结

电力行业数据湖技术方案Flink、Hudi、Hive on Spark案例全攻略记录及Hive查询MOR rt表异常修复

行业客户现场SparkStreaming实时计算使用案例问题总结

Spark流计算Structured Streaming实践总结

厉害了！一文撕开Kafka Compact Topic神秘面纱

一文搞定现网项目最新版本Redis7集群800节点实践案例总结

最新版本Kyuubi1.9.1 WebUI企业生产场景Basic LDAP安全认证实践案例总结

大数据统一SQL网关：最新版Kyuubi整合Flink、Spark方案的实践案例总结

一文掌握最新数据湖方案Spark+Hadoop+Hudi+Hive整合案例实践总结

干货！一文掌握通过网络抓包排查Kafka集群性能问题的实践总结

惊呆！Flink开发者知识盲区：最新版Flink如何以Standalone运行模式部署到Yarn集群

重磅好文！现场故障回顾：最新版Kafka数据过期未删除问题的源码深入剖析与终极解决方案总结

一次性完整剖析Kafka数据端到端延迟的详解总结

基于最新版本rocketmq制作docker镜像全攻略纪要

如何基于radvd模拟IPv6玩转Keepalived实践详解

重磅利器：kafka-conect基于exactly-once语义实时同步Kafka到Clickhouse

腾讯云自媒体分享计划

腾讯云自媒体分享计划
腾讯｜产品运营 (已认证)

个人简介

个人成就

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

用户9421738

电力行业数据湖方案：Flink基于HiveCatalog增删改查Hudi实践攻略及TableNotPartitioned异常修复

教育行业PyFlink整合FlinkML机器学习场景实践总结

一文掌握教育行业FlinkCDC+Paimon实时湖仓案例实践总结

电力行业数据湖技术方案Flink、Hudi、Hive on Spark案例全攻略记录及Hive查询MOR rt表异常修复

行业客户现场SparkStreaming实时计算使用案例问题总结

Spark流计算Structured Streaming实践总结

厉害了！一文撕开Kafka Compact Topic神秘面纱

一文搞定现网项目最新版本Redis7集群800节点实践案例总结

最新版本Kyuubi1.9.1 WebUI企业生产场景Basic LDAP安全认证实践案例总结

大数据统一SQL网关：最新版Kyuubi整合Flink、Spark方案的实践案例总结

一文掌握最新数据湖方案Spark+Hadoop+Hudi+Hive整合案例实践总结

干货！一文掌握通过网络抓包排查Kafka集群性能问题的实践总结

惊呆！Flink开发者知识盲区：最新版Flink如何以Standalone运行模式部署到Yarn集群

重磅好文！现场故障回顾：最新版Kafka数据过期未删除问题的源码深入剖析与终极解决方案总结

一次性完整剖析Kafka数据端到端延迟的详解总结

基于最新版本rocketmq制作docker镜像全攻略纪要

如何基于radvd模拟IPv6玩转Keepalived实践详解

重磅利器：kafka-conect基于exactly-once语义实时同步Kafka到Clickhouse

腾讯云自媒体分享计划

腾讯云自媒体分享计划腾讯 ｜ 产品运营 (已认证)

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

腾讯云自媒体分享计划
腾讯｜产品运营 (已认证)