大数据从业者-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据从业者

专栏成员

10

文章

789

阅读量

14

订阅数

最新版本Kyuubi1.9.1 WebUI企业生产场景Basic LDAP安全认证实践案例总结

安全 ldap 配置实践企业

之前文章已记录如何使用Kyuubi整合Spark与Flink计算引擎及KyuubiUI的使用方法，感兴趣的朋友请自行阅读。本文属于姊妹篇，继续记录WebUI在企业生产环境的场景下，如何开启WebUI的Basic LDAP安全认证，该特性也是1.9.1版本引入。欢迎关注微信公众号：大数据从业者！

2024-07-02

820

大数据统一SQL网关：最新版Kyuubi整合Flink、Spark方案的实践案例总结

spark 大数据 flink 实践网关

Kyuubi最新版本已经发布，本文主要介绍基于Kyuubi SQL网关整合多计算引擎Flink和Spark实践案例总结。另外，翻看Release Notes发现Kyuubi Web UI功能增强，新增SQL编辑器，本文亦一并尝鲜实践记录。

2024-07-02

570

一文掌握最新数据湖方案Spark+Hadoop+Hudi+Hive整合案例实践总结

数据湖实践 spark hadoop hive

大数据生态发展数年，各种组件版本迭代升级在所难免。组件之间、不同版本之间的适配整合升级，尤为重要。本文主要讲述当前火热的数据湖方案Spark+Hadoop+Hudi+Hive的适配整合案例总结。详细的组件版本信息如下：

2024-07-02

560

干货！一文掌握通过网络抓包排查Kafka集群性能问题的实践总结

kafka 集群实践网络性能

众所周知，Kafka是一个开源分布式事件流平台，尤其以高吞吐、低延迟著称，并且已经被数千家企业用于高性能数据管道、流分析、数据集成和核心业务应用程序。

2024-07-02

860

惊呆！Flink开发者知识盲区：最新版Flink如何以Standalone运行模式部署到Yarn集群

部署集群开发者 yarn flink

这是个有趣的Flink资源管理的使用案例。随着业务需求的遍地开花和数据量的成倍增长，集团内部一个兄弟部门(姑且称为客户吧)现有的技术构架有点陈旧，已经无法支撑日常工作。经过调研论证，准备搭建大数据平台，计算引擎定为Flink。

2024-07-02

530

重磅好文！现场故障回顾：最新版Kafka数据过期未删除问题的源码深入剖析与终极解决方案总结

kafka 解决方案日志数据源码

周五晚上电话轰炸，驻场人员反映某公安厅数据上报业务故障。究其原因是数据域Kafka集群不可用。经过排查发现虽然Kafka集群设置了3天数据过期时间(且Topic级别未单独设置别的过期时间)。按道理来说，数据只会保留3天左右。实际情况是很早之前已经过期的数据并未正常删除，造成集群多个节点磁盘爆满。

2024-07-02

770

一次性完整剖析Kafka数据端到端延迟的详解总结

程序数据网络压缩 kafka

在线业务诸如欺诈检测、支付系统和股票交易平台等场景，要求Kafka数据高效可靠地传输。本文详细剖析Kafka数据传输端到端延迟的内容、在保证延迟指标的同时，通过配置和扩展业务程序获得更高吞吐量。

2024-07-02

420

基于最新版本rocketmq制作docker镜像全攻略纪要

脚本镜像 rocketmq 操作系统工具

最近有个项目需要基于docker部署一个rocketmq集群。本文主要记录笔者如何根据官方工具自己动手制作最新版本rockermq的docker镜像。所谓官方工具可以通过github网站检索，具体地址：

2024-07-02

1600

如何基于radvd模拟IPv6玩转Keepalived实践详解

配置实践 ipv6 keepalived 编译

毫不夸张地说，IPv6地址数量可以覆盖地球上的每一粒沙子。IPV6优势显著，尤其是支持无状态的自动配置（Stateless Auto Configuration）技术。而IPv4自动配置必须依赖DHCP服务器完成，所以IPv4仅支持有状态的自动配置（Stateful Auto configuration）。IPv6路由器监听主机发送的自动配置请求包(RS包)、然后返回给主机包含IPv6地址前缀等信息的数据包(RA)，主机接收到RA包、整合信息（如:IPv6地址前缀、主机MAC 地址等）生成自己的IPv6地址。

2024-07-02

940

重磅利器：kafka-conect基于exactly-once语义实时同步Kafka到Clickhouse

kafka clickhouse 数据同步存储

本文详细讲述clickhouse-kafka-connect项目“有且仅有一次”语义的实现方案和案例实践总结。该项目基于Kafka connect框架和ClickHouse新特性KeeperMap(状态存储)、实现基于exactly-once语义的kafka数据实时同步到clickhouse的功能；该项目基于ClickHouse官网JavaAPI实现支持所有数据类型(包括复杂数据类型：Map/Tuple/Json等)；该项目遵循Apache2.0 License。

2024-07-02

820

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态