九月底，Apache Iceberg 的 dev 邮件列表上挂出一个投票，标题是 [VOTE][SPEC] Forbid writing new equalit...

一条 join 落在集群上，可能走四种完全不同的算法，代价差出一个量级甚至更多。选哪一种的不是你，是 Spark 自己，依据是它手里那份统计信息。统计信息大概率...

每次有人问我 Muse 为什么能替人办事，我都会先纠正一个误区：它靠的不是一个大模型，而是一整套「模型 + 云端虚拟机 + 安全哨兵」的系统。用一句话概括工作原...

随着数据平台需要接入的数据源类型和数据处理任务也在持续增多。在实际的数据集成场景中，不同任务对执行引擎的要求并不相同。

本文是一篇关于Apache DolphinScheduler 在实际项目中的应用实战笔记，包含 DolphinScheduler 执行 SQL 或存储过程、调用...

导读：当 AI Agent 从“能对话”进入“能执行任务”的生产阶段，企业数据平台面对的已不只是新增一种应用形态，而是数据形态、计算资源、训练范式和开发方式的同...

摘要： 将 Spark 批处理任务迁移到 Kubernetes 容器平台，可显著提升资源利用率并降低总体拥有成本。本文介绍基于 TKE 的 Spark 容器化方...

7月25日，腾讯云正式发布智能数据湖计算平台AI DLC，面向自动驾驶、具身智能、Agent等AI场景，提供覆盖数据处理、训练、推理到 Agent 应用的一体化...

英伟达开发者论坛用户 entrpi 于 7 月 15 日公开一套深度适配DGX Spark（GB10 Blackwell）的 DeepSeek-V4-Flash...

随着企业数据规模的快速增长，传统物理机或虚拟机部署Apache DolphinScheduler面临着环境配置复杂、资源利用率低、扩展性差等痛点。特别是在需要运...

本文整理自 NVIDIA 线上直播讲座《DGX Spark Live: Autonomous AI Agent Migration》。本场直播携手高能效 AI ...

Spark 集群跑 ETL，清洗完写到 OSS → AI 团队从 OSS 拉数据到 GPU 集群 → 做特征工程 → 训练 → 模型推回 OSS → 推理服务再...

Meta 关上开源的大门 ，把全部赌注压进 Muse Spark——1款比 Claude 更便宜的 闭源模型 。

曾几何时，Meta 是开源 AI 的坚定拥护者，Llama 系列模型一度成为全球开发者手中的利器。然而，就在今天，扎克伯格用一个重磅炸弹，彻底颠覆了所有人的认知...

前面《 小白教程：两台 NVIDIA GB10 系统如何互联》已经带着大家用 QSFP 网线连接两台 DGX Spark 设备，本文就进一步用 NVIDIA 的...

传统"数据平台 + AI 平台"的两套架构，让数据在搬运中流失价值、让运维成本随规模指数增长。Agent 需要的不是更多的管道，而是一块能让数据与 AI 计算原...

这里同样有两种方式，熟悉 SSH 的人可以自己手动处理，不熟悉的可以使用 discover-sparks 工具来处理，都很简单

摘要： Spark 作业执行缓慢，数据倾斜是常见原因。本文介绍数据倾斜的产生原理、识别方法，以及提高并行度、两阶段聚合、广播连接、 AQE 自适应执行和 RSS...