AI / Agent 时代，数据平台的变化同时发生在数据、算力和训练范式上：数据从结构化、半结构化扩展到图片、视频、文本等多模态数据；计算从单一 CPU 转向 CPU + GPU 异构分布式；企业模型工作逐步转向基于私有数据的后训练。传统数据工程强调确定性和长期稳定，AI 系统则需要持续收集数据、观测结果和反馈，再进入下一轮训练与运行。

数据处理、模型训练、在线推理和 Agent 运行因此需要在同一条链路上衔接。AI DLC 围绕支持异构、AI 原生开发、数据算力同底座、面向 Agent 进化四项设计，完成计算范式、引擎能力、元数据系统和 Agentic 能力升级。 

一、从确定性数据工程到持续迭代的 AI 链路

传统数据系统以 SQL、ETL 和数据服务的稳定运行为主要目标：开发产出结构化表，分析通过 BI / OLAP 回答“发生了什么”，服务侧强调 API 上线后的稳定性。AI 场景中，开发扩展到 Python-first 的异构计算 pipeline，产物增加了可训练语料、Agent 轨迹、记忆与上下文；分析侧加入特征工程和后训练；服务侧扩展到 MaaS、在线推理和 Agent Runtime。开发、分析、服务由相对独立的环节连接成持续迭代链路。

对应的平台能力包括四部分：CPU / GPU 与多模态数据的统一纳管；面向 Python 和分布式框架的 AI 原生开发环境；训练、分析、推理共享数据与元数据；Agent 运行产生的轨迹、记忆和反馈能够沉淀并回流到后训练。

资源层将 CPU / GPU 抽象为统一资源池，并通过资源包、资源组封装底层集群。任务按工作负载动态分配资源，支持自动扩缩、滚动升级和故障自愈；Serverless 模式按任务或时长使用资源，减少固定集群运维和资源预留。

存储侧按 AI 全生命周期组织：训练阶段承接多模态数据、模型权重和 Checkpoint 的高吞吐加载；推理阶段处理 KVCache、Embedding 等低时延状态；Agent 的轨迹、记忆和产物就地留存，并可回流为下一轮语料。统一资源和存储底座使上层 Spark、Ray 与 Agent Runtime 无需分别处理硬件和数据格式差异。

二、Spark + Ray：统一数据处理、后训练与推理

AI DLC 采用 Spark + Ray 的双引擎路径，两者分别承接适合的数据并行和任务并行工作负载，同时共享资源、数据与治理体系。

Spark 负责结构化与半结构化数据处理，包括表 Join、聚合、清洗、数仓建设、特征工程、数据准备和 Spark MLlib 等任务；Ray 负责多模态数据处理、大模型 SFT / RLHF / RL、在线推理、Agent Runtime、强化学习和复杂计算。两者通过统一元数据、存储和内存格式互换衔接，形成“Spark 数据准备 → Ray 训练 / 推理”的连续流程，并统一权限、配额、日志、指标与追踪。

Ray 侧由 TCRay 承接企业级运行。应用层覆盖多模态数据处理、传统机器学习、大模型 SFT、强化学习和 GenAI 应用，支持 Jupyter、VSCode、Web Shell、CLI、SDK、REST API 等接入方式。内核层增强 Ray Data、Ray Train、Ray Serve 和 Ray Core，包括向量化与 JIT 优化、读数优化、Checkpoint 容错恢复、Worker 故障重启、动态扩缩、流量弹性伸缩、服务滚动升级、对象存储优化和分布式调度。

平台层统一提供作业与集群管控、CPU / GPU 拓扑感知和 Gang 调度、Spot 实例、模型与镜像分发、高性能网络、存储与元数据集成、租户隔离与 RBAC 权限，以及日志、监控、告警、Profiling 和 Tracing，将资源管理、容错、可观测和运维能力纳入同一体系。

Spark 完成数据清洗和特征生成后，可直接进入模型后训练。训练既支持通过选择数据集完成定制，也支持在数据实验室中以 Job 方式提交分布式作业。数据实验室封装 Ray 资源，并集成 VSCode、Jupyter 等开发入口，可统一查看集群节点、日志和监控。

训练完成后，模型进入模型仓库并部署为在线推理服务。部署可选择 CPU 或 GPU 资源，保留 Head / Worker 等开源概念，并提供高级参数。服务运行后统一提供访问地址、部署信息、节点日志、在线调试，以及请求状态、延迟、CPU / GPU 使用率、GPU 缓存利用率等监控。

三、Xpark + Meson：多模态与结构化计算分别优化

引擎层分别面向多模态 AI 处理和结构化数据计算进行优化。

Xpark 基于 Ray 构建，向上提供 SQL（AI Function）、Jupyter Notebook 和 Python Client；接口层包括 DataSet API、DataFrame API 和 AI API，算子层覆盖多模态算子、LLM Function 和 ML Function，底层 Runtime 为 TCRay，存储可接入 TCLake、HDFS 和 COS。SQL 和 Python 可以直接编排多模态与 LLM 流水线。

测试数据显示，Xpark 相比开源 Data-Juicer 的推理吞吐提升 3 倍，GPU 资源利用率长期稳定接近 100%；CPU / GPU 协同调度采用 Zero-Copy 与 Ray Data 任务并行，并提供 50+ 多模态 / LLM / LM 算子。

视频抽帧任务中，先创建数据实验室和 Ray 集群，将代码持久化到 COS，选择资源包、资源组和 Xpark Ray 镜像，再设置 Head / Worker 节点及自动弹缩范围。任务从对象存储扫描视频，由 Xpark 分布到多个 Ray 节点执行抽帧，关键帧写回对象存储，后续继续进入标注、视觉模型训练、再训练和 Serving。

结构化数据由 Meson 向量化引擎承接。1TB TPC-DS 对比中，Spark on Meson 端到端查询分析性能为社区 Spark 的 3.6 倍，q23、q24、q64、q78 等计算密集型查询最高加速 5 倍，CPU 使用率由 80% 降至 40%；Meson 已稳定支撑 100+ 客户生产作业。其 API、SQL 语法、UDF 和生态组件与 Spark 兼容，并支持原生增量计算。上述性能数据来自 1TB TPC-DS 的社区 Spark 与 Spark on Meson 对比，生产环境实际收益以具体 workload 为准。

四、TCLake：统一 Data + AI 元数据与全流程血缘

Spark、Ray 共享计算底座后，数据对象、模型对象、训练状态和推理服务还需要统一管理。TCLake 将数据对象与 AI 对象纳入同一元数据层。

统一元数据覆盖数据加工、特征工程、模型训练和模型服务。数据加工管理表、文件、Topic、作业状态和数据质量；特征工程管理特征集、版本、血缘和统计；模型训练管理模型、版本、训练作业、Checkpoint、超参数和指标；模型服务管理服务端点、推理日志、Agent 轨迹与记忆。

TCLake 提供统一纳管、直接注册、端到端治理和多引擎接入。引擎主动注册元数据与运行状态，访问控制、审计、发现和血缘追踪贯穿数据到模型链路，Spark、Ray、Xpark、Meson 等引擎统一接入。模型可关联训练数据集和推理服务，形成从数据加工到模型服务的连续血缘。

五、面向 Agent 进化：运行闭环与外部调用

Agentic 能力包含两条路径：客户 Agent 运行在平台上并持续迭代，外部 Agent 通过标准接口调用平台能力。

Open Engine 承接客户 Agent。Agent 接入后，平台拉起 GPU 资源和 Agent Runtime，持续采集运行轨迹、记忆与反馈，经过数据处理和特征提取后，由 Ray Train 发起后训练，结果重新入库并反哺 Agent。Trace 数据可直接发起后训练任务，底层执行 Ray Train，训练完成后自动入库，形成“运行—采集—处理—训练—再运行”的闭环。

平台同时通过 MCP、Skills、SDK 和 Open API 对外提供能力，WorkBuddy、CodeBuddy、Claude Code 等 Agent 可直接调用。示例中，用户以自然语言创建 Ray 或 Spark 任务；WorkBuddy 还可分析慢任务并生成优化建议，或对 orders 表执行数据导出并生成数据看板。平台交互由控制台操作扩展到自然语言驱动。

TCInsight 用于平台自身的智能自治，覆盖自感知、自诊断、自处理和自复盘，并包含自主调优 Agent、自主运维 Agent、预测治理 Agent。Agent 可参与资源规划、智能迁移、日常管控和运维调优。阶段性结果包括资源降低 15%、根因定位时间从 4.5 小时缩短到 30 分钟，相关成果标注为 VLDB 2025 收录。

结语：让数据、算力、模型与 Agent 形成闭环

从数据处理到 Agent 运行，AI DLC 的四项升级共同指向一条连续链路：Spark 与 Ray 协同计算，Xpark、TCRay、Meson 分别承接不同工作负载，TCLake 统一元数据与血缘，Open Engine 和 MCP / Skills / SDK 承接 Agent 运行、反馈与调用。

2026 年下半年，规划继续围绕产品演进、客户共建验证、数据核心资产和开放生态推进，并在生产环境中验证上述链路。平台建设重点保持在数据、算力、模型和 Agent 的统一流转，以及运行数据向后训练和下一轮服务的持续回流。

导读：AI / Agent 时代，数据平台的变化同时发生在数据、算力和训练范式上：数据从结构化、半结构化扩展到图片、视频、文本等多模态数据；计算从单一 CPU 转向 CPU + GPU 异构分布式；企业模型工作逐步转向基于私有数据的后训练。传统数据工程强调确定性和长期稳定，AI 系统则需要持续收集数据、观测结果和反馈，再进入下一轮训练与运行。

AI Native数据湖的Spark+Ray一体化实践

云计算

人工智能

大数据

腾讯云AIDLC构建数据、算力、模型与Agent闭环链路，通过Spark+Ray统一处理、Xpark优化多模态、Meson加速结构化查询及TCLake统一元数据血缘，支持AI持续迭代与Agent运行反馈，实现资源利用率与性能数倍提升。

数据湖计算

结构化数据

对象存储

数据清洗

弹性伸缩

机器学习

数据集成

数据湖

Spark 

OLAP

HDFS

腾讯云大数据特惠0.2折起


4核4G3M云服务器 新用户低至38元/年！

对象存储COS新用户低至1元！


2026上云采购 | AI焕新·智启新局

raydata

腾讯云BI特惠9.9元起！


serverless-catalog

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

AI Native数据湖的Spark+Ray一体化实践

AI Native数据湖的Spark+Ray一体化实践

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐