腾讯云WeData：构建Data+AI双轮驱动的数据资产体系

数据来源： 2024腾讯全球数字生态大会 (2024 TENCENT GLOBAL DIGITAL ECOSYSTEM SUMMIT)

主讲人： 谭杰轩

第一章：应对数据质量与模型训练的结构性矛盾

企业在推进大模型应用（特别是泛互、金融等行业场景）时，面临数据供给与模型需求之间的断层：

• 数据质量瓶颈： 数据存在不规范、不一致、不准确的问题，缺乏高质量的数据直接制约了大模型训练效果。
• 模型落地门槛： 行业专属应用需要针对特定场景进行精调（Fine-tuning）和RAG（检索增强生成）能力开发，但传统开发流程复杂，且对算法工程师的资源和技能要求较高。
• 安全与效率冲突： 传统数据安全引擎存在误报率高、检测对象难以穷尽、规则创建困难等问题，难以满足大模型对海量数据的高效处理需求。

第二章：实施Data+AI双向赋能的技术路径

腾讯云WeData平台通过“Data for AI”和“AI for Data”双向赋能，提供以下具体解决方案：

1. 构建专属模型与知识库 (Data for AI)

• 模型精调服务： 基于混元大模型及开源微调框架（如LlamaFactory），为用户提供多种主流LLM的Fine-tuning服务。支持LoRA等微调方式，适配Qwen等模型架构。
• 知识库快速搭建： 基于开源本地知识库技术，结合结构化/非结构化数据，快速构建企业专属知识库。提供基于排队的免费推理资源，降低初期开发成本。
• 全链路数据整合： 支持从业务需求、数据建模、数据集成到模型训练、调参及服务的全链路打通。集成Jupyter Notebook与腾讯云机器学习平台(Ti-One)，支持Notebook数据探索与统一调度编排。

2. 智能化数据治理升级 (AI for Data)

• WeData+AI智能助手： 基于混元大模型，提供SQL排错、SQL解释及自动生成注释功能，提升开发效率。
• 增强型血缘分析： 利用大模型提升SQL解析准确率，支持Python、Shell、DSL等多种脚本语言的血缘解析，解决复杂SQL解析失败和方言兼容问题。
• 智能化数据资产与安全： 利用AI技术进行敏感数据识别（如身份证、信用卡、手机号等），实现数据自动分类分级，并基于AI双引擎进行异常风险研判。

第三章：量化业务指标与应用现状

通过引入AI能力，WeData平台在开发效率、模型准确率及安全合规方面取得以下具体指标：

第四章：头部企业落地实践

WeData已持续为数百家企业客户提供大数据与AI服务，覆盖银行、泛金融、能源、制造等多个行业：

• 银行业： 中国银行（2021中国500强第一）、上海农商银行(SRCB)。
• 泛金融（资管&券商）： 中金财富(CICC Wealth Management)、招商信诺、富途证券、中信证券（2021中国500强第一券商）。
• 能源与制造： 三峡新能源（电力行业南北双巨头之一）、三一重工（中国最大全球第六的工程机械制造商）、中国商飞(COMAC)。
• 消费品： 贵州茅台(KWEICHOW MOUTAI CO.LTD.)（生产销售世界三大名酒之一）。

第五章：腾讯云WeData的核心技术优势

选择WeData平台不仅是选择工具，更是选择经过大规模验证的技术架构与生态：

1. 全链路DataOps能力： 提供包含数据集成、开发、测试、运维的全链路能力，以及数据安全、资产运营等一站式治理服务，实现降本增效。
2. 大模型原生集成： 深度集成混元大模型，在SQL解析、血缘分析、数据盘点等核心环节提供确定性的智能化能力，突破传统开源工具（如SQL解析器）的局限。
3. 多引擎数据治理架构： 支持公有云（EMR、DLC、TCHouse-P）与私有云（TBDS）多种数据引擎，通过统一元数据与数据血缘管理，确保数据上下文的准确性，为大模型提供高质量数据底座。