IT技术订阅-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

IT技术订阅

专栏成员

414

文章

421489

阅读量

32

订阅数

DeepGEMM：全球首个开源的 FP8 矩阵加速器技术解析

架构模型性能优化开源

随着人工智能和深度学习的快速发展，计算效率和资源优化成为研究和工业应用中的关键问题。矩阵乘法（General Matrix Multiplication,GEMM）作为深度学习中最为基础且频繁使用的计算操作，其性能直接影响到模型训练和推理的速度。近年来，随着硬件技术的进步，尤其是 NVIDIA Hopper 架构的推出，低精度计算格式（如 FP8）逐渐成为研究热点。DeepSeek 开源的 DeepGEMM 矩阵加速器正是在这一背景下应运而生，它不仅填补了全球范围内 FP8 矩阵加速器的空白，还通过一系列创新技术实现了显著的性能提升。本文将详细解析 DeepGEMM 的技术原理、设计架构以及其背后的技术挑战和优化策略。

2025-03-03

680

小米集团300亿AI研发投入：从硬件生态到AI原生的全面升级

研发硬件模型数据系统

在全球人工智能竞争进入“场景定义技术”的新阶段，小米集团宣布今年投入300亿元用于AI研发。这一战略不仅标志着其从“硬件生态公司”向“AI原生企业”的转型，更将推动消费电子、智能出行、机器人等领域的底层技术重构。本文将从技术架构、核心原理及行业影响三个维度，深度解析小米AI创新的内在逻辑。

2025-03-03

1390

为什么大模型用的是参数而不是数据库？

关系型数据库模型数据数据库存储

在当今数字化时代，人工智能和数据管理技术正深刻改变着我们的生活和工作方式。其中，大模型和数据库是两个极为重要的概念。它们虽然都与数据相关，但其本质、作用和实现方式却有着显著的区别。本文将深入探讨大模型的参数与数据库的差异，帮助读者更好地理解它们在现代技术中的角色和应用。

2025-03-03

620

DeepSeek EP并行专家通信技术解析：打破大模型训练瓶颈

模型通信效率优化 DeepSeek

在人工智能领域，尤其是大规模语言模型和混合专家模型（Mixture-of-Experts,MoE）的研究与应用中，通信效率一直是制约模型性能和训练速度的关键因素。随着模型规模的不断扩大，传统的通信机制逐渐暴露出瓶颈，难以满足高效并行计算的需求。在此背景下，DeepSeek开源的DeepEP通信库应运而生，为解决这一问题提供了新的思路和技术方案。本文将深入解析DeepSeek EP并行专家通信技术的核心机制，并探讨其在实际应用中的重要意义。

2025-02-27

1660

DeepSeek FlashMLA：技术架构与原理解析

优化原理 DeepSeek 架构模型

在当今人工智能领域，大语言模型（LLMs）的发展正以惊人的速度改变着我们的生活和工作方式。然而，随着模型规模的不断扩大，如何在有限的硬件资源下高效运行这些模型，成为了一个亟待解决的问题。2025年2月24日，DeepSeek开源了其首个项目——FlashMLA，这一创新技术为大模型的高效推理提供了一种全新的解决方案。

2025-02-26

1700

DeepSeek开源周：开启AI技术新时代的创新引擎

开源开发者模型优化 DeepSeek

在当今数字化时代，人工智能（AI）已成为推动全球科技进步的核心力量。从自然语言处理到计算机视觉，从强化学习到深度学习框架，AI技术正以前所未有的速度改变着我们的生活和工作方式。2025年2月24日，DeepSeek开启了一场备受瞩目的开源周活动，这一事件不仅标志着AI技术发展的新里程碑，更预示着一个更加开放、高效、创新的AI新时代的到来。

2025-02-25

1490

强推理模型解决组合爆炸问题的关键方法与实践

优化递归模型实践搜索

在人工智能领域，组合爆炸问题是一个长期存在的难题。它指的是当问题规模增大时，可能的状态或组合数量指数呈级增长，导致计算资源和时间消耗急剧上升。这一问题尤其在需要精确推理和全局优化的应用场景中表现得尤为突出。然而，强随着推理模型的不断发展，这一难题正在逐步攻克被。本文将从多个角度探讨强推理模型如何应对组合爆炸问题，并分析其在实际应用中的表现与前景。

2025-02-25

1020

预训练模型与强推理模型：人工智能时代的认知革命

架构模型数据系统人工智能

人工智能技术的演进史，本质上是人类对智能本质的探索史。在深度学习浪潮席卷全球的十年间，两条技术路线逐渐显现出清晰的轮廓：以海量数据为燃料的预训练模型，与以逻辑推理为根基的强推理模型。前者通过自监督学习构建出强大的模式识别能力，后者则致力于将人类思维中的因果链和形式化规则编码为可计算的算法。二者的协同与博弈，不仅重塑了人工智能的技术版图，更在医疗诊断、科学发现、工业决策等领域催生出颠覆性应用。当GPT-4展示出惊人的上下文理解，能力AlphaGeometry在几何证明中超越人类金牌选手时，正我们见证着这两种技术范式从分立走向融合的历史性时刻。

2025-02-25

1370

Grok 3与DeepSeek：AI技术的巅峰对决

编程架构模型数学 DeepSeek

引言：AI技术的快速发展与竞争格局随着人工智能技术的飞速发展，全球科技巨头纷纷在AI领域展开激烈竞争。近期，马斯克旗下的xAI公司发布了新一代AI模型Grok 3，引发了广泛关注。与此同时，中国的DeepSeek也凭借其卓越的技术表现成为全球AI领域的焦点。本文将对Grok 3与DeepSeek的技术架构、性能表现、应用场景等，探讨两者在AI领域的竞争态势与合作潜力。一、技术架构：从基础框架到创新优化在AI模型的开发中，技术架构的选择是决定模型性能和效率的关键因素之一。Grok 3与DeepSeek在技术架构上各有侧重，展现了不同的技术路线和创新方向。（一）Grok 3：改进型Transformer架构与多模态融合 Grok 3采用了改进型的Transformer架构，这一架构在自然语言处理（NLP）领域已被广泛验证其有效性。然而，Grok 3的创新之处在于引入了特斯拉专利的位置编码技术，这一改进使得模型在处理长文本和复杂的语义关系时表现更为出色。此外，Grok 3还支持多模态处理，能够同时处理文本、图像和语音等多种数据类型。这种多模态能力的融合为模型在更广泛的应用场景中提供了强大的支持，例如在自动驾驶、智能家居和医疗影像分析等领域。（二）DeepSeek：混合专家模型（MoE）与动态负载均衡与Grok 3的多模态架构不同，DeepSeek采用了混合专家模型（MoE）架构。MoE架构的核心在于通过动态负载均衡来优化计算资源的分配。这种架构使得DeepSeek在处理大规模数据时能够更高效地利用计算资源，从而在保持高性能的同时显著降低了训练成本。DeepSeek的这一技术路线特别适合中小企业和开发者，因为它能够在有限的资源下实现高效的模型训练和部署。二、性能表现：推理能力与多模态拓展在AI模型的性能评估中，推理能力是衡量模型智能水平的重要指标。Grok 3与DeepSeek在数学推理、科学推理和编程能力等方面的表现各有千秋，展现了不同的技术优势。（一）数学推理：高精度与高效率的较量数学推理能力是AI模型在解决复杂问题时的重要体现。在AIME 2024测试中，Grok 3的得分为52分，显著高于DeepSeek-V3的39分。这一结果显示了Grok 3在处理高级数学问题时的高精度能力。然而，DeepSeek在数学推理方面也表现出色，尤其是在工程计算和数学方程求解方面，其优化的算法使得模型在处理实际问题时效率更高。在2025年的AIME测试中，Grok 3 Reasoning Beta版本进一步提升，得分达到93分，而DeepSeek-R1为75分。这一差距表明Grok 3在数学推理的深度和广度上具有明显优势，尤其是在处理复杂的数学逻辑和抽象问题时。然而，DeepSeek在数学推理的实用性方面也值得肯定，其在物理建模和工程计算中的表现使其在实际应用中具有较高的价值。（二）科学推理：知识理解与应用能力的对比科学推理能力是AI模型在处理科学问题时的重要体现。Grok 3在科学知识评估（GPQA）中得分75分，领先于DeepSeek-V3的65分。这一结果显示了Grok 3在科学知识理解和推理方面的能力更强。Grok 3通过大规模的训练数据和先进的算法，能够更好地理解和应用科学知识，从而在处理复杂的科学问题时表现出更高的精度。然而，DeepSeek在科学推理方面也有其独特的优势。其在物理建模和数学方程求解方面的表现使其在工程计算和科学研究中具有较高的实用性。DeepSeek通过优化算法和高效的计算架构，能够在有限的资源下实现高效的科学推理，这对于中小企业和开发者来说具有重要的意义。（三）编程能力：代码生成与项目分析的差异编程能力是AI模型在软件开发和工程应用中的重要体现。在编程能力测试（LCB Oct-Feb）中，Grok 3得分57分，而DeepSeek-V3为36分。这一结果显示了Grok 3在代码生成和编程逻辑方面的优势。Grok 3能够生成高质量的代码，并且在处理复杂的编程问题时表现出更高的精度。然而，DeepSeek在编程能力方面也有其独特的优势。其在代码补全和大型项目分析方面表现出色，能够更好地支持软件开发和工程应用。DeepSeek通过优化算法和高效的计算架构，能够在有限的资源下实现高效的编程能力，这对于中小企业和开发者来说具有重要的意义。（四）多模态能力：从图像到视频的拓展多模态能力是AI模型在处理多种数据类型时的重要体现。Grok 3支持有限的图像处理和语音生成，并且正在开发视频理解功能。这种多模态能力的融合为Grok 3在更广泛的应用场景中提供了强大的支持，例如在自动驾驶、智能家居和医疗影像分析等领域。相比之下，DeepSeek目前主要专注于文本和代码处理，暂无多模态拓展计划。然而，DeepSeek在文本处理和代码生成方面的优势使其在

2025-02-21

1210

DeepSeek原生稀疏注意力机制（NSA）：重塑长文本建模

性能硬件 DeepSeek 模型设计

在生成式AI领域，模型规模与计算效率的平衡始终是核心挑战。传统Transformer架构的全注意力机制虽然性能强大，但面对长上下文任务时，其计算复杂度呈平方级增长，导致训练和推理成本高昂。2025年2月，中国AI公司DeepSeek推出原生稀疏注意力机制（Native Sparse Attention, NSA），通过算法与硬件的协同创新，为长文本建模提供了高效解决方案。本文将从技术原理、核心创新、应用场景及行业影响等维度，深入解析NSA的突破性意义。一、技术原理：动态分层稀疏与硬件优化

2025-02-19

3650

DeepSeek-V3：多Token预测技术与模型性能优化的深度解析

token 模型效率性能优化 DeepSeek

随着人工智能技术的飞速发展，大语言模型（LLM）已经成为自然语言处理（NLP）领域的重要研究方向。DeepSeek-V3作为一款高性能、低成本的开源大语言模型，在性能和效率方面取得了显著的突破。其核心创新之一是多Token预测（MTP）技术，这一技术不仅提升了模型的训练效率和推理速度，还显著增强了模型对上下文的理解能力。本文将详细解析DeepSeek-V3的多Token预测技术及其对模型性能的影响，并与传统单Token预测方法进行对比。

2025-02-18

2980

清华大学团队突破大模型算力瓶颈：单卡4090显卡运行“满血版”DeepSeek-R1，成本直降95%

开发者模型系统硬件 DeepSeek

在人工智能领域，大模型的崛起无疑是近年来最具影响力的技术趋势之一。从自然语言处理到计算机视觉，大模型凭借其强大的计算能力和广泛的应用潜力，正在改变我们对智能系统的认知和期待。然而，大模型的开发和部署面临着巨大的算力挑战，尤其是硬件成本和资源需求。高昂的硬件投入使得许多中小团队和个人开发者望而却步。然而，最近清华大学KVCache.AI团队联合趋境科技发布的KTransformers开源项目，为这一难题带来了突破性的解决方案。他们成功实现了在单张RTX 4090显卡上运行DeepSeek-R1的“满血版”大模型，同时将成本降低了95%以上。这一成果不仅为大模型的普及铺平了道路，也为人工智能技术的未来发展树立了新的里程碑。

2025-02-18

9560

DeepSeek分布式模型训练详解

模型数据优化 DeepSeek 分布式

随着人工智能技术的飞速发展，大规模预训练语言模型（LLM）逐渐成为研究和应用的热点。DeepSeek作为一款高性能的预训练语言模型，其分布式模型训练技术在业界引起了广泛关注。本文将从分布式训练架构、关键技术优化、训练过程、模型配置与超参数设置、数据集准备与处理以及训练任务启动等方面，深入解析DeepSeek的分布式模型训练过程。一、分布式训练架构（一）计算集群架构 DeepSeek的训练环境是一个大规模的计算集群，例如DeepSeek-V3使用了配备2048个NVIDIA H800 GPU的集群，每个计算节点包含8个GPU。节点内通过NVLink和NVSwitch实现高速互连，节点间采用InfiniBand（IB）技术进行高效通信。这种架构设计能够充分利用GPU的强大计算能力，并通过高速通信技术减少节点间的通信延迟，从而显著提升训练效率。（二）并行策略 DeepSeek-V3的并行策略包含流水线并行（Pipeline Parallelism,PP）、专家并行（Expert Parallelism,EP）和数据并行（Data Parallelism,DP）。具体来说，采用16路流水线并行、跨8个节点的64路专家并行，以及ZeRO-1数据并行。这些并行策略的组合使得DeepSeek能够在大规模集群上高效地进行分布式训练，充分利用集群的计算资源。二、关键技术优化（一）DualPipe算法

2025-02-18

4390

智能驾驶的全民化革命：比亚迪璇玑架构全面接入DeepSeek大模型

架构模型数据 DeepSeek 汽车

2025年2月10日，比亚迪在其智能化战略发布会上宣布，“璇玑架构”全面接入DeepSeek大模型。这一技术事件看似是车企与AI企业的普通合作，实则标志着中国汽车工业从“电动化”向“智能化”转型的关键一跃。比亚迪集团董事长王传福断言：“2025年将成为全民智驾的元年”，此言不仅预言了未来交通的图景，更揭示了中国企业在全球智能驾驶赛道上的战略野心。从特斯拉的“纯视觉方案”到谷歌的Waymo，全球智能驾驶技术长期被西方企业垄断话语权，而比亚迪此次技术突破，不仅实现了从硬件到软件的全栈自研，更以“全民智驾”为旗帜，将高端技术下沉至10万元级车型，彻底颠覆了智能驾驶的“精英化”标签。这场技术革命背后，是中国汽车工业对全球产业链重构的深刻回应，更是数字经济时代下“技术普惠”理念的生动实践。

2025-02-18

1070

DeepSeek大模型参数散存技术解析

DeepSeek 架构模型网络优化

一、参数散存技术的核心思想与架构基础参数散存技术是DeepSeek大模型实现高效计算与资源优化的核心创新之一。其核心理念在于通过动态分配与选择性激活模型参数，减少冗余计算，提升资源利用率。这一技术建立在混合专家架构（MoE）与Transformer深度优化的基础上，结合动态路由、负载均衡等机制，形成了一套完整的参数管理范式。 1.1 混合专家架构（MoE）的动态参数激活

2025-02-10

2280

DeepSeek-R1动态知识图谱技术解析

系统 DeepSeek 知识图谱模型数据

在人工智能与大数据技术飞速发展的今天，知识图谱作为连接数据与智能的核心技术之一，已成为企业实现数据驱动决策的关键基础设施。然而，传统知识图谱多基于静态数据构建，难以应对实时变化的环境需求。深度求索（DeepSeek）公司推出的DeepSeek-R1系统，以其创新的动态图谱技术（Dynamic Knowledge Graph）突破了这一局限，实现了从静态知识表示到动态实时推理的跨越。本文将从技术原理、架构设计、核心模块、应用场景及挑战等多个维度，深入解析这一技术的实现细节与价值。一、动态知识图谱技术的核心逻辑与设计理念动态知识图谱技术的核心目标，是解决传统知识图谱在实时性、时序性和动态演化能力上的不足。传统知识图谱通常基于历史数据构建，更新周期长且无法捕捉瞬时变化，例如金融交易中的异常行为、物联网设备的实时状态或社交媒体的热点事件。DeepSeek-R1的动态图谱技术通过引入流式计算、时序建模和增量学习，构建了一个能够实时感知、快速响应和持续演化的知识网络。从设计理念上看，动态图谱技术强调“数据流动即知识演化”。系统将数据流视为知识的基本载体，每一份输入数据（如传感器信号、用户行为日志或交易记录）不仅被解析为实体和关系，还会触发图谱的实时更新与推理。这种设计使得知识图谱不再是静态的“快照”，而是一个随时间动态生长的有机体。例如，在金融风控场景中，一笔异常转账会立即被动态图谱捕获，结合历史交易模式实时分析其风险等级，并触发预警机制。这种能力依赖于三大技术支柱：流式数据处理、时序图建模和实时推理引擎。二、技术架构：从数据接入到智能决策的全链路 DeepSeek-R1的动态图谱技术架构可分为四层：数据接入层、图谱构建层、计算推理层和应用服务层。每一层通过模块化设计实现高效协同，确保系统在低延迟、高吞吐量下的稳定运行。在数据接入层，系统支持多源异构数据的实时接入，包括结构化数据（如数据库表）、非结构化数据（如文本、图像）和时序数据（如传感器流）。通过Apache Kafka或Amazon Kinesis等流处理平台，数据被实时采集并分发至预处理模块。预处理阶段的核心任务包括数据清洗（去除噪声与冗余）、格式标准化（统一时间戳、编码格式）以及事件抽取。例如，在社交媒体监控场景中，系统需从推文中提取实体（人名、地点）、事件（如“发布会”）和情感倾向，并将其转化为图谱可识别的三元组（主体-关系-客体）。图谱构建层负责将预处理后的数据动态映射为图结构。这一层的核心技术是时序图数据库（如TigerGraph或DeepSeek自研的时序图存储引擎），其特点在于为每个实体和关系附加时间戳属性，并支持时间窗口查询。例如，在物流监控场景中，一个包裹的运输状态（如“已装车-时间T1”“到达中转站-时间T2”）会被记录为带时间戳的节点属性，系统可通过时间范围查询回溯其完整运输轨迹。此外，动态图谱还引入了“版本控制”机制，通过快照技术保存历史状态，以支持合规审计或因果分析。计算推理层是动态图谱的智能核心，承担实时推理与决策任务。该层整合了图计算引擎（如Apache AGE）、规则引擎（如Drools）和机器学习模型（如图神经网络GNN）。例如，在反欺诈场景中，系统会实时遍历交易图谱，检测是否存在环路转账（通过BFS算法）或异常社区（通过GNN聚类），并结合规则引擎中预设的风险阈值（如“单日转账次数超过10次”）触发预警。为了提高计算效率，该层采用内存计算（如RedisGraph）和分布式计算框架（如Spark GraphX），将复杂图查询的响应时间控制在毫秒级。应用服务层通过API或可视化界面向用户提供交互能力。例如，运维人员可通过时间轴工具查看服务器集群的状态演化图谱，动态定位故障根源；金融分析师则可利用图谱的可视化查询界面，快速追踪资金流动路径。这一层还支持自定义规则与模型的灵活接入，允许用户根据业务需求扩展图谱的推理逻辑。三、关键技术突破与创新 1. 时序图建模与时间切片技术

2025-02-10

6210

李飞飞团队仅用50美元蒸馏出S1模型：全球算力成本要重塑？

高性能模型数据性能测试

在人工智能领域，模型训练成本一直是制约技术普及和创新的重要因素。传统的大模型训练往往需要耗费巨额资金和大量算力资源。然而，近日李飞飞教授团队联合斯坦福大学和华盛顿大学研究人员，仅用不到50美元的云计算费用就成功训练出了名为S1的AI推理模型。这一成果不仅在技术上取得了重大突破，更在成本控制上展示了巨大的潜力，引发了行业的广泛关注。

2025-02-07

3990

美国禁用DeepSeek：技术竞争、全球格局与未来展望

开源科技 DeepSeek 企业数据安全

在当今全球科技竞争日益激烈的背景下，人工智能（AI）技术的发展已成为各国科技战略的核心。近期，美国对中国AI企业深度求索（DeepSeek）的禁用政策引发了国际社会的广泛关注。与此同时，DeepSeek在全球范围内的广泛应用，尤其是其开源模式带来的技术普惠，进一步凸显了这一事件背后复杂的技术竞争、数据安全、市场认可以及全球科技格局的深刻变化。

2025-02-06

4200

DeepSeek MoE：混合专家架构的创新与突破

模型效率性能 DeepSeek 架构

在人工智能领域，尤其是大语言模型（LLM）的发展中，模型的性能和效率一直是研究的核心问题。随着模型规模的不断扩大，如何在有限的计算资源下实现更高的性能，成为了一个亟待解决的挑战。近年来，混合专家（Mixture of Experts，简称MoE）架构逐渐成为研究的热点。DeepSeek作为一家在人工智能领域崭露头角的公司，其推出的DeepSeek MoE架构引发了广泛关注。本文将深入探讨DeepSeek MoE架构的创新之处及其在性能和效率上的突破。

2025-02-05

4570

为什么很多大模型训练都离不开CUDA?而DeepSeek却选择绕过CUDA直接使用PTX？

模型优化 DeepSeek cuda 编程

CUDA（Compute Unified Device Architecture）是由NVIDIA公司开发的一种通用并行计算平台和编程模型，旨在充分利用其GPU的强大并行计算能力。自2006年推出以来，CUDA已经成为高性能计算和人工智能领域的重要工具。 CUDA的核心优势在于其能够将计算任务分解为多个小任务，并通过GPU中的多个计算单元（线程）同时处理这些任务，从而显著加速任务的执行。它支持多种高级编程语言，如C、C++、Python等，并提供了丰富的开发工具，包括编译器、调试器和性能分析工具。二、CUDA的核心组成

2025-02-05

1.2K0

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态