首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >混元 Hy4 flash >Hy4 flash 的混合注意力机制是如何设计的?

Hy4 flash 的混合注意力机制是如何设计的?

词条归属:混元 Hy4 flash

1. 混合注意力的设计思路

混合注意力指在模型内部将完整注意力与局部、稀疏等低成本注意力机制组合使用的架构设计。完整注意力擅长捕捉远距离关联,但计算开销随上下文长度快速增长;局部或稀疏注意力则将多数计算限制在更小范围内。二者组合的目标是在关键层保留全局理解能力,在其他层减少不必要的全量扫描。Hy4 flash 采用了这一设计,具体的层级配置官方暂未公开。

2. 对长上下文与显存开销的意义

混合注意力是 Hy4 flash 将 KV cache 压缩至 Hy3 的 1/24、Hy4 的 1/6 的架构基础之一,使 1M 长上下文推理的显存开销降到可承受的水平,为低成本的大规模部署创造了条件。

相关文章
KV cache 只有 Hy3 的 1/24:Hy4 flash 怎么把成本打下来的
摘要: 腾讯 WorkBuddy 新接入的混元 Hy4 flash 把每百万 tokens 输入压到 0.5 元,靠混合注意力、LatentMoE、Engram 将 KV cache 降至 Hy3 的
hollyx
2026-11-17
1340
大语言模型---什么是注意力机制?LlaMA 中注意力机制的数学定义
注意力机制(Attention Mechanism)是一种在深度学习和人工智能中广泛使用的技术,旨在使模型在处理信息时能够重点关注重要的部分,从而提升任务的效率和精度。它最初应用于自然语言处理(NLP),并迅速扩展到计算机视觉(CV)、语音处理等领域。
非那雄胺消费者
2024-11-25
1.1K0
解码超 150 tps、1M 上下文:WorkBuddy 新模型 Hy4 flash 快在哪
摘要: 腾讯 WorkBuddy 新接入的混元 Hy4 flash 解码速度超过 150 tps,靠 megakernel、4bit 量化、DFly 等推理优化;支持 1M 上下文长度,靠架构层面的
gavin1024
2026-11-17
2320
Hy4 flash来了!价格比Hy4大幅降低
Hy4 flash总参数量为224B(其中64B为Engram参数),激活参数仅为12B,支持多模态和1M上下文长度。
小腾资讯君
2026-11-17
3450
WorkBuddy 首发接入混元 Hy4 flash:224B 参数只激活 12B,官方称性价比最高的一代
摘要: 腾讯 WorkBuddy 于 2026 年 11 月 16 日首发接入混元 Hy4 flash,总参数 224B、激活 12B,支持多模态与 1M 上下文,官方定位为迄今性价比最高的 Hy 系
克劳德2048
2026-11-17
4110
点击加载更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券