治愈大模型“健忘症” | 腾讯混元发布256k长文模型

AI大模型技术正成为推动高质生产力发展的关键力量，在与千行百业的融合中发挥着重要作用。

腾讯混元大模型通过采用混合专家模型 (MoE) 结构，已将模型扩展至万亿级参数规模，增加“脑”容量提升预测性能的同时，推动了推理成本下降。

近日，腾讯混元大模型正式对外发布256k长文模型（可通过hunyuan-standard版本接入，提供6.9折优惠），并通过腾讯云向广大企业和个人开发者开放，以支持更广泛的创新和应用。腾讯混元256k模型具备处理超过38万字符的超长文本能力。

在对话应用场景中，该模型能够“记忆”更多的对话内容，有效避免“忘记”信息等问题。此外，它还具备出色的上下文分析能力，能够为对话参与者提供更为精确和相关的反馈，从而辅助他们做出更明智的决策。

减少“健忘”，让大模型更聪明

在大模型产品中，处理对话式需求是一项核心功能。但由于长文本处理能力的局限，传统大模型在对话中容易“迷失方向”或出现“记忆缺失”，随着对话长度的增加，遗忘的信息量也随之增多。

腾讯混元256k模型针对这一挑战进行了专门优化。它采用了先进的“专家混合”（MoE）架构，并融合了RoPE-NTK和Flash Attention V2等创新技术，既保持了对通用短文本（少于4,000字符）的高效处理能力，同时在超长文本处理的深度和广度上实现了突破。

目前，腾讯混元大模型已经具备256k的超长上下文理解能力，单次处理字符数超过38万个，在经过严苛的“大海捞针”任务测试后，该模型在长文本处理上的准确率已达到99.99%，在国际上也处于领先地位。

持续稳定迭代，大模型应用效率提升

腾讯混元大模型在业界率先采用了混合专家模型（MoE）结构，并在此过程中积累了大量自研技术。在上一个版本32K中，该模型已显著超越市面上的开源同类模型，并在多种应用场景中展现出优异性能。

经过全新迭代，腾讯混元256k在通用领域的GSB评测中，相较于前一版本，胜出率50.72%。同时，腾讯混元256k的训练集融合了医疗、金融等多个领域的长文本数据、翻译数据和多文档问答等高质量标注数据，这使得模型在实际应用中，尤其是在需要频繁分析和处理大量长文本资料的医疗和金融行业，能够提供更为精准和高效的工作支持。

例如，当将一份央行发布的金融报告输入腾讯混元256k模型时，该模型能够迅速提炼和总结报告的要点，在处理速度和准确性上均达到了令人满意的水平。

推理性能优化，带来更强的大模型理解能力

与此同时，腾讯混元256k在推理性能上进行了深入优化。在INT8精度模式下，与FP16精度相比，模型的QPM（每秒查询率）实现了23.9%的显著提升，而首字耗时仅增加了5.7%。这些改进显著增强了模型在实际应用中的响应速度和整体效率。

以《三国演义》的分析为例，腾讯混元256k能够迅速阅读并检索这部数十万字的古典小说，不仅能够准确识别出小说中的关键人物和事件情节，甚至对于天气、角色着装等细节描述也能提供精确的信息。

作为通用大模型，腾讯混元大模型在中文表现上处于业界领先水平，尤其在文本生成、数理逻辑和多轮对话中性能表现卓越。

通过腾讯云，腾讯混元大模型提供了万亿参数hunyuan-pro、千亿参数hunyuan-standard（提供32k和256k两个版本选择），以及百亿参数的hunyuan-lite等多种尺寸的模型服务，目前三个版本均提供6.9折优惠，企业客户及个人开发者可以根据自身需求直接通过腾讯云API调用。

这使得更多的开发者和用户能够便捷地接入并使用腾讯混元大模型的强大功能，进而为各行各业提供智能化的解决方案，推动更多创新应用场景的实现。