首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >上下文工程 >为什么大模型应用需要上下文工程?

为什么大模型应用需要上下文工程?

词条归属:上下文工程

1. 上下文窗口是稀缺资源

  • 上下文窗口是模型在单次推理中能够注意到的全部 token ,容量有限,并非"越长越好"
  • 随着上下文变长,模型对其中信息的回忆准确率会下降,这种现象被称为"上下文腐烂(Context Rot)"
  • 把海量信息无差别地塞入窗口,反而会让模型在噪声中丢失当前目标

2. 单轮提示无法支撑多步任务

  • 智能体在循环执行"观察—推理—行动"时,每一步都会产生工具输出、检索结果与中间推理,信息量随步数膨胀
  • 缺乏上下文管理,长对话会失去连贯性,智能体无法跨步保持状态与依赖关系
  • 上下文工程决定哪些信息在正确的时刻出现在窗口内,这是优质与劣质 Agent 输出差异的关键

3. 可扩展性与一致性要求

  • 当系统服务于大量用户与高频会话时,手工调参的维护成本急剧上升
  • 上下文工程以可复用、可观测的系统设计替代逐条调提示,保障输出在数千次会话间的一致与稳定
  • 企业落地场景下,业务规则、实时数据与合规要求往往只能通过结构化上下文注入,而非写死在模型权重中
相关文章
大模型相关技术-为什么需要rerank
在RAG(RetrievalAugmented Generation)中,embedding模型的向量检索可以帮助提高文本生成的效果,但仍然需要
西门呀在吹雪
2024-05-07
2.7K0
01|什么是 Agent Harness:为什么大模型需要一个“工程外壳”
过去我们谈 AI 编程,注意力大多放在模型上:哪个模型更强,哪个上下文更长,哪个写代码更快。但真正把模型带进工程现场以后,很快会发现另一个问题:模型本身并不能直接完成软件开发。
顾念
2026-05-28
2870
大模型应用开发基础-Prompt工程
Prompt(提示词)是用户输入给AI模型的指令或问题,用于引导模型生成特定输出。
GeekLiHua
2025-06-23
1.1K0
为什么大模型训练需要GPU,以及适合训练大模型的GPU介绍
今天偶然看到一篇关于介绍GPU的推文,我们在复现代码以及模型训练过程中,GPU的使用是必不可少的,那么大模型训练需要的是GPU,而不是CPU呢。现在市面上又有哪些适合训练的GPU型号呢,价格如何,本文将会将上述疑问的回答一一分享给大家。
JOYCE_Leo16
2024-04-25
6.7K0
大模型应用开发提示工程书籍推荐
《AI原生应用开发:提示工程原理与实战》是一本由人民邮电出版社权威出版,专门针对正在探索如何利用大模型做应用场景落地的人群,如研发工程师、产品经理、技术经理等。它站应用落地视角让你理解大模型是什么,能干什么,如何落地。
用户4833581
2025-03-28
9760
点击加载更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券