首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >上下文工程 >上下文工程和大模型微调(Fine-tuning)有什么差异?

上下文工程和大模型微调(Fine-tuning)有什么差异?

词条归属:上下文工程

1. 作用机理不同

  • 上下文工程优化模型的"输入上下文",不改变模型本身,知识以上下文形式在推理时注入
  • 微调更新模型内部权重参数,把领域模式、术语与行为固化进模型
  • 二者互补而非替代:上下文工程适合快速适应、持续学习与成本敏感场景;微调适合行为稳定、需深度改变风格的场景

2. 成本与迭代

  • 上下文工程以文本编辑为主,迭代快、成本低、可解释性强,发现问题时易于回滚
  • 微调需要 GPU 、数据标注与训练周期,成本高、迭代慢,且存在灾难性遗忘风险
  • 当基座模型升级时,基于上下文的方案通常无需重做,而微调成果可能随底座换代而失效

3. 适用边界

  • 知识缺口、实时数据、确定性业务规则优先用上下文工程与 RAG 解决
  • 稳定的输出格式、统一语气、拒答模式,或在高并发下追求低延迟,可考虑微调
  • 在多数智能体工作流与多步推理场景中,精心设计的上下文管理带来的回报常高于微调
相关文章
BFE和Nginx有什么差异?- 转发模型的对比
提示:本文较长,且涉及部分配置,点击文章最下方的“阅读原文” 在手机或PC上查看,效果更佳。点击“阅读原文” 还可以留言或发表评论。
CNCF
2021-08-26
1.2K0
上下文学习和指令微调之间到底有什么关系?
上下文学习(ICL)和指令调优(IT)是将大型语言模型(LLM)应用于下游应用的两种主要范式。ICL推理时提供了一组示例(demonstrations),但LLM的参数没有更新。而IT的示例用于在训练时调整LLM的参数,但在推理时没有使用。虽然越来越多的文献探讨了ICL和IT,但这两种范式之间仍然是脱节的。本文通过研究LLM的隐藏状态在这两种范式中如何变化,来探索ICL和IT之间的关系。
zenRRan
2023-11-23
1.5K0
大模型备案和大模型登记到底有什么区别?
随着人工智能技术的迅猛发展,大型语言模型(LLM)已成为推动数字经济发展的核心引擎之一。然而,伴随着技术能力的提升,大模型带来的潜在风险也日益凸显。在此背景下,"大模型备案"与"大模型备案登记"制度应运而生,成为平衡技术创新与社会治理的关键举措。在此,我整理了一些资料以便友友们可以更好地区分两者。
算法大模型-丁香
2025-08-06
9780
让大模型告诉我DevOps工程师和SRE工程师有什么区别
我最近几年在DevOps团队做一些工作,发现很多人(包括同事)把SRE和DevOps完全混为一谈,我心里知道这两个岗位是不一样的,但是不能描述的很清楚。
panzhixiang
2024-10-30
8550
Prompt、RAG、微调还是重新训练?选择正确的生成式 AI 的方法指南
这篇博客试图根据一些常见的可量化指标,为您选择适合您用例的生成式人工智能方法提供指导。
叶庭云
2023-08-18
4.7K0
点击加载更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券