- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器之心
大模型进入「落地战」，腾讯云下手「行业」大模型
如今，一直在大模型方面保持「沉默」的腾讯出手了。 6 月 19 日，在主题明确的「行业大模型及智能应用技术峰会」上，腾讯首次公布腾讯云行业大模型进展，也让我们看到了腾讯对大模型在产业落地的思考。 作为一套系统性的工程，大模型的顺利落地需要做到全面考量、有的放矢。 从智能化转型的实践来看，很多企业可能缺乏相关的技术、经验和人才，若不降低门槛，大模型就无法在生产场景快速落地。 对计算资源、网络带宽、数据安全等多方面进行综合考量，是企业管理者落地大模型的必经过程。 过去几个月，模型即服务（MaaS）的概念成为主流，被认为是加速实现大模型技术及 AI 应用落地产业的重要途径。 从今天的这波发布中，我们就能够看到腾讯云对大模型技术发展前景的这种考量：聚焦推动大模型技术真正落地行业。
58940编辑于 2023-08-07 - 来自专栏澜舟科技 NLP
大模型落地实践：同花顺大模型技术应用及优化
文内从业务角度介绍了大模型技术在同花顺业务上的应用以及未来探索的方向。众所周知，大模型参数量大，通用能力强，综合性能好。 但在同花顺业务场景中最初使用大模型的时候，发现用大模型的效果与传统方法差距不大，甚至有时候逊于原先传统的方法。 所以最初在业务角度并不够重视，然而近期随着大模型技术的快速发展，我们也在逐步尝试将大模型在业务中落地，目前大模型在自然语言处理相关的业务里都取得了比传统模型更优的效果，下面详细介绍相关工作。 确实在我们的业务模型里，规则占比非常大，也是因为涉及用户财产问题，技术上会比较保守。下面具体介绍问答系统里大模型应用的经验和取得的成果。 目前通用语义识别方面大模型的效果已经慢慢显现了。
2.6K20编辑于 2022-08-11 - 来自专栏NewBeeNLP
业界分享 | NVIDIA大语言模型落地实践
在使用大语言模型时，存在一个问题，即模型在某些未掌握领域可能出现胡言乱语。为了解决这个问题，NVIDIA 引入了 RAG 技术，用于增强和辅助实际大模型的应用。 聚焦于大语言模型领域，NVIDIA 推出的 NeMo Framework 涵盖了大语言模型的开发、部署以及使用的全流程。 涉及知识库、向量库以及 Agent，与大模型的最终落地息息相关。 第六，Guardrails，主要充当守门员的角色。对于一些常见的问题，比如对时政等问题首先进行过滤。 大模型训练可以分为不同的类型。 第五步，将这些 chunk 作为输入，与 prompt 一起传递给大语言模型，得到更加精准且匹配的反馈和回答。 这样大语言模型就能够真正实现落地，更贴近于当前的使用场景。
58510编辑于 2024-03-25 - 来自专栏个推技术实践
AI大模型迈入应用时代，每日互动推动“可控大模型”落地
通过与行业知识结合，大模型能从海量的数据中提取出有价值的信息，为业务决策提供智能支持，但现阶段大模型缺乏对价值观的判断。在实际的业务场景中，垂直行业更需要“可控大模型”。 面对大模型热度的持续狂飙，很多企业跃跃欲试，希望在发展和应用大模型的道路上抢占先机。 然而在实际落地大模型的过程中，企业发现目前的大模型多是通用大模型（GLM），这些通用大模型未经过相应专业领域知识的系统性训练和学习，无法很好地满足垂直领域的专业需求；而如果考虑结合所在行业的细分需求、专业 每日互动的可控大模型探索在推动大模型实现可控的前提下，每日互动也积极探索将大模型与自身数智能力结合，帮助垂直领域客户更好地解决具体的业务问题。 每日互动正是基于DMP的闭环路径开展可控大模型的行业落地实践，把大模型“大脑”的能力输出给各行各业使用，并结合行业客户的应用反馈持续进行大模型的训练迭代。
41020编辑于 2023-06-20 - 来自专栏腾讯技术工程官方号的专栏
加速模型场景落地！腾讯大模型工具链全面升级
目前，腾讯围绕大模型已经构建起全链路的产品矩阵，包括底层基础设施、自研大模型、模型开发平台、智能体开发平台和面向场景的多元智能应用等，帮助企业客户将大模型快速落地到场景中去。 从语音到图像，再到大模型，每一次人工智能的浪潮里，腾讯始终坚持以自主技术创新为核心动力，结合场景推动AI的研究与落地。 、智能客服、营销等全场景，为产业用户提供全链路的模型服务，让大模型真正实现落地，帮助企业提质增效。 大模型工具升级 加速落地产业场景 为了进一步降低大模型的使用门槛，今年5月，腾讯云发布了“大模型知识引擎”、“大模型图像创作引擎”和“大模型视频创作引擎”三款PaaS工具，让企业能快速调用大模型的底层能力 经过近一年的探索实践，妙笔大模型在辅助网文多模态创作、支持用户与角色对话、网文AI多语种翻译等方面均有实践和落地。
75110编辑于 2024-08-08 AI大模型算法-从大模型原理剖析到训练(微调)落地实战
这些大模型不仅能够理解和生成高质量的自然语言文本，还能适应多种下游任务，极大地推动了AI技术的落地应用。然而，大模型的训练和微调涉及复杂的算法、庞大的计算资源和精细的优化策略。 本文将从大模型的基本原理出发，深入剖析其核心算法，并探讨如何在实际业务中进行训练和微调，最终实现AI大模型的落地应用。2. 大模型的核心原理2.1 预训练与微调范式大模型的核心思想是“预训练+微调”（Pre-training + Fine-tuning）。 大模型的落地挑战与解决方案4.1 计算资源限制大模型的推理成本高昂，解决方法包括：模型量化（Quantization）：将FP32模型转换为INT8或INT4，减少计算开销。 AI民主化：开源社区（如LLaMA、Falcon）推动大模型普及。6. 结论AI大模型正在重塑人工智能的应用范式，从原理到落地涉及算法、数据、计算资源等多方面挑战。
1.5K20编辑于 2025-07-07AI大模型算法-从大模型原理剖析到训练(微调)落地实战
AI大模型算法：从原理剖析到训练微调落地实战全景指南我们正站在一个历史性的拐点上。以ChatGPT、GPT-4、Llama、文心一言等为代表的AI大模型，正以前所未有的力量重塑各行各业。 然而，对于大多数企业和开发者而言，从头开始训练一个千亿级参数的大模型是遥不可及的。真正的价值在于——如何深入理解其原理，并掌握对现有大模型进行定制化训练（微调）的能力，让其为我所用，解决实际业务问题。 一、 核心概念：什么是大模型？为什么需要微调？大模型：通常指基于“Transformer”架构、在海量多源数据上训练而成的、参数规模达到数十亿乃至数千亿的深度学习模型。 四、 落地实战篇：手把手构建你的第一个行业大模型理论最终需要付诸实践。一个典型的微调落地流程如下：第一步：明确任务与数据准备定义任务：是要做文本分类、问答、对话生成还是代码补全？ 现在，就从选择一个开源模型（如Llama 2-7B）和一个具体的任务（如构建一个IT运维知识问答机器人）开始你的大模型实战之旅吧！
16310编辑于 2025-08-28- 来自专栏集智书童
大模型落地的必经之路 | GPTQ加速LLM落地，让Transformer量化落地不再困难
2.2 大模型量化 随着最近开源发布的像BLOOM或OPT-175B这样的语言模型，研究人员已经开始开发用于推理的压缩这些庞大网络的经济方法。 虽然所有现有的作品，如ZeroQuant，LLM.int8()和nuQmm，都会仔细选择量化粒度，例如基于向量，但它们最终只是将权重舍入到最近的量化水平，以维持非常大模型的可接受运行时间。 在这一规模下，ZeroQuant已经需要约3小时的计算；而GPTQ可以在约4小时内量化比ZeroQuant大100倍的模型。 对于较大的模型，这个差异相当大。然而，在这个算法实际应用于非常大的模型之前，需要解决两个额外的主要问题。 总之，这些结果是向着极低于平均3-Bit每个值的高精度一次性压缩非常大的语言模型迈出的鼓舞人心的第一步。 参考 [1].
1.4K40编辑于 2023-11-15 - 来自专栏科技云报道
金融大模型落地，还需跨越几重山？
一边是行业进展轰轰烈烈，另一边是金融业谨慎落地，大模型在金融行业到底发挥了怎样的作用？还有哪些挑战阻碍着大模型在金融行业的大规模落地？ 金融大模型落地 面临多重挑战 尽管金融业普遍看好大模型的未来发展，但在谈及落地时，金融机构大多认为需较长时间才能解决大模型所面临的合规、安全、隐私等问题。 更多的金融机构和服务商认为，3-5年内金融大模型才会大范围落地，也有少部分机构认为落地时间需要5-10年甚至更久。 首要的挑战来自数据安全合规。 其次，可靠性仍是大模型在金融领域落地的鸿沟。 最后，成本也是金融大模型走向商业化落地的重要因素。 金融的本质是风控，大模型在优化金融业务流程和用户体验的同时，也需要降低大模型高昂的迭代和训练成本。
20310编辑于 2024-01-23 - 来自专栏AI专栏
论AI大模型的落地实践与思考
现在的AI发展已经百花齐放了，各个大公司都在疯狂卷AI推理，AI性能，AI成本，最后收益的只有Intel在看着排到明年的订单偷着乐(开玩笑)本文探讨一下AI给当下业务能够带来哪些流程化工程化的价值AI落地模型分类虽然模型种类有很多 ，但是现在有了一个不知疲倦的"牛马"来帮我们做不得不做的重复性动作，何乐而不为呢针对于模型训练，核心要抓住让AI遵守什么样的流程规范经典案例:针对于模型训练，公司内已经有很多主流的落地实践经验1) 腾讯会议小助手 , "output": "晋江南音演唱节"}总结分析以上简单分析了两个AI模型落地的经验，总结看来，如果要将模型训练落地到业务，首先要明确几个要点：1、完成动作：是否为重复性的简单行为，例如文段提取，文本校验等等 ，只需要让AI针对当前信息进行处理4、推理能力要求不高：模型训练需要显卡资源、精修数据、时间成本等一系列debuff，模型基座越高，训练起来越费劲，笔者训练过几次模型，推荐如果你的场景需要很好的推理能力 ，一定要通过AI提升自己的核心竞争力对于产品人员：提升应用AI的敏锐洞察力，我见过很多AI落地的经验，例如百果园落地AI，实现AI销冠：小鹿助手，小鹏汽车使用AI，分析海量日志，甚至基础的海尔家具都能应用
12210编辑于 2025-08-26 - 来自专栏程序随笔
聊聊心理医疗领域大模型的落地思考
近来，工作偏向于心理医疗领域方面的大模型，仅从领域大模型的落地，聊聊个人的一些思考。 硬件 准备好花钱买GPU。 领域大模型 业务场景的思考 首先需要审视斟酌业务领域的特殊性与可行性，我们要做的是心理领域，而心理领域倾向于医患对话，即询问链的场景；不仅仅是一问一回答的角度，而作为智能体(AI模型/医生)还需要 对患者的回答进行 开源模型 摸着石头过河——目前医疗、金融等领域已经有很多的开源模型，作为技术储备与预研，极其需要对已有的开源模型做一些调研。 如下是我个人觉得不错且对于我们的场景可以借鉴的医疗模型： 扁鹊 BianQue 灵心 SoulChat CareGPT MedicalGPT 对于开源模型的研究，不仅仅是跑demo，没有什么用处，毕竟又不能直接拿过来落地 所幸，其业务流程还是很详细，给我们的业务落地也提供了参考。
23310编辑于 2024-03-21 - 来自专栏arXiv每日学术速递
大模型落地的必经之路 | GPTQ加速LLM落地，让Transformer量化落地不再困难
2.2 大模型量化 随着最近开源发布的像BLOOM或OPT-175B这样的语言模型，研究人员已经开始开发用于推理的压缩这些庞大网络的经济方法。 虽然所有现有的作品，如ZeroQuant，LLM.int8()和nuQmm，都会仔细选择量化粒度，例如基于向量，但它们最终只是将权重舍入到最近的量化水平，以维持非常大模型的可接受运行时间。 在这一规模下，ZeroQuant已经需要约3小时的计算；而GPTQ可以在约4小时内量化比ZeroQuant大100倍的模型。 对于较大的模型，这个差异相当大。然而，在这个算法实际应用于非常大的模型之前，需要解决两个额外的主要问题。 总之，这些结果是向着极低于平均3-Bit每个值的高精度一次性压缩非常大的语言模型迈出的鼓舞人心的第一步。 参考 [1].
1.7K30编辑于 2023-11-15 - 来自专栏新智元
大模型只有参数和算力？这款国产大模型证明：落地为王！
，要做好落地，需要解决的关键问题是前沿的大模型技术如何与真实场景的方方面面要求相匹配。 为此，百度提出了支撑大模型落地的三个关键路径： 一是要建设更适配应用场景的模型体系。 二是提供更有效的配套工具和方法，充分考虑落地应用的全流程问题。 三是打造开放的生态，以生态促创新。 与那些用一个大模型通吃所有问题的思路不同，百度的目的是要建设一个可以产业落地、全面的、有层次的体系。 飞桨的这套训练推理一体化技术也使文心大模型的规模化生产成为了可能，让大模型更接近产业，落地在产业当中，而不仅仅是实验室技术。 此次百度首发行业大模型，就是探索出一套行之有效的大模型产业落地打法，让大模型「能用、可用」，规模化落地价值显现。 让企业和生产机构成为真正主体，把新技术引入和吸纳进来，极大助推工业大生产。
2K20编辑于 2022-05-30 - 来自专栏炼丹笔记
领域大模型落地的一些思考
个人的一些拙见是，如果想快速的将领域大模型落地，最简单的是将系统中原有能力进行升级，即大模型在固定的某一个或某几个任务上的效果超过原有模型。 以Text2SQL任务举例，之前很多系统中的方法是通过抽取关键要素&拼接方式来解决，端到端解决的并不是很理想，那么现在完全可以用大模型SQL生成的能力来解决。在已有产品上做升级，是代价最小的落地方式。 二、领域大模型落地，任务场景要比模型能力更重要。 虽说在有产品上做升级，是代价最小的落地方式，但GPT4、AutoGPT已经把人们胃口调的很高，所有人都希望直接提出一个诉求，大模型直接解决。 所以最终大模型的落地，拼的不是模型效果本身，而是一整套行业解决方案，“Know How”成为了关键要素。 三、大多数企业最终落地的模型规格限制在了13B。 我之前说过“没有体验过33B模型的人，只会觉得13B就够”，更大的模型一定要搞，但不影响最后落地的是10B级别。
40120编辑于 2023-08-22 - 来自专栏机器之心
GPT4规模大模型落地，Meta提ExFM框架：万亿参数基础大模型的工业级落地成为可能
如何让万亿级基础大模型能够高效、低成本地服务于大规模工业级应用，并且让能够随着模型规模的提升（Scaling）而得到持续的性能增长？这一直是众多企业困扰良久的难题。 近年来，随着 GPT-4、 DeepSeek、 Llama 等万亿参数基础模型的成功，工业界和学术界开始探索通过模型规模化（Scaling）的方式建立基础大模型来提升推荐效果。 不过，此类解决方案在广告工业中的应用依旧面临着两大长期被忽视的挑战：受限的训练/推理预算，与动态变化的流式数据分布。这些挑战的存在使得大模型对线上模型的帮助受限，且无法规模化提升线上模型的性能。 据文章描述，ExFM 框架实现了以下 SOTA 成果： 规模化大模型及线上模型的迭代部署：ExFM 解耦了教师模型和学生模型的迭代和部署，在接近于 0 服务成本的情况下成功部署万亿级别参数的工业级大模型 （类 GPT-4 规模），显著降低了工业界受益于大模型的门槛和成本。
9500编辑于 2025-03-13 - 来自专栏AI科技评论
大模型「进化手册」：AI 原生应用该如何落地？
从开发、产品落地到商业化，企业需要的服务在百度智能云里闭环了。 作者 | 黄 楠 编辑 | 陈彩娴 狂奔两百多天后，大模型战役进入了第二幕。 目前，国内头部厂商的普遍做法，是以通用大模型为底座，在此基础上对原有产品进行重构，并通过服务平台连接 B 端企业，多方位打通开发、落地和变现，建立全链路生态体系。 3 打造全链路生态支持体系 通过建一座大模型应用商店，搭建交易平台、瞄准商业化，百度关注的是实实在在的问题。但大模型应用的落地还离不开模型训练、推理、计算还有运维、系统、工程等方面的投入。 更重要的是，面向客户落地大模型的五类需求，百度智能云基于千帆大模型平台打造的“大模型超级工厂”给出包括AI原生应用开发平台在内的全套服务方案。 同时推出大模型全链路生态支持体系，加速企业 AI 原生应用落地和商业化。 接下来的竞赛，不再是局限于大模型的追逐，更是如何对应用产品进行自我优化、革新。
47020编辑于 2023-10-24 - 来自专栏算法一只狗
大模型真正落地的应用：IMA知识库
大模型结合知识库问答是一个较为常见且实用的应用场景。例如，我曾经尝试过腾讯的IMA应用，该应用背后依托于混元大模型的支持。 这个知识库其实就是利用了混元大模型+RAG的架构，在借助于混元大模型的帮助，同时不需要微调的情况下，我们就可以搭建属于自己的知识库。 简单来说就是通过大模型LLM的能力，在其基础上引入外部的知识库数据，这样大模型AI在回答问题的时候更加的精确。 生成的文章经过混元大模型的总结，能够一下子就把具体的内容生成出来。
3.1K10编辑于 2025-01-14 - 来自专栏AI科技评论
大模型落地，向量数据库能做什么？
但在企业落地的过程中，大模型所面临的难题依旧没有解决。 经过近半年的观察，数据局限对企业做大模型带来的影响，可归结为以下三点： 首先是对数据的管理和运维。 另一方面，企业的业务数据变化速度快，且实时性强，因此私有化部署后的大模型、在数据层上也很难做到秒、天级别的更新。 当上述诸多问题横亘于企业和大模型落地之间，学术界和工业界也提出了两种解决方案。 向量数据库通过把数据向量化，进行存储和查询可以有效解决大模型预训练成本高、没有“长期记忆”、幻觉、知识更新不及时等问题。 因此，凭借其优势，向量数据库也被视为了加速大模型落地行业场景的关键突破口。 可以看到，面对企业在大模型落地中的普遍难题，腾讯云向量数据库力图在每个环节提供便捷、有效的解决方案，突破数据的局限，加速大模型+向量数据库的使用，以解决企业实实在在的痛点和难题。 腾讯云超级底座 可以看到，向量数据库之于大模型应用落地、之于 AI 技术发展的意义已经逐渐显现。
1K40编辑于 2023-11-20 - 来自专栏AI科技评论
大模型「进化手册」：AI 原生应用该如何落地？
从开发、产品落地到商业化，企业需要的服务在百度智能云里闭环了。 作者 | 黄 楠 编辑 | 陈彩娴 狂奔两百多天后，大模型战役进入了第二幕。 目前，国内头部厂商的普遍做法，是以通用大模型为底座，在此基础上对原有产品进行重构，并通过服务平台连接 B 端企业，多方位打通开发、落地和变现，建立全链路生态体系。 3 打造全链路生态支持体系 通过建一座大模型应用商店，搭建交易平台、瞄准商业化，百度关注的是实实在在的问题。但大模型应用的落地还离不开模型训练、推理、计算还有运维、系统、工程等方面的投入。 更重要的是，面向客户落地大模型的五类需求，百度智能云基于千帆大模型平台打造的“大模型超级工厂”给出包括AI原生应用开发平台在内的全套服务方案。 同时推出大模型全链路生态支持体系，加速企业 AI 原生应用落地和商业化。 接下来的竞赛，不再是局限于大模型的追逐，更是如何对应用产品进行自我优化、革新。
25030编辑于 2023-10-24 - 来自专栏大模型快速上手实践
大模型开发落地实战-长上下文多模态场景大模型运用实战
在本人创建的《人工智能项目落地实战指南》专栏中，我从实践角度出发，为大家梳理了大模型技术在市场应用中的三大方向，并根据 AI 运用的深浅程度进行分类。 至于 长上下文多模态场景 的大模型应用，虽然归为“浅水区”方向，但它的复杂度介于两者之间：比智能客服复杂，但又不如深水区需要极高的策略设计能力。 本文将以Qwen-long 为例，详细展示如何在 长上下文多模态场景 中发挥大模型的潜力。 需求场景为了深入展示 长上下文多模态大模型 在实际场景中的应用潜力，我们以 招标文档解读 作为示例，探索如何利用大模型高效解析长篇复杂文档并提取核心信息。 我是fanstuck ，有问题大家随时留言讨论 ，我们下期大模型微调实战见。
1.3K42编辑于 2025-01-07
腾讯云开发者
