10 天、13 个 commit，填掉三个真正卡死长上下文的坑。 短上下文 12 个测试格赢了 cuBLAS 基线 10 个；32K 上下文首 token 延迟...

越是随着大模型应用的深入接触，越是明白单纯调用大模型接口，很难落地真实复杂业务。很多项目做完只能实现简单问答、文本生成，一旦遇到多步骤、多工具、有流程约束的业务...

我记得刚开始学习大模型开发时，会陷入了一个误区：拼命钻研提示词技巧，却忽略了最核心的底层逻辑。也总觉得大模型回答不准、容易失忆、长篇对话跑偏、复杂任务翻车，是P...

经常接触大模型和医疗AI的朋友，大概率都遇到过这样的棘手问题：普通大模型回答医疗问题时，看似条理清晰、专业度拉满，实则凭空捏造诊疗方案、编造药品禁忌、虚构文献依...

AI Agent我们也做了很多详细的应用说明，现在我们要做的AI应用也都围绕自主执行来实践，说一千道一万，其底层核心全都离不开Agent架构。我们在早期学习大模...

随着大模型技术飞速迭代，AI Agent能力大幅升级，彻底摆脱了传统单纯对话交互的局限，成长为具备完整自主运行能力的智能体，核心能力演进可分为三点：

我们在做大模型应用开发的过程中，应该都遇到过本地测试对话流畅稳定，一旦上线迎来用户并发访问，就会出现对话中断、上下文错乱、重复回复、请求超时、消息丢失等各种问题...

写给刚接触 AI、或工具太多挑花眼的你：别看榜单排名，按"手头这笔活"选——3 分钟用一张表定下日常、专业创作、视频三类需求该用哪款。

作者：程兴源，AI startup 数据闭环架构师、Apache Doris MVP Hero

很多团队在接入大模型时，第一步是比价：同一个模型，A 家报价是官方一折，B 家是五折，于是选了 A。这个决策过程，本质上和一个后端系统"选一个第三方 SDK"或...

刚入门做大模型开发时，最开始只会直接调用现成的开源模型，勉强满足基础的对话使用需求。但真正落地项目后，很快就遇到了瓶颈：通用模型不懂业务场景、回答不精准，想要适...

首先我们要搞清楚，到底什么是大模型智能体？简单来说，智能体就是基于大模型构建的、具备自主决策和执行能力的智能体，它就像一个能独立完成任务的“数字员工”。

最开始接触大模型开发的时候，一直停留在简单的问答、文本生成这类基础功能，当时只觉得大模型好用，但落地到实际项目、对接业务之后，才发现原生大模型的短板特别明显。单...

先说一个痛点，做过大模型开发的朋友们应该都有同感，最开始入门大模型应用开发，我们基本都是直接调用官方原生API。简单聊个天、回答个基础问题没问题，但真要落地到实...

我们在应用大模型服务时，应该都有过这种直观感受：大模型回答问题，总感觉 “慢吞吞” 的。明明算力服务器配置很高，显存、算力都没跑满，可每多等一秒，屏幕就只多出一...

今天我们从应用的角度构建一套完整可落地的一体化项目，基于原生Transformers实现推理，FastAPI搭建高性能后端，配套独立美观Web前端面板，同时内置...

最开始刚接触本地跑大模型时每次逛Hugging Face、ModelScope找权重，同一个基础模型能拉出十多个版本，后缀一串字母数字堆在一起，完全摸不着门道。...

做医疗数据分析、AI辅助诊断应该都会遇到两个非常棘手的问题：一是纯表格结构化病历数据，只用大模型直接训练精度拉胯，数值、检验指标、分级特征很难被大模型精准捕捉；...