构建可靠Agentic AI：基于Bedrock的评估框架实践

原创

用户11764306

发布于 2026-02-17 18:10:52

1930

解决方案概述：AI驱动的搜索架构

该解决方案由几个关键组件组成，它们共同协作以提供增强的搜索体验。下图展示了解决方案的架构和整体工作流程。

图1：AI搜索解决方案架构

用户界面层： 解决方案始于用户通过现有的Pushpay应用程序界面提交自然语言查询。通过使用自然语言查询，教会事工人员无需学习新工具或界面即可利用AI能力获得数据洞察。
AI搜索代理： 该系统的核心是AI搜索代理，它由两个关键组件构成：
- 系统提示词： 包含大语言模型的角色定义、指令和应用描述，用于指导代理的行为。
- 动态提示词构建器： 根据用户特定信息（如教会上下文、示例查询和应用筛选器清单）自动构建额外的定制化系统提示词。它还利用语义搜索，在数百个可用的应用筛选器中仅选择相关的部分。动态提示词构建器提高了响应准确性和用户体验。
某中心（Amazon Bedrock）高级功能： 该解决方案使用了以下某中心（Amazon Bedrock）的托管服务：
- 提示词缓存： 通过缓存频繁使用的系统提示词来降低延迟和成本。
- 大语言模型处理： 使用Claude Sonnet 4.5模型处理提示词，并生成应用程序向用户展示所需查询结果（作为洞察）所需的JSON输出。
评估系统： 评估系统实现了一个闭环改进方案，其中用户交互被记录、捕获并进行离线评估。评估结果会输入到一个仪表板，供产品和工程团队分析，并推动对AI搜索代理的迭代改进。在此过程中，数据科学团队会收集一个黄金数据集，并根据实际用户查询及验证后的响应，持续地管理这个数据集。

初始方案（无评估）面临的挑战

为了创建AI搜索功能，Pushpay开发了AI搜索代理的第一个迭代版本。该方案实现了一个单一代理，配置了精心调优的系统提示词，包括系统角色、指令、用户界面工作方式以及每个筛选工具及其子设置的详细说明。系统提示词使用某中心（Amazon Bedrock）的提示词缓存功能进行缓存，以降低令牌成本和延迟。该代理使用系统提示词调用某中心（Amazon Bedrock）的大语言模型，生成一个JSON文档，Pushpay的应用程序使用该文档来应用筛选器并向用户呈现查询结果。

然而，第一次迭代很快就暴露了一些局限性。虽然它对基本的业务查询显示出60-70%的成功率，但团队遇到了准确率提升的瓶颈。考虑到用户查询的多样性以及应用程序覆盖了超过100个不同的可配置筛选器，将系统提示词调优到超出此准确率阈值变得极具挑战性。这些成为了团队产品化道路上的关键障碍。

图2：AI搜索第一版解决方案

通过添加自定义的生成式AI评估框架来改进解决方案

为了应对衡量和提高代理准确性的挑战，团队实施了一个生成式AI评估框架，并将其集成到现有架构中，如下图所示。该框架由四个关键组件组成，它们共同提供全面的性能洞察并支持数据驱动的改进。

图3：引入生成式AI评估框架

黄金数据集： 一个精心管理的黄金数据集，包含300多个代表性查询，每个查询都配有相应的预期输出，构成了自动化评估的基础。产品和数据科学团队仔细开发和验证了这个数据集，以实现对真实世界用例和边缘情况的全面覆盖。此外，还有一个持续的管理过程，将带有已验证结果的实际用户查询添加到数据集中。
评估器： 评估器组件处理用户输入的查询，并使用“大语言模型作为裁判”的模式，将代理生成的输出与黄金数据集进行比较。这会生成核心的准确性指标，同时捕获详细的日志和性能数据（例如延迟），用于进一步分析和调试。
领域类别： 领域类别是结合了生成式AI领域总结和人工定义的正则表达式来开发的，以有效地对用户查询进行分类。评估器确定每个查询的领域类别，从而实现基于类别的细致评估，作为评估指标的另一个维度。
生成式AI评估仪表板： 该仪表板作为Pushpay产品和工程团队的指挥中心，显示领域类别级别的指标，以评估性能和延迟并指导决策。它将团队的工作重心从单一的总体分数转移到基于领域的细致性能洞察。

准确性仪表板：按领域定位弱点

由于用户查询被分类到不同的领域类别中，仪表板使用95% Wilson分数区间进行统计置信度可视化，以显示每个领域级别的准确性指标和查询量。通过使用类别，团队可以按领域定位AI代理的弱点。在下面的例子中，“活动”领域显示的准确性明显低于其他类别。

图4：按领域定位代理弱点

此外，如下图所示，一个性能仪表板在领域类别级别可视化延迟指标，包括从p50到p90百分位的延迟分布。在下面的例子中，“活动”领域表现出的延迟明显高于其他领域。

图5：按领域识别延迟瓶颈

通过领域级别洞察进行战略发布

基于领域的指标揭示了不同语义领域的性能水平差异，为代理的有效性提供了关键洞察。Pushpay利用这种细粒度的可见性来制定战略性的功能发布决策。通过暂时抑制性能不佳的类别（例如活动查询）并同时进行优化，系统实现了95%的总体准确率。通过采用这种方法，用户只体验到性能最高的功能，而团队则将其他功能优化到生产标准。

图6：通过领域级别功能发布实现95%准确率

战略优先级：聚焦高影响力领域

为了系统地确定改进的优先级，Pushpay采用了一个2x2矩阵框架，根据两个维度对主题进行绘图（如下图所示）：业务优先级（纵轴）和当前性能或可行性（横轴）。这种可视化将具有高业务价值和强大现有性能的主题置于右上角象限。然后团队专注于这些领域，因为将它们从已经良好的水平进一步提升到业务重点主题的95%卓越准确率所需的工作量更少。

实施遵循一个迭代周期：每轮改进后，团队会重新分析结果，以确定下一批高潜力的主题。这种系统、循环的方法使得在保持对关键业务领域关注的同时，能够进行持续优化。

图7：领域类别优化的战略优先级框架

动态提示词构建

从评估框架中获得的洞察引发了一个架构上的增强：引入了动态提示词构建器。该组件通过允许精细控制代理可以处理的领域类别，实现了快速的迭代改进。原本嵌入在系统提示词中的结构化字段清单被转变为一个动态元素，利用语义搜索为每个用户查询构建上下文相关的提示词。这种方法根据三个关键的上下文维度来定制提示词筛选器清单：查询内容、用户角色和租户特定要求。结果是一个更精确、更高效的系统，它能生成高度相关的响应，同时保持持续优化所需的灵活性。

业务影响

生成式AI评估框架成为Pushpay AI功能开发的基石，在三个方面带来了可衡量的价值：

用户体验： AI搜索功能将获取洞察的时间从大约120秒（经验丰富的用户手动浏览复杂用户界面）缩短到4秒以内——15倍的加速直接有助于提高事工领导者的生产力和决策速度。这项功能使数据洞察大众化，让不同技术水平的用户都能在无需专业技能的情况下访问有意义的信息。
开发速度： 科学的评估方法改变了优化周期。团队不再争论提示词的修改，而是可以在几分钟内验证更改并衡量特定领域的影响，用数据驱动的迭代取代了长时间的讨论。
生产就绪： 通过使用高性能领域，准确率从60-70%提升到95%以上，这为客户面向的部署提供了所需的量化信心，同时该框架的架构也支持对其他领域类别进行持续优化。

您的AI代理之旅的关键经验

以下是您在自己的AI代理之旅中可以借鉴的、来自Pushpay经验的关键经验。

1/ 从第一天起就以生产为目标进行构建

构建代理式AI系统是直接的，但将其扩展到生产环境却充满挑战。开发者应该在概念验证阶段就采用规模化思维，而不是之后。及早实施强大的追踪和评估框架，为从实验到生产提供了清晰的路径。通过这种方法，团队可以在问题成为阻碍之前，系统性地识别和解决准确性问题。

2/ 利用某中心（Amazon Bedrock）的高级功能

某中心（Amazon Bedrock）的提示词缓存通过缓存频繁使用的系统提示词，显著降低了令牌成本和延迟。对于拥有庞大、稳定的系统提示词的代理来说，此功能对于实现生产级性能至关重要。

3/ 超越总体指标思考问题

总体准确率分数有时会掩盖关键的性能差异。通过在领域类别级别评估代理性能，Pushpay发现了单一准确率指标无法捕捉到的弱点。这种细粒度的方法使得有针对性的优化和明智的发布决策成为可能，确保用户只体验到高性能的功能，而其他功能则得到改进。

4/ 数据安全与负责任的AI

在开发代理式AI系统时，从一开始就要考虑信息保护和LLM安全注意事项，遵循“某机构（AWS）责任共担模型”，因为安全需求从根本上影响架构设计。Pushpay的客户是教会和信仰组织，他们是敏感信息的保管者——包括教牧关怀对话、财务捐赠模式、家庭困难、祷告请求等等。在此实施案例中，Pushpay设定了一个明确的方法，在其产品生态系统中合乎道德地融入AI，维护严格的安全标准，以确保教会数据和PII信息保留在其安全的合作伙伴生态系统内。数据仅在应用了安全且适当的数据保护措施后进行共享，并且从不用于训练外部模型。要了解有关Pushpay在其产品中融入AI的更多标准，请访问Pushpay知识中心，深入了解公司标准。

结论：您的生产就绪AI代理之路

Pushpay从一个60-70%准确率的原型到一个95%准确率的生产就绪AI代理的历程表明，构建可靠的代理式AI系统不仅需要复杂的提示词——它还需要一种科学的、数据驱动的评估和优化方法。关键的突破不在于AI技术本身，而在于实施了一个建立在强大可观测性基础上的全面评估框架，该框架提供了代理在不同领域性能的细粒度可见性。这种系统化的方法实现了快速迭代、战略性的发布决策和持续改进。

准备好构建您自己的生产就绪AI代理了吗？