当工具规模膨胀到数百甚至上千个时,全部塞入上下文既不经济也不利于模型决策。常见做法是用嵌入向量做相似度检索,先筛选出与当前请求最相关的若干工具再传给模型。Anthropic 于 2025 年在 API 中推出 Tool Search 能力,正是面向"成千上万个工具"的生产级部署场景,用于高效筛选工具并降低复杂 Agent 工作流的延迟。
可将工具按业务域分组,先由模型选择领域,再展开该领域下的具体工具;或通过元数据标注工具的能力标签,实现按需暴露,避免噪声干扰。
检索只解决"该给模型看哪些工具",而"模型能否选对"仍取决于描述质量。在工具数量多时,更需要为相邻工具写出边界清晰、彼此可区分的描述,减少歧义。