Reflexion 的三阶段循环（试错、反思、规划）分别做什么？

1. 试错阶段（Trial）

试错阶段由 Actor 主导，基于当前任务和已有的反思记忆执行任务，生成完整的行为轨迹。这一阶段允许智能体自由探索解决方案空间，即使可能犯错——犯错本身正是 Reflexion 学习的起点。Actor 通常采用 ReAct 风格的推理-行动交替模式，在每一步生成思考痕迹并调用相应的工具或环境动作。

2. 反思阶段（Reflection）

当试错失败后，自反思模型接管处理。它接收两个关键输入：完整的执行轨迹和评估器提供的反馈信号。在此基础上，反思模型完成三项工作：

• 错误归因：定位导致失败的关键决策点，区分是策略性错误还是执行层面的偶然失误
• 经验抽象：将具体的失败案例提炼为可复用的通用原则，例如从"在容器 A 中没找到钥匙"上升为"应该系统性地搜索所有可能位置而非重复检查同一处"
• 改进指令生成：产出面向下一轮尝试的可执行建议，以自然语言形式写入反思记忆

这一阶段的价值在于将稀疏的数值反馈（如"失败"）转化为稠密的语义指导信号。

3. 规划阶段（Planning）

规划阶段并非独立于 Actor 的额外模块，而是体现在 Actor 下一轮尝试的策略调整中。具体而言：

• Actor 将累积的反思记忆作为额外的上下文条件注入提示中，直接改变其策略分布
• 反思中的改进指令引导 Actor 优先选择之前未尝试或已验证有效的行动路径
• 随着多轮迭代，反思记忆的积累使 Actor 的策略逐步收敛到高效的问题解决路径

这种"反思指导规划"的机制使得 Reflexion 能够在不修改模型权重的前提下实现策略优化。