Reflexion：让模型自我反思改进

这篇适合谁，读完能做到什么

适合已经用过 ReAct 或让模型调用工具、但发现智能体会反复犯同样错误的读者。读完后，你能理解 Reflexion 的三个角色如何配合，并把「行动、评估、反思、再行动」的循环搬到自己的任务里。

Reflexion 是什么

Reflexion（自我反思）是 Shinn 等人在 2023 年提出的框架，用语言反馈来强化基于语言的智能体。^[1][2] 它的核心做法是：把环境给出的反馈，无论是自由形式的文字还是一个标量分数，转换成一段语言形式的反馈，也就是「自我反思」，放进下一轮的上下文里，让智能体从之前的错误中学习。^[1]

作者把它看作一种「口头」强化（verbal reinforcement）的新范式。^[1][2] 这种方式的好处是，智能体能从具体的失败经验中快速调整，而不必每次都重新训练模型。^[1]

三个角色怎么配合

Reflexion 由三个模型组成。

• 参与者（Actor）：根据状态观测生成文本和动作，在环境中行动并接收观察结果，由此形成一条轨迹。思维链（CoT）和 ReAct 都可以用作参与者，系统还会加入记忆组件，为智能体提供额外的上下文。^[1]
• 评估者（Evaluator）：给参与者的输出打分。它以生成的轨迹（也叫短期记忆）为输入，输出奖励分数。决策类任务同时使用基于 LLM 的评估和基于规则的启发式奖励。^[1]
• 自我反思（Self-Reflection）：同样由大语言模型承担。它利用奖励信号、当前轨迹和持久记忆，生成具体、相关的反馈，并存入记忆组件。智能体随后用这些存放在长期记忆中的经验来快速改进决策。^[1]

整个流程可以归纳为五步：定义任务、生成轨迹、评估、执行自我反思，然后生成下一条轨迹。^[1] Reflexion 对 ReAct 框架的扩展，就是在其上增加了自我评估、自我反思和记忆这三个组件。^[1]

结果怎么样

论文的实验覆盖三类任务：AlfWorld 上的序列决策、HotPotQA 上的推理，以及 HumanEval 等基准上的编程。^[1]

在 AlfWorld 上，ReAct + Reflexion 使用启发式方法和 GPT 的自我评估做二元分类，在 134 项任务中完成了 130 项，明显优于 ReAct。^[1] HotPotQA 是一个需要对多份文档进行推理的问答数据集。在这里，Reflexion 只用了几个学习步骤，就显著优于所有基线方法。加入由最近轨迹组成的情景记忆后，Reflexion + CoT 的表现分别优于仅用 CoT 和带情景记忆的 CoT。^[1]

编程方面，在 MBPP、HumanEval 和 Leetcode Hard 上编写 Python 和 Rust 代码时，Reflexion 通常优于此前的 SOTA 方法。^[1]

为什么不用微调

传统强化学习（RL）通常需要大量训练数据和代价高昂的模型微调。Reflexion 提供了一种轻量的替代方案，不需要微调底层的语言模型，因此在数据和算力上更省。^[1]

它的反馈是语言形式的，比传统强化学习里的标量奖励更细致、更具体。智能体因此能更清楚地知道自己错在哪里，下一次的改进也更有针对性。^[1] 反思存放在记忆组件里，学习过程也比传统强化学习更容易分析和理解。^[1]

适合什么，不适合什么

Reflexion 最适合需要从反复试错中学习的任务，例如决策、推理和编程。^[1]

它也有明显的限制：

• 依赖自我评估能力。反思要求智能体准确评估自己的表现，并产生有用的反思，对复杂任务来说这可能很难。^[1]
• 长期记忆有限。它使用容量最大的滑动窗口作为长期记忆；对更复杂的任务，向量嵌入或 SQL 数据库等结构可能更合适。^[1]
• 基于测试的代码生成有局限。测试驱动开发很难精确指定输入输出的映射，例如非确定性的生成器函数，或受硬件影响的函数输出。^[1]

下一步

想了解方法细节和完整实验，可以直接读论文本身。^[2]

本文改编自 DAIR.AI《Prompt Engineering Guide》中的「自我反思（Reflexion）」页面^[1]，原文以 MIT 许可证发布。