强化学习

是什么

强化学习（reinforcement learning）是机器学习和最优控制的一个分支。在强化学习中，智能体（agent）在动态环境里学习采取动作，使奖励信号最大化^[1]。它和常见的监督学习不一样：学习者拿到的不是一份每个样本都标好正确答案的数据集，而是自己去做、环境给出反应、再由一个奖励数字告诉它结果好坏——这个奖励有时来得很晚，有时很稀疏。这个领域把自己的核心难题概括为探索与利用的两难（exploration–exploitation dilemma），并通常把环境建模为马尔可夫决策过程（Markov decision process）^[1]。

几个词先约定清楚。智能体是学习者和决策者；环境是它与之一切交互的外部；策略（policy）是它据以选动作的规则；奖励是它想累积的那个数。

怎么工作

循环本身很好描述。每一步，智能体观察到环境状态的一部分信息，选出一个动作，然后收到一个奖励和一个新的状态。马尔可夫决策过程把这套东西整理成：一组状态、一组动作、在每个动作下从一个状态转移到另一个状态的概率，以及附着在这些转移上的奖励。「马尔可夫」的意思是，为了决定下一步做什么，当前状态被视为对过去的一个足够概括。

任何算法的设计都要面对两个问题。第一个是探索与利用的两难：智能体可以去做那些它还不知其价值的动作，指望发现更好的选择，也可以继续用至今回报不错的动作^[1]。全部时间用来探索，奖励就白白浪费；从不探索，它可能就停在一个平庸的习惯上。第二个是信用分配（credit assignment）：当奖励在引起它的那些动作很久之后才到来，算法必须弄清楚这份功劳该记在哪一步上。

一个很小的例子可以把这件事说具体。设想一个程序驱动一枚棋子在一个简单的网格里走向目标格，到达目标才有奖励，其余时候没有。刚开始它随机乱走；有几次碰巧走到目标，那么这几次路上做过的动作就变得稍微更可能被选中。跑得多了，策略就慢慢偏向那条较短的路径。整个描述里，没有任何一格被标注过「正确的走法」；也没有人预先告诉它此前哪一步起了作用——它只能从最终收到的奖励里自己推。

从哪来

这个领域是从把学习看作「随时间发生的信用分配」这一思路里长出来的。Sutton 1984 年的博士论文题目是《Temporal Credit Assignment in Reinforcement Learning》（强化学习中的时序信用分配）^[1]。1987 年 Williams 提出了 REINFORCE 梯度估计方法，用来估计应当如何调整策略的参数，使带来奖励的行为更容易发生^[1]。Watkins 在 1989 年的博士论文《Learning from Delayed Rewards》（从延迟奖励中学习）中提出了 Q-learning^[1]；Q-learning 估计的是在某个状态下采取某个动作值多少，并从之后实际得到的奖励中把这个估计学出来。

今天用在哪里

强化学习如今已经走出仿真环境，进入会做出物理动作的机器。2025 年 11 月 17 日，Physical Intelligence 发布了 π*0.6，描述了一种用强化学习训练通用机器人策略的方法，目的是提高真实任务上的成功率和吞吐量^[2]。在国内，中证网报道小鹏的 IRON 人形机器人采用端到端大模型配合强化学习算法来实现行走^[3]。两件事的吸引力是同一种：系统能够从自己对任务的尝试中改进，而不只依赖事先准备好的示例。

局限

维基百科把样本效率低、不稳定与收敛问题、泛化能力差以及奖励设计问题列为强化学习的局限^[1]。每一条都可以平实地理解。样本效率低，意味着智能体可能需要与环境交互极多次才能表现良好，而当这些交互发生在真实硬件上时，代价很高。不稳定与收敛问题，意味着训练不总能安稳地收敛，结果可能严重依赖学习过程怎么设置。泛化能力差，意味着一旦情况与训练时遇到的不一样，表现就可能下降。奖励设计问题最不显眼，却往往最尖锐：奖励只是我们真正想要之物的替身，而智能体会去优化这个替身，包括替身上的缺陷。