用深度强化学习控制托卡马克等离子体的磁场

要解决什么问题

托卡马克（tokamak）用磁场把高温等离子体（plasma）约束在容器里，使它不碰到器壁。要做到这一点，靠的不只是磁体本身，还有控制：容器周围一圈磁控制线圈的电流必须不断调整，对等离子体做闭环控制（closed-loop control）——测量当前状态、算出偏差、立刻修正。这是一个高维、高频的控制问题：要同时下指令的线圈很多，每一步可供计算的时间很短 ^[1]。作者把托卡马克反馈控制称为强化学习（reinforcement learning）被应用到的最难的现实系统之一 ^[1]。

传统做法是由人依据物理模型设计控制器，再手工调整线圈该如何响应。这篇论文问的是另一个问题：能不能让控制器自己学会指挥全部线圈。

怎么做的

作者提出一种控制器架构，它能自主学会如何给整套控制线圈下指令 ^[1]。强化学习粗略地说就是「带打分的试错」：控制器在环境里采取动作，得到一个人为设定的奖励，据此调整自己的行为，以争取更高的奖励。在这项工作里，动作就是对线圈的指令，被评价的是它造成的等离子体状态。

这套设计有一个关键之处：人的输入放在比较高的层级上。目标以较高层级给出，同时物理与运行约束仍然得到满足 ^[1]。也就是说，操作者说明想要什么样的等离子体位形，而不必逐条写出每个线圈的电流波形；具体怎么驱动线圈，由学出来的控制器负责，而保证机器处在安全、可运行范围内的那些约束依旧生效。这样分工之所以重要，是因为真正难以手工指定的部分——从想要的位形反推整套线圈电流——恰恰交给了学习来完成。

结果

实验在可变位形托卡马克（Tokamak a Configuration Variable）上进行。学出来的控制器在该装置上产生并控制了一系列等离子体位形，包括被拉长的常规位形 ^[1]。它还处理了更复杂的位形：负三角形变（negative triangularity），以及所谓的雪花位形（snowflake shape） ^[1]。这些位形的横截面不同于标准的拉长形状，对线圈提出的要求也各不相同。

除了单一等离子体，作者还维持了所谓的「液滴」（droplet）：容器内同时存在并保持两团彼此独立的等离子体 ^[1]。在一个容器里同时约束两个等离子体对象，对控制器是相当苛刻的检验，因为磁位形必须同时为两者服务。

为什么重要

论文于 2022 年 2 月 16 日发表在 Nature，第 602 卷，414 至 419 页；作者包括 Jonas Degrave、Federico Felici、Jonas Buchli 和 Michael Neunert ^[1]。它的意义在于展示了学习型控制在真实物理系统——而不只是仿真里——能承担什么：控制器可以接下托卡马克中高维、高频的驱动任务，即整套线圈，并在目标以较高层级给出、物理约束得到遵守的前提下，交付多种等离子体位形，包括非常规位形和双等离子体这种情形 ^[1]。

托卡马克的运行依赖能否可靠地塑造并维持等离子体，因此，一个能从高层目标出发抵达多种位形的控制器，对「机器控制可以怎么做」这个问题是一个有分量的例证。作者自己的定位——这是强化学习被应用到的最难的现实系统之一——也把这项结果放进了更大的脉络里：学习型控制正从游戏和仿真走进那些一旦出错就会产生物理后果的装置 ^[1]。

局限与待答的问题

论文报告的是在一台装置上、针对一组位形所做的受控实验，并没有声称已经解决托卡马克运行的全部问题。这项工作的价值受它被检验的场景所限定；它留下的问题，也是学习型控制器进入物理系统时常见的那几个：方法能否迁移到别的机器上，约束处理在实验覆盖之外的情形下表现如何。