谢尔盖·莱文

谢尔盖·莱文（Sergey Levine）是研究机器人学习的计算机科学家。他是加州大学伯克利分校（UC Berkeley）电子工程与计算机科学系的教授，2016 年起任该职^[1]，同时也是 Physical Intelligence 的联合创始人，公司团队页面上列有他的名字^[1][2]。

教育背景

莱文在斯坦福大学（Stanford University）取得计算机科学的学士、硕士和博士学位^[1]。他的博士导师是 Vladlen Koltun^[1]。

任职经历

2015 年，莱文是谷歌（Google）的兼职研究科学家^[1]。同年，他加入华盛顿大学（University of Washington）保罗·G·艾伦计算机科学与工程学院的教职^[1]。2016 年，他成为加州大学伯克利分校电子工程与计算机科学系的教授^[1]。

研究内容

莱文的研究覆盖面向机器人的深度强化学习（deep reinforcement learning），其中被明确提到的三条线索是：引导策略搜索（guided policy search）、端到端视觉运动策略学习（end-to-end visuomotor policy learning），以及从大规模机器人数据中进行的离线强化学习（offline reinforcement learning）^[1]。

强化学习的一般做法是：系统尝试各种动作，得到关于做得好不好的分数，再据此调整行为，以便下次拿到更好的分数。深度强化学习则用神经网络来做这件事——神经网络可以表示从机器人感知到机器人动作之间相当复杂的对应关系。把这一套用到真实机器人身上并不轻松：每一次尝试都要消耗真实时间，选错动作还可能弄坏硬件或周围环境。

引导策略搜索正是针对这个难点，名字本身就说明了思路：与其完全靠无指导的试错直接搜索一个神经网络控制器，不如让一个更简单、更容易求解的来源来引导搜索过程。这样得到的网络既能保留那些用别的方法更容易求出的行为，又能在遇到新情况时做出推广。

端到端视觉运动策略学习去掉的是中间的转换环节。常规的机器人系统会先用人工编写的感知程序把摄像头图像变成别的东西，比如物体位置，再由另一个模块决定电机指令。端到端的视觉运动策略则把图像直接映射为动作，全部放在一个学出来的模型里，感知和控制因此是一起训练的，而不是分别设计再在接口处拼接。

从大规模机器人数据做离线强化学习，针对的是另一个瓶颈：采集机器人经验又慢又贵，如果学习方法必须在训练过程中不断尝试新动作，那么大部分成本都花在机器人本身上。离线方法改为从先前收集好的、固定的一批数据中学习，同一批记录下来的经验可以被反复使用，学习过程也不必依赖新的交互。

公司

莱文是 Physical Intelligence 的联合创始人，该公司团队页面列出了他^[1][2]。

在领域中的位置

上述三条研究线索有一个共同方向：它们各自替换掉一块人工设计的部件——手工调校的控制器、手工设计的感知流程，或者依赖实时试错的训练循环——换成从数据中学习。这也是为什么这类工作通常被归入「机器人学习」而不是某个单一应用，也是为什么它把控制、感知和数据采集这些在机器人学里通常分开处理的问题联系在了一起。