EvolutionaryScale 发布 ESM3 与 esmGFP 结果

背景

蛋白质承担着活细胞里的大部分化学工作，它做什么，取决于氨基酸的排列顺序，以及这个顺序折叠成的三维形状。要设计出一段能按预期折叠的序列并不容易，因为可能的序列数量远远超出实验室能逐一尝试的范围。蛋白质语言模型借用了文本语言模型的做法：先在大量序列上训练，学会哪些残基组合看起来合理，于是它不仅能给已有序列打分，还能提出新的序列。

发布了什么

2024 年 6 月 25 日，EvolutionaryScale 公司发布 ESM3，同时公开一篇描述 esmGFP 生成实验的论文^[1]。公司称，ESM3 训练时使用的是当时世界上吞吐量最高的 GPU 集群之一^[1]。随发布一同放出的还有一个开放检查点（checkpoint），托管在 Hugging Face 上。

关键细节

公司报告说，在原子配位（atomic coordination）这类困难的设计任务上，能力会随规模扩大而出现，并在对齐（alignment）之后进一步提升^[1]。原子配位指的是把特定原子放在彼此正确的距离和角度上，这部分靠复现序列的统计规律做不到，需要模型对结构本身有某种把握。

对齐这一步用的是模型对自己输出生成的反馈，做法与基于人类反馈的强化学习（reinforcement learning from human feedback）类似^[1]。那类方法会先给模型的若干答案排序或打分，再把模型往更受偏好的方向调整；在这里，驱动这种调整的反馈由模型自己产生。

发布内容还包括一个由提示驱动的设计案例：为 PETase 的活性位点设计支架（scaffold），PETase 是一种能分解 PET 塑料的酶^[1]。活性位点是反应真正发生的那几个残基，支架则是把它们固定在正确几何位置上的其余结构。围绕给定活性位点设计支架是一个约束很强的问题：设计者在意的那部分已经固定，剩下的部分必须搭得能支撑它。

开放检查点本身也有时间线：它在 Hugging Face 上的仓库创建于 2024 年 6 月 3 日，早于正式公布^[2]。模型卡（model card）记录，这个开放检查点背后是 27.8 亿条天然蛋白质序列^[2]，由此可以看出所涉及的序列数据的规模。

意义

这次发布是一个观察点：蛋白质设计正在被当作通用序列模型的问题来处理，而不只依赖专门的、基于物理的搜索。报告的结果中有两点值得分开看。一是规模：按公司的说法，精确设计所需的能力要等模型和训练规模足够大才出现，之后还能通过对齐继续提高^[1]。二是交互方式的改变：用户不必先指定一个结构再去搜索能与之匹配的序列，而是可以用提示描述设计问题，PETase 支架的例子就是如此^[1]。

开放检查点的意义在另一处。把一个检查点放到 Hugging Face 上，并说明其背后有 27.8 亿条天然蛋白质序列^[2]，意味着公司让外部也能使用这个大型蛋白质模型，而不是只把它留在自家界面后面。发布的时间安排也值得记一笔：仓库在 2024 年 6 月 3 日就已建好，早于 6 月 25 日的公布^[1][2]。