ESM3

一个模型处理三类蛋白质数据

ESM3 是 EvolutionaryScale 于 2024 年 6 月 25 日发布的蛋白质生成模型。该公司称，它是首个能够同时就蛋白质序列、结构和功能进行推理的生物学生成模型。^[1] 同一个蛋白质可以有不止一种描述方式：一串氨基酸、一个三维形状，或者一句说明它在细胞里做什么。ESM3 的设计出发点，就是把这几种描述放在一起处理，而不是分开处理。

三套字母表，一个训练目标

要在一个模型里同时学习三类数据，ESM3 把结构和功能也转换成离散的字母表，这样序列、结构和功能都可以用同一个掩码 token（masked token）目标来训练——遮住输入的一部分，让模型把它补回来。^[1] 旗舰模型有 980 亿个参数，训练消耗超过 1e24 FLOPs 的算力，EvolutionaryScale 称这是有史以来用在生物模型训练上的最大算力。^[1] 训练数据中还加入了数亿条合成数据，包括预测出的结构和功能。^[1]

生成过程相当于把上面这个过程反过来执行：从全部被遮住的 token 开始，一步步解除遮蔽，每一步都可以由序列、结构或功能提示的任意组合来引导。^[1] 也就是说，使用者可以给出想要的形状、一段功能描述，或者半截序列，让模型补全其余部分。

荧光蛋白实验

荧光蛋白在生物学里常被当作标记使用：它会发光，可以接到其他分子上，让这些分子在显微镜下看得见。在一次这样的实验里，ESM3 被用来生成新的荧光蛋白，得到的 esmGFP 与已知最接近的荧光蛋白序列只有 58% 相同。^[1][2] 研究团队估计，这段序列差距相当于模拟了 5 亿年以上的演化。^[1][2]

这次实验并没有直接得到和天然蛋白同等水准的成品。那 96 个生成结果中有几个确实发出荧光，其中一个叫 B8 的，亮度比天然 GFP 暗 50 倍。^[1] 也就是说，模型确实造出了会发光的蛋白，但比用来对照的天然版本暗得多。

开源检查点与防护措施

除了更大的模型，团队还放出了一个开源检查点。它用 27.8 亿条天然蛋白训练，数据扩展到 31.5 亿条序列、2.36 亿个结构和 5.39 亿条功能注释，合计 7710 亿个 token。^[3] 训练数据中移除了与病毒相关的序列，以及美国农业部（USDA）Select Agents and Toxins 清单上的蛋白；功能解码器也按有害关键词做了过滤。^[3] 发布时模型分为小、中、大三种规格，其中开源模型以非商业许可发布。^[4]

它在发展中的位置

这项工作的同行评议版本于 2025 年 1 月 16 日发表在 Science 上。^[2] 这类模型之所以受到关注，与蛋白质设计本身的难点有关：可能的氨基酸序列数量极大，实验室里做实验又很慢，而演化只探索过其中很小一部分。一个可以被指向某个结构或功能的模型，提供了一种在动手合成之前先提出候选方案的途径。荧光蛋白的结果同时展示了它的两面：一边是一个与已知序列相距极远却仍然有效的蛋白，另一边是比自然界已有版本暗得多的一件早期作品。