Kaggle 默克分子活性预测挑战赛

背景

Kaggle 是一个举办预测建模竞赛的在线平台：出题方给出问题和数据集，参赛者提交预测结果，结果在排行榜上打分排名。2012 年 8 月，平台上举行了默克分子活性预测挑战赛（Merck Molecular Activity Challenge），比赛从 2012 年 8 月 17 日开始，到 2012 年 10 月 17 日结束^[1]。

出题方默克（Merck）是一家制药公司，它提出的问题属于药物研发中最常见的瓶颈之一：对一个小分子，人们关心的往往不只是它长什么样，还有它在生物体内会起什么作用。

竞赛要求做什么

竞赛要求参赛者依据分子的化学结构生成的数值描述符（descriptor），预测分子的生物活性，既包括在靶（on-target）活性，也包括脱靶（off-target）活性^[1]。这句话背后有两个概念。在靶活性指分子对它所针对的生物靶标产生的效应；脱靶活性指它对其他靶标产生的效应，很多不希望的副作用就来自这里。对每个候选分子都去实测这两种活性既慢又贵，所以单从结构预测活性很有吸引力。描述符则是从化学结构计算出来的一组数字——把画着原子和键的结构式，变成一串长度固定的数值，好让统计模型能够处理。

竞赛建立在 15 个分子活性数据集之上，每个数据集对应一个具有生物学意义的靶标^[1]。也就是说，参赛者做出的模型必须在许多不同靶标上都站得住，而不能只针对某一个靶标调优。

规模与奖金

奖金总额为 4 万美元，其中第一名获得 2.2 万美元^[1]。竞赛共有 374 名参赛者，组成 236 支队伍^[1]。

结果

在 Kaggle 给出的成绩中，第一名是 George Dahl、Ruslan Salakhutdinov、Navdeep Jaitly、Chris Jordan-Squire 和 Geoffrey Hinton^[1]。《纽约时报》在 2012 年 11 月报道说，一支跟随 Geoffrey Hinton 学习的研究生队伍在这项由默克赞助的竞赛中赢得了头奖^[2]。据该报报道，这支队伍是最后时刻才报名的，而且他们在设计软件时并不掌握分子如何与靶标结合的具体知识^[2]。

为什么重要

Kaggle 首席执行官 Anthony Goldbloom 说，这是深度学习第一次获胜，而且是在一个本来不被认为它能赢的数据集上获胜^[2]。这里的深度学习指具有多个层、能够从数据中自行构建内部表征的神经网络，而不是依赖领域专家手工设计的特征。在化学竞赛里，人们自然会期待相反的情形：由化学知识、由对分子如何与靶标相互作用的理解塑造出来的预测器。

这次报道出来的结果比任何关于两条技术路线的笼统论断都要具体：一支很晚才加入、在不懂分子结合方式的情况下写出软件队伍，在竞赛的 15 个靶标数据集上做出的预测足以拿到第一名^[2][1]。对今天的读者来说，这件事的价值在于它是一个有据可查的早期案例：一种通用的学习方法，只以描述符数字为输入，在一个长期由专家设计特征主导的领域里跑到了前面——而竞赛的组织者自己也并未预料到这样的结果^[2]。

它同时也是一个关于「如何公开地提出科学预测问题」的小小标记：赞助方提供数据和评价指标，许多队伍各自独立地攻同一个问题，排行榜记录谁做得最好。374 名参赛者、236 支队伍这个数字，也成了这类开放竞赛如何成长起来的一份记录^[1]。