FunSearch

是什么

FunSearch 是一种让大语言模型参与困难数学与计算问题的方法。它的名字来自「在函数空间中搜索（searching in the function space）」：它不要求模型直接给出答案，而是要求模型给出一个描述「怎么解这个问题」的程序。^[1] 该方法发表于 2023 年 12 月 14 日的《自然》（Nature），第 625 卷，第 468 至 475 页。^[1] 论文第一作者是 Bernardino Romera-Paredes，Alexander Novikov 与 Matej Balog 是共同作者。^[1]

怎么工作

FunSearch 把一个预训练的大语言模型和一个系统化的评估器（evaluator）配成一对，放进一个进化循环（evolutionary loop）里。^[1] 模型提出候选程序——通常是描述某种攻击问题思路的小函数——评估器则自动给每个候选程序打分。得分高的程序被保留下来，模型再以它们为基础提出变体和组合；如此反复，程序池在一轮轮迭代中逐渐变好。

这套设计被明确当作绕开幻觉（hallucination）的办法，作者认为幻觉限制了此前大语言模型在科学发现中的使用。^[1] 关键在于：每一个提案都要由一个不依赖模型自我判断的评估器打分，一个「说得笃定但实际错误」的程序会被直接淘汰，而不会因为模型自信就被采信。推动搜索前进的是整个循环，而不只是模型本身。

作者还认为，搜索出来的程序往往比原始的解更容易理解，这使得领域专家能够把反馈加回搜索过程。^[1] 一个作为成品交出的解——一串点、一份排班、一个数字——往往难以推敲；而一个能生成该解的程序是可以阅读、可以检查的，懂这个问题的人还能修改它，修改后的版本又可以重新进入循环。

结果

论文报告了两项应用。第一项是极值组合学（extremal combinatorics）中的 cap set 问题，它问的是：在一个离散网格里，最多能选出多少个点，使得其中没有三个点共线。FunSearch 找到了比此前已知最好结果更大的构造，无论在有限维情形还是渐近情形下都是如此。^[1]

第二项是在线装箱（online bin packing），这是一个日常的调度问题：物品一个一个到达，必须在不知道下一件、也不知道后面还有什么的情况下，把它们放进容量固定的箱子里。在这个问题上，FunSearch 找到了优于广泛使用基线的新启发式规则。^[1]

为什么重要

论文把这些结果作为证据，说明大语言模型能够在已有长期历史的开放问题上做出发现。^[1] 这个主张比「模型将自动化科学」的笼统期待要窄，也更可检验：所选的题目都有很长的研究历史，对任何候选答案都有明确的评分规则，而且都存在公认的已知最好结果可供超越。

两个案例还展示了方法中两个部分各自承担的不同工作。cap set 的结果说明程序搜索能够抵达人们尚未写下的构造；装箱问题的结果说明同一套机制也能产出在实际场景中有用的启发式规则，并且可以与广泛使用的基线相比较。两者依赖同一个前提：模型负责提供变化，评估器负责裁决。