Sakana AI 用进化搜索融合开源模型，做出日语大模型

背景

模型融合（model merging）是一种不从头训练、而是把已有模型组合成新模型的做法。实际工作中，它常常依赖人的直觉与领域知识：由人决定把哪些模型合在一起、比例怎么定。Sakana AI 在 2024 年 3 月 19 日发布了这篇模型融合论文，并把这种依赖概括为通常做法的约束，然后提出另一种思路。^[1]

发生了什么

另一种思路是在开源模型的组合上进行进化搜索（evolutionary search）。它不是由人手工挑出一个配方，而是在候选组合中搜索。作者表示，这种做法不需要额外的训练数据或算力。这样一来，模型融合就从手工设计任务，变成了一个在已有模型上进行的搜索问题。^[1]

关键细节

作者说，这种方法不止是权重混合（weight blending）。权重混合处理的是参数值怎么合；他们的方法还会优化层与层之间的数据流（data flow）。也就是说，搜索不局限于每个模型的权重以多大强度混合，还可以改变信息在组合后的网络中如何传递。^[1]

为了演示这个想法，团队做了一个既能处理日语、也能处理数学的模型，属于跨领域案例。放出的 7B 模型融合了 Shisa Gamma 7B v1、WizardMath 7B v1.1 和 Abel 7B 002。^[2] 权重于 2024 年 3 月 6 日上传到 Hugging Face，比论文早 13 天。^[2] 这些模型是作为实验发布，而不是产品。^[2]

影响

这件事是一个具体例子：用搜索来组合开源模型。它说明，在作者描述的设定下，跨领域模型可以由已有检查点拼出来，而不必增加训练数据或算力。^[1] 它也说明，模型融合不只是做一次加权平均：优化层间数据流，等于给搜索多开了一个维度。^[1]

以实验而非产品发布，也设定了外界对它的预期。这个 7B 模型不是作为产品呈现，而是作为方法的检验。^[2] 这样，重点就落在配方和搜索过程上，而不是一个完成品上。论文和模型卡一起记录了一个具体案例：一个面向日语和数学的模型，由点名给出的开源模型构成，权重在论文出现之前已经可用。^[1][2]

对读者来说，值得注意的不是某一个分数，而是这套工作流程。论文描述了一种划定模型组合空间并加以搜索的方式；模型卡则记录了一次这样的运行产出了什么。因此，这项工作处在模型融合与自动搜索的交汇处，并通过一个放出的模型让这个交汇点变得可见。^[1][2]