EvoLLM-JP（进化式模型融合日语模型）

是什么

EvoLLM-JP 是 Sakana AI 发布的日语模型。7B 版本在 2024 年 3 月 6 日上传到 Hugging Face，比介绍其方法的论文更早公开^[2]。Sakana 把它定位为实验性的通用日语模型^[2]。

它的特别之处不在参数规模，而在制造方式：不是从头训练，而是把已有的开源模型融合（merge）成一个新模型。融合后的模型具备数学能力，而参与融合的三个来源模型单独拿出来都没有这样的能力^[1][2]。

由来

7B 版本由三个模型融合而成：Shisa Gamma 7B v1、WizardMath 7B v1.1 和 Abel 7B 002^[2]。方法论文《Evolutionary Optimization of Model Merging Recipes》由 Sakana AI 在 2024 年 3 月 19 日发表^[1]，所以先后顺序是模型先上线、论文后公开^[1][2]。

论文的做法是：不再由人手工指定拿哪几个模型、按什么比例混合，而是用进化搜索（evolutionary search）在大量可能的融合方案里自动寻找^[1]。搜索同时发生在两个空间中——参数空间（parameter space）与数据流空间（data-flow space）。前者决定权重怎么混合，后者可以重新连接层与层之间的数据通路。也就是说，候选方案不只是把几组权重按比例相加，还能改动网络内部的结构走向^[1]。

怎么理解这种做法

模型融合的一般思路，是把几个已经训练好的模型合成一个，不需要重新收集数据、重新跑一遍大规模训练。难点在于可能性太多：选哪几个模型、各占多少、哪一层接哪一层，靠人工一个个试很快就不够用了。进化搜索把每一种组合当成一个候选，评估之后留下表现好的，再在它们的基础上做改动、生成下一代候选，如此反复迭代。因为搜索范围包含数据流，改动可以落在层的连接方式上，而不只是数值的加权^[1]。这样做省掉了重新训练，代价是最终效果很依赖候选如何生成、如何评估。

同一套配方的其他产物

EvoLLM-JP 不是孤例。2024 年 3 月 8 日，10B 版本被上传^[2]；更早的 2024 年 3 月 4 日，同一套做法还产出了 EvoVLM-JP——一个日语视觉语言模型（vision-language model）^[2]。

许可方面，7B 模型用的是自定义条款，在 Hugging Face 上登记为「other」，并不是 OSI 认可的开源许可证^[2]。要基于它做二次开发，需要先看清条款允许什么。

意义

Sakana 把这一方法作为通用的跨领域融合配方发布，并不只针对日语模型^[1]。EvoLLM-JP 因此更像一个示范：来源模型各自都有短板，但搜索出来的组合可以在某个方向上超过它们中的任何一个^[1][2]；而「怎么组合」这件事本身，也从一个靠人工判断的问题，变成了可以自动搜索的问题^[1]。

^[1]: arXiv，《Evolutionary Optimization of Model Merging Recipes》 ^[2]: Hugging Face，EvoLLM-JP-v1-7B 模型卡