Upstage 开源 102B MoE 模型 Solar Open

发布

2025 年 12 月 10 日，Upstage 发布 Solar Open 100B^[1]。发布时它是这家公司的主力模型，总参数 1026 亿^[1]。处理每个 token 时只有 120 亿参数被激活，模型卡把这种稀疏激活当作设计的要点，而不是实现上的细节^[1]。

稀疏的混合专家

这两个数字的差别，用混合专家（mixture-of-experts, MoE）的思路最好理解。稠密模型对每个 token 都要跑一遍全部参数；稀疏模型保留一个很大的参数池，只把每个 token 送进其中一小部分，送去哪里通常由一个小型路由网络决定。总参数量说明模型能装下多少东西，激活参数量说明每个 token 要花多少计算。Solar Open 100B 的设计让后一个数字只是前一个的一小部分^[1]。这种取舍在部署时最明显：显存通常仍要装得下全部参数，但每一步的算术量接近参数量小得多的模型。

训练与目标

训练用了 19.7 万亿 token，硬件是 NVIDIA B200^[1]。Upstage 说模型面向推理、指令遵循和智能体（agentic）用途^[1]。这三项里最后一项范围最宽：智能体用途指模型被放进一个循环里工作——调用工具、读回结果、决定下一步——而不是答完一个问题就停下。推理和指令遵循是这类任务的基本功：前者对应需要多步推导的问题，后者对应按用户给出的具体要求办事，而不是给一个泛泛的回答。

技术报告

大约一个月后，2026 年 1 月 11 日，技术报告发布^[2]。报告给出的动机与发布时的说法不完全一样：它把这项工作放在「为服务不足的语言构建有竞争力的模型」这一目标下^[2]。报告还提到训练数据中有 4.5 万亿合成 token^[2]。合成数据是让模型生成的训练文本，而不是从人那里收集来的，常被用来补足自然文本稀少的领域和语言。

许可

权重以 Upstage Solar License 发布，而不是开源许可证^[1]。这个区别值得讲清楚：开放权重（open weights）指训练好的参数可以下载和运行，而附带的许可条款由发布方自己写，可以带有开源许可证按定义不会有的限制——谁能用这个模型、允不允许商用、再分发时要一并带上什么。所以 Solar Open 100B 是开放权重，但不是开源^[1]。

位置

这次发布有两点值得注意。一是总参数与激活参数之间的比例：正是这种取舍，让这个规模的模型能以接近小得多的模型的计算成本提供服务，模型卡把它摆在最前面也是这个原因^[1]。二是报告里写的语言动机，它把这个模型放进一条专门为大型模型服务不足的语言做事的工作线上^[2]。而选择自定义许可而不是开源许可，则决定了别人能在什么条件下在它之上继续做东西^[1]。