Solar Open 100B（Upstage 开源 MoE 模型）

是什么

Solar Open 100B 是韩国公司 Upstage 发布的开源权重（open-weight）大语言模型，权重于 2025 年 12 月 10 日上传到 Hugging Face^[1]。它是一个混合专家（mixture of experts, MoE）模型，总参数 1026 亿，每个 token 激活 120 亿^[1]。模型支持英文和韩文两种语言^[1]。

混合专家是一种让超大网络跑得起的方法：不把每个 token 都送进网络的每一部分，而是维护许多独立的子网络（即「专家」），再由一个路由步骤决定每个 token 去哪些专家。于是总参数量描述模型装了多少东西，激活参数量描述处理一个 token 要花多少计算。这里的两个数字大约相差 8.5 倍^[1]。

结构

专家配置是具体的：共 129 个专家，其中 128 个路由专家加 1 个共享专家，每个 token 送给得分最高的 8 个^[1]。共享专家是所有 token 都会经过的那一个，路由专家则按 token 逐个挑选——这是常见做法，等于给路由器留了一条固定的基线通路。

预训练用了 19.7 万亿 token^[1]，训练在 NVIDIA B200 GPU 上完成^[1]。Upstage 表示模型完全从零训练，而不是在别的 checkpoint 上继续训练^[1]，因此发布出来的权重来自一次从随机初始化开始的训练，而不是在已有模型上做微调。

上下文窗口为 128K token^[1]，一份长文档或一段较大的代码可以放进同一个提示里。

许可与运行

权重以 Upstage Solar License 发布，这是公司自定的许可，而不是 OSI 认可的开源许可^[1]。这个区别在下载之前就该弄清楚：「开放权重」指文件可以下载，「开源许可」是一个具体的法律类别，自定义许可可以附加 OSI 许可不会允许的条件。打算商用的人需要读条款，不能想当然。

有两样东西让它更容易实际跑起来。NotaAI 发布了官方的 INT4 量化版本^[1]。量化是把权重存成更低的数值精度——用 4 位整数代替训练时的 16 位格式——以减少内存占用，代价是精度有所损失。官方列出的最低硬件是 4 张 A100 80GB^[1]；这个数字也说明，稀疏模型虽然每个 token 只用 120 亿参数，但 1026 亿参数仍然要全部放进显存。

技术报告与后续

技术报告在 2026 年 1 月 11 日发布，比权重晚约一个月^[2]。报告描述了为低资源语言合成 4.5 万亿 token 的工作^[2]，也就是为网络上现成材料稀少的语言生成训练文本，而不是只用已有语料。

更大的 Solar-Open2-250B 随后于 2026 年 7 月 22 日发布^[3]。

怎么看这个模型

值得注意的有三点。一是语言对：它明确面向英文和韩文^[1]，而不是只做英文。二是许可：自定义许可意味着「开源」的边界要按条款判断，而不是按标签判断^[1]。三是数据工程被写进了文档——技术报告里那 4.5 万亿合成 token，说的就是怎么给覆盖不足的语言补料^[2]。对想尝试的人来说，官方量化版和写明的最低硬件^[1]让成本在动手之前就能估出来。