Seed-OSS-36B 开源模型

一次发布三个模型

2025 年 8 月 20 日，字节跳动 Seed 一次性发布了三个开放权重（open-weight）语言模型：Seed-OSS-36B-Base、Seed-OSS-36B-Base-woSyn 和 Seed-OSS-36B-Instruct。^[1] 其中前两个是预训练基础模型，区别在于「woSyn」版本在预训练时没有使用合成指令数据，这样就可以把只用普通文本训练的模型与额外见过机器生成指令数据的模型放在一起比较。^[1] Instruct 版本是面向对话和任务执行做过后训练的模型，公布的成绩也最详细。^[1] 三个模型均以 Apache-2.0 许可证发布，允许商用与非商用使用、修改和再分发。^[1]

模型结构

Seed-OSS-36B 是一个因果语言模型（causal language model），也就是最常见的从左到右逐词预测下一个 token 的结构，360 亿参数分布在 64 层里。^[1] 注意力部分使用分组查询注意力（grouped-query attention）：80 个查询头共享 8 个键/值头，这样注意力缓存的开销远低于 80 个独立键/值头的情况。^[1] 隐藏层维度为 5,120，注意力头维度为 128，词表大小为 155K。^[1] 位置信息来自旋转位置编码（RoPE），基频为 1e7；归一化使用 RMSNorm，前馈层使用 SwiGLU 激活函数。^[1]

训练使用了 12 万亿 token，模型原生支持最长 512K token 的上下文，足以在一次输入中放入整本书或规模较大的代码仓库。^[1] 发布信息把这个训练量描述为对同规模模型而言偏小的预训练预算，其中隐含的判断是：精心处理的数据可以和单纯的 token 数量一样重要。^[1]

可以设定的「思考预算」

这个模型最有特点的设计是用户可以设置的「思考预算」（thinking budget）。^[1] 字节跳动建议把它设为 512 的整数倍；把预算设为 0 时，模型会直接给出答案，不进行推理过程。^[1] 在推理过程中，模型会输出自我反思标签，报告自己已经用掉多少思考 token、预算里还剩多少。^[1] 这相当于给调用方一个旋钮，用来控制模型可以思考多久，而模型自己也能看到还剩多少额度。

采样参数方面，模型卡建议温度设为 1.1，top_p 设为 0.95。^[1]

跑分结果

Instruct 版本公布的成绩包括：AIME24 91.7、AIME25 84.7、LiveCodeBench v6 67.4、MMLU-Pro 82.7、MMLU 87.4、GPQA-D 71.4、IFEval 85.8、MMMLU 78.4，以及 RULER（128K）94.6。^[1] 在软件工程基准 SWE-bench Verified 上，搭配 OpenHands 脚手架时得分为 56，搭配 Agentless（4x10）脚手架时为 47。^[1] 同一个模型出现两个不同的数字，说明这类智能体式编程任务的结果很大程度上取决于外围框架——提供了哪些工具、如何重试、失败信息怎样回传——而不只取决于模型本身。

基础模型（使用合成数据的版本）的成绩为：MMLU-Pro 65.1、MMLU 84.9、GSM8K 90.8、MATH 81.7、HumanEval 76.8，符合一个尚未经过指令微调、也没有长推理过程训练的预训练检查点的典型水平。^[1]

在开源模型中的位置

Seed-OSS-36B 处在开放权重模型的中段：大到足以处理长上下文阅读和多步推理，又小到让希望自行部署和微调的组织在工程上可以承担。它几个有辨识度的选择是偏小的预训练 token 预算、512K 的原生上下文、Apache-2.0 许可证，以及显式的思考预算——后者把推理长度变成请求里的一个参数，而不是模型固定的属性。把一个基础模型和一个不含合成数据的基础模型同 Instruct 版本一起发布，也为研究者提供了一组对照，用来观察合成指令数据究竟带来了什么。