HyperCLOVA X SEED 14B Think（NAVER 轻量推理模型）

是什么

HyperCLOVA X SEED 14B Think 是韩国公司 NAVER 推出的语言模型，权重于 2025 年 7 月 21 日上传到 Hugging Face，可以按随模型附带的许可下载和运行^[1]。它有 147.4 亿（14.74 billion）参数，上下文窗口为 32K，也就是一次能读入约 3.2 万个 token 的文本^[1]。

名字里的「Think」说的不是规模，而是训练方式：模型被训练成先展开中间的推理步骤，再给出答案。这种模式通常在数学、逻辑和多步骤问题上更有用，代价是使用时消耗更多 token。结构上它是稠密 Transformer（dense Transformer），每个 token 都要过全部参数，不同于只激活部分网络的混合专家（mixture-of-experts）结构。架构里有两个不太常见的选择：Peri-Layer Normalization 和最大更新参数化（maximal update parameterisation）^[1]。归一化层的作用是让训练过程中激活值的尺度保持稳定；最大更新参数化则是一种设置训练超参数的方法，使模型宽度变化时这些超参数仍然合适。

配方从哪来

SEED 14B Think 把 NAVER 的轻量化技术与 HyperCLOVA X THINK 的推理训练配方结合起来^[1]。THINK 是这套配方的来源。2025 年 6 月 27 日发表的技术报告把 THINK 描述为 HyperCLOVA X 系列中第一个以推理为重点的模型，预训练使用了约 6 万亿韩文和英文 token^[2]。SEED 14B Think 做的事情，是把同一套配方用到小得多的规模上。

怎么变小

压缩来自两种常见技术合用。剪枝去掉被认为不重要的参数，直接减小网络的原始规模；蒸馏则让较小的模型去学习较大模型的输出，而不是只从原始训练文本里学，从而把一部分能力迁移到小模型里^[1]。两者合用的目的，是尽量保住模型缩小过程中本来会损失的能力。

四阶段的推理训练

推理训练分四个阶段进行^[1]。第一阶段是监督微调，用示例教会模型期望的行为。第二阶段是带可验证奖励的强化学习（RLVR）：模型的答案如果可以通过程序自动判定对错，比如数值结果与预期值一致或不一致，就据此给出奖励。第三阶段是长度可控性，训练模型把推理过程控制在一个给定的预算之内，而不是无论问题难易都用尽可能多的 token。第四阶段把两种信号合到同一个训练阶段里：一种来自人类反馈的强化学习（RLHF），由人的偏好给输出打分；另一种就是可验证奖励^[1]。

训练成本

NAVER 称，训练这个模型的成本比 Qwen2.5-14B 低约 52.6 倍，比 Qwen3-14B 低约 91.4 倍^[1]。模型卡给出的训练成本是 68,049 A100-80GB GPU 小时，模型浮点运算利用率（model flop utilisation）按 50% 计算，也就是大约 68,049 小时使用显存 80GB 的 Nvidia A100 显卡，并假设实际算力达到硬件峰值的 50%^[1]。这些数字和对比都出自 NAVER 自己，说明的是该公司对其训练流程的说法，而不是经过独立核实的测量结果。

许可与后续模型

权重以自定义的 HyperCLOVA X SEED 许可发布，而不是 OSI 认可的开源许可，因此使用条件由 NAVER 自己规定，不适用标准开源许可的条款^[1]。

这个模型处在同一机构一系列发布的中间位置：2025 年 4 月，该机构发布过 0.5B 和 1.5B 的文本模型以及一个 3B 视觉模型^[4]；2025 年 12 月 23 日，32B 的 Think 模型跟进发布，增加了视觉输入和 128K 上下文^[3]。可以看出这是一条分层的模型线，推理版本是在不同规模上套用同一套配方的结果。