Palmyra-mini-thinking-b（数学推理变体）

是什么

Palmyra-mini-thinking-b 是 Writer 于 2025 年 9 月 10 日在 Hugging Face 上发布的语言模型 ^[1]。它有 17 亿参数 ^[1]。名字里的「thinking」表明它属于先写出中间推理、再给出最终答案的那一类模型，而模型卡所报告的基准也正是在这类模型上常用的评测：竞赛数学、奥赛风格题目和程序设计竞赛 ^[1]。模型卡将语言标为仅英语 ^[1]，并把模型置于 Apache 2.0 许可证之下 ^[1]，这是一种允许复用与修改的宽松开源许可证。

由来

这个模型不是从零训练的，而是对 Nvidia 的 OpenReasoning-Nemotron-1.5B 做微调（fine-tuning）得到的 ^[1]，发布版本的参数量比它所基于的检查点更多：17 亿对 15 亿 ^[1]。微调指的是在一个已有模型的基础上，用范围更窄的材料继续训练，让它习得某项特定能力或风格，而不是从头教它语言。它支持 131,072 个词元（token）的上下文窗口（context window）^[1]。上下文窗口指模型一次能容纳多少文本，以词元计；一个词元大致相当于一个词片，因此这样的窗口约等于一份长文档，足以放下冗长的题目描述和随之而来的一长串中间步骤。

报告的基准成绩

模型卡的内容以数学和代码评测为主。在 AMC23（美国数学竞赛题目集）上，它的成绩是 92.50% ^[1]。在 MATH500 上，pass@1 为 88.20%，64 次采样的平均值为 93.80% ^[1]。AIME24 为 59.43%，AIME25 为 49.69%，两者都是 64 次采样的平均值 ^[1]。偏知识性的测试低一些：MMLU-Pro 为 55.49%，GPQA 为 42.01%，同样是 64 次采样的结果 ^[1]。代码方面，Codeforces 为 63.43%，OlympiadBench 为 57.33% ^[1]。代码生成基准 HumanEval 给出的则是单次采样、pass@1 下的 7.32% ^[1]。

怎么读这些数字：单次与 64 次

采样使用了 temperature 0.6 和 top-p 0.95 ^[1]。温度控制模型在挑下一个词元时注入多少随机性，top-p 则把候选限制在累计概率达到某一比例的最高概率词元之内；两个设置合起来决定了一组答案能有多大差异。模型卡同时给出单次采样和 64 次采样的平均值，原因是两者在困难基准上差距很大 ^[1]。在 MATH500 上看得很清楚：第一次尝试的 pass@1 是 88.20%，而 64 次尝试的平均值是 93.80% ^[1]。在更难的 AIME 上，模型卡只给了 64 次采样的平均值 ^[1]。HumanEval 的 7.32% 是单次采样的 pass@1 ^[1]，属于卡上更严格的那一栏，而不是 64 次采样的平均值。

在发展中的位置

宽松许可的小模型已经成为一种实用的选择：不必依赖托管服务，也能跑推理任务。这个发布属于这一组——几十亿参数、长上下文窗口、宽松许可证，以及公开的基准数字 ^[1]。模型卡读起来像一张强项与弱项的地图。竞赛数学显然是强项，AMC23 超过 90%，MATH500 单次尝试就在八成八以上 ^[1]。广博的事实与科学知识偏弱，MMLU-Pro 为 55.49%，GPQA 为 42.01% ^[1]。代码表现不均衡：Codeforces 有 63.43% ^[1]，而单次采样的 HumanEval 只有 7.32% ^[1]。由于模型卡把单次采样与 64 次采样的平均值并列给出，读者能看出成绩中有多少依赖于被允许多试几次；当模型被用在只产出一个答案的任务上时，这一区分相当关键。