Sarvam-M（印度多语言混合推理模型）

是什么

Sarvam-M 是 Sarvam AI 发布的开源权重（open weights）语言模型，参数量 240 亿。它不是从零训练的：基座是 Mistral Small——一个本身以 Apache-2.0 许可发布的开放模型，Sarvam 在它之上做了后训练，名字里的 M 即来自 Mistral。^[1] 放出的权重同样采用 Apache-2.0 许可，覆盖 11 种语言，其中包括印地语（Hindi）、孟加拉语（Bengali）、泰米尔语（Tamil）和泰卢固语（Telugu）。^[2]

后训练（post-training）指基座模型在原始文本上完成第一轮训练之后所做的一切：教它按指令回答、调整它的语气、把它在具体任务上的准确率往上推。因为基座已经具备通用语言能力，这一步比预训练便宜得多，也更容易对准特定人群。

由来

Sarvam AI 于 2025 年 5 月 23 日发布介绍该模型的技术博客。^[1] 权重上传得更早，是 2025 年 5 月 20 日，比博客早三天。^[2] 在一个已有的 240 亿参数开放模型上做后训练，而不是自建基座，等于把算力预算花在行为调校和语言覆盖上，而不是花在预训练本身。

怎么训练

Sarvam 把训练分成三部分：监督微调（supervised fine-tuning）、带可验证奖励的强化学习（reinforcement learning with verifiable rewards）和推理优化（inference optimisation）。^[1]

监督微调是其中最直接的一步：把大量「指令—好答案」的成对样本喂给模型，让它学会照着这些答案的格式和风格来回答。

带可验证奖励的强化学习用在答案能自动判对错的题目上，比如有唯一正确答案的数学题，或者跑得通与跑不通的代码。模型生成若干次尝试，能验证通过的那些得到奖励，训练就沿着「得到奖励的方向」微调参数。这里用的算法是 GRPO（group relative policy optimisation，组相对策略优化）：对同一个问题采样一组答案，让它们互相比较出相对好坏，而不必另训一个模型给每次回答打分。

第三部分是推理优化：目的是让模型在实际提供服务时更便宜、更快，而不是让它在基准上更聪明。^[1]

Sarvam 还表示，它对带有政治倾向的回答做了去偏（debiasing），再把模型朝与文化相关的内容上重新偏置。^[1] 直白地说，后训练数据被往两个方向编辑过：一类是去掉倾向某一种政治立场的回答，一类是主动把回答引向模型所要服务的文化语境。这两件事改的是模型的行为，而非它学到的基础知识。

模型有两种运行模式：思考（think）和不思考（non-think），两者由同一套课程（curriculum）训练出来。^[1] 思考模式先写出中间的推理步骤再给结论，不思考模式直接作答。因为出自同一套课程，同一份权重就能承担两种模式，由调用方按请求选择。

结果

相对它自己的基座模型，Sarvam 报告在印度语言基准上平均提升 20%。^[1][2] 数学基准提升 21.6%，编程基准提升 17.6%。^[1][2] 单项涨幅最大的是罗马化印度语言的 GSM-8K 基准，提升 86%。^[1] GSM-8K 是一组小学水平的数学应用题；罗马化（romanised）指用拉丁字母拼写印度语言，也就是人们在聊天里常用的那种写法。这种输入和标准文字差别很大，涨幅之所以大，通常说明基座模型在这类文本上原本很吃力。

MMLU-IN 的分数从 0.64 升到 0.79，MMLU-IN-R 从 0.49 升到 0.66。^[1] MMLU 是考察学科知识的选择题基准，这两个是针对印度语言与语境的版本。

局限

英文 MMLU 相对基座模型下降了约 1 分，Sarvam 自己把它列为弱点。^[1] 这种「目标语言大涨、英文小跌」的形态正是后训练的代价：容量被引向印度语言的数据和行为，别处就会让出一点。

在发展中的位置

一份 Apache-2.0 的权重、覆盖 11 种印度语言，又附上训练方法说明，别的团队就可以拿它继续微调、自行部署或在上面搭应用。^[2] 它相对自身基座在数学、代码和印度语言基准上的差距，是这份报告里最有用的部分：它衡量的是后训练这一步加了多少，而不是一个 240 亿参数模型的普遍水平。