Baichuan-M1 医疗大模型

是什么

Baichuan-M1 是百川智能的医疗大模型系列。它于2025年1月24日与 Baichuan-M1-preview 一同发布，公司称后者是中国首个全场景深度思考模型。^[4]开源的部分是 Baichuan-M1-14B，这是一款较小的模型，提供基础版（Base）和指令版（Instruct）。^[4][5][1]

基础版和指令版的区别在于训练阶段：基础版经过训练后擅长续写文本，指令版则在此基础上进一步调优，使其能按请求作答、以对话方式回答问题。

由来

Baichuan-M1-14B 是 Baichuan-M1-preview 的小型开源版本。公司称，它的医疗能力超过了规模更大的通义千问 Qwen2.5-72B，并接近 o1-mini。^[5]公司把它描述为业内首个从零开始为医疗场景构建的开源大语言模型，也是百川智能首个开源医疗模型。^[2]

主要特点

公司称，模型从零开始训练，使用了 20 万亿词元的医疗与通用数据。其中医疗部分包括数千万份专业病历、数亿条医疗问答与临床条目，以及接近一万亿词元的合成医疗推理数据。^[1]词元是模型读取文本的基本单位；合成数据则是由模型生成、用于训练的文本。模型针对 20 多个医疗科室进行了调优。^[2]

模型的架构有若干改动：计算键（key）和值（value）时采用短卷积注意力；部分层使用滑动窗口注意力，只关注附近一段文本，以减少 KV 缓存（保存此前词元的记录）所占用的内存；部分注意力头采用更大的维度，公司称这能减少 RoPE 位置编码的振荡。^[1]

在百川智能的医疗评测套件上，该模型平均得分 72.23。作为对比，公司报告的成绩是：Qwen2.5-14B-Instruct 65.39，Qwen2.5-72B-Instruct 70.51，Claude 3.5 Sonnet 74.85，GPT-4o 75.00。^[1]公司还称，它在通用评测上与同等规模的模型相当，在医疗场景中则超过了五倍于其规模的模型。^[2]

授权与获取

Baichuan-M1-14B 采用 Baichuan-M1-14B 模型社区许可证发布，商用需要联系百川智能。^[2]

在发展中的位置

技术报告 arXiv:2502.12671 于2025年2月18日发布。^[3][1]之后的医疗模型见其他条目。上述评测数字为公司自己公布，读者如需了解测试条件，应查阅技术报告。^[3]