Med-PaLM 与 Med-PaLM 2

是什么

Med-PaLM 与 Med-PaLM 2 是面向医学问答的大型语言模型，在两篇 arXiv 论文中提出并接受评测。第一篇《Large Language Models Encode Clinical Knowledge》于 2022 年 12 月 26 日发布^[1]；第二篇《Towards Expert-Level Medical Question Answering with Large Language Models》于 2023 年 5 月 16 日提交，介绍的是 Med-PaLM 2^[2]。两篇论文关心的是同一件事：让模型读懂用自然语言写成的医学问题——既包括考试风格的题目，也包括人们真的会输入搜索框的问题——并用文字给出答案。

由来

第一篇论文同时提出了衡量这类模型的基准。MultiMedQA 把六个已有的医学问答数据集与一个新的数据集 HealthSearchQA 合并在一起，后者收集的是人们在网上搜索过的医学问题^[1]。实验的起点是 Flan-PaLM，即经过指令微调（instruction tuning）的 PaLM。在 MedQA 上——这是一批模仿美国执业医师资格考试风格的题目——Flan-PaLM 达到 67.6%，比此前的最好成绩高出 17% 以上^[1]。

Med-PaLM 则是在 Flan-PaLM 基础上用指令提示微调（instruction prompt tuning）得到的，这是一种参数高效的方法，只需少量示例^[1]。它的思路不是重新训练整个模型，而是用几个范例学出一小组额外的提示参数，以较小的代价把模型引向特定任务。

怎么评测

论文没有只看选择题准确率。按第一篇论文的说法，对 Flan-PaLM 回答的人工评测暴露出关键差距^[1]；而经过微调的 Med-PaLM 虽然表现令人鼓舞，仍不如临床医生^[1]。自动分数加医生审阅自由文本回答，这两条线共同决定了数字的含义：考试分数高，说明模型能选对选项或给出看似合理的答案；人工评分问的是这个答案是否正确、完整和安全。

Med-PaLM 2

后续论文报告 Med-PaLM 2 在 MedQA 上最高达到 86.5%，比 Med-PaLM 提升 19% 以上^[2]。这一提高发生在第一篇论文之后几个月内。

在医学 AI 发展中的位置

Med-PaLM 的意义更多在方法而非产品：它给出了一个公开基准 MultiMedQA，以及一套把自动准确率与人工审阅并列报告的评测方式^[1]。MedQA 上从 67.6% 到 86.5% 的变化，此后常被当作医学语言模型的参照^[1][2]。论文自己的人工评测也标出了边界——基准分数的上升快于临床判断力，而第一篇论文的结论是模型尚未达到医生的水平^[1]。考试风格的题目检验的是模型能否选出或生成预期答案，本身并不能说明它在真实病人面前会怎样表现，这也是作者把分数与医生审阅放在一起报告的原因。