Gemini 历史人物图像失实，谷歌暂停人物图像生成

背景

2024年2月，Gemini 对话应用除了回答问题，还能按文字提示生成图片。人物图像生成功能上线大约三周，建立在谷歌的 Imagen 2 模型之上^[1]。这类文生图（text-to-image）系统的工作方式是：模型从大量图像及其文字说明中学习物体、场景和风格通常长什么样，再根据用户给出的描述拼出一张图。它本身并不掌握历史知识，只是照着提示里的词把画面补全，因此画面里的人长什么样，很大程度上取决于训练数据和后续调校。

调校有一部分是有意为之。谷歌把这个功能调成让人物呈现多元的面貌^[1]，这在面向全球用户的产品里很常见：当大量用户都在要「一位医生」「一个家庭」的图片时，总是返回同一种面孔并不是好的回答。当时该功能在英国和欧洲尚不可用^[2]。

发生了什么

用户开始分享一些与历史不符的图片，其中包括把第二次世界大战中的德国士兵和维京人画成有色人种^[2]。2024年2月22日，谷歌暂停了 Gemini 的人物图像生成，以便改进回答的准确性^[1][2]。

谷歌的解释

谷歌说有两处出了问题。第一处是为呈现多元人群所做的调校，没有考虑到那些显然不该呈现多元的情形^[1]。当提示指向一个具体的历史群体时，用户要的是一种特定的画面，而多样性设定被用在了不该用的地方。第二处是模型在一段时间里变得比预期更谨慎，对某些提示干脆拒绝作答^[1]。这是另一种性质的错误：不是画出错的图，而是一张也不画，用户的请求同样没有得到正确的回应。

谷歌 Gemini 团队的高级总监 Jack Krawczyk 表示，这个工具的设计初衷是反映谷歌的全球用户群体，但在历史人物的描绘上「没有说到点上」^[2]。

2024年2月23日，谷歌在博客文章中承认，部分生成的图像「不准确，甚至冒犯」，并为此道歉^[1]。

影响

谷歌表示已关闭人物图像生成，在重新开放之前会大幅改进这项工作，包括进行广泛测试^[1]。这件事常被当作生成式 AI 的一个典型例子：系统的默认设定是人选的，在一个场景里合适的默认值，换到另一个场景就可能明显是错的。修补起来也不轻松，因为这种行为来自训练数据与叠加其上的调校共同作用，并非改一处就能解决。同时，它也让人注意到分寸的难处：既不该该拒绝时拒绝，也不该在不该拒绝时拒绝。