安全与治理 论文

一篇2021年FAccT论文，作者为Bender、Gebru、McMillan-Major和Shmitchell，追问语言模型是否会过大，并就成本、数据、研发目标与替代研究方向提出建议。

InstructGPT 结合人工撰写的示范回答、人类对输出的排序和强化学习，让 GPT-3 更好地遵循用户指令。即使模型小得多，标注员也更偏好它的输出。

2017 年的论文，展示了 AI 智能体可以从人类对行为的简短比较中学习任务，而无需手写奖励。这一方法即基于人类反馈的强化学习，后来成为训练聊天助手的核心步骤。

OpenAI 在 2019 年发表的 GPT-2 论文，模型拥有 15 亿参数。研究表明，仅训练预测下一个词的模型在提示下就能完成多种任务，其分阶段发布也引发了关于是否公开强大模型的讨论。

2022 年，Percy Liang、Rishi Bommasani、Tony Lee 等作者发表的一篇论文：把 30 个语言模型放到同样的 42 个场景、7 项指标下评测，让分散的基准变成一套标准化评估。

《宪法式 AI》是 Anthropic 2022 年的论文，提出以书面原则和 AI 反馈代替人工标注有害输出，训练无害的助手。

Meta 为 Muse Spark（Meta AI 的底层模型）发布的安全与准备度报告，交代了支撑其发布决策的灾难性风险评估，并论证在施加缓解措施后残余风险可接受。