机器智能研究院

是什么

机器智能研究院（Machine Intelligence Research Institute，MIRI）是一家位于加州伯克利的501(c)(3)非营利机构，从事研究与公共传播，目标是帮助避免因人工超级智能的发展而导致人类灭绝^[2]。它把自己定位为一家非营利研究机构，专注于识别与管理人工智能可能带来的生存风险^[1]。

由来

2000年，Eliezer Yudkowsky 在 Brian 与 Sabine Atkins 的资助下创立了奇点人工智能研究所（Singularity Institute for Artificial Intelligence）。值得注意的是，当时的目的是加速人工智能的发展，而不是降低风险^[1]。MIRI 自己的机构史也把创立时间定在2000年，创办者记为 Yudkowsky 与 Atkins 夫妇，给出的初衷同样是推进面向比人更聪明的AI的进展^[2]。

2005年，研究所开始在硅谷运作，并把注意力转向识别与管理人工智能风险的途径。在当时，这一议题在该领域的科学家中基本被忽视^[1]。

从2006年起，研究所开始举办以人工智能未来为主题的「奇点峰会」（Singularity Summit），最初与斯坦福大学合作，并由 Peter Thiel 提供资助^[1]。

改名

2012年12月，研究所把名称、网站域名和奇点峰会一并出售给 Singularity Group，并在次月改称机器智能研究院^[1]。按 MIRI 自己的机构史，从奇点研究所改名为机器智能研究院的时间记为2013年^[2]；两种记载在改名的时点上有出入。

研究

早期研究由 Yudkowsky 主导，主要处理「AI 控制问题」（AI control problem），即如何设计「友好」的人工智能^[1]。MIRI 还通过一个名为 AI Impacts 的计划资助预测性研究，该计划考察历史上技术发生不连续变化的实例^[1]。MIRI 自述是第一个把人工超级智能的对齐（alignment）当作技术问题来倡导和研究的组织^[2]。

资金

2019年，Open Philanthropy 建议向 MIRI 提供约210万美元、为期两年的通用支持拨款^[1]。2020年4月，MIRI 宣布 Open Philanthropy 再提供770万美元资助，同样为期两年^[1]。2021年，Vitalik Buterin 向 MIRI 捐赠了价值数百万美元的以太币^[1]。

重心转向

到2023至2024年，MIRI 得出结论：人工智能进一步发展的默认后果将是人类灭绝，并开始把技术性的AI治理与公共传播放在优先位置^[1]。2024年1月，MIRI 宣布已于2023年把重心转向政策与公共传播，主张达成一项国际协议，停止朝比人更聪明的AI推进^[1]。它表述的目标是让世界了解当前的处境，并主张在对齐问题解决之前彻底停止AI开发^[2]。2025年，联合创始人 Yudkowsky 与总裁 Nate Soares 出版了《If Anyone Builds It, Everyone Dies》一书^[1]。

在发展中的位置

MIRI 的轨迹从「让人工智能更快到来」的项目，经过长年关于控制与对齐的技术研究，走到主张暂停研发的立场。它在整个领域还很少关注这一话题的时候，就把AI风险当作一个工程问题来表述^[1]，这也是它通常被视为后来AI安全研究起点的原因^[2]。