Chatbot Arena / LMArena

是什么

Chatbot Arena 是一个面向大语言模型（large language model, LLM）的评测平台，核心是人的偏好。访问者会同时看到两个模型对同一个问题的回答，然后选出自己认为更好的那个。两个模型以匿名方式出现、随机配对，投票的人并不知道回答分别来自哪两个系统^[1]。投票汇总成公开排行榜，用 Elo 评分体系给模型排名——这套源自国际象棋的算法，赢强对手比赢弱对手加分更多，输给弱对手则扣分更狠^[1]。

怎么工作

平台用的是两两比较（pairwise comparison）：不拿固定题库和标准答案给模型打分，而是通过众包从多样化的用户群体中收集偏好，每一票就是两个匿名系统之间的一次比较^[2]。上线几个月内，平台就积累起超过 24 万张选票^[2]。作者在 2024 年的论文中报告，众包来的问题足够多样、也有足够区分度，普通用户的投票与专家评分者的判断相当一致^[2]。因为访问者问的是自己好奇的东西，评测覆盖到的提示是人工编写的测试集很难想到的；但分数反映的是这群人问什么、喜欢什么，而不是在固定任务上答对多少。

由来

LMSYS Org 于 2023 年 5 月 3 日发布 Chatbot Arena^[1]。第一版排行榜基于 2023 年 4 月 24 日至 5 月 1 日收集的投票，LMSYS 自家的 vicuna-13b 以 1169 的 Elo 评分排在第一位^[1]。这个项目出自学术工作而非公司：它是加州大学伯克利分校的研究人员和学生的学术项目拆分出来的^[4][5]。

反响

到 2024 年论文发表时，Chatbot Arena 已成为被引用最多的 LLM 排行榜之一^[2]。它受欢迎的原因在于，排名来自真实系统之间的真实对比，而不是一份静态测试集；新模型也能很快被加进来评测。

争议

2025 年，一篇题为《The Leaderboard Illusion》的论文（作者中包括 Cohere 相关的研究者）考察了竞技场的数据和规则与「谁用得起它」之间的关系。论文发现，未公开的私下测试做法让少数几家提供商受益：它们可以在公开发布前测试多个变体，也可以按需要撤回分数；论文还识别出 Meta 在 Llama-4 发布前测试过的 27 个私有 LLM 变体^[3]。同一篇论文估计，Google 和 OpenAI 分别拿到了竞技场全部数据的 19.2% 和 20.4%，而 83 个开放权重模型加起来只获得约 29.7%；论文按保守假设推算，能接触到 Arena 数据所带来的相对性能提升，在竞技场分布上最高可达 112%^[3]。

改名为 LMArena

2025 年 5 月 21 日，Chatbot Arena 团队宣布完成 1 亿美元种子轮融资，并以 LMArena 之名重新上线，界面也重新做过^[4]。这轮融资由 a16z 和 UC Investments 领投，Lightspeed、Laude Ventures、Felicis、Kleiner Perkins 和 The House Fund 参投，彭博报道公司估值 6 亿美元^[4][5]。公司注册名为 Arena Intelligence Inc.，由加州大学伯克利分校的研究人员和学生把这个学术项目拆分而来，联合创始人包括首席执行官 Anastasios Angelopoulos、Ion Stoica 和 Wei-Lin Chiang^[4][5]。按公司的说法，LMArena 上已完成超过 400 次模型评测，累计投票超过 300 万张^[5]。

在发展中的位置

Chatbot Arena 把「偏好投票」变成了发布新模型时的常规环节：开发者现在会把竞技场名次与常规基准成绩并列引用，平台的规模也让它同时成为训练与评测数据的来源，而不只是一块记分牌。它的经历也显示出这一角色内在的张力：一个因为反映真实使用情况而被人信任的排行榜，同样会奖励那些能跑最多私下测试、拿到最多选票的参与者，2025 年的那篇批评正是针对这一点。