TellWorldAI 世界档案
问档案English
动态
模型
机构
人物
论文与概念
产品与智能体
芯片与机器人
编年史
专题
问档案English

首页›公司与机构

机构社区

EleutherAI

EleutherAI 是草根 AI 研究团体，2020年7月始于 Discord 服务器，发布了 The Pile 及多个开放模型，2023年成为非营利研究机构。

成立 2020官网 eleuther.ai 时代 大模型

2023 · 2 20202025
每年事件数
4模型与产品7事件1人物2投资与合作

基本情况

EleutherAI 是一个由 AI 研究人员和志愿者组成的草根团体。它2020年7月始于一个 Discord 服务器（一种按主题频道组织的聊天服务），最初名为「LibreAI」，同月改名为 EleutherAI。这个团体以构建数据集和开放模型著称，任何人都可以研究和再利用这些成果。[1]

起源

创始成员包括 Connor Leahy、Leo Gao 和 Sid Black。他们最初的目标是以开放的方式复现 OpenAI 的 GPT-3，也就是构建一个同类模型，让任何人都能检查其细节和权重。[1]

在算力方面，EleutherAI 最初使用谷歌的 TPU Research Cloud，它让研究人员可以使用谷歌的张量处理单元（TPU）。2021年初起，它也接受 CoreWeave 提供的 GPU 算力，CoreWeave 是一家云服务商，为 GPT-NeoX-20B 模型提供了硬件。[1][3]

数据集与模型

2020年12月31日，EleutherAI 发布了 The Pile，这是一个 825 GiB 的英文文本数据集，由22个子数据集组成，用于训练大型语言模型。[2]

此后，该团体陆续发布了一系列开放的 GPT 式模型。GPT-Neo 于2021年3月发布，有125M、1.3B 和 2.7B 三种参数规模。GPT-J-6B 于2021年6月发布，GPT-NeoX-20B 则于2022年2月发布。[1]2021年，成员 Katherine Crowson 和 Ryan Murdock 还开发了 VQGAN-CLIP 技术，用于根据文字生成图像。[1]

2023年4月，该团体发布了 Pythia，这是一组从 70M 到 12B 参数的16个模型，每个模型有154个检查点，目的是研究模型在训练过程中如何学习。[5]

研究机构

2023年初，EleutherAI 注册为 EleutherAI Institute，成为一家非营利研究机构，由 Stella Biderman、Curtis Huebner 和 Shivanshu Purohit 负责运营。其捐助方包括 Stability AI、Hugging Face、Canva、Lambda Labs，以及前 GitHub 首席执行官 Nat Friedman。[1][4]

Leahy 和 Black 后来离开，创办了对齐（alignment）公司 Conjecture。Leahy 随后加入了这家非营利机构的顾问委员会。[4]

该团体的重心转向可解释性、对齐和科学研究。到2025年，它不再自行训练前沿级别的模型，而是维护数据集、开展研究并参与政策工作。[1][4]

争议与后续工作

The Pile 也受到批评。其中的 Books3 子集在2023年因一起反盗版投诉而下线。2024年7月的一项调查发现，该数据集包含了来自超过17万个 YouTube 视频的字幕。[1]

2025年6月，EleutherAI 发布了 Common Pile v0.1，这是一个 8 TB 的数据集，只包含公有领域和公开授权的文本，同时还发布了用它训练的两个 7B 规模的 Comma v0.1 模型。[6]

能力大语言模型

生态与地区开源数据与数据集

治理与标准安全与治理

历史研究史

20251

  1. 发布EleutherAI 发布 8TB 开放许可数据集 Common Pile v0.1

    2025 年 6 月，EleutherAI 与合作者发布 Common Pile v0.1，这是一个 8 TB 的公有领域和开放许可文本集合，可用于训练大语言模型。团队还用它训练了两个 7B 模型。

20232

  1. 论文EleutherAI 发布 Pythia 模型套件

    2023 年 4 月 3 日，EleutherAI 发布 Pythia：16 个 7000 万到 120 亿参数的模型，用同一份公开数据按相同顺序训练，各公开 154 个检查点，研究能力如何随训练与规模发展。

  2. 里程碑EleutherAI 成立非营利研究机构

    2023年3月2日，以开放训练类 GPT-3 模型闻名的志愿者团体 EleutherAI 宣布成立非营利研究机构，支持者包括 Stability AI、Hugging Face、Canva 等。

20221

  1. 发布EleutherAI 发布 GPT-NeoX-20B

    EleutherAI 于2022年2月2日宣布 GPT-NeoX-20B，2月9日发布权重。模型采用 Apache 2.0 许可证，团队称其为研究制品。

20212

  1. 发布EleutherAI 发布 GPT-J-6B

    2021 年 6 月，EleutherAI 发布 60 亿参数的开放模型 GPT-J-6B：权重以 Apache 2.0 协议公开，在 The Pile 上训练，公告称其零样本表现接近 67 亿参数的 GPT-3（Curie）。

  2. 发布EleutherAI 发布 GPT-Neo

    2021 年 3 月 21 日，EleutherAI 发布 GPT-Neo 系列语言模型，包含 1.25 亿、13 亿和 27 亿参数三个规模，权重可自由下载，与只能通过 API 调用的 GPT-3 形成对照。

20201

  1. 论文EleutherAI 发布训练数据集 The Pile

    2020年12月31日，EleutherAI 公开发布 The Pile：825 GiB 英文文本，由 22 个较小的数据集合并而成；论文显示在其上训练的模型在全部子集上均优于两个基线语料。

模型与产品时间线

4
  1. 2021
    • 2021 年 3 月 21 日 GPT-Neo 模型

      GPT-Neo 是 EleutherAI 于 2021 年 3 月发布的一组开放文本生成模型，含 125M、1.3B、2.7B 三种规模，意在复现 GPT-3 架构，权重可自由下载，采用 MIT 许可证。

    • 2021 年 6 月 GPT-J-6B 模型

      GPT-J-6B 是 EleutherAI 于 2021 年 6 月发布的约 60 亿参数开源语言模型，以 Apache 2.0 许可开放，公开基准成绩接近 GPT-3 Curie，是当时最大的开源类 GPT-3 模型。

  2. 2022
    • 2022 年 2 月 9 日 GPT-NeoX-20B 模型

      GPT-NeoX-20B 是 EleutherAI 于 2022 年 2 月发布的 200 亿参数开放语言模型，权重以 Apache 2.0 协议公开，训练与评测代码一并开源。

  3. 2023
    • 2023 年 4 月 3 日 Pythia 模型

      Pythia 是 EleutherAI 发布的一套 16 个开源语言模型，规模从 7000 万到 120 亿参数，全部用同一份数据、按同样的顺序训练，每次训练公开 154 个检查点。

成员1

康纳·莱希2020–

投资方2

Stability AIHugging Face

参与1

注释与来源

  1. EleutherAIhttps://en.wikipedia.org/wiki/EleutherAI
  2. The Pile: An 800GB Dataset of Diverse Text for Language Modelinghttps://arxiv.org/abs/2101.00027
  3. Announcing GPT-NeoX-20Bhttps://blog.eleuther.ai/announcing-20b/
  4. Stability AI, Hugging Face and Canva back new AI research nonprofithttps://techcrunch.com/2023/03/02/stability-ai-hugging-face-and-canva-back-new-ai-research-nonprofit
  5. Pythia: A Suite for Analyzing Large Language Models Across Training and Scalinghttps://arxiv.org/abs/2304.01373
  6. Common Pile v0.1https://www.eleuther.ai/news/common-pile-v01

引用本页: EleutherAI. TellWorld, https://www.tellworld.net/zh/companies/eleutherai. 更新于 2026-11-08