人物
亚历克·拉德福德(Alec Radford)
亚历克·拉德福德(Alec Radford)是GPT-2、CLIP和Whisper论文的第一作者,2016年至2024年在OpenAI工作。
所属机构OpenAI
概况
亚历克·拉德福德(Alec Radford)是一位机器学习研究员,2016年至2024年在OpenAI工作,最为人所知的是GPT系列语言模型的相关工作。他还是图像模型CLIP和语音识别模型Whisper论文的第一作者。[1][5][6]
教育与早期研究
拉德福德就读于奥林工程学院(Olin College of Engineering),2014年离开,未取得学位。在校期间,他与同学共同创办了创业公司Indico。[1]
主要贡献
拉德福德是DCGAN论文的第一作者,论文题为《Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks》,2015年11月发布,合作者为Luke Metz和Soumith Chintala。[3] 生成对抗网络(generative adversarial network)让两个神经网络相互对抗:一个负责生成图像,另一个负责分辨真实图像与生成图像。论文标题本身就说明了目标:在不依赖人工标注样本的情况下,用卷积网络(图像任务中的常用结构)学习有用的图像特征。
拉德福德于2016年加入OpenAI,当时该机构成立仅一年,他主要从事自然语言处理的研究。[1] 他是OpenAI 2018年论文《Improving Language Understanding by Generative Pre-Training》的主要作者,该论文提出了GPT方法:先让模型在大量文本上学习预测下一个词,再将其适配到具体任务上。[1]
2019年,他作为第一作者发表了GPT-2论文《Language Models are Unsupervised Multitask Learners》。[4] 2020年的GPT-3论文称,他最早证明了语言模型能够进行少样本学习(few-shot learning),并负责收集和筛选其训练数据。少样本学习指模型只需在输入中给出少量示例,就能完成新任务,而无需重新训练。[7] 他也是《Scaling Laws for Neural Language Models》(2020年)的合著者。[1]
2021年,他是CLIP论文的第一作者,并合著了DALL-E论文。CLIP让图像与文字一同学习,学会把图片和文字描述对应起来,因此可以通过与文字标签比较来识别图像。[5]
2022年12月,他作为第一作者发表了Whisper论文《Robust Speech Recognition via Large-Scale Weak Supervision》,该工作把训练数据扩展到68万小时的多语种、多任务音频。[6]
任职经历
拉德福德在OpenAI工作至2024年12月,之后离开,转向独立研究。2025年,他成为Mira Murati创办的Thinking Machines Lab的顾问。[2]
影响
他参与提出的GPT方法,是今天许多人使用的聊天式AI系统的重要基础。CLIP和Whisper则分别成为此后图文结合与语音识别研究中常被参考的工作。[5][6]
生涯时间线
11-
2016
-
OpenAI
任职于 2016–2024
OpenAI 是总部位于旧金山的 AI 研究与部署公司,2015年以非营利组织成立,开发 GPT 系列模型和 ChatGPT,2026年6月秘密提交 IPO 申请。
-
OpenAI
任职于 2016–2024
-
2018
-
通过生成式预训练提升语言理解(GPT)
参与
OpenAI 在 2018 年发表的 GPT 论文:先用海量无标注文本训练 Transformer 解码器预测下一个词,再针对具体任务微调。它在研究的 12 项任务中有 9 项刷新了最好成绩。
-
GPT-1(初代 GPT)
参与
GPT-1 是 OpenAI 的第一代生成式预训练 Transformer,发布于 2018年6月。它表明,先用无标注文本预训练、再针对具体任务微调的同一个语言模型,能够改进多项语言任务的结果。
-
通过生成式预训练提升语言理解(GPT)
参与
-
2019
-
语言模型是无监督的多任务学习者(GPT-2)
参与
OpenAI 在 2019 年发表的 GPT-2 论文,模型拥有 15 亿参数。研究表明,仅训练预测下一个词的模型在提示下就能完成多种任务,其分阶段发布也引发了关于是否公开强大模型的讨论。
-
GPT-2
参与
GPT-2 是 OpenAI 于2019年2月宣布的大型语言模型,最大版本有 15 亿参数。OpenAI 起初没有公开完整模型,随后分阶段发布,直到2019年11月才发布完整版本。
-
语言模型是无监督的多任务学习者(GPT-2)
参与
-
2020
-
神经语言模型的缩放定律
参与
OpenAI 研究者在 2020 年发表的论文发现,语言模型的损失会随模型规模、数据量和训练算力增加而按幂律平稳下降,为各实验室建造更大的模型提供了定量依据。
-
GPT-3
参与
GPT-3 是一个拥有 1750 亿参数的自回归语言模型,相关论文发表于2020年5月。它能在提示词中仅凭少量示例完成新任务,无需梯度更新,最初通过 OpenAI 的 API 提供。
-
语言模型是少样本学习者(GPT-3)
参与
GPT-3 论文表明,一个拥有 1750 亿个参数的语言模型,只要在提示词(prompt)里给出几个例子,就能完成许多任务,无需额外微调;而且这种能力随模型规模增大而增强。
-
神经语言模型的缩放定律
参与
-
2021
-
DALL·E(初代)
参与
DALL·E 是 OpenAI 于 2021 年 1 月 5 日公布的文本生成图像模型,用 120 亿参数和 2.5 亿对图文数据训练,按文字描述逐个图像词元生成图片。
-
从自然语言监督中学习可迁移的视觉模型(CLIP)
参与
CLIP 是 OpenAI 用 4 亿对图文数据训练的模型,把图像与文字映射到同一个空间,因此能凭一句文字提示直接完成图像分类。
-
DALL·E(初代)
参与
-
2022
-
Whisper(语音识别模型)
参与
Whisper 是 OpenAI 开源的语音识别系统,2022 年 9 月发布,训练数据达 68 万小时,可转写多语言语音并翻译成英文。
-
Whisper(语音识别模型)
参与
任职于1
20211
-
2021 年 1 月 5 日,OpenAI 同时发布 DALL·E 和 CLIP。DALL·E 能根据文字描述生成图像,CLIP 能从自然语言中学习视觉概念并对图像分类。
20201
-
2020 年 5 月,OpenAI 发表 GPT-3 论文。这个拥有 1750 亿参数的语言模型,只需在输入文本中给出少量示例,就能完成新任务,无需额外训练。
20191
-
2019 年 2 月,OpenAI 宣布 GPT-2,这是一个无需专门训练即可完成多项任务的 15 亿参数语言模型。OpenAI 未立即公开完整模型,而是分阶段发布。
20181
-
2018 年 6 月,OpenAI 发表论文,提出先用无标注文本做生成式预训练、再针对具体任务微调的方法。该方法在研究的 12 项任务中,有 9 项超过了当时的最好成绩。
注释与来源
- Alec Radfordhttps://en.wikipedia.org/wiki/Alec_Radford
- Key ex-OpenAI researcher subpoenaed in AI copyright casehttps://techcrunch.com/2025/03/04/key-ex-openai-researcher-subpoenaed-in-ai-copyright-case/
- Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networkshttps://arxiv.org/abs/1511.06434
- Language Models are Unsupervised Multitask Learnershttps://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf
- Learning Transferable Visual Models From Natural Language Supervisionhttps://arxiv.org/abs/2103.00020
- Robust Speech Recognition via Large-Scale Weak Supervisionhttps://arxiv.org/abs/2212.04356
- Language Models are Few-Shot Learnershttps://arxiv.org/abs/2005.14165
引用本页: 亚历克·拉德福德(Alec Radford). TellWorld, https://www.tellworld.net/zh/people/alec-radford. 更新于 2026-11-08