论文 | TellWorld

首页›论文

论文

对人工智能有重大贡献的论文，每篇都有通俗解读。

共 57 · 清除筛选

2026
《GLM-5：从氛围编程到智能体工程》
arXiv
智谱的 GLM-5 技术报告介绍了一个 7440 亿参数的混合专家模型，依靠稀疏注意力与异步强化学习，把 AI 编程从「氛围编程」推向「智能体工程」。
大语言模型中国 AI 智能体与工具调用
2026
《Terminal-Bench：命令行界面中困难真实任务的智能体基准》
arXiv
Terminal-Bench 2.0 是一个由 89 个困难任务组成的精选基准，任务都在计算机终端环境中完成，用来衡量 AI 智能体处理真实命令行工作的能力；前沿模型和智能体的得分低于 65%。
研究史智能体与工具调用代码
2024
《SAM 2：在图像与视频中分割一切》
arXiv
SAM 2 是 Meta FAIR 提出的基础模型，用点、框或掩码等提示即可在图像和视频中分割目标，论文同时发布了大规模视频分割数据集与训练代码。
研究史深度学习多模态
2024
《Transformer 就是 SSM：通过结构化状态空间对偶得到的广义模型与高效算法》
ICML
Tri Dao 与 Albert Gu 的论文提出结构化状态空间对偶框架，说明结构化状态空间模型与各种注意力变体关系密切，并用它导出 Mamba-2——其核心层比 Mamba 的核心层快 2 到 8 倍。
研究史深度学习 Transformer 与注意力
2024
《LiveCodeBench：面向代码的大模型全面且无污染评测》
arXiv
一个持续从 LeetCode、AtCoder、CodeForces 竞赛中收集新题的代码大模型基准，用不断更新的题库避免数据污染，并覆盖代码修复、执行推理等任务。
大语言模型研究史数据与数据集
2023
《SWE-bench：语言模型能解决真实 GitHub 议题吗？》
arXiv
一个由 2,294 个真实软件工程问题组成的评测基准，题目取自 GitHub 议题及解决这些议题的拉取请求，模型必须编辑代码库来修复问题；发布时最好的模型解决率不足 2%。
研究史智能体与工具调用数据与数据集
2023
《Segment Anything（分割一切）》
arXiv 2304.02643
这篇 2023 年的论文提出 Segment Anything 项目：一个可提示的分割任务、一个模型，以及包含 1100 万张图像上 10 亿多个掩码的数据集，并把模型与数据一并公开，以推动计算机视觉基础模型研究。
研究史数据与数据集计算机视觉
2022
《基于 Transformer 的可扩展扩散模型》（DiT）
arXiv
2022 年，Peebles 与 Xie 用 transformer 取代扩散模型的 U-Net 主干，证明效果随算力稳定提升，并在 ImageNet 上取得 2.27 FID。
研究史生成式模型图像生成
2022
用深度强化学习控制托卡马克等离子体的磁场
Nature
2022 年发表于 Nature 的一篇论文，Degrave、Felici 等人用深度强化学习让控制器自主学会给托卡马克的全部磁控制线圈下指令，产生并维持了多种等离子体位形。
深度学习硬件与算力科学发现
2021
《用大语言模型做程序合成》（MBPP）
arXiv
2021 年提交到 arXiv 的论文，提出 MBPP 基准：974 道入门级短 Python 题，并测量 244M 到 137B 参数的语言模型把自然语言描述变成代码的能力。
大语言模型研究史数据与数据集
2021
《评估在代码上训练的大语言模型》（Codex / HumanEval）
arXiv
2021 年的一篇 OpenAI 论文提出了 Codex——一个在公开 GitHub 代码上微调的 GPT 模型，以及 HumanEval——一套按「程序能否跑对」而不是「像不像参考答案」来评判生成代码的评测集。
大语言模型研究史数据与数据集
2021
从自然语言监督中学习可迁移的视觉模型（CLIP）
ICML
CLIP 是 OpenAI 用 4 亿对图文数据训练的模型，把图像与文字映射到同一个空间，因此能凭一句文字提示直接完成图像分类。
基础模型多模态计算机视觉
2020
《一张图像等价于 16x16 个词：面向大规模图像识别的 Transformer》（ViT）
arXiv
这篇 2020 年的论文表明，把图像切成图块、当作词的序列直接送进标准 Transformer，完全不用卷积，也能在图像分类上取得与当时最好的卷积网络相比非常出色的结果。
研究史深度学习计算机视觉
2020
《An Image is Worth 16x16 Words》（一张图等于 16×16 个词：用于大规模图像识别的 Transformer）
arXiv 2010.11929 (ICLR 2021)
2020 年的论文。Dosovitskiy 等人证明，把图像切成小块当序列交给纯 Transformer，得到的 ViT 预训练后图像分类成绩可与最好的卷积网络相比。
研究史计算机视觉 Transformer 与注意力
2020
《NeRF：将场景表示为用于视图合成的神经辐射场》
arXiv
2020 年的论文提出 NeRF：把场景表示成由 5 维坐标映射到密度与颜色的神经网络，并用相机位姿已知的稀疏图像优化，在新视图合成上取得领先结果。
研究史生成式模型计算机视觉
2020
神经语言模型的缩放定律
arXiv
OpenAI 研究者在 2020 年发表的论文发现，语言模型的损失会随模型规模、数据量和训练算力增加而按幂律平稳下降，为各实验室建造更大的模型提供了定量依据。
大语言模型基础模型硬件与算力
2019
用统一的文本到文本 Transformer 探索迁移学习的极限（T5）
JMLR
Google 在 2019 年发表的 T5 论文，把所有语言任务统一为「文本进、文本出」，使用同一个编码器-解码器 Transformer 和同一种训练方式。论文还发布了 C4 数据集。
大语言模型开源数据与数据集
2019
《Megatron-LM：用模型并行训练数十亿参数的语言模型》
arXiv 1909.08053
NVIDIA 团队 2019 年的论文，提出一种层内模型并行方法，只需在原生 PyTorch 中插入少量通信操作，就训练出 83 亿参数的 Transformer 模型，并在多个基准上超过此前最好成绩。
研究史基础模型硬件与算力
2018
基于风格的生成对抗网络生成器架构（StyleGAN）
arXiv
这篇 2018 年的论文提出基于风格的 GAN 生成器架构，将高层属性与随机变化分离，并支持尺度特定控制，在分布质量、插值和解耦上取得改进。
生成式模型计算机视觉图像生成
2018
BERT：用于语言理解的深度双向 Transformer 预训练
NAACL
Google 在 2018 年提出的 BERT，只用 Transformer 编码器，能同时利用前后文，并通过遮词预训练。它在 11 项语言任务上刷新成绩，使「预训练后微调」成为常规做法。
大语言模型研究史基础模型