论文 | TellWorld

首页›论文

论文

对人工智能有重大贡献的论文，每篇都有通俗解读。

共 41 · 清除筛选

2026
《GLM-5：从氛围编程到智能体工程》
arXiv
智谱的 GLM-5 技术报告介绍了一个 7440 亿参数的混合专家模型，依靠稀疏注意力与异步强化学习，把 AI 编程从「氛围编程」推向「智能体工程」。
大语言模型中国 AI 智能体与工具调用
2026
《Terminal-Bench：命令行界面中困难真实任务的智能体基准》
arXiv
Terminal-Bench 2.0 是一个由 89 个困难任务组成的精选基准，任务都在计算机终端环境中完成，用来衡量 AI 智能体处理真实命令行工作的能力；前沿模型和智能体的得分低于 65%。
研究史智能体与工具调用代码
2024
《Transformer 就是 SSM：通过结构化状态空间对偶得到的广义模型与高效算法》
ICML
Tri Dao 与 Albert Gu 的论文提出结构化状态空间对偶框架，说明结构化状态空间模型与各种注意力变体关系密切，并用它导出 Mamba-2——其核心层比 Mamba 的核心层快 2 到 8 倍。
研究史深度学习 Transformer 与注意力
2024
《LiveCodeBench：面向代码的大模型全面且无污染评测》
arXiv
一个持续从 LeetCode、AtCoder、CodeForces 竞赛中收集新题的代码大模型基准，用不断更新的题库避免数据污染，并覆盖代码修复、执行推理等任务。
大语言模型研究史数据与数据集
2023
《SWE-bench：语言模型能解决真实 GitHub 议题吗？》
arXiv
一个由 2,294 个真实软件工程问题组成的评测基准，题目取自 GitHub 议题及解决这些议题的拉取请求，模型必须编辑代码库来修复问题；发布时最好的模型解决率不足 2%。
研究史智能体与工具调用数据与数据集
2022
《基于 Transformer 的可扩展扩散模型》（DiT）
arXiv
2022 年，Peebles 与 Xie 用 transformer 取代扩散模型的 U-Net 主干，证明效果随算力稳定提升，并在 ImageNet 上取得 2.27 FID。
研究史生成式模型图像生成
2022
《具备深度语言理解的照片级文生图扩散模型》（Imagen）
arXiv
Imagen 是一个用大型预训练语言模型编码提示词的文生图扩散模型，在 COCO 上取得 7.27 的零样本 FID，并提出 DrawBench 评测基准。
研究史多模态生成式模型
2022
用深度强化学习控制托卡马克等离子体的磁场
Nature
2022 年发表于 Nature 的一篇论文，Degrave、Felici 等人用深度强化学习让控制器自主学会给托卡马克的全部磁控制线圈下指令，产生并维持了多种等离子体位形。
深度学习硬件与算力科学发现
2021
《用潜空间扩散模型进行高分辨率图像合成》
arXiv 2112.10752 (CVPR 2022)
2021 年的一篇论文，把扩散模型放到预训练自编码器的潜空间里运行，降低了高分辨率图像合成的算力，并用交叉注意力接受文本或边界框等条件。
研究史生成式模型图像生成
2021
《用大语言模型做程序合成》（MBPP）
arXiv
2021 年提交到 arXiv 的论文，提出 MBPP 基准：974 道入门级短 Python 题，并测量 244M 到 137B 参数的语言模型把自然语言描述变成代码的能力。
大语言模型研究史数据与数据集
2021
《评估在代码上训练的大语言模型》（Codex / HumanEval）
arXiv
2021 年的一篇 OpenAI 论文提出了 Codex——一个在公开 GitHub 代码上微调的 GPT 模型，以及 HumanEval——一套按「程序能否跑对」而不是「像不像参考答案」来评判生成代码的评测集。
大语言模型研究史数据与数据集
2021
《零样本文生图》（DALL·E 论文）
arXiv
2021 年的一篇 OpenAI 论文：用单个 120 亿参数的自回归 Transformer，在 2.5 亿对图文数据上训练，即可根据文字生成图像，零样本评测下与领域专用模型相当。
研究史多模态生成式模型
2020
《一张图像等价于 16x16 个词：面向大规模图像识别的 Transformer》（ViT）
arXiv
这篇 2020 年的论文表明，把图像切成图块、当作词的序列直接送进标准 Transformer，完全不用卷积，也能在图像分类上取得与当时最好的卷积网络相比非常出色的结果。
研究史深度学习计算机视觉
2020
《An Image is Worth 16x16 Words》（一张图等于 16×16 个词：用于大规模图像识别的 Transformer）
arXiv 2010.11929 (ICLR 2021)
2020 年的论文。Dosovitskiy 等人证明，把图像切成小块当序列交给纯 Transformer，得到的 ViT 预训练后图像分类成绩可与最好的卷积网络相比。
研究史计算机视觉 Transformer 与注意力
2020
去噪扩散概率模型（DDPM）
NeurIPS
2020 年，Ho 等人训练 U-Net 逐步还原被加噪的图像，使扩散模型在图像生成上足以与 GAN 抗衡，也为 DALL-E 2、Stable Diffusion 等采用。
深度学习生成式模型图像生成
2020
《NeRF：将场景表示为用于视图合成的神经辐射场》
arXiv
2020 年的论文提出 NeRF：把场景表示成由 5 维坐标映射到密度与颜色的神经网络，并用相机位姿已知的稀疏图像优化，在新视图合成上取得领先结果。
研究史生成式模型计算机视觉
2020
神经语言模型的缩放定律
arXiv
OpenAI 研究者在 2020 年发表的论文发现，语言模型的损失会随模型规模、数据量和训练算力增加而按幂律平稳下降，为各实验室建造更大的模型提供了定量依据。
大语言模型基础模型硬件与算力
2019
用统一的文本到文本 Transformer 探索迁移学习的极限（T5）
JMLR
Google 在 2019 年发表的 T5 论文，把所有语言任务统一为「文本进、文本出」，使用同一个编码器-解码器 Transformer 和同一种训练方式。论文还发布了 C4 数据集。
大语言模型开源数据与数据集
2019
《Megatron-LM：用模型并行训练数十亿参数的语言模型》
arXiv 1909.08053
NVIDIA 团队 2019 年的论文，提出一种层内模型并行方法，只需在原生 PyTorch 中插入少量通信操作，就训练出 83 亿参数的 Transformer 模型，并在多个基准上超过此前最好成绩。
研究史基础模型硬件与算力
2018
基于风格的生成对抗网络生成器架构（StyleGAN）
arXiv
这篇 2018 年的论文提出基于风格的 GAN 生成器架构，将高层属性与随机变化分离，并支持尺度特定控制，在分布质量、插值和解耦上取得改进。
生成式模型计算机视觉图像生成