论文 | TellWorld

首页›论文

论文

对人工智能有重大贡献的论文，每篇都有通俗解读。

共 34 · 清除筛选

2026
《GLM-5：从氛围编程到智能体工程》
arXiv
智谱的 GLM-5 技术报告介绍了一个 7440 亿参数的混合专家模型，依靠稀疏注意力与异步强化学习，把 AI 编程从「氛围编程」推向「智能体工程」。
大语言模型中国 AI 智能体与工具调用
2026
《Terminal-Bench：命令行界面中困难真实任务的智能体基准》
arXiv
Terminal-Bench 2.0 是一个由 89 个困难任务组成的精选基准，任务都在计算机终端环境中完成，用来衡量 AI 智能体处理真实命令行工作的能力；前沿模型和智能体的得分低于 65%。
研究史智能体与工具调用代码
2024
《FlashAttention-3：以异步与低精度实现快速准确注意力》
arXiv
FlashAttention-3 是面向英伟达 Hopper（H100）GPU 的注意力算法，借助异步执行与低精度技术，把 FP16 利用率做到最高 75%，FP8 吞吐接近 1.2 PFLOPs/s。
研究史深度学习开发者工具
2024
《LiveCodeBench：面向代码的大模型全面且无污染评测》
arXiv
一个持续从 LeetCode、AtCoder、CodeForces 竞赛中收集新题的代码大模型基准，用不断更新的题库避免数据污染，并覆盖代码修复、执行推理等任务。
大语言模型研究史数据与数据集
2023
《SWE-bench：语言模型能解决真实 GitHub 议题吗？》
arXiv
一个由 2,294 个真实软件工程问题组成的评测基准，题目取自 GitHub 议题及解决这些议题的拉取请求，模型必须编辑代码库来修复问题；发布时最好的模型解决率不足 2%。
研究史智能体与工具调用数据与数据集
2023
《FlashAttention-2：更好并行与工作划分的更快注意力》
arXiv
FlashAttention-2 是 FlashAttention 的改进版本，通过重新划分 GPU 线程块与线程束的工作，把注意力计算速度约提升一倍，在 A100 上可达理论峰值吞吐的 73%。
研究史深度学习开发者工具
2023
《QLoRA：量化大模型的高效微调》
arXiv
QLoRA 是一种微调方法：它把预训练大模型冻结并压到 4 位精度，只训练低秩适配器，从而在单张 48GB GPU 上微调 650 亿参数模型，并保持 16 位微调的效果。
大语言模型研究史开发者工具
2022
《基于 Transformer 的可扩展扩散模型》（DiT）
arXiv
2022 年，Peebles 与 Xie 用 transformer 取代扩散模型的 U-Net 主干，证明效果随算力稳定提升，并在 ImageNet 上取得 2.27 FID。
研究史生成式模型图像生成
2022
《FlashAttention：具备 IO 感知的快速精确注意力》
arXiv
FlashAttention 是一种围绕 GPU 内存搬运来组织的精确注意力算法：它用分块让中间结果留在片上，减少与高带宽内存之间的读写，从而更快地训练 Transformer 并支持更长序列。
研究史深度学习开发者工具
2022
《具备深度语言理解的照片级文生图扩散模型》（Imagen）
arXiv
Imagen 是一个用大型预训练语言模型编码提示词的文生图扩散模型，在 COCO 上取得 7.27 的零样本 FID，并提出 DrawBench 评测基准。
研究史多模态生成式模型
2021
《用潜空间扩散模型进行高分辨率图像合成》
arXiv 2112.10752 (CVPR 2022)
2021 年的一篇论文，把扩散模型放到预训练自编码器的潜空间里运行，降低了高分辨率图像合成的算力，并用交叉注意力接受文本或边界框等条件。
研究史生成式模型图像生成
2021
《用大语言模型做程序合成》（MBPP）
arXiv
2021 年提交到 arXiv 的论文，提出 MBPP 基准：974 道入门级短 Python 题，并测量 244M 到 137B 参数的语言模型把自然语言描述变成代码的能力。
大语言模型研究史数据与数据集
2021
《评估在代码上训练的大语言模型》（Codex / HumanEval）
arXiv
2021 年的一篇 OpenAI 论文提出了 Codex——一个在公开 GitHub 代码上微调的 GPT 模型，以及 HumanEval——一套按「程序能否跑对」而不是「像不像参考答案」来评判生成代码的评测集。
大语言模型研究史数据与数据集
2021
《LoRA：大语言模型的低秩适配》
arXiv
LoRA 是一种微调方法：冻结预训练模型的权重，只在各层注入并训练小型低秩矩阵，从而把可训练参数和显存需求降低几个数量级。
大语言模型研究史开发者工具
2021
《零样本文生图》（DALL·E 论文）
arXiv
2021 年的一篇 OpenAI 论文：用单个 120 亿参数的自回归 Transformer，在 2.5 亿对图文数据上训练，即可根据文字生成图像，零样本评测下与领域专用模型相当。
研究史多模态生成式模型
2020
《GShard：用条件计算与自动分片扩展巨型模型》
arXiv
《GShard》2020年6月提交到arXiv，提出一套轻量注释API与XLA编译器扩展，让原有模型代码几乎不改动就能表达并行计算，并把一个稀疏门控的专家混合翻译模型扩展到6000亿参数以上。
大语言模型研究史开发者工具
2020
去噪扩散概率模型（DDPM）
NeurIPS
2020 年，Ho 等人训练 U-Net 逐步还原被加噪的图像，使扩散模型在图像生成上足以与 GAN 抗衡，也为 DALL-E 2、Stable Diffusion 等采用。
深度学习生成式模型图像生成
2020
《NeRF：将场景表示为用于视图合成的神经辐射场》
arXiv
2020 年的论文提出 NeRF：把场景表示成由 5 维坐标映射到密度与颜色的神经网络，并用相机位姿已知的稀疏图像优化，在新视图合成上取得领先结果。
研究史生成式模型计算机视觉
2018
基于风格的生成对抗网络生成器架构（StyleGAN）
arXiv
这篇 2018 年的论文提出基于风格的 GAN 生成器架构，将高层属性与随机变化分离，并支持尺度特定控制，在分布质量、插值和解耦上取得改进。
生成式模型计算机视觉图像生成
2018
大规模 GAN 训练与高保真自然图像合成（BigGAN）
arXiv
2018 年的论文，作者为 Andrew Brock 等，把生成对抗网络训练到当时最大规模，提出 BigGAN，刷新了类别条件图像合成的最好成绩。
生成式模型计算机视觉图像生成