论文 | TellWorld

首页›论文

论文

对人工智能有重大贡献的论文，每篇都有通俗解读。

共 31 · 清除筛选

2026
《Muse Spark 安全与准备度报告》
arXiv
Meta 为 Muse Spark（Meta AI 的底层模型）发布的安全与准备度报告，交代了支撑其发布决策的灾难性风险评估，并论证在施加缓解措施后残余风险可接受。
大语言模型基础模型安全与治理
2026
《DeepSeek-V4：面向百万 token 上下文的高效智能》
arXiv
DeepSeek-V4 系列的预览报告：Pro 版总参数 1.6 万亿、Flash 版 2840 亿，两者均支持百万 token 上下文，并给出了让这一长度变得可负担的注意力、连接与优化器改动。
大语言模型开源中国 AI
2026
《GLM-5：从氛围编程到智能体工程》
arXiv
智谱的 GLM-5 技术报告介绍了一个 7440 亿参数的混合专家模型，依靠稀疏注意力与异步强化学习，把 AI 编程从「氛围编程」推向「智能体工程」。
大语言模型中国 AI 智能体与工具调用
2026
《Terminal-Bench：命令行界面中困难真实任务的智能体基准》
arXiv
Terminal-Bench 2.0 是一个由 89 个困难任务组成的精选基准，任务都在计算机终端环境中完成，用来衡量 AI 智能体处理真实命令行工作的能力；前沿模型和智能体的得分低于 65%。
研究史智能体与工具调用代码
2025
《Gemini 2.5：以先进推理、多模态、长上下文与新一代智能体能力推进前沿》
arXiv
《Gemini 2.5》技术报告于 2025 年 7 月 7 日提交到 arXiv，记录了 Google 的 Gemini 2.5 Pro 与 2.5 Flash，涉及推理能力、长上下文视频处理和成本与能力的取舍。
大语言模型基础模型多模态
2024
《DeepSeek-V3 技术报告》
arXiv
DeepSeek-AI 发布的 DeepSeek-V3 技术报告，介绍了一个总参数 6710 亿的混合专家语言模型，涵盖架构、训练流程与评测，并给出了 278.8 万 H800 GPU 小时完成全部训练的效率数据。
大语言模型开源中国 AI
2024
《Llama 3 模型群》
arXiv
Meta 2024 年的论文，把 Llama 3 描述为一组基础模型（80 亿、700 亿和 4050 亿参数），预训练语料约 15 万亿 token，并报告其在广泛任务上与 GPT-4 等领先模型质量相当。
大语言模型研究史开源
2024
《FlashAttention-3：以异步与低精度实现快速准确注意力》
arXiv
FlashAttention-3 是面向英伟达 Hopper（H100）GPU 的注意力算法，借助异步执行与低精度技术，把 FP16 利用率做到最高 75%，FP8 吞吐接近 1.2 PFLOPs/s。
研究史深度学习开发者工具
2024
《LiveCodeBench：面向代码的大模型全面且无污染评测》
arXiv
一个持续从 LeetCode、AtCoder、CodeForces 竞赛中收集新题的代码大模型基准，用不断更新的题库避免数据污染，并覆盖代码修复、执行推理等任务。
大语言模型研究史数据与数据集
2024
《Gemini 1.5：在数百万 token 的上下文中释放多模态理解》
arXiv
Google Gemini 团队的一份报告，介绍以超长上下文为核心的多模态模型 Gemini 1.5 系列，其中 Gemini 1.5 Pro 可在最多 1000 万 token 的上下文中回忆信息。[^1]
大语言模型研究史基础模型
2023
《SWE-bench：语言模型能解决真实 GitHub 议题吗？》
arXiv
一个由 2,294 个真实软件工程问题组成的评测基准，题目取自 GitHub 议题及解决这些议题的拉取请求，模型必须编辑代码库来修复问题；发布时最好的模型解决率不足 2%。
研究史智能体与工具调用数据与数据集
2023
《FlashAttention-2：更好并行与工作划分的更快注意力》
arXiv
FlashAttention-2 是 FlashAttention 的改进版本，通过重新划分 GPU 线程块与线程束的工作，把注意力计算速度约提升一倍，在 A100 上可达理论峰值吞吐的 73%。
研究史深度学习开发者工具
2023
《QLoRA：量化大模型的高效微调》
arXiv
QLoRA 是一种微调方法：它把预训练大模型冻结并压到 4 位精度，只训练低秩适配器，从而在单张 48GB GPU 上微调 650 亿参数模型，并保持 16 位微调的效果。
大语言模型研究史开发者工具
2022
《FlashAttention：具备 IO 感知的快速精确注意力》
arXiv
FlashAttention 是一种围绕 GPU 内存搬运来组织的精确注意力算法：它用分块让中间结果留在片上，减少与高带宽内存之间的读写，从而更快地训练 Transformer 并支持更长序列。
研究史深度学习开发者工具
2022
训练计算最优的大语言模型（Chinchilla）
NeurIPS
DeepMind 的一项研究指出，固定算力下语言模型应当用多得多的数据训练；其 700 亿参数的 Chinchilla 在同算力下胜过了更大的模型。
大语言模型基础模型数据与数据集
2021
《用大语言模型做程序合成》（MBPP）
arXiv
2021 年提交到 arXiv 的论文，提出 MBPP 基准：974 道入门级短 Python 题，并测量 244M 到 137B 参数的语言模型把自然语言描述变成代码的能力。
大语言模型研究史数据与数据集
2021
《评估在代码上训练的大语言模型》（Codex / HumanEval）
arXiv
2021 年的一篇 OpenAI 论文提出了 Codex——一个在公开 GitHub 代码上微调的 GPT 模型，以及 HumanEval——一套按「程序能否跑对」而不是「像不像参考答案」来评判生成代码的评测集。
大语言模型研究史数据与数据集
2021
《LoRA：大语言模型的低秩适配》
arXiv
LoRA 是一种微调方法：冻结预训练模型的权重，只在各层注入并训练小型低秩矩阵，从而把可训练参数和显存需求降低几个数量级。
大语言模型研究史开发者工具
2021
从自然语言监督中学习可迁移的视觉模型（CLIP）
ICML
CLIP 是 OpenAI 用 4 亿对图文数据训练的模型，把图像与文字映射到同一个空间，因此能凭一句文字提示直接完成图像分类。
基础模型多模态计算机视觉
2020
《GShard：用条件计算与自动分片扩展巨型模型》
arXiv
《GShard》2020年6月提交到arXiv，提出一套轻量注释API与XLA编译器扩展，让原有模型代码几乎不改动就能表达并行计算，并把一个稀疏门控的专家混合翻译模型扩展到6000亿参数以上。
大语言模型研究史开发者工具