论文 | TellWorld

首页›论文

论文

对人工智能有重大贡献的论文，每篇都有通俗解读。

共 23 · 清除筛选

2026
《GLM-5：从氛围编程到智能体工程》
arXiv
智谱的 GLM-5 技术报告介绍了一个 7440 亿参数的混合专家模型，依靠稀疏注意力与异步强化学习，把 AI 编程从「氛围编程」推向「智能体工程」。
大语言模型中国 AI 智能体与工具调用
2026
《Terminal-Bench：命令行界面中困难真实任务的智能体基准》
arXiv
Terminal-Bench 2.0 是一个由 89 个困难任务组成的精选基准，任务都在计算机终端环境中完成，用来衡量 AI 智能体处理真实命令行工作的能力；前沿模型和智能体的得分低于 65%。
研究史智能体与工具调用代码
2025
《Kimi K2：开放的智能体智能》
arXiv
Kimi K2 是 Moonshot AI 的万亿参数混合专家模型，用 MuonClip 优化器完成预训练，并以大规模智能体数据与强化学习做后训练；报告称它在开源非思考模型中处于领先，并公开了基座与后训练权重。
大语言模型开源中国 AI
2024
《FlashAttention-3：以异步与低精度实现快速准确注意力》
arXiv
FlashAttention-3 是面向英伟达 Hopper（H100）GPU 的注意力算法，借助异步执行与低精度技术，把 FP16 利用率做到最高 75%，FP8 吞吐接近 1.2 PFLOPs/s。
研究史深度学习开发者工具
2024
《τ-bench：真实领域中的工具-智能体-用户交互基准》
arXiv
τ-bench 是 2024 年 6 月提交到 arXiv 的基准，用语言模型模拟用户，与配备领域 API 工具和规则条文的语言智能体进行动态对话，并以对话结束时的数据库状态而非回复文本判定成败。
大语言模型研究史智能体与工具调用
2024
《OSWorld：真实计算机环境中开放式任务的多模态智能体基准》
arXiv
OSWorld 是一个面向多模态智能体的基准与环境，在 Ubuntu、Windows 和 macOS 上用 369 个真实计算机任务考察智能体；人类能完成 72.36% 以上，最好的模型只有 12.24%。
研究史智能体与工具调用多模态
2024
《LiveCodeBench：面向代码的大模型全面且无污染评测》
arXiv
一个持续从 LeetCode、AtCoder、CodeForces 竞赛中收集新题的代码大模型基准，用不断更新的题库避免数据污染，并覆盖代码修复、执行推理等任务。
大语言模型研究史数据与数据集
2023
《GAIA：通用 AI 助手基准》
arXiv
GAIA 是一个面向通用 AI 助手的基准，用对人类简单、对 AI 困难的真实问题，考察推理、多模态、网页浏览和工具使用能力，并以人类平均水平衡量进展。
研究史智能体与工具调用多模态
2023
《SWE-bench：语言模型能解决真实 GitHub 议题吗？》
arXiv
一个由 2,294 个真实软件工程问题组成的评测基准，题目取自 GitHub 议题及解决这些议题的拉取请求，模型必须编辑代码库来修复问题；发布时最好的模型解决率不足 2%。
研究史智能体与工具调用数据与数据集
2023
《WebArena：构建自主智能体的真实网络环境》
arXiv
WebArena 是可复现的网页环境，含电子商务、社交论坛、协作软件开发、内容管理四类网站，用于测试语言引导的智能体；GPT-4 智能体成功率 14.41%，人类 78.24%。[^1]
研究史智能体与工具调用多模态
2023
《FlashAttention-2：更好并行与工作划分的更快注意力》
arXiv
FlashAttention-2 是 FlashAttention 的改进版本，通过重新划分 GPU 线程块与线程束的工作，把注意力计算速度约提升一倍，在 A100 上可达理论峰值吞吐的 73%。
研究史深度学习开发者工具
2023
《QLoRA：量化大模型的高效微调》
arXiv
QLoRA 是一种微调方法：它把预训练大模型冻结并压到 4 位精度，只训练低秩适配器，从而在单张 48GB GPU 上微调 650 亿参数模型，并保持 16 位微调的效果。
大语言模型研究史开发者工具
2023
《Toolformer：语言模型能自学使用工具》
arXiv
2023 年的一篇论文，让语言模型自学决定何时调用计算器、搜索引擎等外部工具，并把返回结果融入后续文本生成。
大语言模型研究史智能体与工具调用
2022
《ReAct：语言模型中推理与行动的协同》
arXiv
ReAct 是一种提示方法：让语言模型把写出来的推理与调用外部工具或环境的行动交替进行，在问答、事实核查和交互式决策任务上都取得改进。
大语言模型研究史智能体与工具调用
2022
《FlashAttention：具备 IO 感知的快速精确注意力》
arXiv
FlashAttention 是一种围绕 GPU 内存搬运来组织的精确注意力算法：它用分块让中间结果留在片上，减少与高带宽内存之间的读写，从而更快地训练 Transformer 并支持更长序列。
研究史深度学习开发者工具
2021
《用大语言模型做程序合成》（MBPP）
arXiv
2021 年提交到 arXiv 的论文，提出 MBPP 基准：974 道入门级短 Python 题，并测量 244M 到 137B 参数的语言模型把自然语言描述变成代码的能力。
大语言模型研究史数据与数据集
2021
《评估在代码上训练的大语言模型》（Codex / HumanEval）
arXiv
2021 年的一篇 OpenAI 论文提出了 Codex——一个在公开 GitHub 代码上微调的 GPT 模型，以及 HumanEval——一套按「程序能否跑对」而不是「像不像参考答案」来评判生成代码的评测集。
大语言模型研究史数据与数据集
2021
《LoRA：大语言模型的低秩适配》
arXiv
LoRA 是一种微调方法：冻结预训练模型的权重，只在各层注入并训练小型低秩矩阵，从而把可训练参数和显存需求降低几个数量级。
大语言模型研究史开发者工具
2020
《GShard：用条件计算与自动分片扩展巨型模型》
arXiv
《GShard》2020年6月提交到arXiv，提出一套轻量注释API与XLA编译器扩展，让原有模型代码几乎不改动就能表达并行计算，并把一个稀疏门控的专家混合翻译模型扩展到6000亿参数以上。
大语言模型研究史开发者工具
2020
《面向知识密集型 NLP 任务的检索增强生成》（RAG）
arXiv
2020 年的一篇论文，把预训练的序列到序列模型与一个由神经检索器查询的维基百科稠密向量索引结合起来，在三个开放域问答任务上取得当时最好成绩。
大语言模型研究史智能体与工具调用