论文 | TellWorld

首页›论文

论文

对人工智能有重大贡献的论文，每篇都有通俗解读。

共 42 · 清除筛选

2026
《Kimi K3：开放的前沿智能》
arXiv
Kimi K3 是月之暗面发布的 2.8 万亿参数混合专家模型，具备原生视觉与百万 token 上下文，权重随报告开放；报告称其多项任务达前沿水平，但整体仍落后最强闭源模型。
大语言模型开源中国 AI
2026
《Qwen3.5-Omni 技术报告》
arXiv
《Qwen3.5-Omni 技术报告》介绍阿里巴巴数千亿参数的多模态模型：可理解超 10 小时音频，支持 10 种语言语音生成，在 215 项音视频基准上报告最优结果。
大语言模型开源中国 AI
2025
《Gemini 2.5：以先进推理、多模态、长上下文与新一代智能体能力推进前沿》
arXiv
《Gemini 2.5》技术报告于 2025 年 7 月 7 日提交到 arXiv，记录了 Google 的 Gemini 2.5 Pro 与 2.5 Flash，涉及推理能力、长上下文视频处理和成本与能力的取舍。
大语言模型基础模型多模态
2025
《人类最后的考试》（HLE）
arXiv
《人类最后的考试》（HLE）是一个包含 2,500 道题、横跨数十个学科的多模态基准，由全球专家编写，目的是在旧基准被模型刷满之后，仍能测量前沿大模型的能力。
研究史多模态推理
2024
《SAM 2：在图像与视频中分割一切》
arXiv
SAM 2 是 Meta FAIR 提出的基础模型，用点、框或掩码等提示即可在图像和视频中分割目标，论文同时发布了大规模视频分割数据集与训练代码。
研究史深度学习多模态
2024
《FlashAttention-3：以异步与低精度实现快速准确注意力》
arXiv
FlashAttention-3 是面向英伟达 Hopper（H100）GPU 的注意力算法，借助异步执行与低精度技术，把 FP16 利用率做到最高 75%，FP8 吞吐接近 1.2 PFLOPs/s。
研究史深度学习开发者工具
2024
《OSWorld：真实计算机环境中开放式任务的多模态智能体基准》
arXiv
OSWorld 是一个面向多模态智能体的基准与环境，在 Ubuntu、Windows 和 macOS 上用 369 个真实计算机任务考察智能体；人类能完成 72.36% 以上，最好的模型只有 12.24%。
研究史智能体与工具调用多模态
2024
《Gemini 1.5：在数百万 token 的上下文中释放多模态理解》
arXiv
Google Gemini 团队的一份报告，介绍以超长上下文为核心的多模态模型 Gemini 1.5 系列，其中 Gemini 1.5 Pro 可在最多 1000 万 token 的上下文中回忆信息。[^1]
大语言模型研究史基础模型
2023
《GAIA：通用 AI 助手基准》
arXiv
GAIA 是一个面向通用 AI 助手的基准，用对人类简单、对 AI 困难的真实问题，考察推理、多模态、网页浏览和工具使用能力，并以人类平均水平衡量进展。
研究史智能体与工具调用多模态
2023
《WebArena：构建自主智能体的真实网络环境》
arXiv
WebArena 是可复现的网页环境，含电子商务、社交论坛、协作软件开发、内容管理四类网站，用于测试语言引导的智能体；GPT-4 智能体成功率 14.41%，人类 78.24%。[^1]
研究史智能体与工具调用多模态
2023
《FlashAttention-2：更好并行与工作划分的更快注意力》
arXiv
FlashAttention-2 是 FlashAttention 的改进版本，通过重新划分 GPU 线程块与线程束的工作，把注意力计算速度约提升一倍，在 A100 上可达理论峰值吞吐的 73%。
研究史深度学习开发者工具
2023
《QLoRA：量化大模型的高效微调》
arXiv
QLoRA 是一种微调方法：它把预训练大模型冻结并压到 4 位精度，只训练低秩适配器，从而在单张 48GB GPU 上微调 650 亿参数模型，并保持 16 位微调的效果。
大语言模型研究史开发者工具
2023
《GPT-4 技术报告》
arXiv 2303.08774
OpenAI 于 2023 年 3 月提交到 arXiv 的 GPT-4 技术报告，描述了一个大规模多模态 Transformer 模型，给出了多项专业基准上达到人类水平的结果，并说明了团队如何让规模化行为变得可预测。
大语言模型研究史多模态
2022
《基于 Transformer 的可扩展扩散模型》（DiT）
arXiv
2022 年，Peebles 与 Xie 用 transformer 取代扩散模型的 U-Net 主干，证明效果随算力稳定提升，并在 ImageNet 上取得 2.27 FID。
研究史生成式模型图像生成
2022
LAION-5B：面向下一代图文模型的开源大规模数据集
arXiv
LAION-5B 是一个公开的图文对数据集，包含 58.5 亿条经 CLIP 过滤的图像-文本对，目的是让少数实验室之外的研究者也能研究和复现大规模视觉语言模型。
开源多模态数据与数据集
2022
《FlashAttention：具备 IO 感知的快速精确注意力》
arXiv
FlashAttention 是一种围绕 GPU 内存搬运来组织的精确注意力算法：它用分块让中间结果留在片上，减少与高带宽内存之间的读写，从而更快地训练 Transformer 并支持更长序列。
研究史深度学习开发者工具
2022
《具备深度语言理解的照片级文生图扩散模型》（Imagen）
arXiv
Imagen 是一个用大型预训练语言模型编码提示词的文生图扩散模型，在 COCO 上取得 7.27 的零样本 FID，并提出 DrawBench 评测基准。
研究史多模态生成式模型
2021
《用潜空间扩散模型进行高分辨率图像合成》
arXiv 2112.10752 (CVPR 2022)
2021 年的一篇论文，把扩散模型放到预训练自编码器的潜空间里运行，降低了高分辨率图像合成的算力，并用交叉注意力接受文本或边界框等条件。
研究史生成式模型图像生成
2021
《LoRA：大语言模型的低秩适配》
arXiv
LoRA 是一种微调方法：冻结预训练模型的权重，只在各层注入并训练小型低秩矩阵，从而把可训练参数和显存需求降低几个数量级。
大语言模型研究史开发者工具
2021
《零样本文生图》（DALL·E 论文）
arXiv
2021 年的一篇 OpenAI 论文：用单个 120 亿参数的自回归 Transformer，在 2.5 亿对图文数据上训练，即可根据文字生成图像，零样本评测下与领域专用模型相当。
研究史多模态生成式模型