首页›论文
论文
论文
对人工智能有重大贡献的论文，每篇都有通俗解读。
共 30 · 清除筛选
- 2026
《Kimi K3：开放的前沿智能》
arXiv
Kimi K3 是月之暗面发布的 2.8 万亿参数混合专家模型，具备原生视觉与百万 token 上下文，权重随报告开放；报告称其多项任务达前沿水平，但整体仍落后最强闭源模型。
- 2026
《DeepSeek-V4：面向百万 token 上下文的高效智能》
arXiv
DeepSeek-V4 系列的预览报告：Pro 版总参数 1.6 万亿、Flash 版 2840 亿，两者均支持百万 token 上下文，并给出了让这一长度变得可负担的注意力、连接与优化器改动。
- 2026
《Qwen3.5-Omni 技术报告》
arXiv
《Qwen3.5-Omni 技术报告》介绍阿里巴巴数千亿参数的多模态模型：可理解超 10 小时音频，支持 10 种语言语音生成，在 215 项音视频基准上报告最优结果。
- 2025
《Kimi K2：开放的智能体智能》
arXiv
Kimi K2 是 Moonshot AI 的万亿参数混合专家模型，用 MuonClip 优化器完成预训练，并以大规模智能体数据与强化学习做后训练；报告称它在开源非思考模型中处于领先，并公开了基座与后训练权重。
- 2025
《Common Pile v0.1：8TB 公共领域与开放许可文本数据集》
arXiv
一个 8TB 的公共领域与开放许可文本数据集，用于大语言模型预训练；作者同时发布两个在该数据上训练的 70 亿参数模型，用以证明这批数据够用。
- 2025
《Qwen3 技术报告》
arXiv
《Qwen3 技术报告》介绍阿里巴巴 Qwen3 系列大语言模型，覆盖稠密与混合专家架构，统一思考与非思考模式，并加入思考预算机制，全部以 Apache 2.0 许可证发布。
- 2025
《绝对零：零数据的强化自博弈推理》
arXiv
2025 年的一篇论文提出「绝对零」范式：同一个模型自己出题、自己解题，由代码执行器统一判定对错，不使用任何外部数据，就在编程与数学推理上达到总体最佳水平。
- 2025
DeepSeek-R1：用强化学习激发大语言模型的推理能力
arXiv
DeepSeek-R1 报告介绍了如何主要依靠强化学习，并对正确答案给予奖励，训练出一个推理模型。它在数学、代码和推理基准上的表现与 OpenAI 的 o1 相当，权重也以开放形式发布。
- 2024
《DeepSeek-V3 技术报告》
arXiv
DeepSeek-AI 发布的 DeepSeek-V3 技术报告，介绍了一个总参数 6710 亿的混合专家语言模型，涵盖架构、训练流程与评测，并给出了 278.8 万 H800 GPU 小时完成全部训练的效率数据。
- 2024
《Llama 3 模型群》
arXiv
Meta 2024 年的论文，把 Llama 3 描述为一组基础模型（80 亿、700 亿和 4050 亿参数），预训练语料约 15 万亿 token，并报告其在广泛任务上与 GPT-4 等领先模型质量相当。
- 2024
《FlashAttention-3：以异步与低精度实现快速准确注意力》
arXiv
FlashAttention-3 是面向英伟达 Hopper（H100）GPU 的注意力算法，借助异步执行与低精度技术，把 FP16 利用率做到最高 75%，FP8 吞吐接近 1.2 PFLOPs/s。
- 2024
《FineWeb 数据集：大规模网络文本的精炼》
arXiv
FineWeb 是从 96 个网络快照构建的 15 万亿 token 预训练数据集，公开了处理代码与实验模型；教育子集 FineWeb-Edu 在知识推理基准上表现更好。
- 2024
《Dolma：面向语言模型预训练研究的三万亿词元开放语料库》
arXiv
Dolma 是一个公开发布的英文语料库，规模约三万亿词元，由网页文本、论文、代码、书籍、社交媒体与维基百科混合而成；配套论文同时记录了数据集本身和整理流程。
- 2024
《专家模型 Mixtral》
arXiv
Mixtral 8x7B 是 Mistral AI 的稀疏专家混合语言模型，每层由路由器为每个词元挑选 2 个专家，总共可访问 47B 参数，推理时只用到 13B。
- 2023
《Llama 2：开放的基础模型与微调对话模型》
arXiv 2307.09288
这是一篇 2023 年 7 月由 Hugo Touvron 领衔、Meta 多位作者完成的论文，提出并发布了参数量从 70 亿到 700 亿的 Llama 2 系列预训练与微调模型，并详细说明了对话版本如何微调、如何提升安全性。
- 2023
《FlashAttention-2：更好并行与工作划分的更快注意力》
arXiv
FlashAttention-2 是 FlashAttention 的改进版本，通过重新划分 GPU 线程块与线程束的工作，把注意力计算速度约提升一倍，在 A100 上可达理论峰值吞吐的 73%。
- 2023
《QLoRA：量化大模型的高效微调》
arXiv
QLoRA 是一种微调方法：它把预训练大模型冻结并压到 4 位精度，只训练低秩适配器，从而在单张 48GB GPU 上微调 650 亿参数模型，并保持 16 位微调的效果。
- 2023
RedPajama：LLaMA 训练数据集的开源复现
Together AI blog / GitHub
RedPajama 是一个开源项目，第一步是把 LLaMA 的训练数据集复现出来，以「洁净室」方式完整开源了 1.2 万亿 token 的语料。
- 2023
- 2022
LAION-5B：面向下一代图文模型的开源大规模数据集
arXiv
LAION-5B 是一个公开的图文对数据集，包含 58.5 亿条经 CLIP 过滤的图像-文本对，目的是让少数实验室之外的研究者也能研究和复现大规模视觉语言模型。