首页›论文
论文
论文
对人工智能有重大贡献的论文，每篇都有通俗解读。
共 16 · 清除筛选
- 2026
《Muse Spark 安全与准备度报告》
arXiv
Meta 为 Muse Spark（Meta AI 的底层模型）发布的安全与准备度报告，交代了支撑其发布决策的灾难性风险评估，并论证在施加缓解措施后残余风险可接受。
- 2026
《DeepSeek-V4：面向百万 token 上下文的高效智能》
arXiv
DeepSeek-V4 系列的预览报告：Pro 版总参数 1.6 万亿、Flash 版 2840 亿，两者均支持百万 token 上下文，并给出了让这一长度变得可负担的注意力、连接与优化器改动。
- 2025
《Gemini 2.5：以先进推理、多模态、长上下文与新一代智能体能力推进前沿》
arXiv
《Gemini 2.5》技术报告于 2025 年 7 月 7 日提交到 arXiv，记录了 Google 的 Gemini 2.5 Pro 与 2.5 Flash，涉及推理能力、长上下文视频处理和成本与能力的取舍。
- 2024
《DeepSeek-V3 技术报告》
arXiv
DeepSeek-AI 发布的 DeepSeek-V3 技术报告，介绍了一个总参数 6710 亿的混合专家语言模型，涵盖架构、训练流程与评测，并给出了 278.8 万 H800 GPU 小时完成全部训练的效率数据。
- 2024
《Llama 3 模型群》
arXiv
Meta 2024 年的论文，把 Llama 3 描述为一组基础模型（80 亿、700 亿和 4050 亿参数），预训练语料约 15 万亿 token，并报告其在广泛任务上与 GPT-4 等领先模型质量相当。
- 2024
《Gemini 1.5：在数百万 token 的上下文中释放多模态理解》
arXiv
Google Gemini 团队的一份报告，介绍以超长上下文为核心的多模态模型 Gemini 1.5 系列，其中 Gemini 1.5 Pro 可在最多 1000 万 token 的上下文中回忆信息。[^1]
- 2022
训练计算最优的大语言模型（Chinchilla）
NeurIPS
DeepMind 的一项研究指出，固定算力下语言模型应当用多得多的数据训练；其 700 亿参数的 Chinchilla 在同算力下胜过了更大的模型。
- 2021
- 2020
语言模型是少样本学习者（GPT-3）
NeurIPS
GPT-3 论文表明，一个拥有 1750 亿个参数的语言模型，只要在提示词（prompt）里给出几个例子，就能完成许多任务，无需额外微调；而且这种能力随模型规模增大而增强。
- 2020
- 2019
《Megatron-LM：用模型并行训练数十亿参数的语言模型》
arXiv 1909.08053
NVIDIA 团队 2019 年的论文，提出一种层内模型并行方法，只需在原生 PyTorch 中插入少量通信操作，就训练出 83 亿参数的 Transformer 模型，并在多个基准上超过此前最好成绩。
- 2019
语言模型是无监督的多任务学习者（GPT-2）
OpenAI
OpenAI 在 2019 年发表的 GPT-2 论文，模型拥有 15 亿参数。研究表明，仅训练预测下一个词的模型在提示下就能完成多种任务，其分阶段发布也引发了关于是否公开强大模型的讨论。
- 2018
BERT：用于语言理解的深度双向 Transformer 预训练
NAACL
Google 在 2018 年提出的 BERT，只用 Transformer 编码器，能同时利用前后文，并通过遮词预训练。它在 11 项语言任务上刷新成绩，使「预训练后微调」成为常规做法。
- 2018
通过生成式预训练提升语言理解（GPT）
OpenAI
OpenAI 在 2018 年发表的 GPT 论文：先用海量无标注文本训练 Transformer 解码器预测下一个词，再针对具体任务微调。它在研究的 12 项任务中有 9 项刷新了最好成绩。
- 2018
深层语境化词表示（ELMo）
arXiv
这是 Matthew E. Peters 等六位作者 2018 年的论文，用预训练的深层双向语言模型内部状态表示词，使向量随语境变化；把它加到已有模型上，在六个自然语言处理任务上提升了成绩。
- 2018
通用语言模型微调（ULMFiT）
arXiv
ULMFiT 是 Howard 与 Ruder 在 2018 年提出的通用语言模型微调方法，用于 NLP 任务；在六个文本分类任务上超过当时最先进水平，并在少标签下表现突出。