要解决的问题
GLM-5 的技术报告由智谱(Zhipu)的 GLM-5-Team 完成,作者名单由 Aohan Zeng、Xin Lv、Zhenyu Hou 领衔,于 2026 年 2 月 17 日提交到 arXiv,编号 2602.15763 [1]。报告把 GLM-5 定位为把范式从「氛围编程」(vibe coding)推进到「智能体工程」(agentic engineering)的一代基础模型 [1]。
这两种说法的差别在于对模型的要求。氛围编程是让模型按提示把代码写出来,人基本照单全收,一次一轮;智能体工程则要求模型把一个工程任务从头做到尾,自己规划、改文件、运行、检查,像一个代理在干活,而不是一个只回答一次问题的助手。报告称 GLM-5 建立在前代模型的智能体、推理与编程(agentic, reasoning and coding,ARC)能力之上 [1]。
稀疏注意力与大规模混合专家
模型架构上最关键的选择是 DSA,即 DeepSeek 稀疏注意力(DeepSeek Sparse Attention),它按 token 的重要性来分配注意力 [1]。通常的注意力要对之前每一个 token 都算一遍,成本随上下文长度增长;按重要性分配之后,训练和推理成本都大幅下降,同时保持长上下文的保真度 [1]。在这套注意力之下,模型的参数量扩展到 7440 亿,每个 token 激活 400 亿,采用混合专家(mixture-of-experts)架构 [1]。
混合专家架构的做法是让路由器把每个 token 只送给网络中的一小部分,因此模型「总共记住多少」和「每个 token 花多少计算」可以分开增长。GLM-5 之所以能做得这么大,而单个 token 的开销由 400 亿激活参数决定,原因就在这里。
异步的后期训练
报告提出了一套新的异步强化学习基础设施,把生成与训练解耦,以提高后期训练(post-training)的效率 [1]。报告还提出了异步的智能体强化学习算法,使模型能够从复杂的长程交互中学习 [1]。
这样做的原因很直接:用强化学习训练一个智能体,模型要连续走很多步才拿到一次奖励,如果训练端在模型生成时只能干等,时间就大量浪费在空转上。把生成和训练拆开,训练循环的两端就可以同时跑起来。
结果
报告称 GLM-5 在主要的公开基准上达到当前最好水平 [1]。报告特别强调了真实场景中的编程能力:在端到端的软件工程任务上,GLM-5 超过了此前的基线 [1]。代码与模型随报告一同发布 [1]。
为什么重要
这项工作的看点不在于某一个分数,而在于报告并排放着的两个主张。一个是能力层面的:目标已经不是在补全一个函数,而是完整做完一个工程任务,基准的选择和智能体强化学习算法都服务于这一点。另一个是成本层面的:稀疏注意力与混合专家的组合,是用来让一个 7440 亿参数的模型仍然可训练、可服务的杠杆,其中每个 token 激活 400 亿参数。
把代码与模型同报告一起公开,意味着这套架构和训练方法可以被别人查看和复用,而不必只凭报告相信 [1]。对于想弄清编程模型正在往哪走的人来说,这份报告相当集中地写出了其中一个方向:更长程的自主工作,靠更便宜的注意力和不互相等待的后期训练流水线来支付开销。
20261
-
2026 年 2 月 12 日,智谱发布 GLM-5,这是一款采用 MIT 许可证的 7440 亿参数开源模型。它整合了深度求索稀疏注意力(DSA),预训练数据从 23 万亿增至 28.5 万亿 token。
注释与来源
- GLM-5: from Vibe Coding to Agentic Engineeringhttps://arxiv.org/abs/2602.15763
引用本页: 《GLM-5:从氛围编程到智能体工程》. TellWorld, https://www.tellworld.net/zh/papers/glm-5-2026. 更新于 2026-11-07