EXAONE 4.0（统一推理与非推理模式）

一个系列，两种尺寸

EXAONE 4.0 是 LG 推出的一个大型语言模型系列，技术报告于 2025 年 7 月 15 日发布，包含 32B 与 1.2B 两个尺寸，后者是端侧（on-device）模型^[1]。两个尺寸面向不同的使用场景：32B 是大的那个，公开的架构细节也主要集中在这一款上；1.2B 小到可以被称作端侧模型，也就是可以放在本地设备上运行，而不必只依赖远端服务器。

这一版改变了什么

此前的 EXAONE 系列把工作分给了两类模型：EXAONE 3.5 是通用模型，长处在于易用；EXAONE Deep 则是为推理而做的模型。EXAONE 4.0 把 EXAONE 3.5 的易用性和 EXAONE Deep 的推理能力合并进同一个模型，用户不必再在「聊天用」和「推理用」之间二选一^[1]。

随这一版还带来两处变化。其一是加入了智能体式的工具调用（agentic tool use），即模型可以在需要调用外部工具才能完成的任务里参与进来；LG 把这一步说成是为智能体 AI（agentic AI）时代做准备——在那个阶段，模型被期待去执行任务，而不只是回答问题^[1]。其二是多语言支持从英语、韩语扩展到西班牙语^[1]。

32B 模型的内部

32B 模型不含嵌入（embedding）部分共有 309.5 亿参数，分布在 64 层中^[2]。参数是网络学到的权重；嵌入则是把词元（token）映射成向量的查表，这部分不计入上述参数数量。模型的上下文窗口（context window）为 131,072 个词元，即一次能同时「看到」的文本量；词表（vocabulary）大小为 102,400，即分词器能够产出的全部单位^[2]。

注意力层的设计是混合式的：局部滑动窗口注意力（sliding-window attention）与全局全注意力（full attention）按 3:1 的比例搭配^[2]。在滑动窗口层里，每个词元只关注一个有界的邻近范围，长序列的开销因此被压住；在全局全注意力层里，每个词元都能看到其他所有词元，信息于是可以跨越整段上下文流动。把两者混起来，是在大多数层只看短窗口的前提下，保留全注意力的大部分视野，同时少付很多代价。

全局注意力层上不再使用旋转位置编码（rotary position embedding），模型卡把这作为更好处理长上下文的一种做法^[2]。旋转位置编码通过旋转查询（query）和键（key）向量来编码位置；把它从全局层上去掉，等于改变了上下文变长之后位置信息的表示方式。

一套名为 QK-Reorder-Norm 的归一化方案，对注意力模块和多层感知机（MLP）模块的输出施加 LayerNorm，并在查询与键的投影之后施加 RMS 归一化^[2]。归一化的作用是把训练和生成过程中激活值的尺度控制住，而放在哪里做、对哪些量做，会影响数值稳定性——把归一化放在 Q、K 投影之后，就是一个关于「在算注意力分数之前先重新缩放哪些量」的具体选择。

注意力本身采用分组查询注意力（grouped-query attention），40 个查询头共用 8 个键值头^[2]。分组查询注意力让若干查询头共享一组键值头，这样在生成文本时需要缓存的键值就小得多，同时仍保留普通多头注意力的相当一部分效果。

许可与位置

这一版同时更新了许可：通过获得授权的服务合作方，可以将其用于商业用途^[2]。把这些放在一起看，EXAONE 4.0 更像一次整合式的发布，而不是单独一个新技巧：一个系列同时覆盖日常使用与推理，两个尺寸分别对应大模型与端侧小模型，工具调用和第三种语言则扩大了谁能用、用来做什么。按 LG 自己的说法，工具调用能力是这套安排的中心，是为模型通过工具去执行任务、而不只是给出答案的那个阶段打底^[1]。