EXAONE 3.5（LG 韩英双语模型）

EXAONE 3.5 是什么

EXAONE 3.5 是 LG AI Research 发布的一个大语言模型系列，三款模型都做过指令微调（instruction tuning），也就是不只训练它续写文本，还训练它按用户给出的指令完成任务。系列按参数量分成 2.4B、7.8B 和 32B 三档；参数规模大致决定了模型的大小，也大致决定了生成每个词元要花多少计算^[1][2]。三款都是英语和韩语的双语模型^[2]。

由来

它接替的是 EXAONE 3.0——LG 在 2024 年 8 月发布的 7.8B 指令微调模型^[3]。EXAONE 3.5 于 2024 年 12 月 6 日连同技术报告一起公布^[1]；但权重在 2024 年 12 月 1 日就已出现在 Hugging Face 上，比报告早五天^[2]。也就是说，可以下载的模型先于描述它的文档出现。

三档尺寸与结构

最小的一款是 2.4B，面向内存和算力受限的设备^[1][2]。7.8B 的配置有更详细的公开记录：不含嵌入层的参数为 69.8 亿，32 层，词表大小为 102,400^[2]。它的注意力使用分组查询注意力（grouped-query attention），32 个查询头（query head）配 8 个键值头（key-value head）^[2]。

分组查询注意力省的是推理时的内存。在常规做法里，每个查询头都有自己的一份键和值投影，输入一长，这些需要保存的键和值就成了开销的大头。让若干查询头共用一份键值投影，这份缓存就会缩小。这里 32 个查询头共用 8 份键值，平均每份服务 4 个查询头。

三个尺寸都支持最长 32K 词元的上下文（context）^[2]。上下文指模型一次能同时读到的文本量，既包括提示词，也包括它被要求处理的材料。

报告给出的评测结果

技术报告称，该系列在 7 项指令遵循基准（benchmark）上得分最高^[1]，并在 4 项长上下文基准上取得最好成绩^[1]。这是报告作者与同期其他模型做的比较，具体的基准名称和差距写在报告里。指令遵循基准考察的是模型有没有真按提示词的要求去做，而不只是给出看似合理的回答；长上下文基准考察的是它能不能在很长的输入里找到并利用分散各处的信息。

许可与它在系列中的位置

权重以 EXAONE 许可证发布，允许研究用途^[1][2]。

这一系列是按梯子组织的，而不是单个模型：最小的一档给内存紧张的设备用，中间一档的架构细节公开得最全，32B 一档面向更大的机器，三档共享同样的 32K 上下文和同样的英韩双语能力^[1][2]。对想看模型家族怎么搭建、怎么记录的人来说，这套材料相当完整——有权重，有写明层数与注意力配置的模型卡，还有描述评测的技术报告；而权重与报告相差五天才到位，也说明一次发布的两半可以不同时到达^[1][2]。