豆包大模型 1.5 Pro

是什么

豆包 1.5 Pro（Doubao-1.5-pro）是字节跳动于 2025 年 1 月 22 日发布的多模态模型，以闭源方式提供。多模态的意思是模型能同时处理文本、图像和语音等多种输入。它是此前推出的豆包家族高端模型豆包 Pro 的后继版本。^[1][2]

由来

豆包 1.5 Pro 是在豆包早期模型基础上的一次升级。它的架构被设计为稀疏混合专家（mixture-of-experts，MoE）模型，这一设计在预训练阶段就确定下来，并一直沿用到推理阶段。^[1] 混合专家模型把内部的计算能力分成许多专门的子网络，每次只激活其中一部分。这样，模型可以储存大量知识，同时为每个生成的词所消耗的计算量更少。

主要特点

字节跳动表示，一个只激活稠密模型约七分之一参数的混合专家模型，在使用同样的 9 万亿个 token 训练时，表现与该稠密模型相当甚至更好。公司把这称为 7 倍的「性能杠杆」，而行业通常的水平不到 3 倍。^[1] 字节跳动没有公开这个模型的总参数量和激活参数量。

团队还报告，其混合专家基础模型在预训练评测中超过了 Llama 3.1-405B，而它激活的参数要少得多。^[1] 字节跳动表示，后训练阶段没有使用任何其他模型的数据。强化学习基于公司自研的 veRL 框架进行，并使用生成式奖励模型来判断回答的质量。^[1]

这次发布还包括一个 24 亿参数的豆包 ViT 视觉编码器，它支持原生的动态分辨率图像输入。同时发布的还有一个端到端的语音对语音（speech-to-speech）框架。^[1]

一个深度思考变体 Doubao-1.5-pro-AS1-Preview 据报道在 AIME 测试中超过了 OpenAI 的 o1-preview。^[1] AIME 是一项数学竞赛题测试，常被用来比较模型的推理能力。

价格与部署

豆包 1.5 Pro 的 32K 版本 API 价格为每百万输入 token 0.8 元，缓存命中时每百万 token 0.16 元，每百万输出 token 2 元。豆包 1.5 Lite 的 32K 版本在同样的计价结构下分别为 0.3 元、0.06 元和 0.6 元。^[2] 界面新闻援引知情人士的说法，这款模型通过火山引擎销售的毛利率为 50%。^[2]

在部署上，团队采用了异构硬件上的预填充（prefill）与解码（decode）分离，并使用 W4A8 低精度量化。^[1] 把生成的两个阶段分开，可以让每个阶段运行在最适合它的硬件上；低精度权重则减少了服务每个请求所需的内存和计算量。

在发展中的位置

豆包 1.5 Pro 出现在豆包家族发布之后，其 API 通过火山引擎提供。火山引擎也是此前豆包模型向企业出售的平台。^[1][2] 理解它的规格，最好把它看作三个特点的组合：稀疏架构，即每个 token 只激活网络的一部分；较低的 API 价格；以及同时支持文本、图像和语音的输入。^[1]

因此，它在豆包家族中的位置更多取决于这种高效架构与低价获取方式的组合，而不是某一项基准成绩。读者在和后续模型比较时应注意，上文的价格都是按每百万 token 计算，并且是发布时的定价。^[2]