DeepSeek LLM 通用语言模型（7B / 67B）

是什么

DeepSeek LLM（通用语言模型）是深度求索（DeepSeek）首个通用语言模型系列，于 2023 年 11 月 29 日发布 ^[3]。系列提供 7B 和 67B 两种参数规模，每种规模都有基础版（base）和对话版（chat）^[1]。基础模型经过训练，主要学习预测文本，是后续开发的基础。对话版则是在基础模型上进一步调整，使其能够进行多轮对话，并以助手的方式回答问题。

由来

基础模型在 2 万亿个 token 的数据集上完成预训练 ^[1]。对话版的制作分为两步。第一步是监督微调（supervised fine-tuning），即让模型学习大量示范对话及其合适的回答。第二步是直接偏好优化（Direct Preference Optimization，DPO），用成对的回答及其偏好标注训练模型，使它更倾向于人们更喜欢的回答 ^[1]。

配套论文研究了开源模型的规模定律（scaling laws）。规模定律描述模型的表现如何随参数规模、训练数据量和计算预算增长而变化，可以帮助团队在既定预算下决定训练多大的模型。论文指出，此前的文献得出的结论并不一致，并据此选定了 7B 和 67B 两个版本的配置 ^[1]。论文于 2024 年 1 月 5 日发布在 arXiv 上 ^[1]。

主要特点

深度求索报告，67B 基础模型在代码、数学和推理基准测试上超过了 LLaMA-2 70B ^[1]。基准测试是一组固定的测试题，用于比较模型。数学和推理测试之所以有参考价值，是因为它们需要多步逻辑推导，而不只是记忆。

公司还报告，DeepSeek LLM 67B Chat 在开放式评测中超过了 GPT-3.5 ^[1]。开放式评测比较的是自由作答的内容，例如解释或建议，而不是判断一个标准选项，因此较难自动打分。

在发展中的位置

深度求索在后续论文中报告，一个 145B 参数的 DeepSeekMoE 模型以只占 DeepSeek 67B 一小部分的计算量，达到了后者的水平 ^[4]。这个 145B 模型采用混合专家（MoE）设计，即每次输入只激活网络的一部分。原始的 DeepSeek LLM 系列已经不再维护 ^[3]。

这一系列的意义在于，它是深度求索的首个通用模型，而且论文记录了 7B 和 67B 两种规模背后的规模选择。想了解该公司后来模型的设计思路，可以从这两个规模和论文中的设计决策读起。