月之暗面发布长文本智能助手 Kimi

背景

Kimi 由月之暗面（Moonshot AI）发布，这家公司成立于 2023 年 3 月，距 Kimi 面世只有七个月。^[2]

发布

2023 年 10 月，月之暗面正式发布 Kimi 智能助手，最初以封闭测试的形式上线。^[1] 从一开始，它的卖点就是能装下多少文本：Kimi 在一次对话中最多可处理 20 万个汉字。^[2]

2023 年 11 月 16 日，Kimi 向公众开放，标称具备 12.8 万 token 的无损上下文。^[1] 这两个数字的计量单位不同，前者按汉字计，后者按 token 计。

长文本成为标志

长上下文（long context）此后成为 Kimi 的标志性特征。^[1] 2024 年 3 月，这一上限被扩展到 200 万字。^[1]《星报》（The Star）在 2024 年 5 月 21 日的报道中称 Kimi 于前一年 10 月推出，并提到它在 3 月已能在单次提示中处理多达 200 万个汉字，而此前是 20 万字。^[3]

上下文窗口是什么

大语言模型（large language model）每次作答时只能「看见」有限的文本，这段文本就是上下文窗口（context window）。对话记录、贴进去的文档、系统给出的指令，都必须装进这个窗口。一旦超出，系统就得丢掉较早的内容，或者用摘要替换，而被丢掉的信息不再影响回答。所谓「无损」，指的是这些内容原样保留，而不是在模型读到之前就被压缩掉。

文本在模型内部按 token 计数，一个 token 大致相当于一个词或者一个字的碎片。汉字与 token 并非一一对应，所以同一项容量既可以按 token 数标称，也可以按字数标称，两套数字并不相同。

为什么长度重要

对一个用户来说，窗口的长短决定了什么样的任务可行。窗口较小时，模型只够应付一段简短的交流；窗口足够大，才有可能把一整份长材料一次交进去，让它基于全文回答，而不必把材料切成若干段一段段喂进去。一次读完还有一个好处：可以避免模型在回答后面的问题时，已经丢掉了前面的内容。把窗口本身当作主打卖点，而不是只谈模型的推理或写作水平，等于把「一次能读多少东西」变成一个用户可以直观比较的产品指标。

这次发布说明了什么

Kimi 的上线节奏本身就是故事的一部分。一家 2023 年 3 月才成立的公司，同年 10 月就拿出了产品，11 月向所有人开放。^[1][2] 从发布到 2024 年 3 月，标称容量从 20 万个汉字提高到 200 万字，几个月内提高了一个数量级。^[1][2] 到 2024 年 5 月 21 日《星报》撰文时，长文本仍然是用来识别 Kimi 的特征。^[3]