Step-1V 多模态大模型

是什么

Step-1V 是阶跃星辰（StepFun）发布的多模态大模型，参数量约一千亿，于 2024 年 3 月 23 日正式亮相^[1]。多模态指的是同一个模型不只处理文字，也处理图像这类别的信息，并在两者之间建立联系。过去，读懂一张图表和写出一段文字常常由不同系统分别完成；多模态模型把这些能力收进同一个模型，使它能够看着一张图片回答问题，或者依据图片里的内容生成新的内容。

由来

维基百科把这款模型的完成时间记为 2023 年 11 月^[2]，正式对外发布则在其后。同一系列后来还出现了 Step-1.5V 与 Step-2 等模型^[3]。

它能做什么

按发布时的说明，Step-1V 可以读取图像中的文字、数据和图表，并在此基础上创作内容、进行推理和分析数据；它同时支持视频理解^[1]。这与纯文字输入的区别在于，模型要先弄清画面里有什么——表格中的数字排在哪一列，图表里哪根柱子更高，一张示意图想说明什么——然后才能作答。视频理解则把处理对象从单张静态画面扩展到随时间变化的内容。

发布时的位置

Step-1V 在发布时位列 OpenCompass（司南）多模态榜单第一，阶跃星辰称其表现与 GPT-4V 相当^[1]。榜单的做法是把许多模型放到同一组题目上跑分再比较，因此它给出的是特定评测条件下模型之间的相对位置，而不是对各类使用场景的完整判断。

到 2024 年 11 月，维基百科记载它在 LMSYS Chatbot Arena 的视觉类别中位列中国模型第一^[2]。这个竞技场用的是另一种办法：让人在不被告知模型身份的情况下比较两个回答，再根据这些偏好排出名次。固定题目的榜单和两两盲选比较，衡量的东西并不完全相同，同一个模型在两者上位置不同并不奇怪。

后继型号

2024 年 7 月 5 日，阶跃星辰在 WAIC 上发布 Step-1.5V，作为 Step-1V 的后续^[3]。新版本提升了图像感知能力，增加了对物体、人物、场景和情绪的视频理解，并借助 Step-2 强化推理^[3]。推理能力的加强体现在具体任务上：从图像出发解数学题、写代码，或者依据一张图作诗^[3]。感知（把画面里的内容看对）与推理（拿这些内容做什么）是两件不同的事，多模态系统通常分别改进再合到一处，这条路径在这里也看得很清楚。

闭源与现状

Step-1V 是闭源模型，维基百科已将其列为弃用^[2]。闭源指的是模型本身不对外公开，使用者通过服务来调用，而不是把模型取下来自己运行；这与可自行部署的开源做法不同，好处是使用门槛低，代价是外部无法直接查看或改动模型内部。被列为弃用，反映的是后继型号已经接过了它在这一系列中的位置。