Vidu S2（生数实时交互与实时编辑模型）

不是一个模型，而是两个

Vidu S2 不是单个模型。2026 年 9 月 10 日发布到 arXiv 的论文同时给出了两个模型：S2-Avatar 与 S2-Editing。^[1] 这种拆分对应的是人们对实时视频系统最常见的两种诉求——让屏幕上的角色当下就对人作出反应，以及让一段已经在播放的视频改变它看起来的样子。两者都被描述为实时运行，也都延续了 Vidu S1 开启的路线。

从 S1 到 S2

项目的代码仓库列出了两篇参考文献：S1 论文（2607.03118）和 S2 论文（2609.11638）。^[2] 两代之间的差距最直观地体现在分辨率上。Vidu S1 的数字人模型输出 540p 视频，S2-Avatar 则实时生成 720p。^[1] 在流式场景里，分辨率之所以重要，是因为输出是给人当场看的，而不是事后再渲染一遍。

S2-Avatar：跟得上的角色

S2-Avatar 实时生成 720p 的数字人视频。^[1] 与常见的「说话头像」生成器相比，它有两处不同。其一是它能在流的中间接受新的参考图像（reference image），因此角色或场景可以在一次会话进行中被更新，不必中断重来。^[1] 其二是指令遵循（instruction following）能力比 S1 更强，覆盖的动作类型扩展到了跳舞等。^[1] 这意味着一次会话不只限于一张脸和一段声音：用户可以在流运行的同时指定角色做什么，也可以改变角色的样子。

S2-Editing：边到边改的视频

S2-Editing 处理的是已经存在的视频。它对输入的视频流做变换，覆盖四类操作：风格渲染（style rendering）、服装替换、角色替换和背景替换。^[1] 这几类操作的共同点是，画面的动作与节奏来自原始素材，而外观由模型提供。由于输入是流而不是一段已经完成的片子，效果可以在视频被观看或传输的过程中呈现，而不需要等着单独跑一遍渲染。

立体输出

两个模型还都探索了空间视频生成（spatial video generation），产出面向沉浸式显示的立体视图。^[1] 也就是说，同一次生成过程可以同时给出左右眼各自需要的那幅略有差异的画面，而不必把立体化留给后续的转换环节。

结果与体验方式

作者报告说，在他们自己的实验中，S2 优于所有基线（baseline）。^[1] 这是作者的结论，适用于他们设定的评测条件。想直接判断实际表现的人，可以在 vidu.com/vidu-stream 上试玩一个可交互的演示。^[1]

处在什么位置

值得注意的设计选择是分工。S2 没有让一个模型去承担所有任务，而是把「生成一个可交互的角色」和「编辑一段已有的视频流」分开，再让两者共同关心立体输出。对照 S1 来看，这篇论文体现的方向是从产出短视频片段，走向维持一场持续进行、并且可以在中途被改方向的视频会话——渲染一个结果和与它对话，是两件不同的事。