商汤开源统一多模态模型日日新 U1

背景 长期以来，同时处理图像和文字的系统往往由几个分开的部件拼接而成：一个语言模型，一个读取图像的部件，以及一个生成图像的部件。每个部件分别训练和调整，之后再连接在一起。用一个网络同时完成理解和生成，是简化这种结构的一条路径。商汤的日日新 U1 采用的正是这一思路。

发生了什么 2026 年 4 月 27 日，商汤发布了日日新 U1 的初始权重和推理代码^[1]。权重是定义模型的全部学习所得数值，推理代码则是运行模型所需的程序。两者一起发布后，外部用户可以下载模型，并在自己的硬件上运行。发布时，这个模型被描述为开放权重的统一多模态模型，也就是同一个模型既能读懂图像和文字，也能生成它们。

关键细节 模型采用 NEO-unify 架构，没有单独的视觉编码器，也没有 VAE，语言和视觉在同一网络中端到端（end to end）地建模^[1]。视觉编码器的作用是把图像转换为语言模型能够读取的特征，VAE 则用于压缩图像以便生成。两者都去掉之后，整个系统就只剩一个网络。

旗舰版本是一个拥有 80 亿参数的混合 Transformer（mixture-of-transformers）模型^[1]。参数是模型内部的学习数值，参数量可以粗略衡量模型的规模。

权重以 Apache License 2.0 许可证发布^[1]。该许可证允许人们使用、修改和分发软件，同时附有条件，例如在副本中保留版权声明。

技术报告于 2026 年 5 月 10 日发布^[1]。

影响 U1 系列在发布后四个月内就在 GitHub 上获得了超过 11000 颗星^[2]。GitHub 星标相当于用户为项目加的书签。星标数能说明有很多人关注这个项目，但不能说明实际运行过模型的人数。开放的权重让研究人员和开发者获得了一个可以检查、测试并在其基础上开发的模型。