Luma AI 发布视频生成工具 Dream Machine

背景

文生视频（text-to-video）指的是用一段文字描述生成一段动态画面：把描述场景、主体或镜头运动的提示词交给模型，模型输出连续的画面帧。这比生成单张图片要难得多。视频的信息量远大于照片——每一帧都是一张完整的图像，相邻帧之间还必须在人物、物体、光影和运动上保持连贯。因此这个方向的进展，很大程度上不是「画得更细」，而是让片段更长、更清晰、更符合物理常识。

发布

2024 年 6 月 12 日，Luma Labs 将 Dream Machine 向公众发布，并在 X 上配以示例视频公布 ^[1]。根据发布时的说明，任何人都可以在其官网免费试用 ^[2]。

对一个视频模型来说，免费开放是一个有分量的选择。视频生成运行成本高，通常最先被限制的就是访问权限；而这一次，门槛只剩一个浏览器。

生成出来的东西

生成的视频为 5 秒，分辨率 1360x752 ^[1]。VentureBeat 报道称，Dream Machine 能够根据一段文字提示生成一段写实的 5 秒视频，一次生成大约耗时两分钟 ^[2]。免费用户每天可以生成 10 条视频 ^[1]。

「两分钟」这个数字影响的是使用方式，而不只是效率。一次生成在几分钟内结束，而不是等上几个小时，就意味着可以形成「写提示词—等待—看结果—改写提示词再来一次」的循环。模型于是更像一个可以来回商量、逐步调整的对象，而不是提交一次就等结果的批处理任务。

一周内补上的功能

发布后不到一周，Luma 就加入了视频延长（video extension）和视频内编辑（in-video editing）^[1]。延长功能让一段已经生成的片段接着往下续，编辑功能则允许改动已有画面中的局部内容，而不是整条重做。这两项功能对应的正是 5 秒短片的两个明显短板：一是太短，二是结果一旦生成就很难局部修改。

争议

Luma 转发的一段预告片招致批评，被指在视觉外观上照搬了动画电影《怪兽电力公司》（Monsters, Inc.）^[1]。《怪兽电力公司》是一部造型与色彩辨识度很高的动画长片，争议针对的是风格上的相似，而不是某一帧画面。这件事同时展示了这项技术的两面：生成影像可以接近到让观众一眼认出的程度，而这种接近又会引出关于风格、模仿与署名的讨论，工具本身并不回答这些问题。

后续计划与位置

Luma 表示计划推出 API，以及面向常用创作软件的插件 ^[2]。这说明目标不止是官网上的一个演示：API 让别的产品可以调用模型，插件则把生成放进人们本来就在用的剪辑软件里。

把这些放在一起看——免费公开访问、约两分钟的生成时间、免费用户每天 10 条、以及第一周内就补上的延长与编辑功能——Dream Machine 属于文生视频从短暂演示走向「普通用户不花钱就能试、能拿来做真实尝试」的那个阶段。它的 5 秒、1360x752 输出规格，以及围绕风格模仿的早期争议，也标出了这个阶段的位置所在。