背景:一个模型,几种「感官」
大多数已经投入使用的 AI 模型都是专才。文本模型读文字、写文字,语音模型把声音转成文字或把文字转成声音,视觉模型处理图像。全模态(omni-modal)模型则把几种模态放进同一套权重里,于是同一个模型可以一边看图片、一边听人提问,再开口回答。这里的「模态」指的就是数据的形式:文字、像素、声音。
Liquid AI 的 LFM3 系列本身就覆盖了多种模型,包括基座模型、文本模型、视觉模型、音频模型和决策模型 [1]。它们各自围绕某一类输入或某一类任务而建。
发布了什么
2026 年 10 月 21 日,Liquid AI 发布 LFM3-Omni-2B,这是 LFM3 系列中第一个全模态成员 [1]。名字沿用系列惯例,「2B」指向它的体量级别:模型有 2.17B 个参数 [1]。参数是神经网络内部可学习的数值,参数越多通常意味着容量越大、占用的内存也越多,所以模型名旁边常挂着这个数字。
输入与输出
模型的输入包括文本、图像、视频和 16 kHz 音频 [1]。16 kHz 是采样率,意思是每秒钟对声音采样 16000 次,这是语音处理中常见的设定。
输出方面,它返回文本、24 kHz 语音,或者文本与语音交错的内容 [1]。输出语音的采样率高于输入音频。「交错」意味着回答不必被塞进单一通道:文字和语音片段可以在同一次回复里交替出现,模型可以一部分说出口、一部分写下来。
体量与运行位置
模型有 2.17B 个参数,面向手机、笔记本电脑和其他边缘硬件 [1]。边缘硬件指用户手边的设备,而不是数据中心里的集群。在本地运行模型会改变可行性的边界:处理不必经过一次网络往返,被处理的数据也不必离开设备。代价是模型必须塞进手机或笔记本的内存与功耗预算里,这也正是参数规模对这一类发布如此关键的原因。
量化版本与纯音频版本
2026 年 10 月 27 日,量化的 MLX、GGUF 以及纯音频版本被上传 [2]。量化用更低精度的数值存储模型权重,从而压缩内存占用、通常也加快推理速度,代价是精度上有一定损失。这里点名的两种格式指向不同的本地运行时:MLX 是苹果为自家芯片提供的数组计算框架,GGUF 则是一种被广泛采用的本地推理工具家族所使用的文件格式。两种格式都提供,意味着同一个模型可以用人们机器上已有的工具跑起来,既覆盖苹果硬件,也覆盖其他平台。这次发布还包含了标注为纯音频的版本 [2]。
为什么重要
把多种模态塞进一个 2.17B 参数的模型,并提供能在消费级硬件上运行的格式,让另一类应用变得可行:笔记本上的程序看完一段视频再把它讲出来,或者手机助手以 16 kHz 收音、以 24 kHz 语音作答而不必连接服务器 [1]。放到 LFM3 系列内部看,这个发布补上了一个跨越边界的成员——此前文本、视觉和音频模型各自守着自己的一摊 [1]。初版发布一周之后才补上量化版本和纯音频版本,也说明如今一次发布早已不只是权重本身,还包括决定它究竟能跑在哪里的格式与变体 [2]。
来源
- 1LiquidAI/LFM3-Omni-2BHugging Face
- 2LiquidAI organisationHugging Face
引用本页: Liquid AI 为 LFM3 系列加入全模态模型. TellWorld, https://www.tellworld.net/zh/news/lfm3-omni-2026. 更新于 2026-11-07