TellWorldAI 世界档案
问档案English

首页›实践›实践

实践

EmbeddingGemma 2 上手:用 Sentence Transformers 给文本、图片和音频算向量

EmbeddingGemma 2 把文本、图片、视频和音频映射到同一个 768 维空间。本文讲安装、任务前缀、向量截断和混合输入。

EmbeddingGemma 2 是什么,适合做什么

EmbeddingGemma 2 是 Google DeepMind 推出的开放多模态嵌入模型。它把文本(包括代码)、图像、视频和音频,单独或组合在一起,映射到同一个 768 维向量空间[1]。模型总参数 740M,由 270M 的文本模型,加上 170M 的视觉编码器和 300M 的音频编码器组成[1]。其中文本部分包括 130M 的 Transformer 主干和 140M 的 embedder[1]。

它的设计目标是在手机、笔记本这类消费级硬件上运行,适合设备端的搜索、检索增强生成(RAG)、分类和聚类[1]。模型支持 100 多种语言,相对前一代,代码任务上约提升 14%[1]。上下文窗口为 8,192 个 token,足够处理几分钟的音频或视频[1]。

安装和第一次检索

先安装 Sentence Transformers 和 Transformers[1]:

pip install -U sentence-transformers transformers

下面的示例把一个查询和一段文档分别编码,然后计算相似度[1]:

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("google/embeddinggemma-2")

query = "What causes the northern lights?"
document = "The northern lights are caused by charged particles from the sun."

query_emb = model.encode(query, prompt_name="SearchQuery")
doc_emb = model.encode(document, prompt_name="Document")
print(model.similarity(query_emb, doc_emb))

查询用 SearchQuery 提示,文档用 Document 提示,最后由 model.similarity 返回两个向量的分数[1]。

任务前缀为什么要加

模型训练时,文本前面都加了很短的任务指令前缀。加对前缀能提升效果;不加也能跑,但精度会下降[1]。前缀只作用于文本,图像、视频和音频直接传入,不加前缀[1]。

检索是非对称任务,查询和文档要用不同的前缀。查询的格式是 task: search result | query: {query},文档的格式是 title: {title} | text: {content},没有标题时写 title: none[1]。分类、聚类和句子相似度是对称任务,参与比较的所有输入用同一个前缀[1]。

库里为各类任务预设了 prompt_name:SearchQuery、QuestionAnswering、FactChecking、CodeRetrieval、Classification、Clustering 和 SentenceSimilarity[1]。要注意 prompt_name="Document" 会套用 title: none。如果文档有真实标题,就得自己拼接,例如 model.encode(f"title: {title} | text: {document}")[1]。

只加载需要的编码器

视觉和音频编码器彼此独立。只做文本,或者文本加一种模态时,可以用 config_kwargs 关掉用不上的编码器,节省内存[1]。只用文本时设为 {"vision_config": None, "audio_config": None},有效参数约 270M;文本加图像用 {"audio_config": None},约 440M;文本加音频用 {"vision_config": None},约 570M;全模态用 {},即完整的 740M[1]。不同库里怎么省略编码器并不一样,用之前请查对应库的文档[1]。

用 Matryoshka 截断向量

模型用 Matryoshka 表示学习训练,768 维的输出可以只保留前 128、256 或 512 维[1]。在 MTEB 多语言 v2 上,768 维的平均任务分是 61.36,512 维为 61.17,256 维为 60.41,128 维为 57.89[1]。压到 256 维时质量接近无损;压到 128 维时,多模态的质量下降明显,上线前最好用自己的数据测一测[1]。

截断后的向量不再是单位长度,计算余弦相似度前要重新归一化。这一步不做不会报错,只是排序结果会悄悄变差[1]。查询和文档也必须使用相同的维度,768 维的查询不能直接和 128 维的语料比较[1]。

如果不想手动截断和归一化,可以在 model.encode() 里直接传 truncate_dim 和 normalize_embeddings[1]:

query_emb = model.encode(
   query,
   truncate_dim=128, # or 512, 256
   normalize_embeddings=True,
)

用 bfloat16 或 float32,别用 float16

模型的激活值范围超出了 float16 的表示范围。用 float16 时,模型会返回 NaN 或者质量悄悄下降的向量,而且不报错,很难发现[1]。bfloat16 的指数位和 float32 一样,内存占用是 float32 的一半,在支持它的硬件上是推荐的默认值;大多数 CPU 上应使用 float32[1]。

下面的代码运行时选择精度,假设已经导入 torch 和 SentenceTransformer[1]:

dtype = torch.bfloat16 if torch.cuda.is_bf16_supported() else torch.float32

model = SentenceTransformer("google/embeddinggemma-2", model_kwargs={"torch_dtype": dtype})

把文本、图片和视频放进同一个输入

一次输入可以混合文本、图像、视频和音频,它们共享同一个 8,192 token 的上下文[1]。文本里的占位符标出每个媒体的位置:<|image|> 对应图像,<|video|> 对应视频,<|audio|> 对应音频。占位符按顺序由同名的键填充[1]。下面的例子把一份商品列表编码成一个用于搜索的向量[1]:

emb_interleaved = model.encode({
    "text": "Waterproof running shoes. <|image|> Featuring a breathable mesh upper. <|image|> Grip test on wet rock: <|video|>",
    "image": ["shoe.jpg", "mesh.jpg"],
    "video": "demo.mp4",
})

这个调用返回一个代表整体输入的向量,可以和其他 EmbeddingGemma 2 向量直接比较,比如用一句纯文本查询 waterproof shoes for trail running 去检索它[1]。

每种模态占用的上下文是固定的。文本每个子词 1 个 token;图像默认每张 280 个 token,约 29 张;视频默认每帧 140 个 token,约 58 帧;音频每秒 25 个 token,约 327 秒[1]。混合输入时各模态共享预算,每一种能放进去的数量会相应减少[1]。

视觉 token 预算可以在 70 到 1120 个软 token 之间设置,预算调低时,图像或视频帧最多可达约 114 个[1]。视频默认每秒抽 1 帧,音频应为 16 kHz 单声道[1]。

限制和安全注意事项

EmbeddingGemma 2 是预训练的嵌入模型,没有经过后训练对齐、安全调优或输出审核[1]。它输出的是向量而不是文字,风险体现在怎么使用这些向量上,所以要在应用层加检索过滤、公平性测试等防护[1]。部署必须遵守 Gemma 禁止使用政策[1]。

模型支持 100 多种语言,但各语言的表现不一定相同[1]。文本任务不加推荐的任务前缀,质量也会下降[1]。

下一步

技术报告 arXiv 2610.37364 有更多关于模型设计的细节[1]。

本文改编自 Google 在 Hugging Face 上发布的 EmbeddingGemma 2 模型卡[1],原文以 Apache-2.0 许可证发布。

来源

  1. 1
    google/embeddinggemma-2Google (Hugging Face model card)

引用本页: EmbeddingGemma 2 上手:用 Sentence Transformers 给文本、图片和音频算向量. TellWorld, https://www.tellworld.net/zh/practice/practice-embeddinggemma-2-multimodal. 更新于 2026-11-18

相关动态