Hugging Face 收购 XetHub 重建 Hub 存储

背景

Hugging Face 运营的 Hub 是托管模型、数据集和演示应用的地方。收购宣布时，Hub 上约有 130 万个模型、45 万个数据集和 68 万个 Spaces^[1]。这些内容大多是体积庞大的二进制文件：模型权重和数据集文件常常大到以 GB 计。承载这类仓库的版本控制系统 Git 原本是为文本源代码设计的，常见做法是用 Git LFS（Large File Storage）把大文件放在主仓库之外、按需下载。这套办法能用，但存储、版本管理和传输超大数据集时依然吃力，而在这次交易之前，Hub 正是跑在 Git LFS 上^[1]。

发生了什么

2024 年 8 月 8 日，Hugging Face 宣布收购总部位于西雅图的 XetHub^[1]。XetHub 由 Yucheng Low、Ajit Banerjee 和 Rajat Arya 创立，三人此前构建了苹果内部的机器学习基础设施^[1]。Low 在 2021 年于西雅图创办了这家公司，此前他曾在西雅图的机器学习创业公司 Turi 工作^[3]。GeekWire 称这是 Hugging Face 迄今规模最大的一笔收购，并报道交易条款未予披露^[2]。

技术是怎么工作的

XetHub 的技术让 Git 能够扩展到 TB 级的仓库：它把数据分块（chunk）存储并做去重（deduplication）^[1]。分块是把一个文件切成更小的片段，而不是当成一个不可分割的整体来处理；去重则是让相同的数据片段只保存一份，无论有多少个文件或版本包含它。对模型和数据集托管来说，这一点很关键：大文件很少是从头写起的，新版本通常在旧版本基础上只有小幅改动，能识别重复内容的存储层就不必反复保存和搬运完整的副本。Hugging Face 表示，计划把 Hub 从 Git LFS 迁移到基于 Xet 的后端^[1]。

影响

这笔交易让 14 名 XetHub 员工加入 Hugging Face^[3]。它也处在一段扩张期之中：Hugging Face 在一年前完成了 2.35 亿美元的 D 轮融资，并在 2024 年 6 月以 1000 万美元收购了开发者工具创业公司 Argilla^[3]。

对 Hub 的用户来说，这件事的意义主要在底层设施。人们上传的模型、数据集和 Spaces 都放在一层存储之上，而这层存储必须在仓库不断变大时仍然可用；把这一层换成基于 Xet 的后端是幕后改动，却牵涉平台上的每一次上传和下载。背后的团队多年从事机器学习基础设施的工作，先是在苹果内部，后来在一家西雅图创业公司，而他们要做的是把这些工作用到一个大型公开开放模型与数据集的集合上^[1][3]。