GGUF（模型文件格式）

是什么

GGUF 全称 GGML Universal File，是一种用于存放模型数据的二进制文件格式。它最显著的特点在于：张量（tensor）和元数据（metadata）被放在同一个文件里，这种设计是为了让模型数据能够快速保存和加载^[1]。张量是承载模型权重的数值数组，元数据则是加载程序正确解释这些数组所需的信息。两者放在一起，软件不必再翻找多个文件才能还原一个模型。

由来

这一格式于 2023 年 8 月由 llama.cpp 项目引入^[1]。引入的动机与兼容性有关：随着 llama.cpp 开始支持更多模型架构，项目需要一个办法让旧文件继续可用，因此 GGUF 在设计时就把向后兼容（backwards compatibility）考虑在内，并取代了更早的 GGML 格式^[1]。GGUF 由 Georgi Gerganov 和社区共同开发^[1]。格式规范在 ggml 仓库中正式定义，其中规定了魔数（magic number）、版本号、存放元数据键值对的区块，以及存放张量信息的区块^[2]。魔数是文件开头的一段固定标记，让软件能识别出这是哪种格式；版本字段则让加载程序知道文件由哪一版规范生成，这正是稳定兼容的基础。

主要特点

GGUF 支持 2 位到 8 位的量化整数类型，也支持 float32、float16、bfloat16 等常见浮点格式^[1]。量化（quantization）指用更少的位数来存储数值：与完整的浮点表示相比，模型文件会更小、占用内存更少，代价是数值精度有所损失。GGUF 既覆盖低比特整数类型，也覆盖普通浮点类型，因此可以在这一取舍的不同位置上承载模型。

GGUF 文件通常不是手工编写出来的，模型也不是从头在该格式下训练的，而是通过转换得到：把用其他机器学习库（例如 PyTorch）开发的模型转成 GGUF^[1]。转换过程会读取原始权重、记录元数据和张量布局，再写出一个 GGUF 文件。

在生态中的位置

这一格式已经成为分发量化大语言模型、供本地推理使用的标准^[1]。本地推理指在用户自己的机器上而不是远程服务器上运行模型，在这种场景下，文件大小、加载速度和内存占用都直接影响使用体验。llama.cpp、Ollama、LM Studio、GPT4All、Jan 和 koboldcpp 等工具都原生支持 GGUF^[1]。同一个文件可以被多种程序读取，用户因此可以按自己的偏好选择不同的前端。