Hugging Face Transformers 库

是什么 Transformers是Hugging Face推出的开源Python库，以统一的接口提供预训练的Transformer模型。库中提供的模型，依托的是Hugging Face Hub上分享的模型。^[1] Transformer是一种神经网络结构，能够一次处理整段数据序列（例如一串词语），并让序列中的每个元素与其他元素建立联系。如今大多数语言模型都建立在这一结构之上。预训练模型已在大规模数据上完成训练，开发者可以直接使用或加以调整，而不必从零开始。 ## 由来 该库最初名为pytorch-pretrained-bert，是谷歌BERT模型在PyTorch上的移植版本。随着功能增加，它先后更名为pytorch-transformers，再更名为Transformers。^[1] PyTorch是一个开源深度学习框架，所谓移植，是指将同一模型改写为能在该框架中运行的版本。 更名为Transformers的同时，2019年发布的2.0版本增加了与PyTorch并存的TensorFlow 2.0支持。^[3] TensorFlow是另一个用于构建机器学习系统的框架，这使开发者能够根据自己的习惯，在两种最常用的工具之间选择。 该库在论文《HuggingFace's Transformers: State-of-the-art Natural Language Processing》中有详细介绍，作者包括Thomas Wolf、Lysandre Debut、Victor Sanh等人。论文于2019年10月9日首次发布在arXiv上。^[1] arXiv是一个在线论文库，研究人员常在正式发表之前或同时在此分享论文。 ## 发展与Hub的分离 第一个v4候选版本于2020年11月19日发布。当时，该库支持约40种架构，约有1000个Hub检查点，每天的安装次数约为2万次。^[2] 这里的架构指某种具体的模型设计，检查点则是为该设计保存下来的一组训练好的权重。 2020年末，与Hub相关的功能从Transformers中拆分出来，成为独立的huggingface_hub库。^[4] 这一拆分使文件共享功能可以单独使用。 第一个v5候选版本于2025年12月1日宣布。此时，该库已支持400多种架构，兼容的Hub检查点超过75万个，每天通过pip安装超过300万次，累计安装超过12亿次。pip是Python开发者安装库时所用的标准包管理工具。^[2] ## 第5版的变化 第5版只支持PyTorch，停止支持TensorFlow和Flax，依赖这两个框架的开发者需要迁移到PyTorch。Flax是一个建立在JAX之上的神经网络库。^[2] 第5版还加入了连续批处理（continuous batching）和分页注意力（paged attention），这些技术使同一硬件能够更高效地处理大量请求。此外，它包含一个与OpenAI API兼容的“transformers serve”服务器，因此为该接口编写的工具可以调用本地运行的模型。^[2] ## 影响 Transformers已成为处理预训练语言模型及其他模型时使用最广泛的库之一。它把众多模型架构之间的差异隐藏在统一接口之后，这是它被广泛采用的重要原因。关注该库的读者需要注意，版本变化可能导致已有代码无法运行，因此每个主要版本都附有独立的发布说明。