PyTorch

PyTorch 是什么

PyTorch 是一个开源的深度学习框架。深度学习指以多层神经网络为基础的机器学习，而一个这样的框架要提供搭建和训练模型所需的零件：张量（tensor，多维数组形式的数值容器）、作用在张量上的运算，以及计算梯度的那套机制——梯度告诉训练算法该往哪个方向调整模型的参数。

PyTorch 最初的作者是亚当·帕斯凯（Adam Paszke）、萨姆·格罗斯（Sam Gross）、苏米特·钦塔拉（Soumith Chintala）和格雷戈里·查南（Gregory Chanan）。代码用 Python、C++ 和 CUDA（英伟达用于在图形处理器上运行程序的编程模型）写成，采用 BSD-3 许可发布。^[2]

由来

PyTorch 的开发始于 2016 年，参与者中既有 Lua Torch 社区的人，也有 Meta（当时还叫 Facebook）派出的大批人力和资金支持。^[2] 这样组合出来的框架主要由 Python 驱动——研究人员本来就用 Python 处理数据，而需要速度的部分用 C++ 和 CUDA 写成。

第一个公开测试版在 2017 年 1 月发布，发布说明记载的公开发布日期是 1 月 18 日。^[3]

从研究工具走向生产

头几年，PyTorch 主要是研究工具。2018 年，Facebook 把自家面向生产部署的框架 Caffe2 合并进 PyTorch，目的是让它除了做实验，也能用于生产环境。^[4][2]

随后是 2018 年 12 月 7 日发布的 PyTorch 1.0。它加入了 JIT 编译器（torch.jit）：把模型代码编译成一种可以在交互式 Python 会话之外运行和优化的形式——把训练好的模型搬进线上服务系统，通常正是这一步。这一版还带来重新设计的分布式包，用于把训练分散到多个处理器或多台机器上；一个 C++ 前端，让程序不经过 Python 也能调用训练好的模型；以及 Torch Hub，一个发布和获取预训练模型的地方。^[5]

PyTorch 基金会

2022 年 9 月 12 日，Meta 把项目交给 Linux 基金会，项目成为 PyTorch 基金会，治理委员会由 AMD、AWS、Google Cloud、Meta、Microsoft Azure 和 NVIDIA 组成。^[6][1] 这次移交把框架放到了一个中立机构之下，委员会里坐着几家彼此竞争的公司，而不是由单一厂商掌握。移交时项目已有 2400 多名贡献者，马克·扎克伯格（Mark Zuckerberg）说基于它构建的 GitHub 项目超过 15 万个。^[1][6]

PyTorch 2.0

PyTorch 2.0 于 2023 年 3 月 15 日发布，引入了 TorchDynamo，一个工作在 Python 层面的编译器。^[2] 这类编译器读的是用户已经写好的模型代码，把它转换成层次更低、运行更快的形式，不需要先把模型用另一种语言重写一遍。

用在哪里

PyTorch 是真正用来训练和运行大模型的框架之一。OpenAI 在 2020 年 1 月把内部标准转到 PyTorch 上，Hugging Face 的 Transformers 库和特斯拉的 Autopilot 也建立在它之上。^[2]

Meta 在面向边缘设备的 Llama 3.2 发行版中，用在设备上运行的 PyTorch ExecuTorch 来跑模型；它还表示 PyTorch 项目从 Llama 3.1 发布第一天起就提供支持。^[7][8] 所谓在设备上运行，指模型跑在手机或其他本地硬件上，而不是数据中心里，这跟训练是两件不同的活：限制条件变成了内存和功耗，而不是单纯的吞吐量。

先做研究工具，再做生产工具，然后交给中立基金会，再引入编译器——这条路线大致就是一款研究软件变成许多机构共同依赖的基础设施时所走的路。