Torch7：类 Matlab 的机器学习环境

要解决的问题

设计和训练一个学习机器（learning machine），在编程上是件别扭的事。研究者希望快速试想法——改模型、改损失函数、改数据流程，然后再跑一遍；可底下压着的，是对大批数组的重型数值计算。用通用脚本语言写，试验方便而计算慢；用手写的编译代码，算得快却难改。Torch7 针对的正是这个矛盾：论文摘要把它的目标写成提供一个灵活的环境，用来设计和训练学习机器^[2]。

标题把整套东西概括为「类 Matlab 的机器学习环境」：在脚本提示符下做数值计算，而把机器学习当作预期的负载。

两层结构

摘要把问题一分为二，两半各配一种工具。

灵活性来自 Lua，摘要称它是一种极其轻量的脚本语言^[2]。模型和实验这一层用 Lua 写，研究者真正动手改的那部分因此保持得小而轻。

性能来自底层数值例程高效的 OpenMP/SSE 与 CUDA 实现^[2]。这是当时硬件上提速的三种常规手段：OpenMP 把循环摊到多个 CPU 核上并行执行，SSE 用向量指令一次处理多个数，CUDA 让同样的例程在 GPU 上跑。在 Torch7 里，这些不需要使用者自己去安排，它们待在脚本层底下的数值内核之中。

第三件事是互通。Lua 对外的接口很轻，所以这个框架可以很容易地与第三方软件对接^[2]。一个读不了别人的数据格式、调不动别人的代码的库，在研究里用处有限，因此论文把它当作一项基本要求，而不是事后再补。

Ronan Collobert 的论文页则把 Torch7 总结为一个扩展 Lua 的通用数值计算框架与机器学习库^[2]。

发表情况

EPFL 的 Infoscience 把 Ronan Collobert、Koray Kavukcuoglu 与 Clement Farabet 合著的这篇论文登记为 2011 年的会议论文^[1]。场合是 NIPS 的 BigLearn workshop，论文没有收入会议论文集^[1]。开放获取的 PDF 以 Collobert_NIPSWORKSHOP_2011.pdf 的文件名存档^[1]。

workshop 论文不进论文集，对系统类工作来说是常见的形态：贡献在于一套设计和能跑起来的软件，而不在于一排基准成绩。

这套设计意味着什么

把摘要里的几点合起来看，它像一份约定：脚本层负责灵活性，内核负责速度，轻接口负责互通性，而「设计和训练学习机器」这一目的说明了预期的使用者是谁。这种分层之所以重要，是因为它把经常变的部分（模型结构、实验流程）和很少变但必须跑得快的那部分（底下的数组运算）分开了。

代价

这套设计也有成本。性能既然压在 OpenMP、SSE 和 CUDA 的实现上，框架的速度就取决于这些底层部件与硬件的配合程度，内核需要针对它们分别编写和调优。灵活性同样有代价：内核之上的一切，都要用 Lua 来表达。

所以这篇论文给出的，是一份把可编程的薄外壳架在调优过的数值代码之上的清晰架构说明，而不是一组实测结果。