《U-Net：用于生物医学图像分割的卷积网络》

要解决的问题：为每个像素给出标签

图像分割（image segmentation）的任务是给图像中的每一个像素判定类别，而不是给整张图一个标签。生物医学研究里的图像大多来自显微镜：有的是电子显微镜拍摄的连续切片，需要把神经组织勾画出来；有的是透射光显微镜拍下的细胞，需要随时间追踪。真正的瓶颈在标注——每个结构的边界都要由专家手工描出来，所以带标注的数据集往往很小、代价很高。当时普遍的假设是：要把深度网络训练好，需要成千上万个标注样本^[1]。U-Net 正是针对这一点设计的。

网络的结构

整个架构分为两半。收缩路径（contracting path）负责捕捉上下文：它把图像一步步处理到更低的空间分辨率，于是特征图上的每个位置都概括了输入中更大的一片邻域。与之对称的扩张路径（expanding path）再把分辨率升回去，论文把这一步的作用描述为「实现精确定位」^[1]。由于输出被恢复到与输入相同的尺寸，网络可以从图像直接训练到分割图，端到端完成，不需要额外的后处理阶段^[1]。

用很少的图像训练

网络和训练策略都高度依赖数据增强（data augmentation），目的是把已有的标注样本用得更充分^[1]。具体做法是让同一张标注图像被反复送入网络，每次做轻微的形变、平移、旋转、翻转或亮度变化，于是一小批手工标注的图像就能产生大量不断变化的训练样本。作者把这一点明确摆出来，用来挑战「成功的深度网络训练需要成千上万个标注样本」这一共识^[1]，并报告该网络可以仅凭极少的图像端到端训练完成^[1]。

结果

论文给出两组评测。在 ISBI 的电子显微镜切片神经结构分割挑战赛上，该网络的成绩超过了此前最好的方法——一个滑动窗口卷积网络^[1]。同一个网络在透射光显微镜图像上训练后，在 ISBI 细胞追踪挑战赛 2015 的各个类别中以很大优势获胜^[1]。速度也是结果的一部分：在一张较新的 GPU 上，分割一张 512×512 的图像用时不到一秒^[1]。当分割被当作交互式流程中的一环、而不是跑一整夜的批处理任务时，这一点相当关键。

为什么重要

基于 Caffe 的完整实现和训练好的网络都被公开^[1]。有了这份代码，加上面向小数据的训练策略，其他研究者可以复现结果，也可以在自己的显微图像上重新训练、与它做对比。因此这篇论文的贡献有两层：一是把上下文与精确定位结合起来的架构，二是把一份规模有限的标注数据变成足够监督信号的训练方法^[1]。