CTC 训练的 LSTM 赢得 ICDAR 2009 三项手写识别竞赛

背景：连笔手写难在哪

手写识别要做的是把一张手写文字的图像变成一串字符。难的是「连笔」手写：在草书里字母彼此相连，字符之间没有清晰的边界。一种常见做法是先切分再分类——把一行字切成小段，再逐段识别。这种流水线在切分本身含糊时就会出错，而连笔书写恰恰经常含糊。波斯文和阿拉伯文天生连写，文档分析与识别国际会议（ICDAR）中针对这两种文字的比赛，考的正是这个问题。

2009 年的比赛

据 IDSIA 的记述，Alex Graves 在 ICDAR 2009 的三项连笔手写识别竞赛中获胜，分别是法文、波斯文和阿拉伯文 ^[1]。维基百科的记录则说，由 Graves 带领的团队提交了三个模型，其中一个在比赛中准确率最高，另一个速度最快 ^[3]。两处记载都把这次获胜定在 2009 年，并称这是循环神经网络（recurrent neural network）第一次在国际竞赛中取胜 ^[1][3]。

方法：LSTM 加 CTC

这套系统把 LSTM 与连接时序分类（Connectionist Temporal Classification，CTC）组合起来，两者都是在 Schmidhuber 位于慕尼黑工业大学（TU Munich）和 IDSIA 的研究组里做出来的 ^[1]。

LSTM（长短期记忆）是一种循环神经网络：它一步一步读入输入，并把隐状态不断向前传递，因此已经看过的内容会影响它下一步的判断。它与朴素循环网络的区别在于一个由门控制的记忆单元——门是乘性的开关，决定写入多少新信息、保留多少旧状态、把多少内容输出出去。门让误差信号沿时间反向传播时既不明显衰减也不爆炸，网络因此能用上跨度很长的上下文。

CTC 解决的是标注问题。识别器看到的是很宽的一行图像，要输出的是短得多的字符串，两者之间没有逐字对齐的关系。CTC 让网络在每一个水平位置上输出一个字符分布（外加一个空白符号），训练时把所有能折叠成正确字符串的对齐方式加起来算概率；解码时把重复字符合并、去掉空白。这样训练只需要「一行图像 + 对应文本」，不需要有人标注每个字符从哪里开始。

为什么重要

IDSIA 把经过 CTC 训练的 LSTM 称为第一个在任何国际竞赛中获胜的循环神经网络 ^[1]；Schmidhuber 的时间线更进一步：据他所知，这也是第一个在此类竞赛中获胜的深度学习系统，无论是不是循环网络 ^[2]。这条记录的意义在于时间点——它把深度网络的竞赛性胜利放在手工特征和分阶段流水线仍是文档分析默认做法的时期，神经网络是在对方的赛场上赢的。它也说明两个部件如何配合：能携带上下文的循环结构，加上一个不需要切分标注的输出层。同一支队伍用不同模型同时拿下准确率和速度两项最好成绩 ^[3]，说明这不是一次侥幸的配置。

此后，循环网络配一个 CTC 输出层，成了输入与输出长度不一致的序列任务里的常见做法，例如语音识别和手写文字识别。放到后来的图景里看，ICDAR 2009 的这几场比赛，是这条路线第一次在公开竞赛中被衡量并胜出。