学界 | Vicarious发表Science论文：概率生成模型超越神经网络

选自Science

作者：D. George等

机器之心编译

参与：蒋思源

当前人工智能的兴起主要基于深度学习的发展，但是这种方法并不能让计算机像人类一样通过学习少量样本就能将知识泛化到很多种问题中去，这也意味着系统应用范围受限。最近，知名人工智能创业公司 Vicarious 在 Science 上发表的研究提出了一种全新概率生成模型。新的模型具有识别、分割和推理能力，在场景文字识别等任务上超过了深度神经网络。研究人员称，这种方法或许会将我们带向通用人工智能。

论文：A generative vision model that trains with high data efficiency and breaks text-based CAPTCHAs

论文链接：http://science.sciencemag.org/content/early/2017/10/25/science.aag2612

摘要：从少数样本学习并泛化至截然不同的情况是人类视觉智能所拥有的能力，这种能力尚未被先进的机器学习模型所学习到。通过系统神经科学的启示，我们引入了视觉的概率生成模型，其中基于消息传送（message-passing）的推断以统一的方式处理识别、分割和推理（Reasoning）。该模型表现出优秀的泛化和遮挡推理（occlusion-reasoning）能力，并在困难的场景文字识别基准任务上优于深度神经网络，且更具有 300 倍的数据效率（data efficient）优势。此外，该模型基本上打破了现代基于文本的验证码生成方案，即在没有具体验证码的启发式方法下分割目标。我们的模型在通向通用人工智能的路上可能是非常重要的，因为它强调了数据效率和语意合成性等特性。

图 1：人类在字母形式感知上的灵活性。（A）人类擅长解析不熟悉的验证码。（B）相同的字母可以有非常多的表现形式，上图都是「A」。（C）对形状的感知可以有助于将其解析为相近的目标。

图 2：RCN（Recursive Cortical Network）的结构。

上图（A）层级结构生成对象的轮廓，条件随机场（CRF）生成表面外观。（B）轮廓层级相同的两个子网络通过复制特定父结点的子结点特征并连接它们到该父结点的旁边分支（laterals）而保持独立的分支连接。图中绿色矩形的结点是特征「e」的复制。（C）表征正方形轮廓的三级 RCN，第二级特征表征着四个角，而每个角都使用四个线段的连接表示。（D）表征字母「A」的四级网络。

图 4：传播与特征学习的过程。

上图（A）中的 i 为前向传播（包括了侧面传播），生成多个字母的假设展示在输入图像中。PreProc 是一组类 Gabor 的滤波器，可以将像素转化为边缘似然度。ii 为后向传播和侧面传播（lateral propagation）创建的分割掩码，它可用来挑选前向传播的假设，上图掩码为「A」。iii 是错误的假设「V」正好拟合「A」和「K」的交叉点，错误的假设需要通过解析来解决。（iv）可以激活多个假设以产生联合解释来避免字母遮挡情况。（B）第二级特征上学习各种特征。彩色的圆圈表示特征激活，虚线圆圈表示提出的特征。（C）从轮廓领域学习边缘（laterals）。

图 5：用 RCN 解析验证码。

上图（A）为代表性的 ReCAPTCHA 解析方法所给出的前两个预测结果，它们的分割与标注由两个不同的标注者完成。（B）在受限的 CAPTCHA 数据集上 RCN 和 CNN 的词准率。在修改字符间距后，CNN 相比于 RCN 没有那么多的鲁棒性。（C）为不同 CAPTCHA 风格的准确率。（D）为代表性 BotDetect 解析和分割结果（使用不同颜色表示）。

图 6：使用少量样本进行训练的 MNIST 分类结果。

上图（A）为 RCN、CNN 和 CPM 的 MNIST 分类准确度。（B）为有损 MNIST 测试集上的分类准确度，图例展示了训练样本的总数。（C）为不同 RCN 配置的的 MNIST 分类准确度。

图 7：通过 RCN 生成、遮挡推理和场景文字解析。

本文为机器之心编译，转载请联系本公众号获得授权。