PDF OCR神器Nougat整合包教程

学术必备！PDF OCR神器Nougat整合包教程

数学公式表格都能识别。Meta AI 推出了一个 OCR 神器Nougat。Nougat 基于 Transformer 模型构建而成，可以轻松的将 PDF 文档转换为 MultiMarkdown，扫描版的 PDF 也能转换，让人头疼的数学公式也不在话下。

论文地址：https://arxiv.org/pdf/2308.13418v1.pdf

项目主页：https://facebookresearch.github.io/nougat/

Nougat 不但可以识别文本中出现的简单公式，还能较为准确地转换复杂的数学公式。公式中出现的上标、下标等各种数学格式也分的清清楚楚，还能识别表格，不过Nougat 生成的文档中不包含图片。

学术Fun将上述工具制作成一键启动包，点击即可使用，避免大家配置Python环境出现各种问题，下载地址：https://xueshu.fun/2930/

整合包使用教程

下载压缩包，下载地址：https://xueshu.fun/2930/，解压后，如下图所示，双击bat文件运行

打开软件，浏览器访问http://127.0.0.1:7860/，即可在浏览器里操作啦！

方法概述

本文架构是一个编码器 - 解码器 Transformer 架构，允许端到端的训练，并以 Donut 架构为基础。该模型不需要任何 OCR 相关输入或模块，文本由网络隐式识别。

该研究用到了 2 个 Swin Transformer ，一个参数量为 350M，可处理的序列长度为 4096，另一参数量为 250M，序列长度为 3584。在推理过程中，使用贪婪解码生成文本。

Meta 表示，Nougat 在配备 NVIDIA A10G 显卡和 24GB VRAM 机器上可并行处理 6 个页面，生成速度在很大程度上取决于给定页面上的文本量。在不进行任何推理优化的情况下，基础模型每批次平均生成时间为 19.5s（token 数≈1400），与经典方法（GROBID 10.6 PDF/s ）相比速度还是非常慢的，但 Nougat 可以正确解析数学表达式。