前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >中文文档版式分析模型

中文文档版式分析模型

作者头像
机器学习AI算法工程
发布2024-06-21 12:48:51
2080
发布2024-06-21 12:48:51
举报
文章被收录于专栏:机器学习AI算法工程
向AI转型的程序员都关注公众号 机器学习AI算法工程

在当今数字化时代,文档版式分析是信息提取和文档理解的关键步骤之一。文档版式分析,也称为文档图像分析或文档布局分析,是指从扫描的文档图像中识别和提取文本、图像、表格和其他元素的过程。这项技术在自动化文档处理、电子数据交换、历史文档数字化等领域有着广泛的应用。

传统的文档版式分析模型往往难以准确区分文档中的段落和其他布局元素,这限制了文档信息的进一步处理和利用,而深度学习和模式识别技术的发展为文档版式分析带来了新的机遇,通过训练数据集,可以提高模型对文档结构的理解能力,但高质量的标注数据集是训练有效模型的基础。

在文档版式分析中,精细化的标注非常有必要,其中:段落的标注尤其关键,因为它直接影响到文本的语义理解和信息提取。当前,在版式分析领域,据我们了解,在论文场景中,以往的开源数据集如:CDLA(A Chinese document layout analysis),缺乏对段落信息的标注;在研报场景中的版式分析模型还相对空缺。

因此,为了解决这一问题,我们通过人工标注的方式对论文文档进行细粒度标签改造以及数据优化,并构建起研报场景细粒度版式分析数据集,最好利用这些标注数据集,训练了多个全新的中文文档版式分析模型,在封闭测试集上表现优异。

本次开源,我们优先开源了面向论文和研报两个场景的版面分析轻量化模型权重及相应的标签体系,旨在能够识别文档中的段落边界等信息,并准确区分文本、图像、表格、公式等其他元素,最终推动产业发展。

使用

权重下载地址:

项目地址:

关注微信公众号 datayx 然后回复 版式分析 即可获取。

  • 使用方式: 开源权重使用yolov8进行训练,预测方式如下:

三、版面分析

3.1 论文场景

  • 标签类别 元素名称Text正文(段落)Title标题Figure图片Figure caption图片标题Table表格Table caption表格标题Header页眉Footer页脚Reference注释Equation公式
  • 示例

3.2 研报场景

  • 标签类别 元素名称Text正文(段落)Title标题Figure图片Figure caption图片标题Table表格Table caption表格标题Header页眉Footer页脚Toc目录
  • 示例
本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2024-06-11,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 机器学习AI算法工程 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 使用
  • 权重下载地址:
  • 三、版面分析
    • 3.1 论文场景
      • 3.2 研报场景
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档