# 告别手敲 tabular：Table2LaTeX-RL 高保真表格生成复现

最近电子科技大学联合同济大学、之江实验室的研究人员开发了Table2LaTeX-RL，这是一个使用多模态语言模型和双奖励强化学习框架将表格图像转换为高保真LaTeX代码的系统。这种方法在复杂表上表现出卓越的性能，实现了0.6145的CW-SSIM和0.9218的TEDS-Structure，同时保持了0.9917LaTeX编译率。

![ ](https://developer.qcloudimg.com/http-save/yehe-11910445/e11bfafc4779d6303a438bbe02569c12.png)

---

论文名称：*Table2LaTeX-RL: High-Fidelity LaTeX Code Generation from Table Images via Reinforced Multimodal Language Models*

作者团队：电子科大团队

[👉一键直达原文](https://arxiv.org/pdf/2509.17589)

[👉一键直达GitHub](https://arxiv.org/pdf/2509.17589)

Table2LaTeX-RL的论文、代码、模型、数据均已开源，欢迎大家体验！

![ ](https://developer.qcloudimg.com/http-save/yehe-11910445/3ab6fe16d1c760e6fd0ebea6ad66ad0b.png)

[👉Lab4AI大模型实验室项目](https://www.lab4ai.cn/paper/detail?utm_source=tencentcloud_Table2LaTeX-RL&id=6daad9f1d3f44fcd8b131254070fa330&type=paper)

---

## 01 论文概述

详细论文解读请查看往期文章**NeurlPS2025| 告别手动制表:电子科大+之江实验室提出Table2LaTeX-RL创新性高保真表格生成方法**

### 简介

科学论文中的复杂表格一直是自动化处理中的硬骨头：多级表头、跨行跨列单元格、嵌套结构和数学公式都极其依赖精细的版面控制。Table2LaTeX-RL 正是针对这一瓶颈提出的新方案——作者构建了大规模表格图像–LaTeX数据集，并基于多模态大模型设计出首个视觉–结构双重奖励强化学习框架 VSGRPO，让模型不仅能输出语法正确的 LaTeX 代码，更能在最终排版效果上高度贴近原始表格，尤其在复杂表格场景下显著超越现有系统。

### 核心创新

本研究提出了一个基于强化多模态大语言模型的高保真表格生成框架——Table2LaTeX-RL，旨在实现表格图像到 LaTeX 代码的精确映射。本文的主要创新点包括：

- 大规模数据构建：构建了首个超过 120 万对表格图像–LaTeX 源代码的高质量训练数据集，依据结构复杂度划分为简单、中等与复杂三级，为模型提供了全面的结构学习基础。
- 双重奖励强化学习策略（VSGRPO）：在 Group Relative Policy Optimization（GRPO）框架下，引入结构层奖励（TEDS-Structure）与视觉层奖励（CW-SSIM）的联合优化机制，有效提升了模型对复杂表格的生成稳定性与结构保真度。
- 混合评估体系：提出结合结构相似度与视觉相似度的综合评估协议，克服了传统指标仅依赖文本层面对视觉一致性缺乏刻画的问题，更准确地反映生成结果的质量。

### 研究成果

实验结果表明，所提出方法在表格图像到 LaTeX 代码生成任务上取得了当前最优性能（State-of-the-Art）。其中，基于 Qwen2.5-VL-3B 的模型在复杂表格上的 CW-SSIM 指标提升 0.09，TEDS-Structure 首次突破 0.92，在结构准确性与视觉一致性方面均显著优于现有模型（如 Mathpix、Nougat、GPT-4o 等）。此外，本文工作首次系统验证了强化学习在视觉-结构协同优化中的有效性，为高保真文档重建提供了新的研究范式与方法论参考。相关代码与数据集已开源，为表格理解与文档智能化研究奠定了重要基础。

## 02 Lab4AI一键复现流程

本次复现基于 Lab4AI 平台现有的 Table2LaTeX-RL 项目完成的，整体流程可以概括为：选项目 → 进入环境 → 按官方脚本运行训练与评估。

### Step 1：进入 Lab4AI 复现项目

打开Lab4AI 官网，在导航栏选择 「论文复现」。

在搜索框中输入 “Table2LaTeX-RL”，找到对应的论文复现项目。

点击项目详情页中的 「立即体验」，进入在线复现环境。

由于该项目使用多模态大模型并涉及强化学习阶段，模型体量和计算量都比较大，在资源选择中请配置8卡GPU，以保证训练与评估过程能顺利跑完。

![ ](https://developer.qcloudimg.com/http-save/yehe-11910445/7890b5f8d9e97f6f8573bafa8180b3b9.png)

![ ](https://developer.qcloudimg.com/http-save/yehe-11910445/a73d03d3597f7311630138356cdc77b1.png)

### Step 2：进行训练

进入环境后，核心目录位于：/workspace/codelab/Table2LaTeX-RL/，其中：

code/：项目代码（ms-swift 为主工程目录）

dataset/：表格图像与 LaTeX 标注数据

model/：预训练多模态大模型

进入代码目录：cd /workspace/codelab/Table2LaTeX-RL/code，在该目录下可以看到平台准备好的复现文档，按照文档完成环境配置和依赖安装。准备完成后，进入主工程目录启动训练：cd ms-swift 按文档中的官方脚本启动训练。

![ ](https://developer.qcloudimg.com/http-save/yehe-11910445/7bddadbb2b4606c559124a816f327a03.png)

![ ](https://developer.qcloudimg.com/http-save/yehe-11910445/9a317933577e1fbd6f04d9850c1e2be1.png)

### Step 3：进行评估，获得输出结果

训练结束后，按照文档中的评估脚本进行验证，即可得到结果。

![ ](https://developer.qcloudimg.com/http-save/yehe-11910445/d82a8a359820f73c43ed0c1db1e86ac9.png)

原数据：包含输入表格的图像路径以及对话形式的指令与模型回复；

![ ](https://developer.qcloudimg.com/http-save/yehe-11910445/02c7213201da7cec216e2a730622fde4.png)

评估后:评估输出则在此基础上增加了 prediction 和 reference 两个字段——prediction：模型生成的 LaTeX 代码和reference：对应样本的人工标注 LaTeX 代码。

![ ](https://developer.qcloudimg.com/http-save/yehe-11910445/1ff9f390a3f96527f93cf8c123ee64f2.png)

这意味着每条样本都会同时给出“模型输出 + 真值标注”这一对结果，二者一一对应。基于这份评估文件，就可以继续计算TEDS-Structure、CW-SSIM等指标，并挑选典型样例做可视化对比，来检查 Table2LaTeX-RL 在复杂表格上的还原效果。

## 03 Lab4AI还能做什么？

本次实验验证了 Table2LaTeX-RL 在实际科研与生产场景中的可用性。

依托多模态大模型与VSGRPO 强化学习框架，系统能够将复杂表格图片自动转换为高保真 LaTeX 代码，在多级表头、跨行跨列单元格、数学公式等高难度场景下，依然保持较高的结构还原度和编译成功率。

为学术排版、文档归档和自动化制表提供了可落地的技术方案。

**Lab4AI不止让你能“跑通”，更让你能“跑远”：**

### 1.开发者：高性能算力深度绑定

大模型实验室Lab4AI实现算力与实践场景无缝衔接，支持模型复现、训练、推理全流程使用，且具备灵活弹性、按需计费、低价高效的特点，解决用户缺高端算力、算力成本高的核心痛点。

### 2.科研党：从“看论文”到“发论文”的全流程支持

集成Arxiv每日速递，提供论文翻译与分析工具，并凭借一键论文复现功能，快速验证CVPR、ICCV、NeurIPS、ICML、ECCV、AAAI、IJCAI、ICLR、IJCV、TPAMI、JMLR、TIP等顶刊顶会的算法，帮助您解决数据集下载慢、依赖冲突、GPU 不足等环境配置难题，将环境配置时间节省80%以上。

### 3.学习者：AI课程支撑您边练边学

提供多样化AI在线课程，含LLaMAFactory官方合作课程等课程，聚焦大模型定制化核心技术，实现理论学习与代码实操同步推进。


最近电子科技大学联合同济大学、之江实验室的研究人员开发了Table2LaTeX-RL，这是一个使用多模态语言模型和双奖励强化学习框架将表格图像转换为高保真LaTeX代码的系统。这种方法在复杂表上表现出卓越的性能，实现了0.6145的CW-SSIM和0.9218的TEDS-Structure，同时保持了0.9917LaTeX编译率。

告别手敲 tabular：Table2LaTeX-RL 高保真表格生成复现

人工智能

开发工具

职业发展

电子科大团队推出Table2LaTeX-RL系统，通过多模态大模型和强化学习实现表格图像到LaTeX代码的高精度转换，在复杂表格处理上表现优异，支持多级表头、跨行跨列等复杂结构，CW-SSIM达0.6145，TEDS-Structure突破0.92。论文代码已开源，助力科研文档自动化处理。

强化学习

4核4G3M云服务器 新用户低至38元/年！

5位重磅专家聚焦 AI 时代开发者核心成长需求，带你深入解锁全栈进化、人机协作关键路径！点击报名到场：<a href="https://cloud.tencent.com/developer/salon/salon-2403/signup" target="_blank">https://cloud.tencent.com/developer/salon/salon-2403/signup</a><br/> 
 <img src="https://qcloudimg.tencent-cloud.cn/raw/487c82639d2338df3ef66dfb1450601a.png"/>

腾讯技术创作特训营「年度论坛」正在报名中！

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

告别手敲 tabular：Table2LaTeX-RL 高保真表格生成复现-腾讯云开发者社区-腾讯云

告别手敲 tabular：Table2LaTeX-RL 高保真表格生成复现

告别手敲 tabular：Table2LaTeX-RL 高保真表格生成复现

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐