从FDV到智能体框架：深入剖析AI自动生成多模态报告的技术内核

唐国梁Tommy

发布于 2026-06-25 20:27:07

460

文章被收录于专栏：TGLTommyAI前沿技术论文TGLTommyAI前沿技术论文

今天跟大家分享一篇让人眼前一亮的研究——来自浙江大学的《Multimodal DeepResearcher》，它向我们展示了AI如何迈向更高层次的“专家级”报告生成能力，尤其是在图文并茂的多模态报告领域，简直是开启了新的篇章。是不是听起来就很有趣？让我们一起深入挖掘这篇论文的核心精华吧

一、当报告不再只是“密密麻麻”的文字

大家在看各种研究报告或者行业分析的时候，是不是经常觉得满篇的文字看得眼花缭乱？虽然信息量可能很足，但抓不住重点，理解起来也费劲。这时候，如果能有一些恰到好处的图表来辅助说明，比如趋势图、对比柱状图、数据分布饼图等等，那简直就是雪中送炭！

1.1 研究问题：AI生成报告的“偏科”现象

近年来，大语言模型（LLMs）在文本生成方面取得了巨大进步，像GPT系列、Claude系列等模型已经能写出非常流畅、有深度的文章了。于是，很多“AI研究员”框架应运而生，它们能够帮助我们进行深度研究，自动生成综合性的报告。

然而，一个普遍存在的问题是，这些框架目前主要还是“偏科生”，它们擅长生成纯文本内容，却忽视了可视化的重要性。这就好比一位学识渊博的学者，口才很好，但讲课时只用语言描述，从不画图或展示PPT，听众的理解效率自然会打折扣。

1.2 问题的重要性：可视化，信息传递的催化剂

在现实世界的报告和演示中，可视化（比如各种图表）扮演着至关重要的角色。它们有以下几个不可替代的优势：

高效传达数据洞察：一张图表往往能比几百字更清晰地展示数据趋势和关系。
辅助识别隐藏模式：通过可视化，我们更容易发现数据中不易察觉的规律。
增强读者参与感和理解力：生动的图表能吸引读者的注意力，帮助他们更好地理解复杂概念。

想象一下，一份关于全球气候变化的报告，如果只有文字描述气温上升、海平面变化，远不如配上一张清晰的趋势折线图和对比不同地区影响的地图来得直观和震撼。

1.3 研究动机与价值：打造“文图双全”的AI报告生成器

因此，这篇论文的研究动机就非常明确了：要解决现有AI研究框架在多模态内容生成方面的不足，特别是自动生成包含文本和图表交错的综合性报告。

二、核心内容：三大“法宝”让AI报告“活”起来

为了实现上述目标，论文作者们祭出了三大“法宝”，这也是他们最核心的创新贡献：

2.1 可视化形式化描述 (FDV - Formal Description of Visualization)

这是整个研究的基石。想象一下，我们要教一个只会处理文字的AI去画图，首先得有一种AI能理解的“图纸语言”吧？FDV就是这样一种语言。

FDV是一种结构化的图表文本表示方法。它不是直接给AI看图片，而是把一张图表的构成要素、设计细节（比如用什么类型的图、坐标轴怎么设置、数据点怎么标记、颜色怎么搭配等等）用一套预定义的文本格式描述出来。
为什么重要？ 有了FDV，LLM就能像阅读和理解普通文本一样，去“阅读”和“理解”图表的设计。这使得LLM能够：
- 学习优秀的可视化设计：通过分析人类专家制作的图表（转换成FDV格式后），LLM可以学习到哪些设计是好的，哪些是有效的。
- 生成多样化、高质量的可视化：基于学习到的知识和当前报告的需求，LLM可以自主生成新的图表描述（FDV格式），然后再通过代码转换成真实的图表。
通俗理解：就像给图表拍了个“CT片”，然后用文字把它的“骨骼”、“肌肉”、“血管”（对应图表的布局、数据、标记、尺度）都细致地描述出来，AI拿到这份“病历报告”，就知道这个图表长什么样，该怎么画了。

2.2 多模态深度研究员框架 (Multimodal DeepResearcher)

有了FDV这个“图纸语言”还不够，还需要一个聪明的“建筑师”来统筹整个报告的生成过程。Multimodal DeepResearcher就是这样一个基于智能体（Agentic）的框架。它把复杂的报告生成任务拆解成了几个有条不紊的步骤。

这是一个端到端的智能体框架，它负责从接收一个研究主题开始，到最终输出一份图文并茂的报告的全部流程。
核心流程： 1️⃣研究：像个勤奋的研究员，围绕主题上网搜集资料、整合信息。 2️⃣范例报告文本化：学习“优秀范文”。把人类专家写的高质量图文报告（包含图片）拿过来，利用FDV技术，把里面的图表转换成AI能理解的文本描述。这样AI就知道一份好的报告应该是什么样的，图和文是怎么搭配的。 3️⃣规划：运筹帷幄。根据研究到的内容和学习到的范例，AI会先规划出整个报告的大纲结构（先写什么，后写什么，分几个章节），以及确定图表的整体视觉风格（比如颜色搭配、字体选择等），确保报告的专业性和一致性。 4️⃣多模态报告生成 (Multimodal Report Generation)：动笔“创作”。AI会先写出文本初稿，并在需要插入图表的地方预留FDV格式的“图表占位符”。然后，它会根据这些FDV描述，通过编程（论文中指定使用D3.js）生成实际的图表。更厉害的是，它还有一个“自我审视和修改”的环节，确保图表画得又对又好看。
为什么重要？ 这个框架提供了一套完整的、自动化的解决方案，让AI能够有条不紊地完成从信息搜集到最终图文报告输出的全过程，实现了真正意义上的“从零生成”。

2.3 多模态报告评估基准 (MultimodalReportBench)

光说不练假把式，AI生成的内容好不好，得有标准来衡量。MultimodalReportBench就是这样一个专门为此任务设计的“考场”和“评分标准”。

这是一个包含100个不同研究主题的数据集，这些主题都来源于真实世界的报告，比如皮尤研究中心（Pew Research）、Our World in Data等知名机构的内容。同时，它还定义了5个专门的评估指标，用来从不同维度评价生成的图文报告的质量。
评估指标：
- 信息性和深度 (Informativeness and Depth)
- 连贯性和组织性 (Coherence and Organization)
- 可验证性 (Verifiability)
- 可视化质量 (Visualization Quality)
- 可视化一致性 (Visualization Consistency)
为什么重要？ 它为后续研究提供了一个公平、客观的评估平台，让不同的方法可以在同一个标准下进行比较，从而推动该领域技术的持续发展。

总结一下，这三大法宝——FDV（图纸语言）、Multimodal DeepResearcher框架（智能建筑师）、MultimodalReportBench（考场和评分标准）——共同构成了这篇论文的核心创新，它们让AI从一个只会写字的“书生”，变成了一个能说会画的“全能报告专家”。

三、方法解析：AI是如何一步步“画”出报告的？

了解了核心贡献，我们再来深入看看Multimodal DeepResearcher这个框架具体是怎么运作的，尤其是它如何巧妙地将文本和图表融合在一起。我们可以把它想象成一个高度智能化的“四幕剧”。

序幕：可视化形式化描述 (FDV) – 图表的“DNA序列”

在“大戏”开演之前，我们必须先理解FDV这个关键技术。如前所述，FDV用文本来描述图表。具体来说，它从四个维度来解构一个图表（参考论文图3）：

(1) 整体布局 (Overall Layout)：描述图表的整体结构，比如是单个图还是多个子图拼接？标题、图例放在哪里？图表四周的边距留多少？

(2) 绘图尺度 (Plotting Scale)：定义数据的视觉映射规则。比如，X轴代表时间，是线性尺度还是对数尺度？Y轴代表数值，范围是多少？颜色深浅代表什么含义？坐标轴的刻度和标签如何显示？

(3) 数据 (Data)：列出生成这个图表所需要的所有原始数据和文本元素（比如图表标题、坐标轴名称、图例文字等）。

(4) 标记 (Marks)：指图表中具体的视觉元素，比如条形图里的“条形”、折线图里的“点”和“线”、散点图里的“散点”。FDV会详细描述这些标记的属性，比如大小、形状、颜色、位置等。

有了FDV，AI就能精确地理解一个图表的设计意图和构成细节。这就像给AI提供了一份非常详细的菜谱，AI照着做就能复制出美味佳肴（高质量图表）。

第一幕：研究 – 博览群书的学者

任务：给定一个研究主题（比如“全球电动汽车市场发展趋势”），AI首先要像一个研究员一样，去搜集和理解相关信息。
执行者：一个基于LLM（论文中实验使用了GPT-4o-mini）的“研究智能体”。
流程： 1️⃣关键词生成与目标设定：LLM根据主题和已有的知识（初始为空，后续迭代会积累），生成3个左右最相关的搜索关键词（比如“电动汽车销量”、“充电桩数量”、“电池技术”），并确定本次研究的具体目标。 2️⃣网页搜索与筛选：利用Firecrawl API等工具，根据关键词从互联网上搜索相关的网页文章（每个关键词找3篇左右）。 3️⃣信息提取与综合：LLM阅读这些网页内容，提取关键信息点、数据、引用来源等，综合成若干条“学习成果”（learnings，每个关键词产出3条左右）。 4️⃣设定下一轮研究问题：根据当前的学习成果，LLM会提出一些更深入或者需要进一步探索的问题，作为下一轮研究的指引。 5️⃣迭代深化：这个过程会迭代进行（论文中设置N_R=2轮）。第一轮可能比较宽泛，第二轮则会基于第一轮的发现进行更聚焦的探索，比如关键词数量会减半。
产出：一系列关于主题的结构化信息（learnings），以及所有引用来源。

第二幕：范例报告文本化 – 向大师学习

任务：为了让AI生成的报告风格更专业、图文结合更自然，需要让它“学习”一些人类专家制作的优秀多模态报告。
执行者：一个多模态LLM（Multimodal LLM，论文中实验使用了Claude 3.7 Sonnet）。
流程： 1️⃣输入：提供几份高质量的人类专家报告（这些报告里既有文字也有图表图片，论文中收集了6份作为范例）。 2️⃣图表“翻译”：多模态LLM会识别出这些范例报告中的所有图表图片。 3️⃣FDV转换：对于每一张图表图片，多模态LLM会运用我们前面讲的FDV技术，将其“翻译”成详细的文本描述（即FDV格式）。 4️⃣替换：用生成的FDV文本替换掉范例报告中原来的图表图片。
产出：若干份纯文本格式的“范例报告”，但这些文本中包含了图表的FDV描述。这些“范例”将在后续的生成阶段作为上下文学习（in-context learning）的素材，指导AI如何组织内容和设计图表。
核心思想：通过这种方式，AI不仅能学到文本怎么写，还能学到在什么地方、用什么样的图表来配合文本，以及这些图表的具体设计风格。

第三幕：规划 – 运筹帷幄的架构师

任务：在正式动笔写报告之前，先做好整体规划，打好腹稿。
执行者：LLM（论文中实验使用了GPT-4o-mini）。
流程： 1️⃣输入：第一幕搜集到的学习成果 (learnings)，第二幕处理过的范例报告 (FDV格式)，以及最初给定的研究主题。 2️⃣生成内容大纲：LLM会基于输入信息，规划出整个报告的结构。这通常是一个层级式的大纲，包含几个主要章节（论文建议4-6个），每个章节有明确的标题和一段简要的摘要，说明该章节要讲的核心内容。大纲要保证逻辑清晰，章节间内容不重复，层层递进。 3️⃣生成可视化风格指南：为了确保报告中所有图表的视觉风格统一且专业，LLM还会根据范例报告中图表的风格（通过FDV学习到的），提炼出一份风格指南。这份指南会涉及颜色搭配方案、字体层级、信息组织方式等。它更像是一份灵活的指导原则，而不是死板的规定，允许AI在具体设计图表时根据内容进行调整，但整体上保持一致性。
产出：一份详细的报告内容大纲 (O) 和一份可视化风格指南 (G)。

第四幕：多模态报告生成 – 精雕细琢的创作者

这是最激动人心的部分，AI要真正开始“写”和“画”了！

任务：根据规划好的大纲和风格指南，结合研究到的信息，生成最终的图文交错报告。

执行者：文本生成LLM (M_t，如Claude 3.7 Sonnet或开源的Qwen3-235B-A22B) 和一个图表优化机制。

流程：

1️⃣文本初稿与FDV占位：M_t会先根据大纲和学习成果，撰写报告的文本部分。当它认为某个地方需要用图表来辅助说明时，它不会直接画图，而是会生成一段FDV格式的文本描述，作为这个图表的“占位符”。这份初稿的格式会模仿第二幕中学习到的范例报告。

2️⃣图表代码生成 (Coding)：框架会提取出文本初稿中所有的FDV占位符。然后，它会再次调用M_t，要求它根据每一段FDV描述，生成能够实现这个图表的D3.js代码。

3️⃣图表迭代优化 (Iterative Chart Refinement) – Actor-Critic机制：这是确保图表质量的关键一步，也是一个非常巧妙的设计，引入了类似强化学习中的“行动者-评论家”（Actor-Critic）思想。

行动者 (Actor)：就是负责生成D3.js代码的LLM (M_t)。
评论家 (Critic)：由两部分组成：
- 控制台反馈 (Console Feedback)：框架会尝试在模拟的浏览器环境中运行生成的D3.js代码（论文中提到使用Chrome开发者工具的Python包）。如果代码有错误（比如语法错误、找不到元素等），浏览器控制台会输出错误信息。这些错误信息会反馈给Actor。
- 视觉反馈 (Visual Feedback)：代码成功运行后（或者至少能渲染出点东西），框架会截取生成的图表图片。然后，这张图片会交给一个多模态LLM (M_v，如Claude 3.7 Sonnet或开源的Qwen2.5-VL-72B-Instruct) 来“审查”。M_v会从视觉角度评估图表的质量，比如：标签是否清晰？有没有元素重叠？数据点是否准确？整体美观度如何？它会给出具体的修改意见。
优化循环：Actor (M_t) 收到来自控制台和视觉评论家 (M_v) 的反馈后，会尝试修改D3.js代码。修改后的代码会再次被运行、截图、审查……如此往复。这个优化过程会持续进行，直到评论家满意，或者达到预设的最大重试次数（论文中设置为3次，以避免无限循环）。
最终选择：当优化过程结束后（比如重试了3次），评论家会从最后两次生成的图表中选择一个最好的作为最终版本。

4️⃣图文整合：最后，框架会将优化好的图表（以图片或可嵌入HTML的形式）替换掉文本初稿中相应的FDV占位符，形成最终的图文交错报告。

产出：一份包含高质量文本和定制化D3.js图表的完整多模态报告。

通过这“四幕剧”，Multimodal DeepResearcher不仅解决了“写什么”和“画什么”的问题，更重要的是解决了“怎么画得好”以及“图文怎么有机结合”的难题。尤其是Actor-Critic的图表优化机制，让AI有了“反思”和“进步”的能力，这在多模态内容生成领域是非常有价值的探索。