港大&上海AI实验室 | GPT4Scene：使用视觉语言模型理解视频中的3D场景

一点人工一点智能

发布于 2025-01-07 04:29:21

5280

文章被收录于专栏：一点人工一点智能一点人工一点智能

编辑：陈萍萍的公主@一点人工一点智能

论文地址：https://arxiv.org/pdf/2501.01428

项目地址：https://gpt4scene.github.io/

本文介绍了一种名为GPT4Scene的新方法，用于训练和推理视觉语言模型（VLM），以帮助其理解三维空间中的场景。传统的VLM在处理三维空间知识时存在局限性，主要原因是缺乏全局局部对应关系。

为了解决这个问题，作者提出了GPT4Scene，它构建了一个三维鸟瞰图，并标记了视频帧中的一致对象ID。通过将鸟瞰图像与视频帧连接起来输入模型，可以显著提高模型对室内场景的理解能力。实验结果表明，在零样本评估中，GPT4Scene比闭源VLM如GPT-4o表现更好。此外，作者还准备了一个包含165000个文本注释的视频数据集，用于微调开源VLM，取得了最先进的性能。

值得注意的是，经过GPT4Scene训练后，VLM能够在没有视觉提示和鸟瞰图像的情况下持续改进，这表明该方法有助于VLM发展内在的能力去理解三维场景，为扩展预训练VLM提供了一种非侵入式的方法。

论文方法

1.1 方法描述

该论文提出了一种名为GPT4Scene的框架，用于增强视觉语言模型（VLM）在理解三维场景中的能力。其主要思路是通过提供全局场景信息和对象级别的注释来改善VLM对三维场景的理解。

具体实现过程包括以下步骤：

1）对于给定的室内视频序列，从中均匀采样若干帧。

2）利用3D重建技术将每个帧转换为点云，并将其渲染成鸟瞰图，以提供全局场景信息。

3）在鸟瞰图上标记出特定物体的位置，并在原始视频帧中显示这些标记，以便VLM能够关注特定的物体。

4）将以上处理后的视频序列和鸟瞰图像输入到VLM中，以完成任务。

此外，论文还提出了两种方法来进一步提高VLM的能力：一种是使用零提示解锁强大的封闭源VLM，另一种是通过对ScanAlign数据集进行单阶段指令微调来增强开源、较小规模的VLM。

1.2 方法改进

论文提出的GPT4Scene框架和两种方法都针对VLM在理解三维场景方面的不足进行了改进。具体来说，它们提供了更多的全局场景信息和对象级别注释，使得VLM能够更好地理解三维场景。此外，论文还提出了零提示解锁和ScanAlign微调这两种方法，分别适用于不同的VLM类型，从而提高了不同VLM的能力。

1.3 解决的问题

论文的主要目标是解决VLM在理解三维场景时存在的问题。由于VLM通常只能获得局部信息，因此很难准确地理解整个场景。为了解决这个问题，论文提出了GPT4Scene框架和两种方法，以提供更多全局场景信息和对象级别注释，从而使VLM能够更好地理解三维场景。这些方法可以应用于各种类型的VLM，从而提高了它们的能力。

论文实验

本文主要介绍了基于GPT-4的场景理解模型（GPT4Scene）在3D问题回答、密集标注和视觉定位等任务上的表现，并进行了多个对比实验来验证其有效性。

首先，在3D问题回答任务上，作者将方法分为三类：专注于3D问答任务的经典模型、基于3D点的LLM模型以及基于视觉的LLM模型。结果表明，使用GPT-4零样本优于所有专门针对3D问答任务的方法，而开放源代码的LLM模型在零样本模式下表现不佳。通过使用GPT4Scene策略对Qwen2-VL-7B进行微调，可以显著提高问答性能，达到SOTA水平。

其次，在密集标注和视觉定位任务中，由于需要标记才能完成这些任务，因此与问题回答不同。作者还评估了模型在这两个任务中的性能，并发现经过GPT4Scene微调后的Qwen2-VL-7B显著提高了VLM的3D标注和定位能力。此外，在高分辨率和更大帧设置（HD）下，该模型达到了SOTA性能，超越了所有现有方法。

最后，作者进行了多个Ablation研究来验证设计模块的有效性并分析因素如分辨率和帧数的影响。结果表明，BEV图像和STO标记增强了空间理解能力，删除它们会导致性能下降。同时，增加帧数可以增强室内场景的理解能力，对于定位任务效果更明显。

总之，本文证明了GPT4Scene在多种场景理解任务中的有效性，并提供了多个对比实验来支持这一结论。