WalkVLM：如何通过VLM来辅助盲人行走？

一点人工一点智能

发布于 2025-01-03 12:35:11

1880

文章被收录于专栏：一点人工一点智能一点人工一点智能

论文地址：https://arxiv.org/pdf/2412.20903

项目地址：https://walkvlm2024.github.io/

这篇论文主要研究了如何利用视觉语言模型（Vision-Language Models，简称VLMs）来帮助视障人士行走。目前全球有大约两亿人患有不同程度的视力障碍，因此开发AI技术提供行走辅助变得尤为重要。

虽然VLMs在自然语言处理领域取得了显著进展，但大多数现有方法都是基于自建问答数据集进行研究，缺乏统一的训练和测试基准。此外，在盲人行走任务中，需要实时解析视频流并生成简明而信息丰富的提醒，这对VLMs来说是一个巨大的挑战，因为它们容易产生冗余的回答和低效率的推理。

为了解决这些问题，作者首先发布了一个包含来自欧洲和亚洲的12,000个视频-手动注释对的多样化、广泛且无偏见的行走意识数据集，以提供一个公平的训练和测试基准。然后，他们提出了WalkVLM模型，该模型采用连锁思维进行分层规划以生成简明但信息丰富的提醒，并使用时序感知的自适应预测来减少提醒中的时间冗余。最后，他们建立了针对盲人行走任务的可靠基准，并验证了WalkVLM相对于其他VLMs在流式视频处理方面的优势。

论文方法

1.1 方法描述

该论文提出了一种名为WalkVLM的模型，旨在通过视觉语言模型来增强盲人行走任务的能力。WalkVLM采用了Chain of Thought（CoT）架构，将视频流输入到一个视觉编码器中，并与大型语言模型（LLM）相结合，以便更全面地理解环境信息并生成简洁有效的提醒。

WalkVLM将过程分为三个层次：感知、理解和决策。在感知层，模型提取静态视觉属性，如位置类型、天气条件和交通流量评级等；在理解层，模型整合所有来自感知层的输出，将局部检测结果和碎片化场景信息合并为全局摘要；在决策层，模型专注于训练WalkVLM以实现视觉问答和提醒功能。

1.2 方法改进

为了提高WalkVLM的效果，研究人员提出了以下改进措施：

1）使用Chain of Thought（CoT）架构逐步将信息从三个层次输入到视觉语言模型（VLM），并在测试时让模型预测上述属性并生成相应的响应。

2）在感知层引入了Prior-Object Location Module（POLM），它使用通用对象检测器来识别和定位场景中的物体，并根据大小和置信度分数过滤出反映道路状况和潜在危险的重要物品。

3）引入了Temporal-Aware Adaptive Prediction（TAP）模块，利用历史信息预估是否需要触发VLM，从而减少硬件计算压力。

1.3 解决的问题

该研究的主要目标是通过视觉语言模型改善盲人行走任务。具体来说，他们试图解决以下问题：

1）提高盲人在行走过程中获得的信息质量，使其能够更好地了解周围环境和路线规划。

2）减少冗余信息，提供简洁有效的提醒，以优化用户体验。

3）降低计算压力，使系统能够在实时环境中高效运行。

论文实验

本文主要介绍了WalkVLM模型在视频场景下的语言生成任务中的实验结果和分析。作者通过定量和定性的方法对多个指标进行了评估，并与其他流行的多模态模型进行了比较。具体来说，作者使用了ROUGE、TF-IDF相似度、GPT分数和TRF四个指标来评估模型的性能。同时，作者还进行了用户调查和可视化比较，以进一步验证模型的效果。

在定量方面，作者首先比较了不同模型在提醒任务和问答任务上的ROUGE得分。结果显示，WalkVLM在两个任务中都取得了最佳效果，说明其输出与真实结果最接近。其次，作者比较了不同模型在TF-IDF相似度和GPT分数上的表现。在提醒任务中，WalkVML在TF-IDF相似度上表现最好，说明其能够生成更简洁准确的结果。而在问答任务中，WalkVLM在GPT分数上表现更好，说明其能够更好地解释问题并提供详细的答案。最后，作者比较了不同模型在TRF上的表现。结果显示，WalkVLM在这方面也表现最好，说明其能够减少冗余的信息生成。

在定性方面，作者进行了视觉比较和用户调查。在视觉比较中，WalkVLM被证明可以生成更简洁和信息丰富的响应，从而为用户提供更好的体验。在用户调查中，WalkVLM在语言简洁性和语义相似性方面的得分最高，表明其能够在这些方面提供更好的用户体验。

总的来说，本文通过对多个指标的评估和多种方法的比较，证明了WalkVLM模型在视频场景下的语言生成任务中具有优异的表现。