前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【他山之石】CVPR2024-SHiNe:用于开放词汇目标检测的语义层次枢纽

【他山之石】CVPR2024-SHiNe:用于开放词汇目标检测的语义层次枢纽

作者头像
马上科普尚尚
发布2024-05-22 18:22:02
4570
发布2024-05-22 18:22:02
举报
文章被收录于专栏:人工智能前沿讲习

开放词汇目标检测(OvOD)将检测转变为一个由语言引导的任务,使用户能够在推理过程中自由定义他们感兴趣的类别词汇。然而,我们的初步研究表明,现有的OvOD检测器在处理不同语义粒度的词汇时表现出显著的差异性,这对实际应用提出了挑战。为此,我们引入了语义层次枢纽(Semantic Hierarchy Nexus,SHiNe),这是一种利用类层次语义知识的新型分类器。它通过三个步骤离线运行:i) 从层次结构中检索每个目标类别的相关上位/下位类别;ii) 将这些类别整合成层次感知句子;iii) 融合这些句子嵌入生成枢纽分类器向量。我们在各种检测基准上的评估表明,SHiNe增强了跨不同词汇粒度的鲁棒性,在使用真实层次结构时实现了高达+31.9%的mAP50提升,同时在使用大语言模型生成的层次结构时也保持了改进。此外,应用于ImageNet-1k的开放词汇分类时,SHiNe将CLIP零样本基线提升了+2.8%的准确率。SHiNe无需训练,可以无缝集成到任何现成的OvOD检测器中,并且在推理过程中不会增加额外的计算开销。代码是开源的。

https://arxiv.org/abs/2405.10053

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2024-05-20,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 人工智能前沿讲习 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档