Loading [MathJax]/jax/input/TeX/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >NIPS 2018 | 行人重识别告别辅助姿势信息,商汤、中科大提出姿势无关的特征提取GAN

NIPS 2018 | 行人重识别告别辅助姿势信息,商汤、中科大提出姿势无关的特征提取GAN

作者头像
机器之心
发布于 2018-12-05 09:14:15
发布于 2018-12-05 09:14:15
9670
举报
文章被收录于专栏:机器之心机器之心

选自arXiv

作者:Yixiao Ge、Zhuowan Li、Haiyu Zhao等

机器之心编译

参与:李诗萌、张倩

行人图像的姿势变化是行人重识别(reID)任务中的重要挑战之一。本文提出了一个 reID 新框架——FD-GAN,来学习与身份相关而与姿势无关的表征,用于姿势不同的行人重识别。与现有的对齐或基于区域的学习方法相比,该框架不需要额外的辅助姿势信息和计算成本,在三个广泛使用的行人重识别数据集中都取得了当前最优结果。

引言

行人重识别(reID)是一项极具挑战性的任务,该任务以在多个摄像头拍摄出来的图像中识别相同行人为目标。随着深度学习方法的广泛使用,reID 的性能借助不同的算法得到快速提高。在用深度神经网络学习表征的问题上大家做了各种尝试,但姿势变化、图像模糊以及目标遮挡等问题仍对学习判别式特征提出了巨大的挑战。解决这些问题有两类方法,对齐行人图像 [1] 或通过学习身体区域的特征整合行人的姿势信息 [2]。但这些工作在推断阶段也需要辅助的姿势信息,这样就限制了算法在没有姿势信息的情况下泛化新图像的能力。与此同时,由于对姿势估计的推断更复杂了,计算成本也随之增加。

在图像生成方面,生成式对抗网络(GAN)受到了越来越多的关注。近期,也有一些工作将 GAN 的潜力用在现有的 reID 算法中。Zheng 等人 [3] 提出一个半监督架构,利用离群值的标签平滑正则化(LSRO)学习生成的图像。还有用于弥合不同数据集间领域差距的 PTGAN[4]。除了图像合成,GAN 也可以用在表征学习中。我们在本文中提出了一个身份相关的新表征学习框架,来实现鲁棒的行人重识别。

本文提出的特征提取生成式对抗网络(FD-GAN)在姿势改变的情况下还能保持身份特征的连续性(如图 1 所示),但推断复杂性并没有增加。该架构采用了 Siamese 架构学习特征。每一个分支中都有一个图像编码器和图像生成器。图像编码器输入给定输入图像中的行人视觉特征。图像生成器根据姿势信息和编码器中输入的行人特征生成了新的行人图像。框架中集成了多个判别器,分辨通过两个分支生成的图像之间的分支内和分支间关系。

图 1:在姿势引导的图像生成器和判别器的帮助下训练得到的 FD-GAN 中的图像编码器,以学习鲁棒的身份相关和姿势相关表征。它在推断时不需要姿势信息和额外的计算成本。

身份判别器、姿势判别器和验证分类器连同重建损失以及全新的同姿势损失一起正则化特征学习过程,来实现鲁棒的行人重识别。根据对抗损失,可以通过图像编码器在视觉特征中减少姿势和背景这种与身份判断无关的信息。更重要的是,在推断过程中,不再需要额外的姿势信息以及额外的计算成本。在三个广泛使用的 reID 数据集(即 Market-1501[5]、CUHK03[6] 和 DukeMTMC-reID[7])中,我们的方法比之前的方法都要好。

总体而言,本研究做出了以下贡献:1)我们提出了一个新的框架,FD-GAN,来学习与身份相关而与姿势无关的表征,用于姿势不同的行人重识别。与现有的对齐或基于区域的学习方法不同,我们的框架不需要额外的辅助姿势信息,在推断过程中也不需要增加计算的复杂程度。2)尽管在我们的框架中,行人图像生成是辅助任务,但是通过该框架生成的行人图像的质量比现有的行人图像生成方法所生成的图像都要好。3)在行人重识别任务中,本文提出的 FD-GAN 在 Market-1501[5],CUHK03[6] 以及 DukeMTMC-reID[7] 数据集上都取得了当前最佳的表现。

图 2:FD-GAN 的 Siamese 架构。利用验证损失,通过图像编码器 E 学习鲁棒的身份相关而姿势无关的特征,而生成假图像的辅助任务是为了骗过身份和姿势判别器的。引入新的同姿势损失项是为了进一步促进对与身份相关而与姿势无关的视觉特征的学习。

论文:FD-GAN: Pose-guided Feature Distilling GAN for Robust Person Re-identification

论文链接:https://arxiv.org/pdf/1810.02936v1.pdf

摘要:行人重识别(reID)是一项重要的任务,它需要在给定目标行人图像的基础上从图像数据集中提取出行人图像。为了学到鲁棒的行人特征,行人图像的姿势变化是重要的挑战之一。现有的针对该问题的工作要么是对齐行人图片,要么是基于行人区域学习表征。而在推断时一般也会需要额外的姿势信息和计算成本。为了解决这一问题,本文提出了特征提取生成对抗式网络(FD-GAN)来学习和身份相关而和姿势无关的表征。这是一个基于 Siamese 架构的新框架,该框架中有多个新的判别器来判别行人的姿势和身份。除了判别器,还集成了新的同姿势损失,这就需要生成相同行人表现相似的图像。在通过姿势引导学习了与姿势无关的行人特征后,在测试时不再需要辅助的姿势信息和额外的计算成本。我们提出的 FD-GAN 在三个行人重识别数据集中都取得了当前最佳的结果,这说明本文提出的 FD-GAN 可以提取高效而鲁棒的特征。

与 DR-GAN[20] 比较

基于条件 GAN 的 DR-GAN[20] 也试着在面部识别任务中学习姿势变化的身份表征。它也用了一个带有判别器的编码器-解码器架构用来对两种身份进行分类。第 4.2 节中的结果证明,在行人重识别任务中,本文提出的方法比 DR-GAN 要好。

有三点重要差异导致 FD-GAN 比 DR-GAN 效果更好。1)我们用了 Siamese 网络架构,这使我们可以利用同姿势损失鼓励编码器只对身份相关的信息进行编码,而 DR-GAN 则没有这个损失项。2)我们不在图像编码器和身份判别器中的 ResNet-50 网络间共享权值。我们观察到,身份验证和真/假图像身份判别是两个不同领域的任务,因此不能共享它们的权重。3)我们的 Siamese 架构用了验证分类器,而不是交叉熵分类器,在行人重识别任务中,这样可以得到比单分支网络更好的性能。

表 1:FD-GAN 在 Market-1501[5] 和 DukeMTMCreID[7] 数据集上的组分分析。表中标出了最高的准确率(%)和 mAP(%)。

表 2:本文提出的方法和当前最佳方法在 Market-1501[5]、CUHK03[6] 以及 DukeMTMC-reID[7] 数据集上的实验结果比较。表中标注了最高的准确率(%)和 mAP(%)。

图 3:(a)生成器 G 和图像编码器 E 的网络架构;(b)验证分类器 V 的网络架构;(c)身份判别器 Did 的网络架构;(d)姿势判别器 Dpd 的网络架构。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2018-10-29,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 机器之心 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
​CVPR 2022丨特斯联AI提出:基于图采样深度度量学习的可泛化行人重识别
最近的研究表明,显式深度特征匹配以及大规模多样化的训练数据均可显著提升行人重识别的泛化能力。但是,在大规模数据上,学习深度匹配器的效率还未得到充分研究。 近日,特斯联科技集团首席科学家邵岭博士及团队提出了一种高效的小批量采样(mini-batch sampling)方法——图采样(Graph Sampling, GS),用于大规模深度度量学习,极大改善了可泛化行人重识别。目前,该研究成果(题为: Graph Sampling Based Deep Metric Learning for Generaliz
AI科技评论
2022/07/04
6610
​CVPR 2022丨特斯联AI提出:基于图采样深度度量学习的可泛化行人重识别
GAN提高人体重识别准确率
企鹅号小编
2018/01/02
1.9K0
GAN提高人体重识别准确率
graph representation learning_with for什么意思
云从科技在跨镜追踪(行人再识别)技术(ReID)上获取重大突破。同时在Market-1501,CUHK03,DukeMTMC-reID三个数据集刷新了世界纪录,其中最高在Market-1501上的首位命中率(Rank-1 Accuracy)达到96.6%,让跨镜追踪(ReID)在准确率上首次达到商用水平,人工智能即将从「刷脸」跨到「识人」的新纪元。
全栈程序员站长
2022/11/08
7880
graph representation learning_with for什么意思
NVIDIA开源DG-Net:用GAN做“淘宝式”换衣,辅助行人重识别
前几天英伟达开源了DG-Net的源码。让我们来回顾一下这篇CVPR19 Oral的论文。
郑哲东
2019/07/25
3.1K0
NVIDIA开源DG-Net:用GAN做“淘宝式”换衣,辅助行人重识别
从人脸识别到行人重识别,下一个风口
人脸识别在LFW超越人的识别能力之后,就很少有重大的突破了,逐渐转向视频中人脸识别或人脸属性学习等方向。CV顶级会议的接受论文量也出现了逐渐平稳的趋势。 而行人重识别(Person re-identification)也称行人再识别,是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。广泛被认为是一个图像检索的子问题。 给定一个监控行人图像,检索跨设备下的该行人图像。旨在弥补目前固定的摄像头的视觉局限,并可与行人检测/行人跟踪技术相结合 ,可广泛应用于智能视频监控、智能安保等领域。 行人重识
计算机视觉研究院
2018/04/17
2.8K0
从人脸识别到行人重识别,下一个风口
行人重识别 Person Re-identification知识资料全集
本文介绍了多模态人物识别和跨模态人物检索的任务定义、研究现状、技术方法、系统实现和典型应用场景。多模态人物识别和跨模态人物检索是当前计算机视觉和人工智能领域的研究热点,其应用场景非常广泛,包括安防监控、人员管理、智能零售等。
企鹅号小编
2017/12/29
4.7K0
行人重识别 Person Re-identification知识资料全集
论文笔记31 -- (ReID)【ICCV2021】TransReID: Transformer-based Object Re-Identification
ICCV 2021,首个将Transformer用于Re-ID的工作 TransReID在行人和车辆重识别任务上均表现SOTA!
对角巷法师
2021/12/08
2.7K0
论文笔记31 -- (ReID)【ICCV2021】TransReID: Transformer-based Object Re-Identification
NeurIPS 2021 | 图像损坏场景下行人重识别新基准
行人重识别(Person ReID)在安全部署领域有着广泛应用,当前的研究仅考虑ReID模型在干净数据集上的性能,而忽略了ReID模型在各种图像损坏场景(雨天、雾天等)下的鲁棒性。
CV君
2022/03/30
1.5K0
NeurIPS 2021 | 图像损坏场景下行人重识别新基准
港中文MMLab | 由简入难,即插即用:自步对比学习
今天,和大家分享一篇港中文MMLab发表于NeurIPS 2020的论文《Self-paced Contrastive Learning with Hybrid Memory for Domain Adaptive Object Re-ID》,该工作提出自步对比学习框架及混合记忆模型,旨在解决无监督及领域自适应表征学习中数据无法被充分挖掘的问题。
AI科技评论
2020/11/09
1.1K0
港中文MMLab | 由简入难,即插即用:自步对比学习
华中科技提出 PersonViT | 利用 Mask 图像建模的视觉 Transformer 提升人重识别性能 !
人重识别(ReID)旨在从人类图像中学习视觉特征,能够区分不同的个体身份。这是一个重要且具有挑战性的计算机视觉问题,需要克服严重的遮挡、外观变化、形状变化和视点变化。人重识别技术能够在无接触和不合作的情况下实现跨摄像头检索行人,并广泛应用于公共安全、视频监控等领域,具有显著的应用价值。
未来先知
2024/08/29
4880
华中科技提出 PersonViT |  利用 Mask 图像建模的视觉 Transformer 提升人重识别性能 !
行人被遮挡问题怎么破?百度提出PGFA新方法,发布Occluded-DukeMTMC大型数据集 | ICCV 2019
【导语】在以人搜人的场景中,行人会经常被各种物体遮挡。之前的行人再识别(re-id)方法要么忽略了此问题,要么是基于极端假设来解决该问题。为了解决遮挡问题,作者提出检测遮挡区域,并在特征生成和匹配过程中去排除那些遮挡区域。
AI科技大本营
2019/11/12
1.9K0
行人被遮挡问题怎么破?百度提出PGFA新方法,发布Occluded-DukeMTMC大型数据集 | ICCV 2019
CVPR 2020 Oral | 将SOTA行人再识别系统精度降至1.4%,中大、暗物智能等向视觉模式匹配的鲁棒性发起挑战
行人再识别(re-ID)——一种个人身份鉴别技术和继人脸识别之后的又一重要算法,随着深度学习的发展进入了一个新时代。在 Market-1501 上,各大公司玩命刷榜,甚至达到了超人类的识别水平。
机器之心
2020/05/19
7180
CVPR 2020 Oral | 将SOTA行人再识别系统精度降至1.4%,中大、暗物智能等向视觉模式匹配的鲁棒性发起挑战
ReID:无监督及领域自适应的目标重识别概述
无监督(unsupervised)及领域自适应(domain adaptive)的目标重识别是目标重识别领域中两个重要的研究方向,同时二者又关系密切。本文中部分配图和内容参考葛艺潇:无监督及领域自适应的目标重识别。
chaibubble
2021/07/19
2.8K0
ReID:无监督及领域自适应的目标重识别概述
可微图学习&弱监督,中山大学提出新型行人重识别方法和史上最大最新评测基准
行人重识别,又称行人再识别,是利用 CV 技术判断图像或视频序列中是否存在特定行人的技术。常规的行人重识别方法往往需要高昂的人工标注成本,计算复杂度也很大。在本文中,中山大学研究者提出的弱监督行人重识别方法恰恰克服了这两方面的障碍,并发布了一个大型行人重识别数据集。
小白学视觉
2020/12/07
5950
可微图学习&弱监督,中山大学提出新型行人重识别方法和史上最大最新评测基准
ECCV 2020 | 再见,迁移学习?可解释和泛化的行人再辨识
已有的基于深度学习的行人再辨识方法主要关注单张图的特征学习,其训练好的模型是固定的,在面对没见过的场景时缺乏自适应性。为此,迁移学习被大量地研究并用于增强模型在新场景下的适应性,但其代价是针对特定场景的应用需要深度学习训练。
机器之心
2020/08/05
7500
ECCV 2020 | 再见,迁移学习?可解释和泛化的行人再辨识
[计算机论文速递] 2018-04-11
PS:Amusi前几天在忙其它事,论文速递耽搁了近一个星期,还请大家见谅。因为时间因素,和往常一样,每篇paper不附带相应的图示。如果本文中出现明显重大的翻译问题,还请大家指出,谢谢
Amusi
2018/04/14
7280
[计算机论文速递] 2018-04-11
超阿里、大华,澎思科技行人再识别(ReID)技术刷新三大数据集记录
【导读】不久前,江苏省某市公安通过 AI 技术分析监控摄像头中的信息,抓获了一个偷盗电动车的嫌疑人员。监控摄像头在现场拍到的是嫌疑人背对摄像头的情况,未有清晰正面的人脸,但图片显示了他的穿着、发型、身高等信息,而警方运用的技术则是计算机视觉领域中的行人再识别技术(Re-ID),通过Re-ID技术警方找到了关联摄像头正好拍到他的正脸,以此确认身份,迅速将嫌疑人抓获。这也是行人再识别技术在实战场景中的一个典型应用,而提供给警方技术支持的则是国内人工智能企业澎思科技(Pensees)。
AI科技大本营
2019/07/11
1.2K0
超阿里、大华,澎思科技行人再识别(ReID)技术刷新三大数据集记录
ICCV 2019 | 北邮提出高阶注意力模型,大幅改进行人重识别SOTA精度
今天跟大家分享一份ICCV 2019 上新出的关于注意力模型的工作Mixed High-Order Attention Network for Person Re-Identification,来自北京邮电大学的学者提出一种高阶注意力模型,并将其应用于行人重识别建模,显著改进了现有SOTA模型的精度。
CV君
2019/12/27
1.6K0
CCAF 新框架,利用 CLIP 学习细粒度语义特征,增强跨摄像头识别 !
凡本公众号注明“来源:XXX(非集智书童)”的作品,均转载自其它媒体,版权归原作者所有,如有侵权请联系我们删除,谢谢。
集智书童公众号
2024/06/25
1.2K0
CCAF 新框架,利用 CLIP 学习细粒度语义特征,增强跨摄像头识别 !
行人再识别中的迁移学习
最近,在网上搜索关于“行人重识别”及“行人再识别”等关键词,发现几乎都是关于行人检测的内容。对于“行人重(再)识别”技术能找到的资料很少,这可能是因为“行人重(再)识别”技术最近才刚刚兴起吧。 总之,除了能在谷歌学术中搜到一些Person re-identification的学术论文外,其他的资料明显没有行人检测的多。 概念解释 “行人重(再)识别”,首先从字面上将就是对“行人”进行“识别”。其中的“重(再)”则是指“重新”、“再一次”的意思。 “行人重(再)识别”技术主要是应用在视频监控方面。在刑侦工作中
企鹅号小编
2018/02/06
1.4K0
行人再识别中的迁移学习
推荐阅读
​CVPR 2022丨特斯联AI提出:基于图采样深度度量学习的可泛化行人重识别
6610
GAN提高人体重识别准确率
1.9K0
graph representation learning_with for什么意思
7880
NVIDIA开源DG-Net:用GAN做“淘宝式”换衣,辅助行人重识别
3.1K0
从人脸识别到行人重识别,下一个风口
2.8K0
行人重识别 Person Re-identification知识资料全集
4.7K0
论文笔记31 -- (ReID)【ICCV2021】TransReID: Transformer-based Object Re-Identification
2.7K0
NeurIPS 2021 | 图像损坏场景下行人重识别新基准
1.5K0
港中文MMLab | 由简入难,即插即用:自步对比学习
1.1K0
华中科技提出 PersonViT | 利用 Mask 图像建模的视觉 Transformer 提升人重识别性能 !
4880
行人被遮挡问题怎么破?百度提出PGFA新方法,发布Occluded-DukeMTMC大型数据集 | ICCV 2019
1.9K0
CVPR 2020 Oral | 将SOTA行人再识别系统精度降至1.4%,中大、暗物智能等向视觉模式匹配的鲁棒性发起挑战
7180
ReID:无监督及领域自适应的目标重识别概述
2.8K0
可微图学习&弱监督,中山大学提出新型行人重识别方法和史上最大最新评测基准
5950
ECCV 2020 | 再见,迁移学习?可解释和泛化的行人再辨识
7500
[计算机论文速递] 2018-04-11
7280
超阿里、大华,澎思科技行人再识别(ReID)技术刷新三大数据集记录
1.2K0
ICCV 2019 | 北邮提出高阶注意力模型,大幅改进行人重识别SOTA精度
1.6K0
CCAF 新框架,利用 CLIP 学习细粒度语义特征,增强跨摄像头识别 !
1.2K0
行人再识别中的迁移学习
1.4K0
相关推荐
​CVPR 2022丨特斯联AI提出:基于图采样深度度量学习的可泛化行人重识别
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档