主页期刊介绍编委会编辑部服务介绍道德声明在线审稿编委办公English
2020-2021年专刊出版计划 微信服务介绍 最新一期:2020年第10期
     
在线出版
各期目录
纸质出版
分辑系列
论文检索
论文排行
综述文章
专刊文章
美文分享
各期封面
E-mail Alerts
RSS
旧版入口
中国科学院软件研究所
  
投稿指南 问题解答 下载区 收费标准 在线投稿
杨婉香,严严,陈思,张小康,王菡子.基于多尺度生成对抗网络的遮挡行人重识别方法.软件学报,2020,31(7):1943-1958
基于多尺度生成对抗网络的遮挡行人重识别方法
Multi-scale Generative Adversarial Network for Person Re-identification under Occlusion
投稿时间:2019-04-24  修订日期:2019-07-11
DOI:10.13328/j.cnki.jos.005932
中文关键词:  行人重识别  生成对抗网络  遮挡  数据增强
英文关键词:person re-identification  generative adversarial network  occlusion  data augmentation
基金项目:国家自然科学基金(61571379,U1605252,61872307);福建省自然科学基金(2017J01127,2018J01576)
作者单位E-mail
杨婉香 福建省智慧城市感知与计算重点实验室(厦门大学 信息学院), 福建 厦门 361005  
严严 福建省智慧城市感知与计算重点实验室(厦门大学 信息学院), 福建 厦门 361005 yanyan@xmu.edu.cn 
陈思 厦门理工学院 计算机与信息工程学院, 福建 厦门 361024  
张小康 福建省智慧城市感知与计算重点实验室(厦门大学 信息学院), 福建 厦门 361005  
王菡子 福建省智慧城市感知与计算重点实验室(厦门大学 信息学院), 福建 厦门 361005  
摘要点击次数: 1278
全文下载次数: 896
中文摘要:
      行人重识别是指在多个非重叠摄像头拍摄的场景下,给定一幅查询行人图像,从大规模行人图像库中检索出具有相同身份的行人图像,是一类特殊的图像检索任务.随着深度学习的不断发展,行人重识别方法的性能得到了显著提升.但是行人重识别在实际应用中经常遭遇遮挡问题(例如,背景遮挡、行人互相遮挡等).由于遮挡图像不仅丢失了部分目标信息,而且引入了额外的干扰,使得现有方法往往难以学习到鲁棒的特征表示,从而导致识别性能严重下降.最近,生成对抗网络在各类计算机视觉任务上展现出强大的图像生成能力.受到生成对抗网络的启发,提出了一种基于多尺度生成对抗网络的遮挡行人重识别方法.首先,利用成对的遮挡图像和非遮挡图像训练一个多尺度生成器和一个判别器.多尺度生成器能够对随机遮挡区域进行去遮挡操作,生成高质量的重构图;而判别器能够区分输入图像是真实图像还是生成图像.其次,利用训练好的多尺度生成器,生成去除随机遮挡的训练图像,添加到原始训练图像集,用于增加训练样本的多样性.最后,基于此扩充训练图像集,训练分类识别模型,有效地提高模型在测试图像集上的泛化性.在多个有挑战性的行人重识别数据集上的实验结果,验证了所提出方法的有效性.
英文摘要:
      Person re-identification (ReID) refers to the task of retrieving a given probe pedestrian image from a large-scale gallery collected by multiple non-overlapping cameras, which belongs to a specific task of image retrieval. With the development of deep learning, the performance of person ReID has been significantly improved. However, in practical applications, person ReID usually suffers from the problem of occlusion (such as background occlusion, pedestrian occlusion). The occluded image not only loses partial target information, but also introduces additional interference, which makes the deep neural network difficult to learn robust feature representations and seriously degrades the performance of person ReID. Recently, generative adversarial network (GAN) has shown the powerful image generation ability on various computer vision tasks. Inspried by GAN, a person ReID method is proposedunder occlusion based on multi-scale GAN. Firstly, the paired occluded images and unoccluded images are usedto train a multi-scale generator and a discriminator. The multi-scale generator can restore the lost information for randomly occluded areas and generate high-quality reconstructed images; while the discriminator can distinguish whether the input image is a real image or a generated image. Then, the trained multi-scale generator is usedto generate the de-occluded images. Adding these de-occluded images to the original training image set can increase the diversity of training samples. Finally, a classification network is trainedbased on the augmented training image set, which effectively improves the generalization capability of the trained model on the testing image set. Experimental results on several challenging person ReID datasets demonstrate the effectiveness of theproposed method.
HTML  下载PDF全文  查看/发表评论  下载PDF阅读器
 

京公网安备 11040202500064号

主办单位:中国科学院软件研究所 中国计算机学会 京ICP备05046678号-4
编辑部电话:+86-10-62562563 E-mail: jos@iscas.ac.cn
Copyright 中国科学院软件研究所《软件学报》版权所有 All Rights Reserved
本刊全文数据库版权所有,未经许可,不得转载,本刊保留追究法律责任的权利