主页期刊介绍编委会编辑部服务介绍道德声明在线审稿编委办公编辑办公English
2020-2021年专刊出版计划 微信服务介绍 最新一期:2020年第5期
     
在线出版
各期目录
纸质出版
分辑系列
论文检索
论文排行
综述文章
专刊文章
美文分享
各期封面
E-mail Alerts
RSS
旧版入口
中国科学院软件研究所
  
投稿指南 问题解答 下载区 收费标准 在线投稿
薛子育,郭沛宇,祝晓斌,张乃光.一种基于生成式对抗网络的图像描述方法.软件学报,2018,29(S2):30-43
一种基于生成式对抗网络的图像描述方法
Image Description Method Based on Generative Adversarial Networks
投稿时间:2018-04-16  
DOI:
中文关键词:  图像描述  生成式对抗网络  频道注意力模型  卷积神经网络
英文关键词:image description  generative adversarial networks  channel-wise attention model  convolutional neural network
基金项目:国家广播电视总局广播科学研究院基本科研业务费课题(130016018000123)
作者单位E-mail
薛子育 国家广播电视总局 广播科学研究院 信息技术研究所, 北京 100866  
郭沛宇 国家广播电视总局 广播科学研究院 信息技术研究所, 北京 100866 guopeiyu@abs.ac.cn 
祝晓斌 北京工商大学 计算机与信息工程学院, 北京 100048 zhuxiaobin@btbu.edu.cn 
张乃光 国家广播电视总局 广播科学研究院 信息技术研究所, 北京 100866  
摘要点击次数: 426
全文下载次数: 616
中文摘要:
      近年来,深度学习在图像描述领域得到越来越多的关注.现有的深度模型方法一般通过卷积神经网络进行特征提取,递归神经网络对特征拼接生成语句.然而,当图像较为复杂时,特征提取不准确且语句生成模型模式固定,部分语句不具备连贯性.基于此,提出一种结合多频道特征提取模型与生成式对抗网络框架的图像描述方法——CACNN-GAN.此方法在卷积层加入频道注意力机制在各频道提取特征,与COCO图像集进行近似特征比对,选择排序靠前的图像特征作为生成式对抗网络的输入,通过生成器与鉴别器之间的博弈过程,训练句法多样、语句通顺、词汇丰富的语句生成器模型.在实际数据集上的实验结果表明,CACNN-GAN能够有效地对图像进行语义描述,相比其他主流算法,显示出了更高的准确率.
英文摘要:
      In recent years, deep learning has gained more and more attention in image description. The existing deep learning methods using CNNs to extract features and RNNs to fold into one sentence. Nevertheless, when dealing with complex images, the feature extraction is inaccurate. And the fixed mode of sentence generation model leads to inconsistent sentences. To solve this problem, this study proposes a method combine channel-wise attention model and GANs, named CACNN-GAN. The channel-wise attention mechanism is added to each conv-layer to extract features, compare with the COCO dataset, and select the top features to generate sentence. Using GANs to generate the sentences, which is generated by the game process between the generator and the discriminator. After that, we can get a sentence generator contains the varied syntax, smooth sentence, and rich vocabulary. Experiments on real datasets illustrates that CACNN-GAN can effectively describe images, and get higher accuracy compared with the state-of-art.
HTML  下载PDF全文  查看/发表评论  下载PDF阅读器
 

京公网安备 11040202500064号

主办单位:中国科学院软件研究所 中国计算机学会 京ICP备05046678号-4
编辑部电话:+86-10-62562563 E-mail: jos@iscas.ac.cn
Copyright 中国科学院软件研究所《软件学报》版权所有 All Rights Reserved
本刊全文数据库版权所有,未经许可,不得转载,本刊保留追究法律责任的权利