包含跨域建模和深度融合网络的手绘草图检索
作者:
作者单位:

作者简介:

于邓(1992-),男,山东潍坊人,硕士,主要研究领域为计算机图形学,模式识别,机器学习,手绘检索与识别;李宗民(1965-),男,教授,博士生导师,CCF高级会员,主要研究领域为计算机图形学,图像处理,模式识别;刘玉杰(1971-),男,博士,副教授,CCF专业会员,主要研究领域为计算机图形图像处理,多媒体数据分析,多媒体数据库,多媒体数据压缩;李华(1956-),男,博士,教授,博士生导师,CCF杰出会员,主要研究领域为计算机图形图像处理.邢敏敏(1992-),女,硕士,主要研究领域为图像处理,行人检测.

通讯作者:

刘玉杰,E-mail:liuyujie@upc.edu.cn

中图分类号:

TP391

基金项目:

国家自然科学基金(61379106,61379082,61227802);山东省自然科学基金(ZR2013FM036,ZR2015FM011)


Sketch-based Image Retrieval Using Cross-domain Modeling and Deep Fusion Network
Author:
Affiliation:

Fund Project:

National Natural Science Foundation of China (61379106, 61379082, 61227802); Natural Science Foundation of Shandong Province (ZR2013FM036, ZR2015FM011)

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    在手绘草图检索(sketch-based image retrieval,简称SBIR)领域,引入一种手绘草图的新型检索模型.手绘草图与自然图片之间存在巨大的差异性,这是因为,与自然图片相比,手绘草图展现出高度抽象的视觉表达,用现有的方法对手绘草图进行特征提取,其产生的特征描述子对于手绘草图的内容无法进行有效地拟合;对于相同的物体,不同的人群用手绘草图描述方式和表达也存在巨大的差距,这就使得手绘草图-自然图片的匹配更加困难;同时,将手绘草图与自然图片映射到相同视觉域的工作,也是一项具有困难的任务.所以,手绘草图检索技术是公认的比较有挑战性的任务.提出一种将手绘草图与自然图片在多个层次上映射到同一视觉域的策略来解决跨域的问题.同时,引入多层深度融合卷积神经网络(multi-layer deep fusion convolutional neural network)的框架来训练并获得手绘草图和自然彩色图片的多层特征表达.在Flickr15k图像数据库进行检索实验,实验结果显示,多层深度融合卷积网络学习到的特征的检索精度超过了现有的手工特征以及由自然图片或者手绘草图训练出来的卷积神经网络(convolutional neural network,简称CNN)的特征.

    Abstract:

    The purpose of this paper is to introduce a new approach for the free-hand sketch representation in the sketch-based image retrieval (SBIR), where the sketches are treated as the queries to search for the natural photos in the natural image dataset. This task is known as an extremely challenging work for 3 main reasons:(1) Sketches show a highly abstract visual appearance versus natural photos, fewer context can be extracted as descriptors using the existing methods. (2) For the same object, different people provide widely different sketches, making sketch-photo matching harder. (3) Mapping the sketches and photos into a common domain is also a challenging task. In this study, the cross-domain question is addressed using a strategy of mapping sketches and natural photos in multiple layers. For the first time, a multi-layer deep CNN framework is introduced to train the multi-layer representation of free hand sketches and natural photos. Flickr15k dataset is used as the benchmark for the retrieval and it is shown that the learned representation significantly outperforms both hand-crafted features as well as deep features trained by sketches or photos.

    参考文献
    相似文献
    引证文献
引用本文

于邓,刘玉杰,邢敏敏,李宗民,李华.包含跨域建模和深度融合网络的手绘草图检索.软件学报,2019,30(11):3567-3577

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2017-06-01
  • 最后修改日期:2017-09-18
  • 录用日期:
  • 在线发布日期: 2019-11-06
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号