多媒体内容的多维度相似性计算与搜索专刊前言

蒋树强1,  刘青山2,  孙立峰3,  李  波4
1(中国科学院计算技术研究所 智能信息处理重点实验室,北京  100190)
2(江苏省大数据分析技术重点实验室(南京信息工程大学 自动化学院),江苏 南京 210044)
3(清华大学 计算机科学与技术系,北京  100084)
4(北京航空航天大学 计算机学院,北京  100191)
通讯作者: 蒋树强, E-mail: sqjiang@ict.ac.cn

中文引用格式: 蒋树强,刘青山,孙立峰,李波. 多媒体内容的多维度相似性计算与搜索专刊前言.软件学报,2020,31(7). http:// www.jos.org.cn/1000-9825/5936.htm

图像、视音频等多媒体数据包含的信息量非常丰富.近年来,随着研究的不断深入,根据不同应用需求,多媒体搜索可以从不同维度展开,包括从底层特征到高层语义的表示维度、从实例到类别的物体维度、从单个概念到多个概念直至语言的描述维度、从全局内容到局部区域的尺度维度等,并且这些维度之间也相互关联与交叉.多维度的多媒体相似性计算与搜索研究可以深入挖掘多媒体内容的相似性,建立更加全面的多媒体内容搜索方案.

本专刊公开征文,共收到投稿13篇,都通过了形式审查,内容涉及目标重识别、图像检索、语义哈希计算、基于注意的多媒体相似性计算等多个方面. 特约编辑先后邀请了20多位专家参与审稿工作,每篇投稿至少邀请3位专家进行评审.稿件经初审、复审、ChinaMM2019论文交流终审4个阶段,历时6个月,最终有4篇论文入选本专刊.

《面向基于草图的细粒度图像检索的对抗训练三元组网络》提出了一种基于对抗训练三元组网络的细粒度草图检索方法,通过引入生成对抗训练,实现手绘草图与图像之间在一定程度上的互相转换,支持不同类型图像的相似性计算,取得了更好的检索性能.

《基于多尺度生成对抗网络的遮挡行人重识别方法》构建了一个利用成对遮挡与非遮挡图像的多尺度生成对抗网络的训练方法,可对随机遮挡区域进行去遮挡操作,从而提高模型在测试图像上的泛化性,以支持更准确行人相似性计算,完成行人重识别任务.

《联合姿态先验的人体精确解析双分支网络模型》将人体姿态估计模型预测到的姿态先验作为基干网络的注意力信息,进而形成人体结构先验驱动的多尺度特征表达,以实现人体的精确解析.

《基于全局和局部信息的视频记忆度预测》从全局和局部的不同视角对视频记忆度预测进行探索,提出了全局性的上下文表示模块、空间布局表示模块和局部的物体注意力模块,通过将三种表示模块进行融合实现了性能的提升.

本专刊主要面向多媒体技术、信息检索、图像处理、人工智能等多领域的研究人员和工程技术人员,反映了我国学者在多媒体内容分析与检索领域最新的研究进展.感谢《软件学报》编委会和中国计算机学会多媒体技术专委会对专刊工作的指导和帮助,感谢专刊全体评审专家及时、耐心、细致的评审工作,感谢踊跃投稿的所有作者.希望本专刊能够对多媒体及相关领域的研究工作有所促进.

蒋树强(1977－),男,博士,研究员,博士生导师,中科院智能信息处理重点实验室副主任, 国际期刊《ACM ToMM》和《IEEE Multimedia》编委, CCF多媒体专委会常委,ACM SIGMM中国分会副主席,先后主持承担国家自然基金优青及重点项目、科技创新2030-“新一代人工智能”重大项目等项目20余项, 主要研究领域为图像/视频等多媒体信息的分析、理解与检索技术和多模态智能技术.

刘青山(1975－),男,博士,教授,博士生导师,江苏省大数据分析技术重点实验室主任,国际期刊《Signal Processing》、《Neurocomputing》和国内期刊《自动化学报》编委,CCF多媒体专委会和计算机视觉专委会常委,先后主持国家杰出青年基金项目、国家自然基金重点项目等多项国家级项目,主要研究领域为图像与视频理解,模式识别等.
     
孙立峰(1972－),男,教授,博士生导师,网络多媒体北京市重点实验室主任,CCF多媒体技术专委会秘书长,主要研究方向包括网络多媒体、智能媒体处理、多媒体大数据、视频编码、社交媒体等,在本领域重要刊物和会议上发表论文120余篇,获得4项国际期刊、会议最佳论文奖.

李波(1966－),男, 教授,博士生导师。数字媒体北京市重点实验室主任,中国计算机学会多媒体技术专业委员会主任,作为负责人已完成武器装备型号、863计划、973计划、国家重点研发计划、国家自然科学基金等课题40余项；在本领重要期刊和国际学术会议发表学术论文100余篇.