宋雪萌(1990-), 女, 博士, 山东大学副教授, 博士生导师, 在中国计算机学会推荐的国内外著名学术期刊与会议上发表论文50余篇, 出版学术专著3部. 入选“人工智能相关领域全球女性学者”名单和全球华人AI青年学者榜单. 获山东省科学技术进步奖一等奖. 主要研究领域为信息检索和多媒体计算
聂礼强(1985-), 男, 博士, 哈尔滨工业大学(深圳)教授, 院长, 博士生导师, IAPR Fellow, AAIA Fellow, 发表CCF A类论文百余篇, 出版中英文专著5部, 谷歌引用1.6万余次. 获SIGIR/SIGMM最佳论文提名奖、SIGMM Rising Star、达摩院青橙奖、SIGIR最佳学生论文奖、省科技进步一等(排1)奖. 主要研究领域为多媒体内容分析与搜索
申恒涛(1977-), 男, 博士, 电子科技大学计算机科学与工程学院院长, 欧洲科学院外籍院士, ACM Fellow, IEEE Fellow, OSA Fellow, 发表了360余篇高水平同行评审论文, 包括150多篇IEEE/ACM Transactions和250多篇CCF A类论文, 获得了8个国际会议和期刊的最佳论文奖. 主要研究领域为多媒体搜索, 计算机视觉, 人工智能
田奇(1970-), 男, 博士, 华为云人工智能领域首席科学家, 博士生导师, 国际欧亚科学院院士, IEEE Fellow, 海外杰青, 中国科学院海外评审专家. 发表文章650余篇, 谷歌引用4.2万余次. 曾获Google Faculty Research Award、UTSA校长杰出研究奖、中国人工智能学会吴文俊人工智能杰出贡献奖以及多媒体领域10大最具影响力的学者, 担任国家自然科学基金会评专家. 主要研究领域为计算机视觉
黄华(1975-), 男, 博士, 北京师范大学教授, 博士生导师, 国家杰出青年基金获得者, 入选国家高层次人才特殊支持计划(万人计划)领军人才, 曾获中国青年科技奖、ICML Outstanding Paper Awards和EURASIP Best Paper Award. 主要研究领域为图像/视频处理
在当今信息爆炸的时代, 海量多媒体数据涌现在互联网上. 为更好地理解和分析多媒体数据, 多模态学习逐渐成为研究热点. 深度学习凭借其优秀的数据表征能力, 成为多模态学习的主要技术之一. 然而, 现有的有标注数据集规模有限, 往往难以保证复杂深度学习模型的泛化能力, 这给传统的多模态学习研究带来了巨大挑战. 为此, 预训练技术逐渐引发国内外诸多学者的关注, 为多模态学习研究领域提供了新的发展机遇. 专题强调多模态学习与预训练技术的深度融合, 研究融合预训练技术的多模态学习, 包括两方面: (1)利用预训练模型强大的通用表征能力, 解决多模态学习领域研究相关的痛点、难点问题; (2)利用多模态学习领域丰富的理论积淀, 促进预训练相关技术的发展. 专题围绕多模态数据分析技术, 通过探讨多模态学习与预训练技术的深度融合, 重点关注面向多模态学习的预训练技术、融入预训练技术的多模态内容理解以及融入预训练技术的多模态生成, 旨在有效结合多模态学习技术与预训练技术, 实现多模态学习技术和预训练技术的相辅相成, 促进多模态学习领域的研究发展.
本专题公开征文, 共收到投稿41篇. 论文均通过了形式审查, 内容涉及融合预训练技术的多模态学习研究. 特约编辑先后邀请了40多位专家参与审稿工作, 每篇投稿至少邀请2位专家进行评审. 稿件经初审、复审、ChinaMM2022会议宣读和终审4个阶段, 历时5个月, 最终有10篇论文入选本专题. 根据主题, 这些论文可以分为3组.
(1) 面向多模态学习的预训练技术
《
《
(2) 融入预训练技术的多模态内容理解
《
《
《
《
(3) 融入预训练技术的多模态生成
《
《
《
《
本专题主要面向多媒体、计算机视觉、自然语言处理等领域的研究人员和工程人员, 反映了我国学者在融合预训练技术的多模态学习领域最新的研究. 感谢《软件学报》编委会对专题工作的指导和帮助, 感谢专题全体评审专家及时、耐心、细致的评审工作, 感谢踊跃投稿的所有作者. 希望本专题能够对融合预训练技术的多模态学习相关领域的研究工作有所促进.