融合媒体环境下的媒体内容分析与信息服务技术专题前言

汪萌¹，张勇东²，俞俊³，张伟⁴

1(合肥工业大学 计算机与信息学院, 安徽 合肥 230009)

2(中国科学技术大学 信息科学技术学院, 安徽 合肥 230026)

3(杭州电子科技大学 计算机学院, 浙江 杭州 310018)

4(广播电视科学研究院, 北京 100866)

通讯作者：汪萌，E-mail：wangmeng@hfut.edu.cn

中文引用格式：汪萌, 张勇东, 俞俊, 张伟. 融合媒体环境下的媒体内容分析与信息服务技术专题前言. 软件学报,2022,33(9). http://www.jos.org.cn/1000-9825/6625.htm

发展融合媒体是国家战略, 它不仅是全媒体功能、传播手段乃至组织结构等核心要素的结合、汇聚和融合, 也是信息传输渠道多元化下的新型运作模式. 融合媒体的一大特点是网络化内容汇聚、共平台内容产生、多渠道内容分发、多终端用户互动, 视听媒体制作播放开始大量采用云平台技术, 形成了”云+网”的网络化协同制作模式和”云+移动端”的新媒体传播模式. 在这一背景下, 融合媒体业务中的媒体数据来源和内容将更为复杂, 被服务群体需求更为多样化. 如何在融合媒体环境下构建高质量的媒体内容分析模型, 成为一个具有挑战性的问题. 本专刊重点围绕和关注视觉媒体的处理与分析，探讨融媒体环境下数据高效精准管理、查询和分析等先进技术的发展和提升.

本专刊公开征文,共收到投稿26篇.论文均通过了形式审查,内容涉及融媒体环境下的媒体内容的处理、检索、检测和语义描述等方向.特约编辑对每篇投稿邀请2-4位专家进行评审.稿件经初审、复审和终审3个阶段, 历时8个月, 最终有6篇论文入选本专刊.根据主题, 这些论文可以分为两组.

(1) 融媒体环境下的媒体内容处理与检索技术

《基于自编码器生成对抗网络的可配置文本图像编辑》提出一种基于自动编码器的文本图像编辑模型, 可以有效地基于语言描述自动编辑图像，同时可以便捷友好地修正编辑效果, 解决了给定文本编辑图像时模态差异度较大的问题.

《基于跨模态自蒸馏的零样本草图检索》提出了跨模态自蒸馏方法, 从知识蒸馏的角度研究可泛化的特征, 无需语义嵌入参与训练, 可解决草图和图像之间的模态差异问题、以及可见类和未见类的不一致性问题.

《显著性引导及不确定性监督的深度编解码网络》开展图像精准语义分割研究, 提出一种显著性引导及不确定性监督的深度卷积编解码网络, 将初始生成的显著图和不确定概率图作为监督信息来优化语义分割网络的参数, 解决了语义提取过程中空间信息丢失和模型鲁棒性不强的问题.

(2) 面向融媒体环境的媒体内容检测与描述技术

《基于数据合成和度量学习的台标检测与识别》开展视频中台标这一重要目标的精准检测研究, 提出两阶段可伸缩的台标检测与识别方法,采用batch-hard度量学习方法快速训练匹配模型, 进而确定台标类别, 解决了类别多、结构复杂、区域小、信息量低、背景干扰大等难题.

《基于空时变换网络的视频摘要生成》提出一种空时变换网络并应用于视频摘要生成, 该模型包括嵌入层、特征变换与融合层、输出层三大模块, 通过空间特征和时序特征的分别嵌入, 以弥补现有模型对时序信息表示的不足; 通过多模态特征的变换和融合, 以解决特征表示不完备的问题.

《基于视觉关联与上下文双注意力的图像描述生成方法》提出在传统视觉注意力中增加前一时刻注意力向量以保证视觉连贯性, 获取更完整的语义信息, 从而指导生成最终的图像描述文本, 以解决因忽略视觉连贯性和上下文信息而导致生成描述与参考描述存在差异的问题.

本专刊主要面向多媒体信息处理、计算机视觉、信息检索、机器学习及应用等多个领域的研究人员和工程人员, 反映了我国学者在融媒体环境下内容分析等研究方向的最新研究进展. 感谢《软件学报》编委会对专刊工作的指导和帮助, 感谢专刊全体评审专家及时、耐心、细致的评审工作, 感谢踊跃投稿的所有作者.希望本专刊能够对融合媒体环境下内容分析技术和信息服务技术研究有所促进.

汪萌(1984-), 男, 博士, 合肥工业大学计算机与信息学院教授, 博士生导师. IEEE会士, IAPR会士. 获国家自然科学二等奖一项，省部级一等奖、二等奖四项. 主要研究方向为多媒体信息处理, 模式识别.

张勇东(1973-), 男, 博士, 中国科学技术大学信息科学技术学院教授, 博士生导师. 获国家自然科学二等奖一项, 国家科技进步二等奖一项. 主要研究方向为多媒体内容分析, 网络空间安全.

俞俊(1980-), 男, 博士, 杭州电子科技大学计算机学院教授, 博士生导师. 获省部级一等奖、二等奖各一项. 主要研究方向为多媒体分析, 机器学习, 图像处理.

张伟(1979-), 男, 博士, 广播电视科学研究院教授级高级工程师, 有线电视技术研究所所长. 中国科协工程技术系列高级专业评审委员会委员, 广播电视网络安全领导小组专家委员, 主要研究方向为网络视听媒体技术及安全.