摘要:

摘要:基于文本的图像编辑是多媒体领域的一个研究热点并具有重要的应用价值. 由于它是根据给定的文本编辑源图像, 而文本和图像的跨模态差异很大, 因此它是一项很具有挑战的任务. 在对编辑过程的直接控制和修正上, 目前方法难以有效地实现, 但图像编辑是用户喜好导向的, 提高可控性可以绕过或强化某些编辑模块以获得用户偏爱的结果. 针对该问题, 提出一种基于自动编码器的文本图像编辑模型. 为了提供便捷且直接的交互配置和编辑接口, 该模型在多层级生成对抗网络中引入自动编码器, 该自动编码器统一多层级间高维特征空间为颜色空间, 从而可以对该颜色空间下的中间编辑结果进行直接修正. 其次, 为了增强编辑图像细节及提高可控性, 构造了对称细节修正模块, 它以源图像和编辑图像为对称可交换输入, 融合文本特征以对前面输入编辑图像进行修正. 在MS-COCO和CUB200数据集上的实验表明, 该模型可以有效地基于语言描述自动编辑图像, 同时可以便捷且友好地修正编辑效果.

摘要:零样本草图检索将未见类的草图作为查询样本, 用于检索未见类的图像. 因此, 这个任务同时面临两个挑战: 草图和图像之间的模态差异以及可见类和未见类的不一致性. 过去的方法通过将草图和图像投射到一个公共空间来消除模态差异, 还通过利用语义嵌入(如词向量和词相似度)来弥合可见类和未见类的语义不一致. 提出了跨模态自蒸馏方法, 从知识蒸馏的角度研究可泛化的特征, 无需语义嵌入参与训练. 具体而言, 首先通过传统的知识蒸馏将预训练的图像识别网络的知识迁移到学生网络. 然后, 通过草图和图像的跨模态相关性, 跨模态自蒸馏将上述知识间接地迁移到草图模态的识别上, 提升草图特征的判别性和泛化性. 为了进一步提升知识在草图模态内的集成和传播, 进一步地提出草图自蒸馏. 通过为数据学习辨别性的且泛化的特征, 学生网络消除了模态差异和语义不一致性. 在3个基准数据集, 即Sketchy、TU-Berlin和QuickDraw, 进行了广泛的实验, 证明了所提跨模态自蒸馏方法与当前方法相比较的优越性.

摘要:基于U-Net的编码-解码网络及其变体网络在医学图像语义分割任务中取得了卓越的分割性能. 然而, 网络在特征提取过程中丢失了部分空间细节信息, 影响了分割精度. 另一方面, 在多模态的医学图像语义分割任务中, 这些模型的泛化能力和鲁棒性不理想. 针对以上问题, 提出一种显著性引导及不确定性监督的深度卷积编解码网络, 以解决多模态医学图像语义分割问题. 该算法将初始生成的显著图和不确定概率图作为监督信息来优化语义分割网络的参数. 首先, 通过显著性检测网络生成显著图, 初步定位图像中的目标区域; 然后, 根据显著图计算不确定分类的像素点集合, 生成不确定概率图; 最后, 将显著图和不确定概率图与原图像一同送入多尺度特征融合网络, 引导网络关注目标区域特征的学习, 同时增强网络对不确定分类区域和复杂边界的表征能力, 以提升网络的分割性能. 实验结果表明, 所提算法能够捕获更多的语义信息, 在多模态医学图像语义分割任务中优于其他的语义分割算法, 并具有较好的泛化能力和鲁棒性.

摘要:台标是视频的重要语义信息, 其检测与识别面临类别多、结构复杂、区域小、信息量低、背景干扰大等难题. 为提高模型的泛化能力, 提出将台标图像叠加到背景图像中合成台标数据, 来构建训练数据集. 进一步, 提出两阶段可伸缩台标检测与识别(scalable logo detection and recognition, SLDR)方法, 其采用batch-hard度量学习方法快速训练匹配模型, 确定台标类别. SLDR的检测与识别分离机制使得其可将检测目标扩展到未知类别. 实验结果表明, 合成数据可以有效提升模型的泛化能力和检测精度. 实验亦显示SLDR方法在不更新检测模型的情况下, 即可获得与端到端模型相当的精度.

摘要:视频摘要生成是计算机视觉领域必不可少的关键任务, 这一任务的目标是通过选择视频内容中信息最丰富的部分来生成一段简洁又完整的视频摘要, 从而对视频内容进行总结. 所生成的视频摘要通常为一组有代表性的视频帧(如视频关键帧)或按时间顺序将关键视频片段缝合所形成的一个较短的视频. 虽然视频摘要生成方法的研究已经取得了相当大的进展, 但现有的方法存在缺乏时序信息和特征表示不完备的问题, 很容易影响视频摘要的正确性和完整性. 为了解决视频摘要生成问题, 提出一种空时变换网络模型, 该模型包括3大模块, 分别为: 嵌入层、特征变换与融合层、输出层. 其中, 嵌入层可同时嵌入空间特征和时序特征, 特征变换与融合层可实现多模态特征的变换和融合, 最后输出层通过分段预测和关键镜头选择完成视频摘要的生成. 通过空间特征和时序特征的分别嵌入, 以弥补现有模型对时序信息表示的不足; 通过多模态特征的变换和融合, 以解决特征表示不完备的问题. 在两个基准数据集上做了充分的实验和分析, 验证了所提模型的有效性.

摘要:图像描述生成有着重要的理论意义与应用价值, 在计算机视觉与自然语言处理领域皆受到广泛关注. 基于注意力机制的图像描述生成方法, 在同一时刻融合当前词和视觉信息以生成目标词, 忽略了视觉连贯性及上下文信息, 导致生成描述与参考描述存在差异. 针对这一问题, 提出一种基于视觉关联与上下文双注意力机制的图像描述生成方法(visual relevance and context dual attention, VRCDA). 视觉关联注意力在传统视觉注意力中增加前一时刻注意力向量以保证视觉连贯性, 上下文注意力从全局上下文中获取更完整的语义信息, 以充分利用上下文信息, 进而指导生成最终的图像描述文本. 在MSCOCO和Flickr30k两个标准数据集上进行了实验验证, 结果表明所提出的VRCDA方法能够有效地生成图像语义描述, 相比于主流的图像描述生成方法, 在各项评价指标上均取得了较高的提升.

摘要:图赌博机是一种重要的不确定性环境下的序列决策模型, 在社交网络、电子商务和推荐系统等领域都得到了广泛的应用. 目前, 针对图赌博机的工作都只关注如何快速识别最优摇臂从而最小化累积遗憾, 而忽略了在很多应用场景中存在的隐私保护问题. 为了克服现有图赌博机算法的缺陷, 提出了一种满足差分隐私的图赌博机算法GAP (图反馈下的差分隐私摇臂消除策略). 一方面, GAP算法阶段性地根据摇臂的经验平均奖赏更新摇臂选取策略, 并在计算摇臂的经验平均奖赏时引入拉普拉斯噪声, 从而确保恶意攻击者难以根据算法输出推算摇臂奖赏数据, 保护了隐私. 另一方面, GAP算法在每个阶段根据精心构造的反馈图的独立集探索摇臂集合, 有效地利用了图形式的反馈信息. 证明了GAP算法满足差分隐私性质, 具有与理论下界相匹配的遗憾界. 在仿真数据集上的实验结果表明: GAP算法在有效保护隐私的同时取得了与现有无隐私保护的图赌博机算法相当的累积遗憾.

摘要:功能验证是超大规模集成电路(very large scale integration, VLSI)设计的一个基本环节. 随着超大规模电路的普及与发展, 在单处理器上对整个电路进行功能验证在可行性和效率上都存在较大的缺陷. 基于硬件加速器的功能验证是将整个电路划分成若干个规模更小的子电路; 然后在多个硬件处理器上并行的执行功能验证. 当电路划分结果的并行性较优时可提高功能验证的效率, 缩短时间周期. 类似电路设计中的其他划分问题, 用于硬件加速功能验证的电路划分问题可以被抽象成图划分问题. 相较于传统图划分问题, 硬件加速功能验证的划分问题还需要保证较小的模拟深度和较高的调度并行性. 为了满足硬件加速功能验证的划分需求, 提出了一种基于传统多级图划分策略的有效算法. 该算法结合调度思想, 利用电路的关键路径信息和时序信息, 将硬件加速功能验证问题转化为有向无环图的多级划分问题. 随机电路网表数据的实验结果表明, 所构造的算法可以有效的减少关键路径长度并且不会引起切边数的增长恶化.

摘要:二进制程序分析技术广泛应用于软件的安全性评估, 恶意代码分析等领域. 动态分析技术能够准确体现程序真实的运行状态, 但面临目标程序运行负载过高、难以深入了解内部结构信息等挑战. 提出一种基于渐进扩展的二进制程序数据流分析方法. 方法旨在充分利用在线数据流分析的能力, 在局部细粒度分析的基础上逐渐扩展分析范围, 从而使分析能够覆盖整个目标程序. 通过设计的分治策略, 可降低对目标程序运行时的性能影响, 从而可使对延迟敏感的目标代码段能成功地执行. 并在此基础上, 进一步提出基于内存引用关系的函数参数相关性分析方法, 从函数调用层面获取数据流传递信息, 可辅助恢复参数的内部结构信息. 通过对大量真实案例进行研究和实验, 验证了所提出方法的可行性与有效性, 在降低对目标程序影响的同时未引入显著的额外分析开销, 能够用于实际环境下二进制程序的分析.

摘要:REST API已成为访问和使用Web服务的重要途径, 为开发基于服务架构的应用系统提供了可复用接口. 但是, REST API的设计质量参差不齐, 因此有效、合理的设计指导规范对于规范和提高REST API设计质量具有现实意义和应用价值. 首先, 基于REST API的本质内涵, 建立了一个多维度、两层次的REST API设计指导规范分类体系RADRC (REST API design rule catalog), 并对当前主流的25条设计指导规范进行分类. 其次, 针对已有规范提出相应的检测方法, 并实现了REST API设计指导规范遵循情况的分析与检测工具RESTer. 最后, 使用RESTer开展REST API设计实证研究, 分析了APIs.guru收录的近2000个真实REST API的文档, 从中分析提取相应的REST API信息, 进一步检测并统计当前REST API的设计特征和设计指导规范遵循情况. 研究发现不同应用类别的REST API在资源和操作模式上存在差异, 使得不同类别REST API在设计规则和总体架构方面各有特点. 实证研究结果有助于深入了解当前REST API及其设计规则的特征、现状和不足, 对于提高REST API设计质量和改进设计指导规范具有实际意义.

摘要:路径测试是一种非常重要且应用广泛的结构测试方法, 已有路径生成方法的测试效率不高、测试开销较大, 且易生成冗余测试路径. 针对以上问题, 主要研究路径选择问题的优化模型及其进化求解方法, 目的在于: 在不降低测试覆盖率的前提下, 减少冗余路径的数量, 降低测试消耗. 首先, 以多条路径作为决策变量, 基于该决策变量包含的边数和路径数, 建立多目标优化模型; 然后, 采用多目标进化算法求解该模型, 得到目标路径集. 将所提方法应用于7个基准测试程序, 并与其他算法比较. 实验结果表明, 相比其他算法, 所提方法能够在保证测试充分性的条件下, 降低测试消耗, 从而提高测试效率.

摘要:隐私保护问题在当今机器学习领域日益受到关注, 构建具备数据安全保障的机器学习服务系统变得越来越重要. 与此同时, 以英特尔SGX为代表的可信执行环境技术得到了日益广泛的使用来开发可信应用和系统. SGX为开发者提供了基于硬件的名为飞地的安全容器来保障应用程序的机密性和完整性. 本文基于SGX提出了一种面向机器学习推理的安全服务系统S3ML. S3ML将机器学习模型运行在SGX飞地中以保护用户隐私. 为了构建一个实用的基于SGX的安全服务系统, S3ML解决了来自两方面的挑战. 首先, 机器学习推理服务为了保证高可用性和可扩展性, 通常包含多个后端模型服务器实例. 当这些实例在SGX飞地内运行时, 需要新的系统架构和协议来同步证书及密钥, 以构建安全的分布式飞地集群. S3ML设计了基于SGX认证机制的飞地配置服务, 来专门负责在客户端和模型服务器实例之间生成、持久化和分发证书及密钥. 这样S3ML可以复用现有的基础设施来对服务进行透明的负载均衡和故障转移, 以确保服务的高可用性和可扩展性. 其次, SGX飞地运行在一个名为飞地页面缓存(EPC)的特殊内存区域, 该区域的大小有限, 由主机上的所有SGX飞地竞争, 运行在飞地中应用的性能因此易受到干扰. 为了满足机器学习推理服务的服务级别目标, 一方面S3ML使用轻量级的机器学习框架和模型来构建模型服务器以减少EPC消耗. 另一方面, 通过实验发现了使用EPC页交换吞吐量作为保障服务级别目标的间接监控指标是可行的. 基于该发现, S3ML提出基于EPC页交换强度来控制服务的负载均衡和水平扩展活动. 基于Kubernetes、TensorFlow Lite和Occlum实现了S3ML, 并在一系列模型上进行实验, 对S3ML的系统开销、可行性和有效性进行了评估.

摘要:知识图谱表示学习方法旨在将知识图谱中的实体和关系嵌入到低维连续的向量空间. 由于知识图谱本身具有数据稀疏性的问题导致学习出的向量表示性能欠缺. 实体的类别信息包含了丰富的语义, 引入它能够更好地指导向量表示的学习. 已有结合类别信息的表示学习方法要么不支持类别信息的层次化结构或者关系的类别约束, 要么对层次化结构的建模过于复杂. 提出一种结合层次化类别信息的表示学习方法. 我们将类别嵌入到不同的向量空间, 使用偏序关系建模类别的层次化结构. 同时, 将实体向量表示映射到类别向量空间中, 要求实体与其所属类别满足偏序关系, 且三元组的实体与其关系的类别约束也满足偏序关系. 最后, 在多个数据集上执行链接预测、三元组分类和实体分类任务的实验结果表明我们的方法相比其他基线方法学习出的向量表示性能更好.

摘要:当前混合现实(MR)技术在数字医疗领域正日益受到广泛关注. 以脑胶质瘤医学影像分析混合现实技术为对象, 提出基于深度学习模型3D UNet的MR脑胶质瘤定位与区域分割算法, 采用基于面绘制方法对脑胶质瘤影像进行多结构组织的三维绘制与优化, 提出了基于交互式无标识和基于标识图的移动混合现实三维注册跟踪与视觉空间共享算法, 实现MR多设备的第三视角空间实时共享, 设计并实现了面向脑胶质瘤医学影像分析的混合现实原型系统. 实验结果表明所提方法能有效实现MR脑胶质瘤检测、分割与三维重建, 通过MR移动设备的实时共享, 实现脑胶质瘤医学影像混合现实分析, 有效支撑脑胶质瘤辅助诊断与治疗, 也为手术术前规划、医学教育培训等提供了新的方法.

摘要:知识图谱是一种用网络结构存储知识的知识库, 在知识图谱中, 单条知识被表示成三元组的形式, 即(头实体, 关系, 尾实体). 得力于知识图谱在各个领域的广泛应用, 面向知识图谱的图嵌入学习也得到越来越多研究人员的关注. 面向知识图谱的图嵌入学习任务旨在为图谱中的实体与关系学习低维且稠密的向量, 通过图嵌入向量表达实体与关系的语义信息以及度量实体之间、关系之间、实体与关系之间的语义联系, 已有许多研究证明图嵌入模型在下游任务中的有效性. 近年来, 越来越多研究人员开始关注知识图谱的图嵌入学习, 并取得大量的研究成果, 尝试将图嵌入算法分成了基于转移思想、基于张量分解、基于传统深度学习模型、基于图神经网络以及融入额外信息的图嵌入学习共5大类, 梳理、介绍各类图嵌入算法的设计思路、算法特征以及优缺点, 以帮助指导初步接触该领域的研究人员快速学习了解该研究领域的相关模型和算法.

摘要:目标检测模型已经在很多领域得到广泛应用, 但是, 作为一种机器学习模型, 对人类来说仍然是一个黑盒. 对模型进行解释有助于我们更好地理解模型, 并判断其可信度. 针对目标检测模型的可解释性问题, 提出将其输出改造为关注每一类物体存在性概率的具体回归问题, 进而提出分析目标检测模型决策依据与可信度的方法. 由于原有图像分割方法的泛用性较差, 解释目标检测模型时, LIME所生成解释的忠诚度较低、有效特征数量较少. 提出使用DeepLab代替LIME的图像分割方法, 以对其进行改进. 改进后的方法可以适用于解释目标检测模型. 实验的对比结果证明了所提出改进方法在解释目标检测模型时的优越性.

摘要:软件测试是一种广泛使用的软件质量保证手段. 变异测试是一种基于故障的软件测试方法, 广泛用于评估测试用例集的充分性与软件测试技术的有效性. 数量庞大的变异体导致变异测试的成本非常高. 提出一种数据流分析指导的变异体精简方法(DFSampling), 设计了启发式规则, 基于这些规则对随机选择技术与基于路径感知的变异体精简技术(PAMR)进行了改进. 采用经验研究的方式评估了DFSampling的有效性, 比较了DFSampling与随机选择技术、PAMR技术的有效性, 实验结果表明DFSampling是一种有效的变异体精简策略, 提高了变异测试的效率.

摘要:在数据库中嵌入数字水印作为指纹是一种重要的数据库版权保护与身份溯源技术, 它对推动数据的共享融合起到了重要的保障作用. 针对现有数据库指纹方法在数据普适性上的不足开展研究, 提出了一种基于统计量特征的数据库指纹方法. 首先, 采用了迭代哈希的数据划分方法将数据划分为多个子集; 然后, 通过最优化算法将过滤极值后的数据子集特征最大/最小化, 根据基于最小错误率的贝叶斯决策计算得到最优阈值作为指纹信息. 通过理论分析验证了该方法的可行性与有效性, 同时也通过真实数据集上的实验结果证明了所提算法在抗攻击能力和普适性上的优势.

摘要:随着物联网技术的发展, 目前的物联网系统产生的数据量越来越多, 这些数据持续不断的传输到数据中心, 传统的物联网数据处理分析系统效率低下且无法处理数量如此庞大的数据流. 另外, 物联网智能设备存在资源受限的特性, 在分析数据时这一特性是不可忽略的. 提出一种适用于物联网实时数据流处理的新架构ApproxECIoT (approximate edge computing Internet of Things), 实现了一种自调整分层采样算法, 用于处理物联网系统中产生的实时数据流. 该算法在维持已给出的资源预算不变的情况下, 根据每层方差的大小进行样本层内大小的调整, 这对于资源有限的情况下提高计算结果准确度是非常有益的. 最后使用模拟数据流和真实数据流进行实验分析, 结果表明ApproxECIoT在边缘节点资源有限的情况下, 仍能获得具有较高准确度的计算结果.

摘要:隐私协商可以协助社交网络用户在信息分享前建立隐私保护共识, 具有一定的隐私泄露的预先防护作用. 可追责是行为或后果的责任主体可以被追究的属性, 是透明、可解释人工智能应用的一个重要方面. 社交网络中隐私协商过程的可追责, 对于提升应用平台或系统的透明、可解释性具有重要的意义. Kekulluoglu等人提出了基于智能体的互惠隐私协商体系, 但尚缺乏针对智能体行为的追责研究. 以此为基础设计实现了用于社交网络隐私协商、具有定性追责和定量追责的智能体行为追责系统, 并提出了追责要求及实现追责的行为指标, 其中, 定性追责方法可以准确判断隐私协商智能体是否存在不当行为并能够精准锁定不当行为具体发生位置; 定量追责包含简单量化、加权马氏距离和改进Minhash这3种方法, 能够量化智能体不当行为的严重程度. 实验数据表明了所提出系统及方法的有效性和合理性.

摘要:自适应隐写是图像隐写方向的研究热点, 它通过有效地设计隐写失真函数, 自适应地将秘密信息隐藏在图像复杂的纹理区域, 具有很强的隐蔽性. 近年来, 基于生成对抗网络的隐写失真函数设计研究在空域灰度图像上已经取得了突破性的进展, 但是目前还没有针对空域彩色图像的研究. 与灰度图像相比, 彩色图像隐写需要考虑保护RGB通道间相关性, 同时合理地分配RGB这3个通道的嵌密容量. 设计了一个基于生成对抗网络设计空域彩色图像隐写失真函数的框架CIS-GAN (color image steganography based on generative adversarial network), 生成器网络采用两个U-Net子网络结构, 第1个U-Net子网络生成修改概率矩阵, 第2个U-Net子网络进行正负向修改概率调节, 有效地降低对彩色图像通道相关性的破坏. 针对彩色图像载体, 修改灰度图像隐写分析器作为网络的对抗部分. 在生成器损失函数中对彩色图像3个通道总的隐写容量进行控制, 生成器能够自动学习分配3个通道嵌密容量. 实验结果表明, 与现有彩色图像隐写失真函数设计方法相比, 提出的网络结构能够更好地抵抗彩色图像隐写分析器的检测.

摘要:点在球面多边形内的判定计算, 在全球数据处理中有大量的需求. 为此, 提出一种基于六边形的自适应层次网格, 克服了已有六边形层次网格难以自适应划分组织的不足, 并应用于点在球面多边形内的判定. 首先, 基于正二十面体对球面进行均匀划分, 形成初始网格. 然后, 根据球面多边形的边与六边形网格的相交情况, 对六边形网格单元进行自适应的细分处理, 形成层次化的网格, 使得各个没有细分的单元不包含或仅包含少量的多边形的边, 并预计算这样单元本身或其中心点位于多边形内/外的属性. 在此, 记录相邻层次的六边形网格之间关联的点边面的拓扑结构, 由此可快速地从初始网格检索到没有细分的网格单元. 对于一个测试点, 检索到其所在的没有细分的六边形单元, 再依据该单元关于多边形的局部情况即可判定该测试点是否位于多边形内. 实验表明, 所提方法较以往方法具有更稳定而高效的判定性能.

摘要:近几年, 基于卷积神经网络(convolutional neural network, CNN)的单幅图像动态场景盲去模糊(single image dynamic scene blind deblurring, SIDSBD)方法已经取得了巨大的进步. 其成功主要是源于多尺度模型或者多块模型、编解码器架构的设计和残差块结构的设计3个方面. 基于此, 提出了一种新的多尺度卷积神经网络(multi-scale convolutional neural network, MSCNN)来进一步开发多尺度模型、编解码器架构和残差块结构的优势, 以实现更高质量的动态场景盲去模糊. 首先, 受到空间金字塔池化(spatial pyramid pooling, SPP)和多块模型的启发, 提出了一种分等级的多块通道注意力机制(hierarchical multi-patch channel attention, HMPCA). 提出的HMPCA通过利用特征图的全局特征统计量和局部特征统计量来自适应地对特征图进行逐通道的权重赋值. 因为利用了局部信息, 因此HMPCA可以被认为是增加了通道方向的感受野, 也正因如此, 提出的HMPCA能够进一步增强网络的表达能力. 其次, 不同于现有的多尺度模型, 发展出了一种新的多尺度模型, 该模型中的每个尺度是由多个编码器和多个解码器构成的. 因为HMPCA, 使得同一尺度内的编码器和解码器并不完全相同, 因此提出的多尺度模型可以被看作是增加了编解码器的深度, 因此能够提升每一个尺度的去模糊性能, 最终实现更高质量的动态场景盲去模糊. 大量的实验结果表明: 提出的方法较近几年的一些成功的SIDSBD方法相比, 能够复原出更高质量的去模糊图像, 在客观的评价指标和主观的视觉效果上均有显著的改进.

摘要:针对航天器等安全关键系统中实时任务调度和可调度性分析的实际问题, 提出基于任务周期虚拟缩减的可调度性判定方法, 构建SHT (strong-hard task)任务模型对强硬实时任务进行精确描述, 并根据任务时间特性分配优先级. 虚拟化所有强实时任务为一个硬实时任务, 对此硬实时任务周期虚拟缩减并计算出其最差虚拟执行时间, 然后按RMS可调度性判定公式判定. 给出了判定方法的严格证明, 可对包含n个SHT任务的任务集进行快速可调度性判定, 此算法时间复杂度仅为O(n²). 在我国空间站计算机进行了对比验证, 实验表明判定效率优于现有可调度性判定方法, 平均运行时间开销降低了41.8%, 可调度率提高了5.7%.