摘要:近年来, 随着学术界与工业界在机器学习和人工智能领域越来越多的投入和关注, 相关技术获得飞速发展, 机器学习已经被应用到社会生活的方方面面, 并产生巨大社会价值. 　　机器学习模型主要依赖大量高质量数据的封闭训练, 随着机器学习模型付诸于开放场景, 例如, 数据分布的变化、数据特征的变化、数据标记的偏差、任务目标的变化、恶意样本的攻击、设备能力的受限等, 其往往面临模型失效、性能不佳等风险隐患. 基于此, 研究人员亟需探索开放场景下的鲁棒机器学习模型. 具体而言, 包括分布变化的机器学习、弱监督学习、模型复用、表示学习、强化学习、对抗学习、迁移学习以及更多实际领域问题中的应用等. 为此, 我们组织了面向开放场景的的鲁棒机器学习专刊. 　　通过两轮征稿共收到投稿53篇. 特约编辑先后邀请了60余位国内机器学习领域的知名专家参与审稿工作, 每篇投稿至少由2位专家进行评审. 最终有23篇论文被本专刊录用. 录用论文涉及开放域机器学习、任务关系利用与优化、新型特征表示与聚类、面向特定领域的机器学习模型等, 一定程度上反映了我国在该专题下的研究水平. 根据主题, 本专刊论文大致可分为4组.

摘要:深度神经网络在分类任务上不断取得性能突破,但在测试中面对未知类样本时,会错误地给出一个已知类预测结果.开放集识别任务旨在解决该问题,要求模型不仅精确地分类已知类,同时对未知类样本进行准确判别.现有方法虽然取得了不错的效果,但由于未对开放集识别任务的影响因素进行分析,因而大多基于某种假设启发式地设计模型,难以保证对于实际场景的适应性.分析了现有方法的共性,通过设计一个新的决策变量实验,发现模型对已知类的表示学习能力是其中的一个关键影响因素.基于该结论,提出了一种基于模型表示学习能力增强的开放集识别方法.首先,由于对比式学习已展示出的强大表示学习能力以及开放集识别任务所包含的标签信息,引入了监督对比式学习方法,提高模型对已知类的建模能力;其次,考虑到类别间的相关性是在类别层次上的表示,且类别之间往往呈现分层结构关系,设计了一种多粒度类相关性的损失函数,通过在标签语义空间构建分层结构并度量多粒度类相关性的方式,约束模型学习不同已知类间的相关关系,进一步提高其表示学习能力;最后,在多个标准数据集上进行了实验验证,证明了所提出方法在开放集识别任务上的有效性.

摘要:无监督域适应(unsupervised domain adaptation,UDA)旨在利用带大量标注数据的源域帮助无任何标注信息的目标域学习.在UDA中,通常假设源域和目标域间的数据分布不同,但共享相同的类标签空间.但在真实开放学习场景中,域间的标签空间很可能存在差异.在极端情形下,域间的类别不存在交集,即目标域中类别都为新未知类别.此时若直接迁移源域的类判别知识,可能会损害目标域性能,导致负迁移问题.为此,提出了基于自监督知识的无监督新集域适应(unsupervised new-set domain adaptation with self-supervised knowledge,SUNDA)方法,迁移源域的样本对比知识;同时,利用目标域的自监督知识指导知识迁移.首先,通过自监督学习源域和目标域初始特征,并固定部分网络参数用于保存目标域信息.再将源域的样本对比知识迁移至目标域,辅助目标域学习类判别特征.此外,利用基于图的自监督分类损失,解决域间无共享类别时目标域的分类问题.在手写体数字的无共享类别跨域迁移和人脸数据的无共享类别跨种族迁移任务上对SUNDA进行评估,实验结果表明,SUNDA的学习性能优于无监督域适应、无监督聚类以及新类别发现方法.

摘要:无监督域自适应是解决训练集(源域)和测试集(目标域)分布不一致的有效途径之一.现有的无监督域自适应的理论和方法在相对封闭、静态的环境下取得了一定成功,但面向开放动态任务环境时,在隐私保护、数据孤岛等限制条件下,源域数据往往不可直接获取,现有无监督域自适应方法的鲁棒性将面临严峻的挑战.鉴于此,研究了一个更具挑战性却又未被充分探索的问题:源域无关的无监督域自适应,目标是仅依据预训练的源域模型和无标签目标域数据,实现源域向目标域的正向迁移.提出一种基于伪标签不确定性估计的源域无关鲁棒域自适应的方法PLUE-SFRDA (pseudo label uncertainty estimation for source free robust domain adaptation).PLUE-SFRDA的核心思想是:根据源域模型的预测结果,联合信息熵和能量函数充分挖掘目标域数据的隐含信息,探索类原型和类锚点,以准确估计目标域数据的伪标签,进而调优域自适应模型,实现源域数据无关的鲁棒域自适应.PLUE-SFRDA包含提出的二元软约束信息熵,解决了标准信息熵不能有效估计处于决策边界样本的不确定性的问题,增强了所挖掘的类原型和类锚点的可信度,进而提高了目标域伪标签估计的准确率.PLUE-SFRDA包含了提出的加权对比过滤方法,通过比较每个样本距离该类的类锚点和其他类的类锚点的加权距离,过滤掉处于决策边界的类别信息模糊样本,进一步提高了伪标签不确定性估计的安全性.PLUE-SFDRA还包含一个信息最大化损失,实现源域分类器和伪标签估计器迭代优化,逐渐将源域模型中蕴含的源域知识迁移至目标域,进一步提高了伪标签不确定性估计的鲁棒性.在Office-31,Office-Home和VisDA-C这3个公开的基准数据集上的大量实验表明:PLUE-SFRDA不仅超过了最新的源域无关的域自适应方法的表现,还显著优于现有的依赖源域数据的域自适应方法.

摘要:基于局部敏感哈希的检索方法能够较好地解决高维大规模数据的近似近邻检索问题.但在开放环境下针对多种分布特性时,迄今尚未有令人满意的解决方案.利用Laplacian算子对数据分布剧烈变化敏感的特性,提出一种具有全局性、适用于开放环境下多种分布特性的基于Laplacian算子的局部敏感哈希搜索方法(LPLSH).该方法把Laplacian算子应用于数据投影的概率密度分布,找到数据投影分布的剧烈变化位置作为超平面的偏移量.从理论上证明了精简维度的哈希函数能够保持局部敏感性及低投影密度区间分割的有效性,分析了利用Laplacian算子计算的二阶导数对超平面偏移量设置的指导意义.与其他8种方法对比,LPLSH算法的F1值是其他方法最优值的0.8倍-5倍,耗费时间也大幅减少.通过对具有多种分布特性数据集上的实验验证,结果表明:LPLSH方法能够同时兼顾效率、精度和召回率,可满足开放环境下多分布特性的大规模高维检索的鲁棒性需求.

摘要:近年来的研究表明,对抗训练是一种有效的防御对抗样本攻击的方法.然而,现有的对抗训练策略在提升模型鲁棒性的同时会造成模型的泛化能力下降.现阶段主流的对抗训练方法通常都是独立地处理每个训练样本,而忽略了样本之间的关系,这使得模型无法充分挖掘样本间的几何关系来学习更鲁棒的模型,以便更好地防御对抗攻击.因此,重点研究如何在对抗训练过程中保持样本间的几何结构稳定性,达到提升模型鲁棒性的目的.具体而言,在对抗训练中,设计了一种新的几何结构约束方法,其目的是保持自然样本与对抗样本的特征空间分布一致性.此外,提出了一种基于双标签的监督学习方法,该方法同时采用自然样本和对抗样本的标签对模型进行联合监督训练.最后,分析了双标签监督学习方法的特性,试图从理论上解释对抗样本的工作机理.多个基准数据集上的实验结果表明:相比于已有方法,该方法有效地提升了模型的鲁棒性且保持了较好的泛化精度.相关代码已经开源:https://github.com/SkyKuang/DGCAT.

摘要:与梯度下降法相比,自适应梯度下降方法(AdaGrad)利用过往平方梯度的算数平均保存了历史数据的几何信息,在处理稀疏数据时获得了更紧的收敛界.另一方面,Nesterov加速梯度方法(Nesterov’s accelerated gradient,NAG)在梯度下降法的基础上添加了动量运算,在求解光滑凸优化问题时具有数量级加速收敛的性能,在处理非光滑凸问题时也获得了最优的个体收敛速率.最近,已经出现了自适应策略与NAG相结合的研究,但现有代表性的自适应NAG方法AcceleGrad由于采取的自适应方式与AdaGrad不同,步长未能在不同维度上体现差异性,仅得到了加权平均方式的收敛速率,个体收敛速率的理论分析尚存在缺失.提出了一种自适应NAG方法,继承了AdaGrad的步长设置方式,证明了所提算法在解决约束非光滑凸优化问题时具有最优的个体收敛速率.在L1范数约束下,通过求解典型的hinge损失函数分类和L1损失函数回归优化问题.实验验证了理论分析的正确性,也表明了所提算法的性能优于AcceleGrad.

摘要:随着互联网信息的爆炸式增长,标签(由用户指定用来描述项目的关键词)在互联网信息检索领域中变得越来越重要.为在线内容赋予合适的标签,有利于更高效的内容组织和内容消费.而标签推荐通过辅助用户进行打标签的操作,极大地提升了标签的质量,标签推荐也因此受到了研究者们的广泛关注.总结出标签推荐任务的三大特性,即项目内容的多样性、标签之间的相关性以及用户偏好的差异性.根据这些特性,将标签推荐方法划分为3个类别,分别是基于内容的方法、基于标签相关性的方法以及基于用户偏好的方法.之后,针对这3个类别下的对应方法进行了梳理和剖析.最后,提出了当前标签推荐领域面临的主要挑战,例如标签的长尾问题、用户偏好的动态性以及多模态信息的融合问题等,并对未来研究方向进行了展望.

摘要:在多标记学习(MLL)问题中,每个示例都与一组标记相关联.为了实现对未见示例的高效预测,挖掘和利用标记之间的关系是至关重要的.大多数已有的研究都将关系简化为标记之间的相关性,而相关性又通常基于标记的共现性.揭示了因果关系对于描述一个标记在学习过程中如何帮助另一个标记更为重要.基于这一观察,提出了两种策略来从标记因果有向无环图(DAG)中生成标记的因果顺序,同时使得生成的因果顺序都遵循因标记应该在果标记之前的准则.第1种策略的主要思想是对随机顺序进行排序,使其满足DAG中的因果关系.而第2种策略的主要思想是根据DAG的结构,将标记放入许多不相交的拓扑层次中,再通过它们的拓扑结构进行排序.进一步,通过将因果顺序纳入到分类器链(CC)模型中,提出了一种有效的MLL方法,从而从更加本质的角度来利用标记关系.在多个数据集上的实验结果验证了该方法确实能够挖掘出有效的标记因果顺序,并帮助提升学习性能.

摘要:传统监督学习需要训练样本的真实标记信息,而在很多情况下,真实标记并不容易收集.与之对比,众包学习从多个可能犯错的非专家收集标注,通过某种融合方式估计样本的真实标记.注意到现有深度众包学习工作对标注者相关性建模不足,而非深度众包学习方面的工作表明,标注者相关性建模利用有助于改善学习效果.提出一种深度生成式众包学习方法,以结合深度神经网络优势及利用标注者相关性.该模型由深度神经网络分类器先验和标注生成过程组成,其中,标注生成过程通过引入各类别内标注者能力的混合模型以建模标注者相关性.为自适应地匹配数据及模型复杂度,实现了完全贝叶斯推断.基于结构变分自编码器的自然梯度随机变分推断技术,将共轭参数变分消息传递与神经网络参数随机梯度下降结合到统一框架,实现端到端的高效优化.在22个真实众包数据集上的实验结果验证了该方法的有效性.

摘要:在开放环境下,数据流具有数据高速生成、数据量无限和概念漂移等特性.在数据流分类任务中,利用人工标注产生大量训练数据的方式昂贵且不切实际.包含少量有标记样本和大量无标记样本且还带概念漂移的数据流给机器学习带来了极大挑战.然而,现有研究主要关注有监督的数据流分类,针对带概念漂移的数据流的半监督分类的研究尚未引起足够的重视.因此,在全面收集数据流半监督分类研究工作的基础上,对现有带概念漂移的数据流的半监督分类算法进行了多角度划分;并以算法采用的分类器类型为线索,对已有的多个算法进行了介绍与总结,包括现有数据流半监督分类采用的概念漂移检测方法;在一些被广泛使用的真实数据集和人工数据集上,对部分代表性数据流半监督分类算法进行了多方面的比较与分析;最后,提出了当前概念漂移数据流半监督分类中一些值得进一步深入探讨的问题.实验结果表明:数据流半监督分类算法的分类准确率与众多因素有关,但与数据分布的变化关系最大.本综述将有助于感兴趣的研究者快速进入数据流半监督分类问题领域.

摘要:与研究固定特征空间的传统在线学习相比,特征演化学习通常假设特征不会以任意方式消失或出现,而是随着收集数据特征的硬件设备更换旧特征消失、新特征出现.然而,已有的特征演化学习方法仅利用数据流的一阶信息,而忽略可以挖掘特征之间相关性和显著提高分类性能的二阶信息.提出了一种特征演化的置信-加权学习算法来解决上述问题:首先,引入二阶置信-加权来更新数据流的预测模型;接着,为了充分利用已学习的模型,在重叠时期学习线性映射来恢复旧特征;随后,用恢复的旧特征更新已有模型;同时,用新特征学习新的预测模型;继而,运用两种集成方法来利用这两种模型;实验研究表明,所提算法优于已有的特征演化学习算法.

摘要:特征学习是机器学习中的一项重要技术,研究从原始数据中学习后置任务所需的数据表示.目前,多数特征学习算法侧重于学习原始数据中的拓扑结构,忽略了数据中的判别信息.基于此,提出了基于随机近邻嵌入的判别性特征学习模型.该模型将对判别信息的学习与对拓扑结构的学习融合在一起,通过迭代求解的方式,同时完成对这两者的学习,从而得到原始数据具有判别性的特征表示,可以显著提升机器学习算法的性能.多个公开数据集上的实验结果验证了该模型的有效性.

摘要:针对基于信息增益与皮尔森相关系数的特征选择算法FSIP (feature selection based on information gain and Pearson correlation coefficient)存在的特征子集选取需要人工参与的问题,提出基于可辨识矩阵的完全自适应2D特征选择算法DFSIP (discernibility based FSIP).DFSIP算法完全自适应地发现特征子集,每次选择当前特征中最重要的一个特征,并以此特征约简可辨识矩阵,剔除冗余特征,最终自适应地获得最优特征子集.依据最优特征子集构建K-ELM分类器来评价最优特征子集的类别辨识能力.在基因数据集的实验测试以及与FSIP,mRMR,LLE Score,DRJMIM,AVC,AMID算法的实验比较和统计重要性检测表明:DFSIP算法能够自动选择出辨识能力更强的特征子集,基于此特征子集的分类器具有很好的分类性能.

摘要:在实际应用中,聚类多视图数据是一项重要的数据挖掘任务.样本缺失所导致的多视图不完整给聚类任务带来了巨大的挑战.大部分已有的不完整多视图聚类方法主要基于浅层图结构信息,易受到噪声及缺失数据的影响,且难以准确刻画并兼容所有视图的潜在结构,从而降低了聚类性能.为此,提出了一种更为鲁棒和灵活的基于多阶近邻扩散融合的不完整多视图聚类算法.该算法在利用多阶相似性学习不完整视图潜在结构的基础上,通过跨视图交叉扩散的方式,将不同阶的深层结构信息进行非线性融合,以此挖掘视图间更全面的结构信息,从而降低了缺失样本所导致的视图结构不确定性.进一步证明了所提算法的收敛性.实验结果表明,相比已有方法,所提出的算法在处理不完整多视图聚类问题上是更加有效的.

摘要:谱聚类是聚类分析中极具代表性的方法之一,由于其对数据结构没有太多假设要求,受到了研究者们的广泛关注.但传统的谱聚类算法通常受到谱嵌入的可扩展性和泛化性的限制,即:无法应对大规模设置和复杂数据分布.为克服以上缺陷,旨在引入深度学习框架提升谱聚类的泛化能力与可扩展能力,同时,结合多视图学习挖掘数据样本的多样性特征,从而提出一种知识迁移下的深度一致性多视图谱聚类网络(CMvSC).首先,考虑到单个视图的局部不变性,CMvSC采用局部学习层独立学习每个视图的特有嵌入;其次,由于多视图具有全局一致性,CMvSC引入全局学习层进行参数共享与特征迁移,学习多视图间的共享嵌入;同时,考虑到邻接矩阵对谱聚类性能的重要影响,CMvSC通过训练孪生网络和设计对比损失来学习成对数据间的近邻关系,以替代传统谱聚类算法中的距离度量;最后,4个数据集上的实验结果证明了CMvSC对多视图谱聚类任务的有效性.

摘要:密度峰值聚类(density peak clustering,DPC)是一种简单有效的聚类分析方法.但在实际应用中,对于簇间密度差别大或者簇中存在多密度峰的数据集,DPC很难选择正确的簇中心;同时,DPC中点的分配方法存在多米诺骨牌效应.针对这些问题,提出一种基于K近邻(K-nearest neighbors,KNN)和优化分配策略的密度峰值聚类算法.首先,基于KNN、点的局部密度和边界点确定候选簇中心;定义路径距离以反映候选簇中心之间的相似度,基于路径距离提出密度因子和距离因子来量化候选簇中心作为簇中心的可能性,确定簇中心.然后,为了提升点的分配的准确性,依据共享近邻、高密度最近邻、密度差值和KNN之间距离构建相似度,并给出邻域、相似集和相似域等概念,以协助点的分配;根据相似域和边界点确定初始聚类结果,并基于簇中心获得中间聚类结果.最后,依据中间聚类结果和相似集,从簇中心到簇边界将簇划分为多层,分别设计点的分配策略;对于具体层次中的点,基于相似域和积极域提出积极值以确定点的分配顺序,将点分配给其积极域中占主导地位的簇,获得最终聚类结果.在11个合成数据集和27个真实数据集上进行仿真实验,与最新的基于密度峰值的聚类算法作对比,结果表明:所提算法在纯度、F度量、准确度、兰德系数、调整兰德系数和标准互信息上均表现出良好的聚类性能.

摘要:大规模神经网络展现出强大的端到端表示能力和非线性函数的无限逼近能力,在多个领域表现出优异的性能,成为一个重要的发展方向.如自然语言处理(NLP)模型GPT,经过几年的发展,目前拥有1 750亿网络参数,在多个NLP基准上到达最先进性能.然而,按照现有的神经网络组织方式,目前的大规模神经网络难以到达人脑生物神经网络连接的规模.同时,现有的大规模神经网络在多通道协同处理、知识存储和迁移、持续学习方面表现不佳.提出构建一种启发于人脑功能机制的大规模神经网络模型,该模型以脑区划分和脑区功能机制为启发,集成大量现有数据和预训练模型,借鉴脑功能分区来模块化构建大规模神经网络模型,并由脑功能机制提出相应的学习算法,根据场景输入和目标,自动构建神经网络通路,设计神经网络模型来获得输出.该神经网络模型关注输入到输出空间的关系构建,通过不断学习,提升模型的关系映射能力,目标在于让该模型具备多通道协同处理能力,实现知识存储和持续学习,向通用人工智能迈进.整个模型和所有数据、类脑功能区使用数据库系统进行管理,该系统了还集成了分布式神经网络训练算法,为实现超大规模神经网络的高效训练提供支撑.提出了一种迈向通用人工智能的思路,并在多个不同模态任务验证该模型的可行性.

摘要:近年来,各种各样的推荐算法层出不穷,特别是深度学习的发展,极大地推动了推荐系统的研究.然而,各个推荐算法在实现细节、评价方式、数据集处理等方面存在众多差异,越来越多的研究者开始对推荐领域的可复现性产生担忧.为了帮助缓解上述问题,基于PyTorch实现了一个综合、高效、易扩展的轻量级推荐算法框架ReChorus,意为构建一个推荐算法的“合唱团”.ReChorus框架中实现了多种不同类型的推荐算法,类别涵盖常规推荐、序列推荐、引入知识图谱的推荐、引入时间动态性的推荐等;同时,对于一些常见的数据集也提供统一的预处理范式.相比其他推荐系统库,ReChorus在保证综合高效的基础上尽可能做到了轻量实用,同时具有较高的可扩展性,尤其以方便学术研究为导向,非常容易上手实现新的模型.不同的推荐算法在ReChorus框架中能够在相同的实验设定下进行训练和评测,从而实现推荐算法间的有效对比.该项目目前已在GitHub发布:https://github.com/THUwangcy/ReChorus.

摘要:大数据时代,面向知识产权的科技资源呈现数据规模大、时效性高和价值密度较低等趋势,为有效利用知识产权资源带来严峻的挑战.同时,各个国家对知识产权中隐匿信息挖掘的需求日益增加,使得面向知识产权的科技资源画像构建成为当下的研究热点.目标是通过智能化的数据获取、实体识别以及可视化的方式对知识产权进行画像构建.然而,现有的科技资源画像构建方法只适用于结构化数据,忽略了词语的词性对句子语义理解的影响.因此,提出了一种新颖的面向知识产权的科技资源画像构建算法,针对自动获取的知识产权资源,通过引入词性级别的注意力机制提高实体识别准确率,并以可视化的形式构建知识产权科技资源画像.相比于现有方法,所提出的面向知识产权的科技资源画像构建方法具有以下优势:1)该算法利用词语的词性信息学习句子语义层面的含义,并融合注意力机制,以有监督的方式避免语义理解中的歧义;2)该模型能够智能自动地完成科技数据获取、命名实体识别、科技资源画像构建;3)大量实验结果表明,所提方法利用词语的词性进行有监督学习,在命名实体识别任务中综合性能优于对比算法.

摘要:共享单车系统日益普及,积累了海量的出行轨迹数据.在共享单车系统中,用户的借车和还车行为是随机的,且受天气、时间等动态因素影响,使得共享单车调度不平衡,影响单车用户体验,并给运营商造成巨大经济损失.提出了新型基于站点聚类的共享单车需求预测算法,通过构建单车转移网络计算站点活跃度,充分考虑站点地理位置和单车转移模式因素,基于数据场聚类思想,将距离相近和用车模式相似的站点聚合到一个聚簇中,给出最佳簇中心个数求取方法.充分分析时间和天气因素对站点单车需求的影响,利用皮尔逊相关系数,从真实天气数据中选择相关性最大的天气特征,结合历史聚簇内单车需求量,将其转化为三维向量,利用多特征长短时记忆深度神经网络LSTM (long short-term memory)对向量内的特征信息进行学习和训练,以30分钟为长时间间隔,对每个聚簇内的单车需求量进行预测分析.与传统机器学习算法和当前主流方法进行对比,实验结果表明,所提单车需求模型预测性能得到显著提升.

摘要:军事行动、反恐突击等强对抗场景中,实时信息的碎片化、不确定性对制定具有博弈优势的弹性行动方案提出了更高的要求,研究具有自学习能力的智能行动策略规划方法已成为编队级强对抗任务的核心问题.针对复杂场景下行动策略规划状态表征困难、数据效率低下等问题,提出了基于预测编码的样本自适应行动策略规划方法.利用自编码模型压缩表示任务的原始状态空间,通过任务环境的状态转移样本,在低维度状态空间中使用混合密度分布网络对任务环境的动态模型进行学习,获得了表征环境动态性的预测编码;基于预测编码展开行动策略规划研究,利用时间差分敏感的样本自适应方法对状态评估值函数进行预测,改善了数据效率,加速了算法收敛.为了验证算法的有效性,基于全国兵棋推演大赛机机挑战赛的想定,构建了包含大赛获奖选手操作策略的5种规则智能体,利用消融实验验证编码方式、样本采样策略等不同因子组合对算法的影响,并使用Elo评分机制对各个智能体进行排序;实验结果表明:基于预测编码的样本自适应算法——MDN-AF得分排序最高,对战平均胜率为71%,其中大比分获胜局占比为67.6%,而且学习到了自主波次划分、补充侦察策略、“蛇形”打击策略、轰炸机靠后突袭等4种长时行动策略.该算法框架应用于2020年全国兵棋推演大赛的智能体开发,并获得了全国一等奖.

摘要:基于内窥镜的微创手术机器人在临床上的应用日益广泛,为医生提供内窥镜视频中精准的手术器械分割信息,对提高医生操作的准确度、改善患者预后有重要意义.现阶段,深度学习框架训练手术器械分割模型需要大量精准标注的术中视频数据,然而视频数据标注成本较高,在一定程度上限制了深度学习在该任务上的应用.目前的半监督方法通过预测与插帧,可以改善稀疏标注视频的时序信息与数据多样性,从而在有限标注数据下提高分割精度,但是这些方法在插帧质量与对连续帧时序特征方面存在一定缺陷.针对此问题,提出了一种带有时空Transformer的半监督分割框架,该方法可以通过高精度插帧与生成伪标签来提高稀疏标注视频数据集的时序一致性与数据多样性,在分割网络bottleneck位置使用Transformer模块,并利用其自我注意力机制,从时间与空间两个角度分析全局上下文信息,增强高级语义特征,改善分割网络对复杂环境的感知能力,克服手术视频中各类干扰从而提高分割效果.提出的半监督时空Transformer网络在仅使用30%带标签数据的情况下,在MICCAI 2017手术器械分割挑战赛数据集上取得了平均DICE为82.42%、平均IoU为72.01%的分割结果,分别超过现有方法7.68%与8.19%,并且优于全监督方法.

摘要:图像风格转换技术已经融入到人们的生活中,并被广泛应用于图像艺术化、卡通化、图像着色、滤镜处理和去遮挡等实际场景中,因此,图像风格转换具有重要的研究意义与应用价值.StarGAN是近年来用于多域图像风格转换的生成对抗网络框架.StarGAN通过简单地下采样提取特征,然后通过上采样生成图片,但是生成图片的背景颜色信息、人物脸部的细节特征会与输入图像有较大差异.对StarGAN的网络结构进行改进,通过引入U-Net和边缘损失函数,提出了用于图像风格转换的UE-StarGAN模型.同时,将类别编码器引入到UE-StarGAN模型的生成器中,构建了融合类别编码器的小样本图像风格转换模型,实现了小样本的图像风格转换.实验结果表明:该模型可以提取到更精细的特征,在小样本的情况下具有一定的优势,以此进行图像风格转换后的图片无论是定性分析还是定量分析都有一定的提升,验证了所提模型的有效性.