摘要:人们对图像显示设备高分辨率和逼真视觉感知的需求随着现代信息技术的发展日益增长, 这对计算机软硬件提出了更高要求, 也为渲染技术在性能与工作负载上带来更多挑战. 利用深度神经网络等机器学习技术对渲染图像进行质量改进和性能提升成为了计算机图形学热门的研究方向, 其中通过网络推理将低分辨率图像进行上采样获得更加清晰的高分辨率图像是提升图像生成性能并保证高清细节的一个重要途径. 而渲染引擎在渲染流程中产生的几何缓存(geometry buffer, G-buffer)包含较多的语义信息, 能够帮助网络有效地学习场景信息与特征, 从而提升上采样结果的质量. 设计一个基于深度神经网络的低分辨率渲染内容的超分方法. 除了当前帧的颜色图像, 其使用高分辨率的几何缓存来辅助计算并重建超分后的内容细节. 所提方法引入一种新的策略来融合高清缓存与低清图像的特征信息, 在特定的融合模块中对不同种特征信息进行多尺度融合. 实验验证所提出的融合策略和模块的有效性, 并且, 在和其他图像超分辨率方法的对比中, 所提方法体现出明显的优势, 尤其是在高清细节保持方面.

摘要:监控视频关键帧检索和属性查找在交通、安防、教育等领域具有众多应用场景，应用深度学习模型处理海量视频数据在一定程度上缓解了人力消耗，但是存在隐私泄露、计算资源消耗大、时间长等特点.基于上述场景，提出了一个面向大规模监控视频的安全、快速的视频检索模型.具体地，根据云端算力大、监控摄像头算力规模小的特点，在云端部署重量级模型，并使用所提出的宽容训练策略对其进行定制化知识蒸馏，将蒸馏后的轻量级模型部署在监控摄像头内，同时使用局部加密算法对图像敏感部分进行加密，结合云端TEE技术和用户授权机制，在极低资源消耗的情况下实现隐私保护.通过合理控制蒸馏策略的“容忍度”，能够较好地平衡摄像头视频输入阶段和云端检索阶段的耗时，在保证极高准确率的前提下，保证极低的检索时延.相比于传统检索方法，该模型具有安全高效、可伸缩、低延时的特点.实验结果显示，在多个公开数据集上，该模型相比于传统检索方法提供9x-133x的加速.