监控视频异常行为检测的概率记忆自编码网络
作者:
作者单位:

作者简介:

肖进胜(1975-),男,博士,副教授,CCF高级会员,主要研究领域为计算机视觉,图像处理与分析.;郭浩文(1999-),男,硕士生,主要研究领域为图像处理与分析;谢红刚(1975-),男,博士,副教授,主要研究领域为人工智能,图像处理与分析,深度学习;赵陶(1996-),男,硕士,主要研究领域为图像处理与分析;申梦瑶(1994-),女,硕士,主要研究领域为图像处理;王元方(1997-),男,硕士,主要研究领域为计算机视觉,图像处理与分析.

通讯作者:

谢红刚,E-mail:xiehg@hbut.edu.cn

中图分类号:

基金项目:

中国科学院光电信息处理重点实验室开放课题基金(OEIP-O-202009); 国家自然科学基金(61471272)


Probabilistic Memory Auto-encoding Network for Abnormal Behavior Detection in Surveillance Videos
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    异常行为检测是智能监控系统中重要的功能之一, 在保障社会治安等方面发挥着积极的作用. 为提高监控视频中异常行为的检测率, 从学习正常行为分布的角度出发, 设计基于概率记忆模型的半监督异常行为检测网络, 解决正常行为数据与异常行为数据极度不均衡的问题. 该网络以自编码网络为主干网络, 利用预测的未来帧与真实帧之间的差距来衡量异常程度. 在主干网络提取时空特征时, 使用因果三维卷积和时间维度共享全连接层来避免未来信息的泄露, 保证信息的时序性. 在辅助模块方面, 从概率熵和正常行为数据模式多样性的角度, 设计概率模型和记忆模块提高主干网络视频帧重建质量. 概率模型利用自回归过程拟合输入数据分布, 促使模型收敛于正常分布的低熵状态; 记忆模块存储历史数据中的正常行为的原型特征, 实现多模式数据的共存, 同时避免主干网络的过度参与而造成对异常帧的重建. 最后, 利用公开数据集进行消融实验和与经典算法的对比实验, 以验证所提算法的有效性.

    Abstract:

    Abnormal behavior detection is one of the important functions in the intelligent surveillance system, which plays an active role in ensuring public security. To improve the detection rate of abnormal behavior in surveillance videos, this study designs a semi-supervised abnormal behavior detection network based on a probabilistic memory model from the perspective of learning the distribution of normal behavior, in an attempt to deal with the great imbalance between normal behavior data and abnormal behavior data. The network takes an auto-encoding network as the backbone network and uses the gap between the predicted future frame and the real frame to measure the intensity of the anomaly. When extracting spatiotemporal features, the backbone network employs three-dimensional causal convolutional and temporally-shared full connection layers to avoid future information leakage and ensure the temporal sequence of information. In terms of auxiliary modules, a probabilistic model and a memory module are designed from the perspective of probability entropy and diverse patterns of normal behavior data to improve the quality of video frame reconstruction in the backbone network. Specifically, the probabilistic model uses the autoregressive process to fit the input data distribution, which promotes the model to converge to the low-entropy state of the normal distribution; the memory module stores the prototypical features of normal behavior in the historical data to realize the coexistence of multi-modal data and avoid the reconstruction of abnormal video frames caused by excessive participation of the backbone network. Finally, ablation experiments and comparison experiments with classic algorithms are carried out on public datasets to examine the effectiveness of the proposed algorithm.

    参考文献
    相似文献
    引证文献
引用本文

肖进胜,郭浩文,谢红刚,赵陶,申梦瑶,王元方.监控视频异常行为检测的概率记忆自编码网络.软件学报,2023,34(9):4362-4377

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2021-06-09
  • 最后修改日期:2021-08-28
  • 录用日期:
  • 在线发布日期: 2023-02-22
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号