DeepRanger:覆盖制导的深度森林测试方法
作者:
作者单位:

作者简介:

崔展齐(1984-),男,博士,副教授,CCF高级会员,主要研究领域为软件测试及分析,智能软件工程;谢瑞麟(1996-),男,硕士生,CCF学生会员,主要研究领域为智能软件工程;陈翔(1980-),男,博士,副教授,CCF高级会员,主要研究领域为软件缺陷预测,软件缺陷定位,回归测试,组合测试;刘秀磊(1981-),男,博士,教授,CCF专业会员,主要研究领域为语义Web,本体匹配,语义搜索,语义Sensor,知识图谱;郑丽伟(1979-),男,博士,副教授,CCF专业会员,主要研究领域为需求工程,群体协同,大数据挖掘

通讯作者:

崔展齐,czq@bistu.edu.cn;陈翔,xchencs@ntu.edu.cn

中图分类号:

TP311

基金项目:

江苏省前沿引领技术基础研究专项(BK20202001);国家自然科学基金(61702041,61601039);北京信息科技大学“勤信人才”培育计划(QXTCPC201906,QXTCPB201905)


DeepRanger: Coverage-guided Deep Forest Testing Approach
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    深度学习软件的结构特征与传统软件存在明显差异,因此即使展开了大量测试,依然无法有效衡量测试数据对深度学习软件的覆盖情况和测试充分性,并造成后续使用过程中依然可能存在大量未知错误.深度森林是一种新型深度学习模型,其克服了深度神经网络存在的一些缺点,例如:需要大量训练数据、需要高算力平台、需要大量超参数.但目前还没有相关工作对深度森林的测试方法进行研究.针对深度森林的结构特点,制定了一组由随机森林结点覆盖率RFNC、随机森林叶子覆盖率RFLC、级联森林类型覆盖率CFCC和级联森林输出覆盖率CFOC组成的测试覆盖率评价指标.在此基础上,基于遗传算法设计了覆盖制导的测试数据自动生成方法DeepRanger,可自动生成能有效提高模型覆盖率的测试数据集.为对所提出覆盖指标的有效性进行验证,在深度森林开源项目gcForest和MNIST数据集上设计并进行了一组实验.实验结果表明,所提出的4种覆盖指标均能有效评价测试数据集对深度森林模型的测试充分性.此外,与基于随机选择的遗传算法相比,使用覆盖信息制导的测试数据生成方法DeepRanger能达到更高的模型覆盖率.

    Abstract:

    Comparing with traditional software, the deep learning software has different structures. Even if a lot of test data is used for testing the deep learning software, the adequacy of testing still hard to be evaluted, and many unknown defects could be implied. The deep forest is an emerging deep learning model that overcomes many shortcomings of deep neural networks. For example, the deep neural network requires a lot of training data, high performance computing platform, and many hyperparameters. However, there is no research on testing deep forest. Based on the structural characteristics of deep forests, this study proposes a set of testing coverage criteria, including random forest node coverage (RFNC), random forest leaf coverage (RFLC), cascad forest class coverage (CFCC), and cascad forest output coverage (CFOC). DeepRanger, a coverage-oriented test data generation method based on genetic algorithm, is proposed to automatically generate new test data and effectively improve the model coverage of the test data. Experiments are carried out on the MNIST data set and the gcForest, which is an open source deep forest project. The experimental results show that the four coverage criteria proposed can effectively evaluate the adequacy of the test data set for the deep forest model. In addition, comparing with the genetic algorithm based on random selection, DeepRanger, which is guided by coverage information, can improve the testing coverage of the deep forest model under testing.

    参考文献
    相似文献
    引证文献
引用本文

崔展齐,谢瑞麟,陈翔,刘秀磊,郑丽伟. DeepRanger:覆盖制导的深度森林测试方法.软件学报,2023,34(5):2251-2267

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2020-09-16
  • 最后修改日期:2021-01-15
  • 录用日期:
  • 在线发布日期: 2022-09-16
  • 出版日期: 2023-05-06
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号