众测中的工作者选择方法研究
作者:
作者单位:

作者简介:

崔强(1985-),男,辽宁抚顺人,博士生,CCF学生会员,主要研究领域为众测,推荐算法;王俊杰(1987-),女,博士,副研究员,主要研究领域为缺陷预测,经验软件工程,众测;谢淼(1988-),男,博士,工程师,主要研究领域为数据挖掘,软件工程;王青(1964-),女,博士,研究员,博士生导师,CCF高级会员,主要研究领域为软件过程技术,需求工程,软件质量与管理.

通讯作者:

王青,E-mail:wq@itechs.iscas.ac.cn

中图分类号:

基金项目:

国家自然科学基金(61602450,61432001)


Towards Crowd Worker Selection for Crowdsourced Testing Task
Author:
Affiliation:

Fund Project:

National Natural Science Foundation of China (61602450, 61432001)

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    众测是一种新兴的软件测试方法,它依靠网络上的工作者帮助完成测试任务.对于某个测试任务来说,谁来执行对于发现缺陷以及覆盖测试需求关键点是至关重要的.然而众测平台上一般有大量的候选工作者,他们拥有不同的测试经验,也常常提交重复的测试报告.由于众测工作者随机地参与测试任务,同时满足较高缺陷检测率和较高测试需求关键点覆盖度是很困难的.因此,该文关注如何为新的测试任务选择一组合适的众测工作者,从而提高缺陷检测率和需求关键点覆盖度.首先设计了3个实验,试图发现选择什么样的众测工作者能够提升缺陷检测率和需求关键点覆盖度.通过实验验证,发现众测工作者的主动性、相关性和多样性从不同的角度影响测试质量,并且给出了它们的度量方法.然后,提出一种同时考虑这3个方面工作的选择方法.基于众测平台之一——百度众测上46个真实的测试任务对该方法进行了验证,结果显示,该方法能够显著提高缺陷检测率和测试需求关键点覆盖度.

    Abstract:

    Crowdsourced testing is an emerging trend in software testing, which relies on crowd workers to accomplish test tasks. Thus, who performs a test task is extremely important for detecting bugs and covering key points of test requirements in crowdsourced testing. There are a lot of candidate crowd workers who may have different testing experience but can also produce duplicate test reports for the same task due to the lack of cooperation. As crowd workers can freely participate in a test task, high quality of testing in terms of bug detection and coverage of key points of test requirements is not guaranteed. Thus, to improve bug detection and coverage of key points of test requirements, selecting an appropriate subset of workers to perform a test task is becoming an important problem. In this paper, three motivating studies are first conducted to investigate important aspects of workers in detecting bugs and covering key points of test requirements. Accordingly, the studies identify three aspects:initiative, relevance and diversity are identified, and produce a novel approach for selecting workers considering all these three aspects. This new approach is evaluated based on 46 real test tasks from Baidu CrowdTest, and the experimental results show the effectiveness of the approach.

    参考文献
    相似文献
    引证文献
引用本文

崔强,王俊杰,谢淼,王青.众测中的工作者选择方法研究.软件学报,2018,29(12):3648-3664

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2016-12-20
  • 最后修改日期:2017-03-10
  • 录用日期:
  • 在线发布日期: 2018-12-05
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号