主页期刊介绍编委会编辑部服务介绍道德声明在线审稿编委办公English
2020-2021年专刊出版计划 微信服务介绍 最新一期:2020年第9期
     
在线出版
各期目录
纸质出版
分辑系列
论文检索
论文排行
综述文章
专刊文章
美文分享
各期封面
E-mail Alerts
RSS
旧版入口
中国科学院软件研究所
  
投稿指南 问题解答 下载区 收费标准 在线投稿
崔强,王俊杰,谢淼,王青.众测中的工作者选择方法研究.软件学报,2018,29(12):3648-3664
众测中的工作者选择方法研究
Towards Crowd Worker Selection for Crowdsourced Testing Task
投稿时间:2016-12-20  修订日期:2017-03-10
DOI:10.13328/j.cnki.jos.005329
中文关键词:  众测  缺陷检测  需求覆盖  人员选择
英文关键词:crowdsourced testing  bug detection  requirement coverage  worker selection
基金项目:国家自然科学基金(61602450,61432001)
作者单位E-mail
崔强 中国科学院 软件研究所 互联网软件技术实验室, 北京 100190
中国科学院大学, 北京 100049 
 
王俊杰 中国科学院 软件研究所 互联网软件技术实验室, 北京 100190  
谢淼 中国科学院 软件研究所 互联网软件技术实验室, 北京 100190
中国科学院大学, 北京 100049 
 
王青 中国科学院 软件研究所 互联网软件技术实验室, 北京 100190
计算机科学国家重点实验室(中国科学院 软件研究所), 北京 100190
中国科学院大学, 北京 100049 
wq@itechs.iscas.ac.cn 
摘要点击次数: 1003
全文下载次数: 730
中文摘要:
      众测是一种新兴的软件测试方法,它依靠网络上的工作者帮助完成测试任务.对于某个测试任务来说,谁来执行对于发现缺陷以及覆盖测试需求关键点是至关重要的.然而众测平台上一般有大量的候选工作者,他们拥有不同的测试经验,也常常提交重复的测试报告.由于众测工作者随机地参与测试任务,同时满足较高缺陷检测率和较高测试需求关键点覆盖度是很困难的.因此,该文关注如何为新的测试任务选择一组合适的众测工作者,从而提高缺陷检测率和需求关键点覆盖度.首先设计了3个实验,试图发现选择什么样的众测工作者能够提升缺陷检测率和需求关键点覆盖度.通过实验验证,发现众测工作者的主动性、相关性和多样性从不同的角度影响测试质量,并且给出了它们的度量方法.然后,提出一种同时考虑这3个方面工作的选择方法.基于众测平台之一——百度众测上46个真实的测试任务对该方法进行了验证,结果显示,该方法能够显著提高缺陷检测率和测试需求关键点覆盖度.
英文摘要:
      Crowdsourced testing is an emerging trend in software testing, which relies on crowd workers to accomplish test tasks. Thus, who performs a test task is extremely important for detecting bugs and covering key points of test requirements in crowdsourced testing. There are a lot of candidate crowd workers who may have different testing experience but can also produce duplicate test reports for the same task due to the lack of cooperation. As crowd workers can freely participate in a test task, high quality of testing in terms of bug detection and coverage of key points of test requirements is not guaranteed. Thus, to improve bug detection and coverage of key points of test requirements, selecting an appropriate subset of workers to perform a test task is becoming an important problem. In this paper, three motivating studies are first conducted to investigate important aspects of workers in detecting bugs and covering key points of test requirements. Accordingly, the studies identify three aspects:initiative, relevance and diversity are identified, and produce a novel approach for selecting workers considering all these three aspects. This new approach is evaluated based on 46 real test tasks from Baidu CrowdTest, and the experimental results show the effectiveness of the approach.
HTML  下载PDF全文  查看/发表评论  下载PDF阅读器
 

京公网安备 11040202500064号

主办单位:中国科学院软件研究所 中国计算机学会 京ICP备05046678号-4
编辑部电话:+86-10-62562563 E-mail: jos@iscas.ac.cn
Copyright 中国科学院软件研究所《软件学报》版权所有 All Rights Reserved
本刊全文数据库版权所有,未经许可,不得转载,本刊保留追究法律责任的权利