Generating tests that can reveal performance issues in large and complex software systems within a reasonable amount of time is a challenging task. On one hand, there are numerous combinations of input data values to explore. On the other hand, we have a limited test budget to execute tests. What makes this task even more difficult is the lack of access to source code and the internal details of these systems. In this paper, we present an automated test generation method called ACTA for black-box performance testing. ACTA is based on active learning, which means that it does not require a large set of historical test data to learn about the performance characteristics of the system under test. Instead, it dynamically chooses the tests to execute using uncertainty sampling. ACTA relies on a conditional variant of generative adversarial networks,and facilitates specifying performance requirements in terms of conditions and generating tests that address those conditions.We have evaluated ACTA on a benchmark web application, and the experimental results indicate that this method is comparable with random testing, and two other machine learning methods,i.e. PerfXRL and DN.


翻译:在一个合理的时间范围内,在大型和复杂的软件系统中进行能够揭示性能问题的测试是一项艰巨的任务。一方面,需要探索大量输入数据值的组合。另一方面,我们有一个有限的测试预算来进行测试。使得这项任务更加困难的是缺乏对源代码和这些系统内部细节的访问。在本文中,我们提出了一个自动测试生成方法,称为ACTA,用于黑盒性能测试。ACTA基于积极学习,这意味着它不需要大量的历史测试数据来了解正在测试的系统性能特征。相反,它动态地选择使用不确定性抽样进行测试。ACTA依靠一个有条件的变体,即基因对抗网络,便利在条件方面具体规定性能要求,并生成符合这些条件的测试。我们用基准网络应用程序对ACTA进行了评估,实验结果表明,这种方法与随机测试和其他两种机器学习方法(即 PerfXRL和DN)相似。

0
下载
关闭预览

相关内容

持续学习最新综述论文,29页pdf
专知会员服务
116+阅读 · 2021年4月22日
MIT最新《贝叶斯深度学习》综述论文,37页pdf
专知会员服务
49+阅读 · 2021年1月4日
【KDD2020-Tutorial】自动推荐系统,Automated Recommendation System
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
143+阅读 · 2019年10月12日
强化学习最新教程,17页pdf
专知会员服务
166+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
89+阅读 · 2019年10月10日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
计算机 | CCF推荐期刊专刊信息5条
Call4Papers
3+阅读 · 2019年4月10日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
推荐|深度强化学习聊天机器人(附论文)!
全球人工智能
4+阅读 · 2018年1月30日
【推荐】直接未来预测:增强学习监督学习
机器学习研究会
6+阅读 · 2017年11月24日
Arxiv
1+阅读 · 2021年5月29日
A Survey on Deep Learning for Named Entity Recognition
Arxiv
25+阅读 · 2020年3月13日
Arxiv
3+阅读 · 2019年6月5日
Arxiv
7+阅读 · 2018年12月26日
Arxiv
3+阅读 · 2016年2月24日
VIP会员
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
计算机 | CCF推荐期刊专刊信息5条
Call4Papers
3+阅读 · 2019年4月10日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
推荐|深度强化学习聊天机器人(附论文)!
全球人工智能
4+阅读 · 2018年1月30日
【推荐】直接未来预测:增强学习监督学习
机器学习研究会
6+阅读 · 2017年11月24日
相关论文
Top
微信扫码咨询专知VIP会员