基于真实业务数据的软件质量自动校验方法

doi:10.11959/j.issn.1000-0801.2024071

电信科学 ›› 2024, Vol. 40 ›› Issue (3): 174-186.doi: 10.11959/j.issn.1000-0801.2024071

• 工程与应用 • 上一篇

基于真实业务数据的软件质量自动校验方法

田标¹, 崔伟¹, 黄慧¹, 冯小龙²

¹ 天翼数字生活科技有限公司，广东广州 510630
² 中国矿业大学信息与控制工程学院，江苏徐州 221116

修回日期:2024-03-05 出版日期:2024-03-01 发布日期:2024-03-01
作者简介:田标（1978- ），男，现就职于天翼数字生活科技有限公司，主要研究方向为互联网业务及其运维、质量等工具的架构设计和开发
崔伟（1972- ），男，天翼数字生活科技有限公司安全运行维护部总经理，主要研究方向为互联网业务运营维护、网络信息安全和软件质量管理
黄慧（1971- ），女，天翼数字生活科技有限公司数字化质量管理中心总经理，主要研究方向为互联网业务运营维护和软件质量管理
冯小龙（1977- ），男，博士，中国矿业大学信息与控制工程学院副教授，主要研究方向为工业信息化、自然语言处理

An automatic verification method for software quality with real business data

Biao TIAN¹, Wei CUI¹, Hui HUANG¹, Xiaolong FENG²

¹ E-Surfing Digital Life Technology Co., Ltd., Guangzhou 510630, China
² School of Information and Control Engineering, China University of Mining and Technology, Xuzhou 221116, China

Revised:2024-03-05 Online:2024-03-01 Published:2024-03-01

摘要/Abstract

摘要：

软件性能校验结果有助于检验业务集群能否满足访问规模需求，但当前工具存在需要估算参数值、手工输入数据较多、性能偏低、应用复杂等不足。深入分析了JMeter并发机制设计的不足，提出了一种具有一般性的量化访问速度控制机制及基于协程的并发设计方案，给出了相应的测试即服务（TaaS）的架构设计和分布式自动性能测试方案，具有更高的并发性能，能使用真实业务数据并自动调整访问速度或调度更多服务器执行，自动汇总分析全量响应，有助于提高软件质量校验的效果及结果的直观性。

关键词: 性能测试, 量化速度控制, 自动校验

Abstract:

Performance tests help to verify whether a business cluster can meet its access scale requirements, but current tools have problems such as evaluating proper parameters and requiring manual inputs, low performance, and difficulty in automation.A comprehensive quantitative request rate control mechanism and concurrent design approach based on coroutines were proposed, in contrast to JMeter’s reliance on threads and locks.Furthermore, an architecture design for its corresponding TaaS service and a process automation scheme were introduced.This scheme automatically perceives responses, adjusts access rates accordingly, and schedules additional server executions using real business data, significantly enhancing operational efficiency and result intuitiveness.

Key words: performance test, quantitative rate control, automatic verification

中图分类号:

TP319

田标, 崔伟, 黄慧, 冯小龙. 基于真实业务数据的软件质量自动校验方法[J]. 电信科学, 2024, 40(3): 174-186.

Biao TIAN, Wei CUI, Hui HUANG, Xiaolong FENG. An automatic verification method for software quality with real business data[J]. Telecommunications Science, 2024, 40(3): 174-186.

图/表 9

图1

图2

图3

图4

图5

图6

表1

表2

图7

参考文献 20

[1]	AYALA-RIVERA V , KACZMARSKI M , MURPHY J ,et al. One size does not fit all:In-test workload adaptation for performance testing of enterprise applications[C]// Proceedings of the Proceedings of the 2018 ACM/SPEC International Conference on Performance Engineering. New York:ACM, 2018: 211-222.
[2]	高文辉 . 基于流量回放的测试平台在线上服务压力测试上的应用[J]. IT经理世界, 2020,1(23): 62-63.
	GAO W H . Application of a testing platform based on traffic replay in online service stress testing[J]. IT Manager World, 2020,1(23): 62-63.
[3]	唐承玲, 王虎, 李光平 ,等. 基于JMeter的Web性能测试研究[J]. 电脑与电信, 2021(6): 65-68,86.
	TANG C L , WANG H , LI G P ,et al. Study on the web performance test based on JMeter[J]. Computer ＆ Telecommunication, 2021(6): 65-68,86.
[4]	陈阿妹, 陈佳丽, 陈斌仙 . 基于JMeter的Web性能测试的研究[J]. 九江学院学报(自然科学版), 2016,31(1): 70-76.
	CHEN A M , CHEN J L , CHEN B X . Research on web performance testing based on JMeter[J]. Journal of Jiujiang University (Natural Science Edition), 2016,31(1): 70-76.
[5]	韦亚军, 张文文 . 一种标准化的软件性能测试流程设计与研究[J]. 计算机测量与控制, 2022,30(8): 31-37.
	WEI Y J , ZHANG W W . Design and research of a standardized software performance testing flow[J]. Computer Measurement＆ Control, 2022,30(8): 31-37.
[6]	李培殿 . 基于Netty框架的性能测试系统的设计与实现[D]. 北京:北京邮电大学, 2019.
	LI P D . Design and implementation of performance testing system based on netty framework[D]. Beijing:Beijing University of Posts and Telecommunications, 2019.
[7]	ABBAS R , SULTAN Z , BHATTI S N . Comparative analysis of automated load testing tools:Apache JMeter,Microsoft Visual Studio (TFS),LoadRunner,Siege[C]// Proceedings of the 2017 International Conference on Communication Technologies (ComTech). Piscataway:IEEE Press, 2017: 39-44.
[8]	MOLYNEAUX I . The art of application performance testinghelp for programmers and quality assurance[M]. Nanjing: Southeast University Press, 2009.
[9]	HUERTA-GUEVARA O , AYALA-RIVERA V , MURPHY L ,et al. DYNAMOJM:A JMeter tool for performance testing using dynamic workload adaptation[M]. Cham: Springer International Publishing, 2019: 234-241.
[10]	JMeter socure[EB]. 2024.
[11]	郑龙 . 多线程锁同步运行时特征分析与调优机制研究[D]. 武汉:华中科技大学, 2016.
	ZHENG L . The characteristic analysis and runtime optimization of lock synchronizations in the multithreaded programs[D]. Wuhan:Huazhong University of Science and Technology, 2016.
[12]	刘书健 . 基于协程的高并发的分析与研究[D]. 昆明:昆明理工大学, 2016.
	LIU S J . Analysis and research on high concurrency based on ctrip[D]. Kunming:Kunming University of Science and Technology, 2016.
[13]	丁燎原 . 基于协程的Web服务器原型的设计与实现[D]. 大连:大连理工大学, 2018.
	DING L Y . Design and implementation of Web server prototype based on coroutine[D]. Dalian:Dalian University of Technology, 2018.
[14]	折波, 王强, 董凡 ,等. IP网络流量资源共享系统设计与实现[J]. 深圳大学学报(理工版), 2020,37(S1): 118-127.
	ZHE B , WANG Q , DONG F ,et al. Design and implementation of IP network traffic resource sharing system[J]. Journal of Shenzhen University (Science and Engineering), 2020,37(S1): 118-127.
[15]	阿里巴巴集团控股有限公司. 一种测试用的压力生成方法及装置:CN102955721A[P]. 2013-03-06.
	Alibaba Group Holdings Limited. A pressure generation method and device for testing:CN102955721A[P]. 2013-03-06.
[16]	HOARE C A R . Communicating sequential processes[J]. Communications of the ACM, 1978,21(8): 666-677.
[17]	王明松, 于营, 秦永佩 . 基于协程(goroutine)的并发编程模型及应用[J]. 电子质量, 2022(6): 95-98.
	WANG M S , YU Y , QIN Y P . Concurrency programming model and application based on goroutine[J]. Electronics Quality, 2022(6): 95-98.
[18]	李文塔 . Go语言核心编程[M]. 北京: 电子工业出版社, 2018.
	LI W T . Go language core programming[M]. Beijing: Publishing House of Electronics Industry, 2018.
[19]	天翼数字生活科技有限公司. 服务器的元数据修复方法、装置、系统和计算机设备:CN110262926B[P]. 2021-10-08.
	E-Surfing Digital Life Technology Co.,Ltd. Method,device,system,and computer equipment for repairing server metadata:CN110262926B[P]. 2021-10-08.
[20]	天翼数字生活科技有限公司. 数据分析方法、系统、装置、计算机设备和存储介质:ZL20191 1147117.1[P]. 2019-1(2023-09).
	E-Surfing Digital Life Technology Co.,Ltd. Data analysis methods,systems,devices,computer equipment,and storage media:ZL20191 1147117.1[P]. 2019-1(2023-09).

服务器规格	方案类型	线程/协程数	性能/ms			吞吐量（请求数/s）	吞吐量增加
服务器规格	方案类型	线程/协程数	平均	TP99	最大	吞吐量（请求数/s）	吞吐量增加
8c32	JMeter	100	2.12	12	204	45 936.14	14.03%
	此方案	1 050	16.298	40.924	118.799	52 383.22
4c16	JMeter	160	3.71	1	548	41 559.36	8.33%
	此方案	970	16.308	40.707	233.127	45 021.72
4c8	JMeter	350	9.8	23	1344	31 433.64	28.02%
	此方案	1 000	18.559	46.233	266.144	40 242.17
2c4	JMeter	100	6.48	16	993	15 014.11	22.16%
	此方案	550	25.083	57.607	561.862	18 341.45
1c2	JMeter	50	6.93	20	244	7 164.14	25.83%
	此方案	30	3.273	15.387	146.531	9 014.4
注：服务器规格8c32指8核CPU、32 GB内存，其余类推；JMeter是线程，此方案是协程。

方案类型	最大CPU占用	最大最近1 min系统负载	内存消耗/MB	每秒上下文切换最大次数/次
JMeter	71.43%	59	580～2 150.4	65 000
此方案	61.1%	7	540～720	18 000

基于真实业务数据的软件质量自动校验方法

An automatic verification method for software quality with real business data

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 20

相关文章 5

Metrics

推荐阅读 0

[1]	刘晓龙,魏贵明,张翔,任宇鑫,江甲沫. 5G大规模天线基站的性能评估与测试[J]. 电信科学, 2020, 36(6): 154-165.
[2]	丁伟,蒙家晓,戴涛,陈华军. 面向继电保护装置的嵌入式软件安全性检测技术[J]. 电信科学, 2018, 34(4): 182-187.
[3]	郭亮,王素彬,赵隽琪,陈骅. 路由器性能测试中蛇形测试的局限性探讨[J]. 电信科学, 2013, 29(11): 173-176.
[4]	兰雨晴,宋潇豫,马立克,徐舫. 系统虚拟化技术性能评测[J]. 电信科学, 2010, 26(8A): 19-24.
[5]	姚科文,阙喜戎,金跃辉. 面向电信运营企业的防火墙测试方法[J]. 电信科学, 2004, 20(8): 63-65.