在线计费系统综合性能评估体系研究

doi:10.3969／j.issn.1000-0801.2013.01.020

摘要/Abstract

摘要：

在线计费系统（OCS）是一个业务复杂、应用场景多、对性能具有高要求的系统，传统的性能指标单项评估模式无法体现OCS综合性能的优势和瓶颈。为此，本文设计出一套OCS综合性能评估方案，针对各种测试场景，提出不同的性能指标评估算法，形成了一套完整的综合性能指标评估体系。该评估体系能够有效地指导在线计费系统的性能评估和选型对比，同时，能够初步定位OCS 的性能瓶颈，为性能调优提供一定的参考价值。

关键词: 在线计费系统, 综合性能, 业务场景, 性能评估因子, 选型评估

Abstract:

Online charging system is a complex system with multi-application scenarios, which has high demands on performance. The traditional performance evaluation mode with individual indexes can not reflect the advantages and bottlenecks of the overall performance of OCS. A set of performance evaluation method for different test scenarios of OCS was proposed, which provided an effective algorithm to evaluate the performance indicators of different test scenarios. With this method, testers are able to get the overall performance of OCS and locate the bottlenecks of OCS preliminarily.

Key words: OCS, complex performance, business scenario, performance index, assessment of project bidding

张金娟,陈娜,胡虹,，徐歆壹. 在线计费系统综合性能评估体系研究[J]. 电信科学, 2013, 29(1): 123-129.

Jinjuan Zhang,Na Chen,Hong Hu,Xinyi Xu. Performance Evaluation Method of Online Charging System[J]. Telecommunications Science, 2013, 29(1): 123-129.

图/表 9

表1

图1

表2

表3

表4

极限运行测试结果及评估得分"

性能评估因子	A供应商OCS	A得分	B供应商OCS	B得分
最大并发处理能力 $\frac{\bar{C A P S}}{C A P S_{O C S}}$	$\bar{C A P S} = 1159$	1.08	$\bar{C A P S} = 1081$	1.01
响应时间波动性 $1 - \frac{T_{s t d}}{T_{a v g}}$	T_std=4.8 msT_avg=242 ms	0.98	T_std=5.9 msT_avg=233 ms	0.97
主机CPU使用率 $\frac{R_{a v g}}{R_{r}}$	71%	0.89	77%	0.95
消息处理错误 $1 - \frac{E}{E_{r}}$	E=0	1	E=0.002‰	0.8
平均分		0.987		0.933

表4

表5

过载运行测试结果及评估得分"

性能评估因子	A供应商OCS	A得分	B供应商OCS	B得分
响应时间波动性 $1 - \frac{T_{s t d}}{T_{a v g}}$	T_std=5.4 ms	0.98	T_std=7.6 ms	0.97
	T_avg=251 ms		T_avg=243 ms
消息处理错误率 $1 - \frac{E}{E_{r}}$	E=0.001‰	1	E=0.004‰	0.6
平均分		0.94		0.79

表5

表6

疲劳运行测试结果及评估得分"

性能评估因子	A供应商OCS	A得分	B供应商OCS	B得分
并发处理能力衰减V₁	$\sum_{i + 1}^{t} P_{i} = - 1$	0	$\sum_{i + 1}^{t} P_{i} = - 6$	1
并发处理能力峰谷差 $V_{2} = 1 - \frac{C A P S_{\max} - C A P S_{\min}}{C A P S_{a v g}}$	CAPS_max=63%CAPS_min=58%	0.92	CAPS_max=64%CAPS_min=61%	0.95
	CAPS_avg=60%		CAPS_avg=62%
响应时间波动性 $1 - \frac{T_{s t d}}{T_{a v g}}$	T_std=3.7 msT_avg=221 ms	0.98	T_std=2.8 msT_avg=214 ms	0.99
消息处理错误率 $1 - \frac{E}{E_{r}}$	E=0	1	E=0	1
平均分		0.73		0.99

表6

表7

水平资源扩展测试结果及评估得分"

性能评估因子	A供应商OCS	A得分	B供应商OCS	B得分

扩展后处理能力提升 $\| \frac{C A P S_{e} - C A P S_{s}}{C A P S_{S}} \|$	CAPS_e=1 684	0.45	CAPS_e=1 803	0.67
	CAPS_s=1 159		CAPS_s=1 081
扩展后CPU资源均衡利用1-\|C₂-C₁\|	C₁=72%		C₁=76%
	C₂=59%	0.87	C₂=73%	0.97
平均分		0.66		0.82

表7

表8

关注的性能表现	指标含义及说明
最大并发处理能力	单位时间内处理的话务数（CAPS）
平均事务响应时间	服务器处理请求并返回应答的时间
资源使用率	体现为各类硬件资源（如CPU、I／O、内存等）的利用率
事务处理错误率	大并发、超负荷或长时间运行过程中对各类请求处理的错误率
运行稳定性	长时间运行过程中各种指标的变化
扩容性能提升率	服务器进行横向或纵向扩容之后性能的提升程度

	业务类型	话务量需求（CAPS）
	话音	379
	点对点短信	250
OCS业务模型	会话类分组数据业务	255
	事件类分组数据业务	188
	总计	1 071

性能指标	预期值
系统容量	100万用户
最大事务处理能力下限CAPS_OCS	1 071
极限压力下的CPU使用率下限R_r	80%
业务处理错误率上限E_r	0.01‰

综合性能分析	A供应商OCS	B供应商OCS
优点	在极限状态下表现佳，能处理较高并发请求，并且响应时间稳定，错误率低；即使超过最大负荷20%，仍能保持稳定的响应速度和业务处理正确率	长时间运行表现佳，并发处理能力稳定且随着系统资源的合理调度，并发处理能力稳中有升；在各种场景下对资源利用均较合理，水平资源扩展能力强，双机运行能将资源充分合理地利用
缺点	长时间运行并发处理能力有一定衰减；水平资源扩展能力一般，对于新增的硬件资源不能均衡利用，双机运行容易出现单点崩溃的现象	在极限及过载运行状态下稳定性较差，响应时间波动较大，同时个别业务的错误率较高，在节假日的繁忙时期可能出现系统响应超时，从而影响业务运营

1	The 3rd Generation Partnership Project， 3GPP TS 32.296-2009.Online Charging System（OCS）: Application and Interfaces， 2009
2	王超．从OCS的发展探讨下一代计费系统的特点．电信科学, 2011(10A)
3	于涌．软件性能测试与Loadrunner实战．北京：人民邮电出版社， 2008
4	浅谈中国电信OCS的引入．资源决策网， 2008
5	陈能技，郭柏雅．性能测试诊断分析与优化．北京：电子工业出版社， 2008