电信数据质量管理与稽核研究

doi:10.3969/j.issn.1000-0801.2012.02.001

Abstract

Abstract:

The main aim of this paper is to research data quality management（TDQM）and data audit& monitor in telecom industry.Firstly,this paper introduces the theory of total data quality management and analyzes a TDQM closed-loop management plan that contains data quality definition,measurement,analysis and improvement in telecom enterprise.Then the scheme of data warehouse data audit and monitor for telecom enterprise is discussed.Lastly,based on authorˊs practice,a data quality management and audit&monitor platform architecture is proposed.This paper provides references for telecommunication industry to establish TDQM system.

Key words: telecom operator, data quality, data audit and monitor

Yuhang Ye,Renlong He,Xiaoxu Cheng. Research on Data Quality Management and Data Audit＆Monitor in Telecom Industry[J]. Telecommunications Science, 2012, 28(2): 1-6.

数据质量“五性”	内涵解释
准确性	包含了真实性和准确性，真实性是数据符合事实、标准或真实情况，没有误差或偏差；准确性是数据值与设定为准确的值之间的一致程度，或与可接受程度之间的差异，如某指标的准确程度
及时性	数据刷新、修改和提取等操作的及时性和快速性，按规定时限要求完成，如各级数据提供责任部门必须按经营数据管理时限要求完成工作
一致性	同一信息主体在不同的数据集中的信息属性是相同的，如各级报表统计口径一致，出现差异的原因可解释、可追溯
完整性	从数据定义、数据录入、规则约束3方面保障数据的完整，如实体、属性、记录、字段值、主键不缺失
逻辑性	各项数据之间符合业务逻辑关系，如在业务口径一致的基础上，报表的各项数据之间符合相应的逻辑关系，尤其表现在数据之间

数据质量的度量维度	内容与举例
定性标准和定量标准	定性标准是对数据质量检测的定性要求，如可取得性、可比性、可解释性以及优劣性等；定量标准是对数据质量的量化度量，如完整率＞90%、准确率＞85%、及时率＞95%等
业务标准和技术标准	业务标准是根据业务分析需要制定的质量要求，如客户证件准确率需达到100%，有统一的指标口径和统一的模型算法等；技术标准是对数据及处理过程的质量要求，如维度数据参照率需达到100%,ETL数据加载率需达到99%等

数据生命周期	管控要求
数据产生	系统自动采集类接口：源数据产生单位，须按规定的时限和要求提供各个生产源数据和checklog数据；数据采集单位，须加强采集源头和采集结果数据的稽核和验证，确保自动采集数据的及时、准确、完整、一致
	人工采集录入类接口：各系统应用部门必须加强管理和动态维护，保证数据和事实的一致性，尤其是客户数据与客户实际情况的一致性、资源数据与实物的一致性
	数据源变更，应及时通告下游环节，以及时变更，保持同步
数据处理	数据处理应遵循：统一数据模型的统一；数据编码的统一；数据处理规则的统一
数据存储	数据存储遵循“数据与应用分离，数据集中、应用分散”的原则
	对一个用范围较广的重要企业数据，应逐步采用共享物理数据存放方式，以减少数据同步接口，并从根本上保证企业重要数据的唯一性、一致性
	基础数据存储，可依据应用要求的不同，按使用活跃程度（如超过6个月不活跃数据，该数据通常不发生修改，用于查询）实现多级存储，分散存储、访问压力
数据应用	保持数据来源、口径、指标定义的准确性、一致性、逻辑性；未经审批的数据不予以发布（发布即达标的标准），当数据质量异常的情况时，能以友好形式给予提示
数据归档	数据归档是持续提升数据质量的重要环节，通过不断完善数据质量问题，总结数据质量控制过程中的案例和经验，提高企业数据质量

稽核方式	稽核点	稽核指标	公式列举
技术稽核	FTP文件稽核	对文件名称、格式、个数、大小、记录条数等由源系统提供的稽核文件与ETL加载LOG（或其他信息）进行一致性、准确性、完整性稽核，并就加载时间、域值是否有效（如对日期字段，若接口数据文件中存在“20101301”的数据，则为不符合逻辑）等进行及时性、逻辑性稽核	合法率＜某阈值；文件数完整率＜某阈值；记录数完整率＜某阈值
	数据库同步稽核	对以数据库同步模式进行加载的数据，可根据稽核文件（源系统下发）与ETL/系统日志（或统计信息）进行记录数、加载时间戳等的比对，以稽核准确性、一致性；对时间戳、域值是否有效，波动范围（记录条数是否在往月均值波动范围内检查）等进行及时性、逻辑性稽核	文件加载的正确率＜某阈值；记录加载的正确率＜某阈值
业务稽核	业务指标稽核	对主要业务指标的总数（如财务收入、到达数等）进行与原系统的总量稽核，该部分由各省根据实际情况与源系统协商确认是否纳入稽核	记录数分量完整率＜某阈值

稽核方式	稽核点	稽核指标	公式列举
技术稽核	总量稽核	对数据从接口层到整合层环节的数据总量进行稽核验证，确保数据的完整性主要指标包括数据总记录数、总费用金额等	记录层一致性误差率＜某阈值汇总数据一致性误差率＜某阈值
	分量稽核	在接口层到整合层数据总量验证正确的前提下，需要对数据分布的情况进行稽核验证。在这个过程中，需要对每个维度的有效性进行验证，比如主数据编码是否合法；还需要对多个维度的组合分布的稽核指标进行验证，比如验证组合维度的总值、最大值、最小值、均值等度量指标，确保数据分布的正确性，主要指标包括客户总数、用户总数、账户总数、产品总数、套餐总数、总收入、总欠费等	记录级业务规则合法率＜某阈值
业务稽核	指标稽核	主要是在总量及分量稽核的基础上，汇总计算关键指标进行值域的有效性和正确性的验证，包括单指标和组合指标检查。单指标主要用于检查数据波动是否异常，例如当月计费收入指标环比是否正常；组合指标主要用于检查数据逻辑是否正常，例如本月用户到达数=上月用户到达数+本月新增用户数一本月离网用户数	数据库约束合法率＜某阈值

Research on Data Quality Management and Data Audit＆Monitor in Telecom Industry

RichHTML

PDF下载

Knowledge

Abstract

Cite this article

share this article

Figures/Tables 10

References 2

Related Articles 15

Metrics

Recommended 0

一级功能	二级功能	功能描述
稽核点管理	稽核指标配置	稽核指标的增删改，建立指标的各项描述参数，配置指标的取数来源
	稽核规则配置	稽核规则的增删改，建立稽核规则的各项描述参数，配置规则表达式
	稽核点配置	对稽核点进行分类管理，核对稽核点的参数正确性
稽核任务管理	任务定义	将相关稽核点组织为稽核任务
	任务调度	提供服务接口供ETL平台调用，实现稽核任务的自动化调度
	任务运行监控	对稽核任务的运行状态、运行结果提供查询功能，包括查询界面与服务接口
告警管理	告警规则配置	任务告警规则的增、删、改
	告警查询	根据一定条件进行告警信息的查询
	告警处理	对告警信息进行通知和派单等处理
问题管理	问题生成	提供一个统一的数据质量问题管理入口，以实现告警管理模块的自动转发以及技术人员和业务人员手工提交的问题的生成
	问题监控	实现问题的查询和手工派发、总结
	知识管理	对问题的解决方法与知识进行积累
	数据质量报表	按日、月等周期提供数据质量统计报表
数据质量	问题处理报表	提供稽核问题处理报表，以便实现对稽核问题处理情况的考核
评估	评估报告管理	实现数据质量评估报告的创建、维护、查询

1	侯延湘 . 数据质量管理及在数据仓库实现探讨. 吉林大学硕士学位论文， 2007
2	姚宇峰 . 电信收入保障中数据稽核平衡关系式的研究. 电脑知识与技术， 2009,5（20）:5348～5350

[1]	Shanshan LI, Jianhong XU, Tao LI, Yongjian ZHAO, Zhifei LIU. Research on digital twin network capability maturity model of telecom operators [J]. Telecommunications Science, 2023, 39(6): 149-158.
[2]	Haitao ZHANG, Yi JIANG, Shijie ZHU, Qi CHEN. Research and application exploration of threat intelligence system of telecom operators [J]. Telecommunications Science, 2022, 38(12): 121-132.
[3]	Xiaozhong LIU, Junyu FANG, Yongbin JIANG. Analysis of telecom operators’ IoT strategy from the perspective of 2G/3G transition [J]. Telecommunications Science, 2022, 38(10): 153-162.
[4]	Yunyong ZHANG,Gang CHENG,Gang AN,Xuehong YANG,Guixiang ZOU. Application of blockchain in telecom operators [J]. Telecommunications Science, 2020, 36(5): 1-7.
[5]	Congli WANG,Jinhua WANG,Weijia XUE. Application of public key infrastructure in telecom operators [J]. Telecommunications Science, 2020, 36(11): 98-103.
[6]	Kaikai LIU,Xun ZHANG. A comparative analysis of the development modes of the IoT for telecom operators [J]. Telecommunications Science, 2019, 35(9): 144-152.
[7]	Yunyong ZHANG. 5G will fully enable the industrial internet [J]. Telecommunications Science, 2019, 35(1): 1-8.
[8]	Yunyong ZHANG. Suggestions for telecom operators’ big data development [J]. Telecommunications Science, 2018, 34(1): 103-108.
[9]	Mi LIU,Haichuan YANG,Zhenhua LI. Way for operators to build the telecommunication big data ecology [J]. Telecommunications Science, 2018, 34(1): 109-119.
[10]	Chunyu MA,Junlin WANG,Baowang WANG,Bohua GAN. Personalized recommendation helps carrier’s digital marketing [J]. Telecommunications Science, 2018, 34(1): 174-180.
[11]	Mingfeng HUANG,Jun LIU,Jianbo JING. Design and practice of Guiyang open government data platform [J]. Telecommunications Science, 2017, 33(9): 136-147.
[12]	Shengli ZHOU,Bin CHEN,Lifa WU. Data security protection schema of telecom operators under the environment of big data [J]. Telecommunications Science, 2017, 33(5): 119-125.
[13]	Huifang HOU,Jie PAN. Discussion of constructing unified DPI system by operators in the background of big data [J]. Telecommunications Science, 2017, 33(4): 191-197.
[14]	Zhen YANG. Progress of automatic driving technology and future information service architecture evolution of telecom operators [J]. Telecommunications Science, 2016, 32(8): 16-20.
[15]	Yuanning LI,Sen LIU,Shijun ZHANG,Feng CHEN,Zhiying WANG. Practice and application of distributed data quality management system in power enterprise [J]. Telecommunications Science, 2016, 32(4): 169-174.

稽核方式	稽核点	稽核指标	公式列举
业务稽核	经验值稽核	日、周、月、年等维度的环比、同比，周均值对比的波动百分率稽核方法（适合收入波动稽核）等周期性稽核；逻辑平衡性稽核，如在网用户数不应小于出账用户数	指标的同比或环比波动率＜某阈值
	逻辑阈值稽核	绝对阈值稽核方法（适用于套餐数发展对比）	绝对量＜某阈值
	常规影响因素	具备对常规影响因素的组合分析，如周期性影响因素（如固网话务量周末呈现波谷，工作日呈现波峰的规律）、节假日影响因素（如春节期间话务量陡增）、业务变更影响因素（如取消某类套餐受理对新增套餐数影响）、市场竞争影响因素（如学校开学，为争取更多学生用户市场，校园T7用户数增长幅度明显）、配置规则调整因素（如每日出日优惠，改为每月统一出月优惠）	指标值＜某阈值
		保证各整合层（比如EDW与ODS）分类汇总值在汇总层一致，如整合层的总通话时长和汇总层是否一致以及不同汇总层相同指标一致	指标间平衡率＜某阈值
	及时性稽核	检查数据的更新时间	时间值＜某阈值
	完整性稽核	保证各类指定汇总数据按约定展示项目完整展示，即展示指标是否缺漏检查，包括汇总字段项缺失检查、汇总字段值缺失检查	汇总项目数=某约定值