电信数据质量管理与稽核研究

doi:10.3969/j.issn.1000-0801.2012.02.001

摘要/Abstract

摘要：

深入研究数据质量管理理论，形成了电信企业数据质量的定义、度量、分析与改进的闭环管理框架，探讨了电信企业开展数据稽核的方案，并构建了数据质量管理与稽核系统，实现了数据质量管理与稽核全过程的自动化处理。

Abstract:

The main aim of this paper is to research data quality management（TDQM）and data audit& monitor in telecom industry.Firstly,this paper introduces the theory of total data quality management and analyzes a TDQM closed-loop management plan that contains data quality definition,measurement,analysis and improvement in telecom enterprise.Then the scheme of data warehouse data audit and monitor for telecom enterprise is discussed.Lastly,based on authorˊs practice,a data quality management and audit&monitor platform architecture is proposed.This paper provides references for telecommunication industry to establish TDQM system.

Key words: telecom operator, data quality, data audit and monitor

叶宇航,贺仁龙,程晓旭. 电信数据质量管理与稽核研究[J]. 电信科学, 2012, 28(2): 1-6.

Yuhang Ye,Renlong He,Xiaoxu Cheng. Research on Data Quality Management and Data Audit＆Monitor in Telecom Industry[J]. Telecommunications Science, 2012, 28(2): 1-6.

图/表 10

图1

表1

表2

表3

表4

表5

表6

图2

图3

表7

数据质量“五性”	内涵解释
准确性	包含了真实性和准确性，真实性是数据符合事实、标准或真实情况，没有误差或偏差；准确性是数据值与设定为准确的值之间的一致程度，或与可接受程度之间的差异，如某指标的准确程度
及时性	数据刷新、修改和提取等操作的及时性和快速性，按规定时限要求完成，如各级数据提供责任部门必须按经营数据管理时限要求完成工作
一致性	同一信息主体在不同的数据集中的信息属性是相同的，如各级报表统计口径一致，出现差异的原因可解释、可追溯
完整性	从数据定义、数据录入、规则约束3方面保障数据的完整，如实体、属性、记录、字段值、主键不缺失
逻辑性	各项数据之间符合业务逻辑关系，如在业务口径一致的基础上，报表的各项数据之间符合相应的逻辑关系，尤其表现在数据之间

数据质量的度量维度	内容与举例
定性标准和定量标准	定性标准是对数据质量检测的定性要求，如可取得性、可比性、可解释性以及优劣性等；定量标准是对数据质量的量化度量，如完整率＞90%、准确率＞85%、及时率＞95%等
业务标准和技术标准	业务标准是根据业务分析需要制定的质量要求，如客户证件准确率需达到100%，有统一的指标口径和统一的模型算法等；技术标准是对数据及处理过程的质量要求，如维度数据参照率需达到100%,ETL数据加载率需达到99%等

数据生命周期	管控要求
数据产生	系统自动采集类接口：源数据产生单位，须按规定的时限和要求提供各个生产源数据和checklog数据；数据采集单位，须加强采集源头和采集结果数据的稽核和验证，确保自动采集数据的及时、准确、完整、一致
	人工采集录入类接口：各系统应用部门必须加强管理和动态维护，保证数据和事实的一致性，尤其是客户数据与客户实际情况的一致性、资源数据与实物的一致性
	数据源变更，应及时通告下游环节，以及时变更，保持同步
数据处理	数据处理应遵循：统一数据模型的统一；数据编码的统一；数据处理规则的统一
数据存储	数据存储遵循“数据与应用分离，数据集中、应用分散”的原则
	对一个用范围较广的重要企业数据，应逐步采用共享物理数据存放方式，以减少数据同步接口，并从根本上保证企业重要数据的唯一性、一致性
	基础数据存储，可依据应用要求的不同，按使用活跃程度（如超过6个月不活跃数据，该数据通常不发生修改，用于查询）实现多级存储，分散存储、访问压力
数据应用	保持数据来源、口径、指标定义的准确性、一致性、逻辑性；未经审批的数据不予以发布（发布即达标的标准），当数据质量异常的情况时，能以友好形式给予提示
数据归档	数据归档是持续提升数据质量的重要环节，通过不断完善数据质量问题，总结数据质量控制过程中的案例和经验，提高企业数据质量

稽核方式	稽核点	稽核指标	公式列举
技术稽核	FTP文件稽核	对文件名称、格式、个数、大小、记录条数等由源系统提供的稽核文件与ETL加载LOG（或其他信息）进行一致性、准确性、完整性稽核，并就加载时间、域值是否有效（如对日期字段，若接口数据文件中存在“20101301”的数据，则为不符合逻辑）等进行及时性、逻辑性稽核	合法率＜某阈值；文件数完整率＜某阈值；记录数完整率＜某阈值
	数据库同步稽核	对以数据库同步模式进行加载的数据，可根据稽核文件（源系统下发）与ETL/系统日志（或统计信息）进行记录数、加载时间戳等的比对，以稽核准确性、一致性；对时间戳、域值是否有效，波动范围（记录条数是否在往月均值波动范围内检查）等进行及时性、逻辑性稽核	文件加载的正确率＜某阈值；记录加载的正确率＜某阈值
业务稽核	业务指标稽核	对主要业务指标的总数（如财务收入、到达数等）进行与原系统的总量稽核，该部分由各省根据实际情况与源系统协商确认是否纳入稽核	记录数分量完整率＜某阈值

稽核方式	稽核点	稽核指标	公式列举
技术稽核	总量稽核	对数据从接口层到整合层环节的数据总量进行稽核验证，确保数据的完整性主要指标包括数据总记录数、总费用金额等	记录层一致性误差率＜某阈值汇总数据一致性误差率＜某阈值
	分量稽核	在接口层到整合层数据总量验证正确的前提下，需要对数据分布的情况进行稽核验证。在这个过程中，需要对每个维度的有效性进行验证，比如主数据编码是否合法；还需要对多个维度的组合分布的稽核指标进行验证，比如验证组合维度的总值、最大值、最小值、均值等度量指标，确保数据分布的正确性，主要指标包括客户总数、用户总数、账户总数、产品总数、套餐总数、总收入、总欠费等	记录级业务规则合法率＜某阈值
业务稽核	指标稽核	主要是在总量及分量稽核的基础上，汇总计算关键指标进行值域的有效性和正确性的验证，包括单指标和组合指标检查。单指标主要用于检查数据波动是否异常，例如当月计费收入指标环比是否正常；组合指标主要用于检查数据逻辑是否正常，例如本月用户到达数=上月用户到达数+本月新增用户数一本月离网用户数	数据库约束合法率＜某阈值