数据质量征途（二）

数据质量评估技术：

1、数据质量调查法

2、数据质量指标量化法

3、全面数据质量管理周期中的数据完整性分析法

第三章 数据质量评估

数据质量调查法：得出不同利益相关者对不同数据质量维度的评估，其结果反映了每个受访者对数据质量的感知。

数据质量指标量化：评价数据质量的客观测量工具。使用质量维度之前，组织需要为每个质量维度设定经由集体商定的指标，然后这些指标将会反复使用。

数据完整性分析：直接判断数据库中的数据是否符合完整性约束，而这些结果将在全面数据质量管理周期中执行。因为在实践中，数据库一般都要求输入的数据符合完整性约束，包括用户定义的完整性约束Mssq数据完整性约束，所以改技术对系统的影响小，一般不需要用户直接参与。

企业可以用上述几种技术的组合策略评估数据质量

1、对比法：基于数据质量调查和量化的数据指标。将数据调查收集的信息和量化指标的结果对比，诊断需要改善的领域。叫诊断对比法（Pipino、Lee、Wang2002）

2、差距对比/基准对比法：采用数据质量调查的汇总结果，和产业、行业标准、最佳企业实践的基准进行对比。这种反复属于广义范畴的目标质量AIMQ方法。它要求首先，你要选一个基准，确定一个“目标榜样”，然后你去做数据质量调查，调查数据的利益相关者（数据采集者、数据管理者、数据消费者）的观点。然后就得到一个对比。

3、方法由Lee(2004)提出，将数据完整性分析嵌入面向过程的TDQM周期，记录不同时间采集的数据完整性分析结果，利用历史记录帮助企业适应环境变化，支持一个持续的数据质量改善项目。

一、对比诊断法（主观与客观评价）：

步骤：

1、实施数据质量调查，使用数据质量指标测量数据质量维度。

2、对比两种评价结果，分析两者差距，确定差距根源。

3、确定实施需要的改善行动

二、主观评价（数据质量调查评价）

IQA问卷（CRG 1997a），受访者包括：数据采集者、数据管理者、数据消费者。

调查问卷的结构：

1、确定被评价的数据源的特点和受访者所扮演的利益相关方的角色

2、评价数据质量的各个指标。

3、收集受访者相关知识的信息，涉及数据质量环境（包括是否熟悉现有的数据质量项目，谁对数据质量负责，使用哪些数据质量工具、技术等）

4、采集数据质量问题的背景信息。

5~7:调查受访者对数据采集、管理和使用方面的了解（是什么、怎么做、为什么）

8：受访者对数据质量指标重要性的评级

三、差距分析技术

基准差距分析：使用该问卷的企业与竞争对手（基准企业，也就是榜样或者、参考模板）比较

角色差距分析：企业中不同的利益相关角色、个体相比较

1、基准差距分析：对接受评估的企业的数据质量维度与基准企业的对应维度进行比较

分析基准差距时，有三项指标要考虑：

1）差距区域的大小

2）差距定位：差距在纵轴的位置

3）差距的大小沿横轴的变化

2、角色差距分析：对来自不同利益相关方的受访者，如数据管理者和数据消费者给出的数据质量评级进行比较

可以判断角色差距是否是基准差距的来源之一，跨越角色的评级和对比有助于识别数据质量问题，并进一步为改善数据质量奠定基础。

分析角色差距时，也有三项指标：

1）差距区域的大小

2）差距定位

3）差距的方向

正差距：数据管理者的评价>数据消费者：数据管理者没有意识到消费者面临的问题。两者分歧很大，需要达成共识。差距小，则分歧小

负差距：则相反

差距中点的定位点越高，意味着数据质量高，适合采取渐进式的改进方法

若定位点低，采取大力提高质量的措施才能有所成效。

四、数据完整性评价

将数据整体性原则嵌入全面数据质量管理周期中（CRG,1997b）

改善数据质量的步骤：

1、定义数据质量对该企业的数据和环境意味着什么？并由此建立数据整体性原则

2、根据整体性原则测量数据质量。

测量可能只涉及简单的指标，比如违反原则的比例。

也可能测量更详细指标：实际数据、指定的数据质量标准之间的差距

3、分析问题的根本原因，进而提出改善数据质量、使数据符合数据整体性原则的计划

具体技术和数据完整性工具在第四章详述

本章小结：

1、本章介绍了从三种利益相关者的角度主观评价数据质量的概念，这是在企业内提高数据质量意识的重要手段。

2、介绍了两种改善数据质量的方法：诊断法（完整性评价）、对比法

3、改善需要通过数据质量评价调查实现。

（编辑：海南站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!