网站数据分析：分析的前提—数据质量2

老司机

前一篇文章介绍了数据质量的一些基本概念，数据质量控制作为数据仓库的基础环节，是保障上层数据应用的基础。数据质量保证主要包括数据概要分析(Data Profiling)、数据审核(Data Auditing)和数据修正(Data Correcting)三个部分，前一篇文章介绍了Data Profiling的相关内容，从Data Profiling的过程中获得了数据的概要统计信息，所以下面就要用这些数据统计信息来审核数据的质量，检查数据中是否存在脏数据，所以这一篇主要介绍数据审核(Data Auditing)的内容。

        　　数据质量的基本要素

        　　首先，如何评估数据的质量，或者说怎么样的数据才是符合要求的数据?可以从4个方面去考虑，这4个方面共同构成了数据质量的4个基本要素。

        　　完整性

        　　数据的记录和信息是否完整，是否存在缺失的情况。

        　　数据的缺失主要有记录的缺失和记录中某个字段信息的缺失，两者都会造成统计结果的不准确，所以完整性是数据质量最基础的保障，而对完整性的评估相对比较容易。

        　　一致性

        　　数据的记录是否符合规范，是否与前后及其他数据集合保持统一。

        　　数据的一致性主要包括数据记录的规范和数据逻辑的一致性。数据记录的规范主要是数据编码和格式的问题，比如网站的用户ID是15位的数字、商品ID是10位数字，商品包括20个类目、IP地址一定是用.分隔的4个0-255的数字组成，及一些定义的数据约束，比如完整性的非空约束、唯一值约束等;数据逻辑性主要是指标统计和计算的一致性，比如PV>=UV，新用户比例在0-1之间等。数据的一致性审核是数据质量审核中比较重要也是比较复杂的一块。

        　　准确性

        　　数据中记录的信息和数据是否准确，是否存在异常或者错误的信息。

        　　导致一致性问题的原因可能是数据记录的规则不一，但不一定存在错误;而准确性关注的是数据记录中存在的错误，比如字符型数据的乱码现象也应该归到准确性的考核范畴，另外就是异常的数值，异常大或者异常小的数值，不符合有效性要求的数值，如访问量Visits一定是整数、年龄一般在1-100之间、转化率一定是介于0到1的值等。对数据准确性的审核有时会遇到困难，因为对于没有明显异常的错误值我们很难发现。

        　　及时性

        　　数据从产生到可以查看的时间间隔，也叫数据的延时时长。

        　　虽然说分析型数据的实时性要求并不是太高，但并不意味了就没有要求，分析师可以接受当天的数据要第二天才能查看，但如果数据要延时两三天才能出来，或者每周的数据分析报告要两周后才能出来，那么分析的结论可能已经失去时效性，分析师的工作只是徒劳;同时，某些实时分析和决策需要用到小时或者分钟级的数据，这些需求对数据的时效性要求极高。所以及时性也是数据质量的组成要素之一。