清醒认识数据第一步，把关数据质量

做过数据产品的人都会知道，质量高的数据对于产品的意义。笔者在之前曾经历过数据质量管理的具体功能设计，算是较为完整地感受过数据质量管理过程。所以在此简单复盘下经验，借此抛砖引玉。

战战兢兢地写下标题，得意下“清醒”这个词用得真是独树一帜，跟外面那些妖艳贱货好不一样。我们常常说人要时刻保持清醒，这样才能不被假象所蒙蔽。那数据其实更需要这点，我们需要透过数据挖掘本质，如果数据是不具备完整人格的，缺失完整性、规范性、一致性等维度，那么我们看到的本质也是偏差的。开篇先鬼扯一下，详情请往下滑~

基本概念
数据质量管理是指为了满足信息利用的需要，对信息系统的各个信息采集点进行规范，包括建立模式化的操作规程、原始信息的校验、错误信息的反馈、矫正等一系列的过程。

• 数据质量管理不是一时的数据治理手段，而是循环的管理过程。
• 数据质量管理不仅包含了对数据质量的改善，同时还包含了对组织的改善。

为什么有这么多人强调改善数据质量管理的重要性，用一种很抽象的比喻描述，如果把整个数据应用比作人体的话，那好的数据就相当于新鲜和沸腾的血液，能让我们的身体充满活力，高效地工作思考。而质量差的血液携带废物和毒素，随着毒素越积越多，血液以及血管就会发生病变，血液流经的全身各处器官也会大受影响。如果非要要具体的数据证明，我摘取了一些专家的统计：

• 据专家估计，由于用户拒绝不可靠的数据，导致多达70％的数据仓库项目遭到失败。
• 据专家估计，糟糕的数据通过使收入受损而会耗费商业机构多达10％～20％的操作总预算。而且，IT部门预算的40％50％之多可能都花在了纠正由糟糕的数据所引起的错误上(English，1999)。