论文部分内容阅读
数据质量管理（Data Quality Management）是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。数据质量管理是循环管理过程，其最终目标是通过可靠的数据提升数据在使用中的价值，为企业赢得经济效益。一个完整的数据质量管理，是人、流程和技术的完美配合，才能达到我们数据质量管理的目标。那数据质量处理的流程是怎样的呢？对于数据质量的处理，我们把它分成两大部分，一是面向数据质量的分析过程，二是针对分析结果进行增强的过程。首先要识别和量化数据质量，然后定义数据质量和目标，接下来就要交给相关部门设计质量提升的流程，其后就是实现质量提升的过程，把原有低质量数据变成高质量数据，并交付给业务人员使用。同时，在整个环境中，还需要有相关的一些监控和对比来评估是否达成了目标，决定是否需要进行新一轮的数据质量提升。这是一个周而复始、螺旋上升的过程，并不是一蹴而就，一次就可以解决全部问题。
影响数据质量的因素主要来源于四方面：信息因素、技术因素、流程因素和管理因素。
信息因素：主要有：元数据描述及理解错误、数据度量的各种性质（如：数据源规格不统一，信息系统编码不规范）得不到保证和变化频度不恰当；计算机处理系统的用户界面不方便用户的录入，或是不符合用户常规的操作习惯，导致用户容易出错或是录入工作量大，对重要的录入信息没有加强效验。
技术因素：主要是指由于具体数据处理的各技术环节的异常造成的数据质量问题。数据质量问题的产生环节主要包括数据创建、数据获取、数据传输、数据装载、数据使用、数据维护等方面的内容。
流程因素：是指由于系统作业流程和人工操作流程设置不当造成的数据质量问题，主要来源于系统数据的创建流程、传递流程、装载流程、使用流程、维护流程等各环节。
管理因素：是指由于人员素质及管理机制方面的原因造成的数据质量问题。由于数据录入人员的输入失误，或是违反操作流程，是造成数据质量不高一个重要原因。这个问题，可以从两个方面来看待：数据录入人员的责任心不强和业务素质不高。基层领导对数据质量的不重视，业务收入是基层的生命线，基层领导不会投入大量的人力和物力来抓数据质量，由于市场竞争的激烈，有时基层领导为了自身经济利益甚至会让录入人员作出一些违规的操作，基层领导对数据的认识与管理与高层领导对数据的需求形成矛盾，这一矛盾是造成数据质量不高的一个核心矛盾。
新一代客户数据整合（CDI）软件和主数据管理（MDM）软件给数据质量的管理带来了很大方便。但是，数据质量的保证仅靠软件显然是不行的。实际上，在整个数据质量的控制过程中，人仍然是关键因素。要想真正长期保证数据的高质量，还必须从以下方面着手。
提高对数据的认识，我们只有认识到数据在管理中的重要作用，才会反过来重视数据质量问题。要让企业的每一个员工都能认识到数据是企业重要的战略资源，企业的一切决策都来源于数据。没有正确的高质量的数据，就没有正确的决策。
信息技术要得到保证，采用先进的开发技术，开发出用户界面比较友好的系统，减少操作员的录入工作量和出现错误的可能性；同时在开发前要充分考虑用户的需求，防止出现业务处理软件不能满足客户要求、操作员采取违规操作的现象。开发数据检测、检查工具，及时的发现数据质量问题，及时纠正。
完善制度管理，在企业上下建立起完善的数据负责制度，并与员工的绩效挂钩，对于那些负责数据的产生、数据的合理化以及对数据进行清理和维护的人，应该给他们的活动制订明确的指标，这样他们才能真正理解人们到底希望他们达到什么目标。有条件的企业可以成立专门的组织和机构负责数据管理工作。把责任落实到人，
建立数据标准，明确数据定义。通常，独立的应用系统会有一个比较模糊的、有时也会有比较清晰的数据标准和数据定义。为了保证系统的正常运行，这些系统的用户必须在数据的标准和数据的定义上达成一致。不过，这些标准和定义大多数时候与企业中其他系统中的数据标准和定义并不一致。因此，需要从整个企业的角度出发，建立统一的数据标准和数据定义，同时，整个企业必须就这个数据标准和数据定义达成共识。在具体建立新的数据标准和数据定义时，需要仔细权衡，哪些定义和标准是出于企业内部的原因（比如出于方便、习惯等）制订的，哪些定义和标准是因为要有效反映外部的真实世界而制订的。
建立一个可重复的数据收集、数据修改和数据维护流程。数据管理面临的两个主要挑战是企业本身的复杂性和身份信息不断变化。这两个客观原因的存在意味着企业的数据质量保证行动永远没有结束之日，因此，企业在制订数据质量的保证措施和数据质量指标时，必须保证这些措施和指标能够不断重复。
在数据转化流程中设立多个性能监控点。数据的质量高低可以根据最终用户的需求来评价，也可以通过与同类数据源的比较来评价，还可以通过与前一阶段的数据质量进行比较来评价。但在制订数据质量的战略时，比较理想的办法还是根据最终用户的需求来进行。不过这里存在一个问题是，等到最终用户拿到数据时再针对数据的问题进行修正已经太迟了。一个有效的数据质量保证办法是在每当数据发生转换后就与前一时期进行比较，从而对数据质量进行评估。如果此前所采用的数据质量改进方法有助于提高最终用户的满意度，那么，这些中间指标的达标也预示着项目的最终成功。
对流程不断进行改善和优化。我们常常听到有人说，他们制订了很多办法来迅速而且大幅度提升数据的质量，但很少听说最后他们能真正得到满意的结果。其原因就在于数据的质量改进绝非一朝一夕的事情，而是一个持续的过程。正确的办法是通过一个不断改进的流程，持续不断地排除错误、对数据进行整合和标准化，最后达到流程的自动化，从而降低数据质量，保证计划的总体开销。
影响数据质量的因素主要来源于四方面：信息因素、技术因素、流程因素和管理因素。
信息因素：主要有：元数据描述及理解错误、数据度量的各种性质（如：数据源规格不统一，信息系统编码不规范）得不到保证和变化频度不恰当；计算机处理系统的用户界面不方便用户的录入，或是不符合用户常规的操作习惯，导致用户容易出错或是录入工作量大，对重要的录入信息没有加强效验。
技术因素：主要是指由于具体数据处理的各技术环节的异常造成的数据质量问题。数据质量问题的产生环节主要包括数据创建、数据获取、数据传输、数据装载、数据使用、数据维护等方面的内容。
流程因素：是指由于系统作业流程和人工操作流程设置不当造成的数据质量问题，主要来源于系统数据的创建流程、传递流程、装载流程、使用流程、维护流程等各环节。
管理因素：是指由于人员素质及管理机制方面的原因造成的数据质量问题。由于数据录入人员的输入失误，或是违反操作流程，是造成数据质量不高一个重要原因。这个问题，可以从两个方面来看待：数据录入人员的责任心不强和业务素质不高。基层领导对数据质量的不重视，业务收入是基层的生命线，基层领导不会投入大量的人力和物力来抓数据质量，由于市场竞争的激烈，有时基层领导为了自身经济利益甚至会让录入人员作出一些违规的操作，基层领导对数据的认识与管理与高层领导对数据的需求形成矛盾，这一矛盾是造成数据质量不高的一个核心矛盾。
新一代客户数据整合（CDI）软件和主数据管理（MDM）软件给数据质量的管理带来了很大方便。但是，数据质量的保证仅靠软件显然是不行的。实际上，在整个数据质量的控制过程中，人仍然是关键因素。要想真正长期保证数据的高质量，还必须从以下方面着手。
提高对数据的认识，我们只有认识到数据在管理中的重要作用，才会反过来重视数据质量问题。要让企业的每一个员工都能认识到数据是企业重要的战略资源，企业的一切决策都来源于数据。没有正确的高质量的数据，就没有正确的决策。
信息技术要得到保证，采用先进的开发技术，开发出用户界面比较友好的系统，减少操作员的录入工作量和出现错误的可能性；同时在开发前要充分考虑用户的需求，防止出现业务处理软件不能满足客户要求、操作员采取违规操作的现象。开发数据检测、检查工具，及时的发现数据质量问题，及时纠正。
完善制度管理，在企业上下建立起完善的数据负责制度，并与员工的绩效挂钩，对于那些负责数据的产生、数据的合理化以及对数据进行清理和维护的人，应该给他们的活动制订明确的指标，这样他们才能真正理解人们到底希望他们达到什么目标。有条件的企业可以成立专门的组织和机构负责数据管理工作。把责任落实到人，
建立数据标准，明确数据定义。通常，独立的应用系统会有一个比较模糊的、有时也会有比较清晰的数据标准和数据定义。为了保证系统的正常运行，这些系统的用户必须在数据的标准和数据的定义上达成一致。不过，这些标准和定义大多数时候与企业中其他系统中的数据标准和定义并不一致。因此，需要从整个企业的角度出发，建立统一的数据标准和数据定义，同时，整个企业必须就这个数据标准和数据定义达成共识。在具体建立新的数据标准和数据定义时，需要仔细权衡，哪些定义和标准是出于企业内部的原因（比如出于方便、习惯等）制订的，哪些定义和标准是因为要有效反映外部的真实世界而制订的。
建立一个可重复的数据收集、数据修改和数据维护流程。数据管理面临的两个主要挑战是企业本身的复杂性和身份信息不断变化。这两个客观原因的存在意味着企业的数据质量保证行动永远没有结束之日，因此，企业在制订数据质量的保证措施和数据质量指标时，必须保证这些措施和指标能够不断重复。
在数据转化流程中设立多个性能监控点。数据的质量高低可以根据最终用户的需求来评价，也可以通过与同类数据源的比较来评价，还可以通过与前一阶段的数据质量进行比较来评价。但在制订数据质量的战略时，比较理想的办法还是根据最终用户的需求来进行。不过这里存在一个问题是，等到最终用户拿到数据时再针对数据的问题进行修正已经太迟了。一个有效的数据质量保证办法是在每当数据发生转换后就与前一时期进行比较，从而对数据质量进行评估。如果此前所采用的数据质量改进方法有助于提高最终用户的满意度，那么，这些中间指标的达标也预示着项目的最终成功。
对流程不断进行改善和优化。我们常常听到有人说，他们制订了很多办法来迅速而且大幅度提升数据的质量，但很少听说最后他们能真正得到满意的结果。其原因就在于数据的质量改进绝非一朝一夕的事情，而是一个持续的过程。正确的办法是通过一个不断改进的流程，持续不断地排除错误、对数据进行整合和标准化，最后达到流程的自动化，从而降低数据质量，保证计划的总体开销。