Ⅰ 数据入库质量控制的方法实现
数据库数据质量是数据库的生命，再好的入库数据质量控制的方法，如果得不能贯彻和执行，也不能保证入库数据的正确性。所以，基于上述入库数据质量控制思想，研发了航空物探数据库数据采集软件（图5-3），强制数据入库工作按规范化的流程执行，保证数据库数据质量。
数据采集软件包括数据导入录入、数据检查、数据编辑、数据归档入库等功能，为了方便数据采集人员工作，把本系统应用软件中的数据查询统计和数据制图功能也集成到该软件中。各部分功能分述如下。
图5-3 数据库数据采集软件结构
一、创建项目树
航空物探勘查项目工作一般分为航空物探生产测量、数据处理和地质解释3个阶段，野外生产测量和数据处理完成之后分别编写航空物探生产报告和数据处理报告，通过评审后须上交测量资料和处理后的数据。此时，地质解释工作正进行。
航空物探科研项目工作一般是分课题（二级项目）、课题分子课题（三级项目）等进行的。级别低的项目总是最先完成，然后评审和上交资料；级别较高的项目较后完成，一级项目最后完成，最后上交资料。
如果把勘查项目的3个阶段当成3个课题（事实上的确如此，只是习惯上不这样叫），勘查项目和科研项目不仅在工作形式上是一致的，资料上交的次序也是相同的（图5-5）。这种按项目完成的先后次序进行项目资料归档方式，在资料人工管理人工服务时代，人们并没有觉得有什么问题。只是，资料管理方式的变革，人们对资料服务提出了更高的要求，希望资料信息化管理不要再忽视不同级别项目间的关系信息。
这种关系与计算机磁盘文件管理的目录间关系是相似的，目录等同于项目，子目录等同于子项目。目录、子目录间的关系似树形结构，称为目录树；项目、子项目间的关系也似树形结构，称之为项目树。有计算机常识的人都知道，按照一定的方式建立目录树，把文件存在相应目录下，不仅文件管理更有条理，用户查找文件的速度也成倍提高。因此，本系统采用项目树方式来管理项目资料。该管理方式符合人们的思维习惯，资料查询更方便。
图5-4 数据库数据采集软件主界面
图5-5 不同级别项目资料归档次序图
在新项目数据导入或录入数据库之前，须先创建项目树。建项目树与在磁盘上创建文件目录相似，按项目（目录）、子项目（子目录）顺序创建，不能倒行逆施。然后，按项目导入或录入数据。图5-6为创建项目树界面。用户在父项目的下拉框中选择新建项目的父项目（一级项目为null），再填写项目的档案号等信息后，按“确定”创建项目树的根项目（一级项目），或项目树的一个节点（子项目），并自动为项目分配一个项目标识号，作为识别项目和项目资料的唯一标志。
图5-6 创建项目树功能界面
二、数据录入和导入
项目数据进入数据库有数据录入和数据导入两种方式。数据录入方式是使用系统的数据录入界面将数据直接录入到数据采集库中。若用户已按入库数据接口标准要求整理好入库数据，可采用导入方式将数据导入到数据采集库中。其实，这两种方式没有本质上的差别。例如，项目概况数据、空间要素类（岩石物性、异常、解释评价）属性数据等都必须是人工录入的，区别是谁来录入?资料整理人员，还是数据采集人员?这不属本系统的研究范畴，系统支持这两种数据入库方式。
因数据库的每张表所包含的信息不同，所以每张表都应有独立的数据录入界面（录入、浏览、编辑数据）。加之用户查询界面、数据统计界面，1张数据库表需要3个用户界面。本系统共有地球物理数据库表31张，按照常规做法需要开发93个用户界面。随着航空物探技术发展，可能在数据库表中增加新的信息，或新增数据库表，都需要通过修改软件代码来满足新的需求。该方法不仅软件研发和测试工作量大，后期软件维护工作量也很大。
为此，本系统研究出根据数据库表的描述信息动态生成用户界面的方法，此方法具有很好的通用性，对数据库的所有表均适用，有效地降低了软件开发工作量，方便了后期软件维护。图5-7是使用该方法动态生成的项目概况数据录入界面，用于项目概况数据的录入和编辑。
图5-7 项目概况数据的录入定制界面
该方法是将数据库表的描述信息存储在资料库中的库表属性清单表中，在运行时系统根据数据库表名称从库表属性清单表和其相关的数据字典表中提取该表对应的字段信息，然后调用界面定制函数，根据界面类型（录入、浏览、修改、简单查询）动态生成相应的界面。
由于数据库表包含的字段数相差较大（多的近30个字段，少的不到10个字段）、同一表的字段类型不同（有字符串、数字、时间、大字段）、字段数据类型长度不一（有的字段长度为200个字符，有的只有1个字符），同时库表的相关字段在界面上相邻摆放较合适，针对这些问题在界面定制时采取以下策略：
1）对库表字段分组，并为每组取一个合适的名字。在定制界面上，同组的字段摆放在同一张卡片中，组名作为卡片名。
2）字段值来源于数据字典表的数字型字段，用组合框显示其值，组合框中内容从数据字典表提取。用文本框显示其他数字型字段、字符串型字段值。
3）根据定制界面上父控件的尺寸、字段名称、字段数据类型长度确定其对应控件的位置和大小，控件的布局遵循一行最多显示两字段的原则。
不同类型界面的定制方法大同小异，因此采用了同界面定制代码，只是在个别地方根据需要相关处理。例如，对于大字段型的字段，如果界面定制类型为“录入”，则其对应文本框后的命令按钮为打开文件。如果界面定制类型为“浏览”，则其对应文本框后的命令按钮为浏览大字段值。
三、入库前系统检查
入库数据进入采集数据前，系统对其进行唯一性检查、缺项检查和数据类型检查，即入库前系统检查。
唯一性检查：航空物探资料库是航空物探数据的最终目的地，但可能会有部分项目数据因没有通过质量检查而滞留在采集库中。在进行新的项目数据采集过程时，为了避免项目数据2次入库，在其进入采集库前需要进行唯一性检查。方法是用入库数据每条记录主键作为查询条件，查找资料库和采集库中相对应的库表是否存在有相同的记录。例如，黄海北部海域航空磁测普查（项目标识号AGS011978000251），在项目概况数据导入采集库时，根据项目概况数据库表的项目标识号（主键）在采集库和资料库的相应表中查找是否有相同的项目标识号存在：若资料库中存在，说明该项目数据已归档；若采集库中存在，该项目数据已被导入采集库中待检，不需再次导入。
缺项检查：入库数据的字段数必须等于相应数据库表的字段数，比数据库表字段数多或少都不能通过缺项检查。
数据类型检查：对入库数据所有字段数据进行类型检查。若是日期型数据，则检查数据格式（YYYY-MM-DD），YYYY、MM、DD是否为数字。若数字型数据，检查整数位和小数位的位数是否超过范围，整数位和小数位是否为数字。字符型数据，则检查字符串长度是否超限。
入库数据通过入库前系统检查后被存入采集库中，否则软件给出错误提示信息（图5-8）。采集人员根据提示信息纠正数据中存在错误，再新导入数据。
图5-8 入库前系统检查的错误提示
四、入库后系统检查
系统对进入采集库中的数据进行非空和可空检查、前后数据检查、相关数据检查、值域范围检查、选择范围检查，即入库后系统检查（图5-9）。
非空检查：入库数据指定字段的值不能为空，如所有数据库表的项目标识不能为空，项目名称、项目参加单位名称、参加人员名称都不能为空。
可空缺项检查：入库数据指定字段的值在有一定条件下可以为空，例如当勘查项目概况表记录方式字段的值为打点记录或纸卷模拟记录时，航磁数据的采样率为空。若为数字收录，航磁数据的采样率不能为空。
前后数据检查：检查入库数据指定字段与其父表中相同字段数据的一致性，如项目参加人员表中的项目标识必须与项目概况信息中的项目标识相同。
图5-9 入库后系统检查
相关数据检查：检查相关表中相关字段数据对入库数据指定字段的约束，如项目概况信息中有项目的起始日期和完成日期两个字段，那么项目人员参加项目工作的起止日期都必须在项目的起始日期和完成日期之间。
值域范围检查：入库数据指定字段的数值必须是在设定的值域范围内，如勘查项目概况中的调机小时设定在0和100 h范围，若超过此范围，调机小时数据有错误。
选择范围检查：入库数据指定字段的数值必须是一个已知数据集合的元素之一，如项目成果评价只能在优秀、良好、通过和不合格4个选项中择其一。
根据选定的库表名提取该库表各个字段的检查规则，逐条记录进行前后数据检查、相关检查、值域范围检查、选择范围检查。发现错误，把错误记录暂存在内存中，继续进行下条记录检查，至所有记录检查完。把错误写入检查日志表（若有相同检查日志记录，则先备份到检查日志备份表后再删除，以便查看数据入库不通过的历史轨迹）；否则，写入一条系统检查通过的日志记录。再进行另一张表的系统检查，所有库表全部检查后，若有错误，系统给出错误提示信息。
五、拓扑检查
航空物探解释数据和评价数据为空间要素类数据，入库时要进行拓扑检查（表5-6，图5-10）。检查各要素类之间相互位置关系的正确性。
以油气远景评价数据集为例说明拓扑检查。检查规则是局部构造异常位置应位于油气远景评价区的某一分布区内，油气远景评价区之间不以有重叠。若发现错误，把检查的错误日志暂存在内存中，继续进行拓扑检查；检查完成后，把错误写入检查日志表。没有发现拓扑错误写入一条通过拓扑检查的日志记录。
表5-7 解释数据和评价数据拓扑检查规则表
图5-10 拓扑检查空间数据源列表界面
六、文件比较检查
通过入库后系统检查和拓扑检查的入库数据，系统将对其进行与原数据文件比较检查，保证数据的一致性。所有的入库数据均须与原数据文件进行比较检查。
根据项目标识号和库表名从采集库中提取相应的数据，若存在数据字典代码，则将其替换文字字符，存放在Oracle临时表中；打开本地路径下原数据文件，逐条记录对比。若有不匹配的记录，显示提示信息，并在日志库中写一条检查日志。
七、人工检查与复核
经过系统检查、空间拓扑检查，以及文件比较检查后，还必须进行人工检查和人工复核检查。人工检查是用原表格数据、空间属性数据、解释评价数据、图件、文字报告（含软件源代码）与采集库中相应的各类数据进行人工比对。若有原始纸质图件，则需从采集库中提取相应的数据使用相同软件相同绘图参数绘图，并加以比较。若人工检查发现错误，写明错误原因（图5-11），保存日志。
图5-11 填写人工检查结果界面
人工复核检查与人工检查过程完成一样，只是人员不同。
八、系统归档检查
在入库数据归档到资料库之前，系统对归档项目数据的完整性进行检查，即归档检查。系统根据归档项目的类别、工作性质、测量方法及归档阶段，定义了项目资料归档对照表，该表记录每类项目各个归档阶段的项目资料清单和资料的归档标识。在资料归档时，系统检查项目资料的归档标识。若为非空，说明该资料必须归档；若为空，说明该资料可归档，从而保证了数据库中的项目资料完整性。
如区域航空磁力勘查项目资料归档分为3个阶段（图5-12），第一阶段是生产测量资料归档，航空磁力勘查项目概况（项目概况、勘查项目概况、航磁概况）信息、测区信息生产报告必须归档。第二阶段是数据处理资料归档，航迹线数据、航磁数据、数据处理报告必须归档。第三阶段是地质解释资料归档，项目概况信息、岩石磁性数据、图件数据、文字数据、断裂构造和区域构造单元必须归档。
科研项目资料归档时，根据项目标识号及项目级次，确定该项目是否有子项目，以及子项目资料是否已全部归档。在所有子项目资料全部归档后，使用项目资料归档向导（图5-13）进行该级次的项目资料归档。如果项目属保密项目，系统同时对归档数据进行加密。数据成功归档后，系统删除采集库中已归档数据，并把各种检查日志存放到备份日志表中，以备检查。
图5-12 勘查项目资料归档示意图
图5-13 项目资料归档向导
Ⅱ 数据化管理和数据化质量管理有什么区别
摘要 您好，亲您所问的（数据化管理和数据化质量管理有什么区别）为您提供答案如下：两者是完全不同的。
Ⅲ SQL SERVER数据库课程设计实例(产品质量管理系统)C语言编写的
一般来讲，如果你想在网页里面直接写存储过程，应该是不可以。存储过程需要在SQL Server中先编译才能执行。扩展存储过程例外。
======================================================================
存储过程分为：系统存储过程、扩展存储过程和用户定义的存储过程
扩展存储过程，是以C语言等编写的外部程序，以动态链接库（Dll）形式存储在服务器上，SQL Server可以动态装载并执行它们。编写好扩展存储过程后，固定服务器角色（sysadamin)成员即可在Sql Server服务器上注册该扩展存储过程，并将它们的执行权限授权其他用户。扩展存储过程只能添加到Master数据库。
Ⅳ 数据库质量
以中国地质调查局编制的《全国地下水资源及其环境问题调查评价技术要求》和《地下水资源空间数据库工作指南》为技术依据，以MAPGIS和中国地质科学院水文地质环境地质研究所开发的“水文地质环境地质调查信息系统（HEGINFO）”等软件为平台，建设地下水资源及其环境问题调查评价数据库。
成果数据库按照数据库要求格式提交，图形数据按MAPGIS数据格式提交。主要成果有:山西六大盆地地下水资源及其环境问题调查评价属性数据库，山西六大盆地地下水资源及其环境问题调查评价数字成果图件，综合成果数据图层，各个盆地的野外调查照片等。
为确保数据库录入数据准确无误，全部资料和数据都通过自检、互检和抽检。检查率按照山西省地质调查院ISO9000系列质量管理体系文件规定完成。数据库录入人员对所录入的属性数据表进行了100％的自检，对录入的数据进行逐条检查，保证录入数据的正确性。在自检的基础上，作业人员之间进行60％以上的互检，项目组对所有属性数据表进行30％的抽检，项目负责进行10％的抽检，对建库的每个阶段属性成果进行严格把关。通过多级检查，发现存在的问题并予以及时纠正。
对所有录入资料，经检查认为:气象、水文资料齐全。水文地质、环境地质测绘填写的水文地质、环境地质调查表格质量符合技术规范要求，内容完整。动态监测点资料，观测项目填写齐全，观测频率和精度符合有关要求，观测数据准确可靠，质量完全符合规定要求。样品采集及测试，全分析样、土样和同位素样，分析项目较全，测试数据准确可靠，质量符合规范及设计要求。充分收集本区已有钻孔资料，钻孔录入数量符合设计要求。
Ⅳ 数据库的质量控制
一、质量保证控制体系
在数据库建设过程中，各工作单位和计划项目综合组均制定了相应的质量保证体系和措施，从资料的来源、整理录入、检查汇总层层严格控制。质量保证控制体系内容包括：质量保证组织体系和质量保证制度体系，组织体系和制度体系又由承担单位和计划单位综合项目组两套体系组成。承担单位按照本单位全面质量管理制度和办法建立了以全面质量管理办公室、项目组和工作组为核心的质量保证组织体系以及完整的质量管理制度体系。以计划单位为核心的综合项目组的质量保证组织体系是由计划项目负责人、工作项目负责人和工作组构成。建立了三级质量检查监控体系：一是数据库工作人员的自检和互检；二是承担单位项目组组织的质量抽检；三是计划项目综合组组织的阶段性质量抽检和验收。在各级检查过程中，对发现的问题都做了详细的记录，并进行了认真修改，保证了录入资料的准确性。
二、质量保证措施
（一）属性数据的质量保证措施
属性数据就是要真实地反映原始资料，质量保证措施最主要的就是质量检查、核对，形成录入→检查→修改→补充→汇总五个步骤的工作流程。每一项内容录入完成以后，录入人员必须将录入数据与原始数据进行校对，自检率为100%，发现问题及时解决之后，再开始下一项数据的录入。工作每告一段落，要进行互检，互检率也是100%；同时承担单位项目组进行质量抽检，抽检率为30%～50%；计划项目综合组的阶段性质量抽检和验收，抽检率为20%～30%。数据库工作人员平时工作有记录，每次检查有记载，发现的问题修改情况也有记录，做到出问题有据可查，责任有人承担，确保数据录入的准确和可靠。同时，还制定了安全防范措施，即防计算机病毒破坏、防数据库数据误删除、防蓄意破坏。
（二）图形数据的质量保证措施
1.地理底图质量保证措施
本次使用的数字地理底图是国家测绘局1∶25万地理要素图，利用Map GIS的裁剪功能以松嫩平原界线为范围边界裁剪而成，图层要素有外图廓、经纬网、境界线、水系、公路、铁路、等高线、高程点等，并依据2005年11月中国地质调查局颁发的《1∶25万地理底图编辑要求》和水环所提供的图库进行了修编。原地理底图自带图库与水环所提供的图库有很大差别，都按图层及图元参数一一替换图案号及更改参数，保证了更换图库前后地理底图所示内容的一致性。
2.成果图件数字化质量保证措施
成果图件均由编图人员在喷绘的地理底图上绘制，然后采用300 dpi以上的分辨率进行扫描，提高了栅格文件的清晰度，减小了误差；制图人员利用Map GIS将图像配准到已矢量、修编好的地理底图上，所有经纬网交叉点都作为控制点采集对象，保证了图像配准的精度；矢量过程中窗口放大到40倍，鼠标跟踪输入；各类成果图件中松嫩平原边界在空间上严格重合，在面元建立拓扑时，不能作结点平差，分区线元与边界相交处分区线元用延长靠近母线、母线加点功能，在此基础上建立拓扑关系形成面元，保证了公共边界线元空间拓扑的一致性；对不同成果图件有相同要素的，要将其单独提取图层，根据图件要求予以增加，保证了不同图件中相同内容的一致性。通过上述工作方法，使图件数字化质量得到有效的控制。
矢量化后，喷出彩图检查图元信息，图元信息检查是保证图形数据质量的关键，这项检查工作以自检为主，检查都在两遍以上。图形属性数据通过MAPGIS属性管理系统输入完成，其属性字段按照《地下水资源调查评价数据库标准》要求填写。
3.提高数据库工作人员的质量意识
人是保证质量的主动因素，提高数据库工作人员的质量意识是保证数据库质量的重要措施，因此在数据库建设过程中，无论是承担单位，还是综合项目综合组都开展了提高质量意识的重要性教育，使每一个工作人员在思想上重视数据库质量，在行动上保证数据库质量。
Ⅵ 空间数据库质量
一、数据库质量控制
数据库建设工作进程及质量管理按照新疆地调院ISO9001—2000质量体系的规定运行的，严格按中国地质调查局全国地下水资源及其环境问题调查评价技术要求系列一、地下水资源调查数据录入系统的要求进行资料整理及数据录入。
为保证建库数据的质量，项目组制定了一套完善的项目监理制度。建立由项目综合研究组-项目负责人-项目组长“三级”负责制和与之对应的“三级”质量检查制度。明确参加项目人员的工作职责，确保参加人员的基本专业素质，加强业务培训工作。数据录入过程中建立工作日志制度，分阶段进行数据检查。以上检查均进行自检、互检、质检组检查，检查结果记录下来，并进行修改，技术负责签名认可。地调院信息中心派专家进行了全过程质量跟踪监控，并组织了两次全面检查。最终由项目牵头单位对空间数据库建设完成的建库数据进行检查、验收、汇总，完成空间数据库的数据集成。
二、数据库综合质量分析
准噶尔盆地数据库具体内容包括以原始资料为主体的属性数据库和图形数据库。属性数据库包括资料准备、数据采集、数据录入及各类数据质量检查工作。图形数据库主要为综合成果图完成的单图层数据库。最终由水文地质环境地信息应用系统将属性数据与图形数据集成。
（一）属性数据库质量分析
1.属性卡片质量
属性卡片包括本次工作实测资料及收集资料。首先对各类资料进行分类整理，并建立数据卡片。在工作中严格执行自检互检制度，并分别于2003年11月26日、2004年11月27～28日、2005年10月18日每年度野外工作结束由新疆地质调查院组织新疆地矿局第一水文队、第二水文队有关工作人员及专家于2004年11月27～28日对野外工作及收集资料进行检查验收，均评为优秀。野外工作全部结束，由中国地质科学院水文地质环境地质研究所及西安地调中心组织有关专家，于2005年10月25～28日对该项目进行了最终野外验收，专家评分90分，评定为优秀级。项目组成员在每次野外验收结束后均为对资料中存在的问题和不足之处进行了认真修改完善。
2.属性数据库数据质量
属性数据录入工作按中国地质调查局水文地质环境地质调查中心研究开发的《水文地质环境地质调查数据录入系统》及其使用手册的要求对各类资料进行数据录入。为保证录入数据的质量，项目组建立工作日志，并开展自互检及抽检工作，对存在的问题及时修改。最终由新疆地调院组织专家对建库数据进行最终检查验收，项目组对地调院专家组检查提出的问题，进行了认真的检查修改。在数据库建设初步完成阶段，由中国地质调查局水环部委托中国地质科学院水文地质环境地质研究所于2006年3月10～13日在石家庄对数据库成果进行了检查，检查结束后，项目组于2006年3月17～4月30日对存在的问题进行了认真修改，对未完成的工作量进行补充。补充完成的数据有：野外照片数据表50张、野外调查路线表27张、农村灌溉用水及生活用水典型井核查表各15张，水源地综合调查表50张、水源地开采量统计表50张、土地荒漠化野外调查表21张、土地盐渍化野外调查表20张、物探测深成果汇总表689张、分区地下水开采量统计汇总表24张、古地磁测试综合成果表517张，地质项目资料整理汇总表34张；并对补充资料进行了自互检工作，对已录入完成的钻孔资料进行了补充。对所有扫描完成的插图以JPG格式进行了导入，并对最终修改完善的数据进行了汇总。
（二）图形数据库质量分析
图形数据按照全国地下水资源及其环境问题调查评价技术要（二）、（三）进行编制，并由新疆地质调查院组织专家对完成的各类图件进行检查验收，验收通过后的图件按《地下水资源调查评价数据库标准》进行图纸扫描—分层矢量化—对照原图校对（修改、补充）—误差校正，采集校正控制点不低于13个点（由扫描图纸变形带来的误差、设备误差、采集误差）—投影转换—节点平差（设定容差）—线拓扑错误检查—线转弧段—拓扑重建—区拓扑错误检查。
图形属性数据（内部属性）的录入是通过MAPGIS属性库管理系统输入完成，完全遵照《地下水资源调查评价数据库标准》的要求，按照不同图层所反映的专业内容涉及的属性字段进行逐项填写，此项工作由专题组统一组织项目组人员进行汇总完成。
Ⅶ 求指点个数据质量管理软件有哪些
个人觉得亿信华辰的数据质量管理不错。系统功能强大，支持数十种质量评价算法技术并且易扩展，满足业务系统运行、数据中心建设、数据治理过程中各类规则的定义，并可实现跨数据源的对比分析，还能定义自动质量检查，发现重大问题可以自动邮件、短信方式及时告警，也能一键操作生成全方位的质检报告。性能也不错，符合JDBC2.0规范的数据库都能兼容，百万级数据20条规则的质量检查只需2分多钟就能完成。系统功能操作界面都是图形化的操作界面，简单易上手，对使用者的门槛较低，有兴趣可以去亿信华辰具体了解一下。
Ⅷ 质量管控的实际管理办法
现今流行的质量管控的实际管理办法主要有三种，分别为：
1、全面质量管理：
组织以质量为中心，以全员参与为基础，目的在于通过让顾客满意和本组织所有成员及社会受益而达到长期成功的管理途径。
2、六西格玛：
六西格玛管理法是一种统计评估法,核心是追求零缺陷生产,防范产品责任风险,降低成本,提高生产率和市场占有率,提高顾客满意度和忠诚度。
3、QC七大手法：
①检查表，又称调查表；以简单的数据，用容易理解的方式，制成图形或表格，必要时记上检查记号，并加以统计整理，作为进一步分析或核对检查之用。
②排列图法，又称主次因素分析法，是找出影响产品质量主要因素的一种简单而有效的图表方法。
③散布图， 是用非数学的方式来辨认某现象的测量值与可能原因因素之间的关系。
④数据分层法，是指性质相同的，在同一条件下收集的数据归纳在一起，以便进行比较分析。
⑤休哈特控制图，是一种有控制界限的图，用来区分引起质量波动的原因是偶然的还是系统的，可以提供系统原因存在的信息，从而判断生产过程是否处于受控状态。
⑥鱼骨图又名特性因素图，是一种发现问题“根本原因”的方法。。
⑦直方图，通过观察图的形状，判断生产过程是否稳定，预测生产过程的质量。
Ⅸ 如何监控数据仓库中数据质量问题的
1、通过第三方工具实现ETL过程中的元数据管理，具体包括元数据血缘分析，
2、通过写程序解析以前ETL过程中的数据流信息，实现错误定位。
3、实现逐行或者加条件的ETL过程调试，以及设断点定位数据质量信息
4、规范日志记录行为，规定日志格式，甚至可以解析日志，保存在关系型数据库当中，供后续查询（这样记录日志的开销应该比较大）