⑴ 数据挖掘中的数据预处理技术有哪些，它们分别适用于哪些场合
一、数据挖掘工具分类数据挖掘工具根据其适用的范围分为两类：专用挖掘工具和通用挖掘工具。专用数据挖掘工具是针对某个特定领域的问题提供解决方案，在涉及算法的时候充分考虑了数据、需求的特殊性，并作了优化。对任何领域，都可以开发特定的数据挖掘工具。例如，IBM公司的AdvancedScout系统针对NBA的数据，帮助教练优化战术组合。特定领域的数据挖掘工具针对性比较强，只能用于一种应用；也正因为针对性强，往往采用特殊的算法，可以处理特殊的数据，实现特殊的目的，发现的知识可靠度也比较高。通用数据挖掘工具不区分具体数据的含义，采用通用的挖掘算法，处理常见的数据类型。通用的数据挖掘工具不区分具体数据的含义，采用通用的挖掘算法，处理常见的数据类型。例如，IBM公司Almaden研究中心开发的QUEST系统，SGI公司开发的MineSet系统，加拿大SimonFraser大学开发的DBMiner系统。通用的数据挖掘工具可以做多种模式的挖掘，挖掘什么、用什么来挖掘都由用户根据自己的应用来选择。二、数据挖掘工具选择需要考虑的问题数据挖掘是一个过程，只有将数据挖掘工具提供的技术和实施经验与企业的业务逻辑和需求紧密结合，并在实施的过程中不断的磨合，才能取得成功，因此我们在选择数据挖掘工具的时候，要全面考虑多方面的因素，主要包括以下几点：(1)可产生的模式种类的数量：分类，聚类，关联等(2)解决复杂问题的能力(3)操作性能(4)数据存取能力(5)和其他产品的接口三、数据挖掘工具介绍：1.QUESTQUEST是IBM公司Almaden研究中心开发的一个多任务数据挖掘系统，目的是为新一代决策支持系统的应用开发提供高效的数据开采基本构件。系统具有如下特点：提供了专门在大型数据库上进行各种开采的功能：关联规则发现、序列模式发现、时间序列聚类、决策树分类、递增式主动开采等。各种开采算法具有近似线性计算复杂度，可适用于任意大小的数据库。算法具有找全性，即能将所有满足指定类型的模式全部寻找出来。为各种发现功能设计了相应的并行算法。2.MineSetMineSet是由SGI公司和美国Standford大学联合开发的多任务数据挖掘系统。MineSet集成多种数据挖掘算法和可视化工具，帮助用户直观地、实时地发掘、理解大量数据背后的知识。MineSet有如下特点：MineSet以先进的可视化显示方法闻名于世。支持多种关系数据库。可以直接从Oracle、Informix、Sybase的表读取数据，也可以通过SQL命令执行查询。多种数据转换功能。在进行挖掘前，MineSet可以去除不必要的数据项，统计、集合、分组数据，转换数据类型，构造表达式由已有数据项生成新的数据项，对数据采样等。操作简单、支持国际字符、可以直接发布到Web。3.DBMinerDBMiner是加拿大SimonFraser大学开发的一个多任务数据挖掘系统，它的前身是DBLearn。该系统设计的目的是把关系数据库和数据开采集成在一起，以面向属性的多级概念为基础发现各种知识。DBMiner系统具有如下特色：能完成多种知识的发现：泛化规则、特性规则、关联规则、分类规则、演化知识、偏离知识等。综合了多种数据开采技术：面向属性的归纳、统计分析、逐级深化发现多级规则、元规则引导发现等方法。提出了一种交互式的类SQL语言——数据开采查询语言DMQL。能与关系数据库平滑集成。实现了基于客户/服务器体系结构的Unix和PC（Windows/NT）版本的系统。4.IntelligentMiner由美国IBM公司开发的数据挖掘软件IntelligentMiner是一种分别面向数据库和文本信息进行数据挖掘的软件系列,它包括IntelligentMinerforData和IntelligentMinerforText。IntelligentMinerforData可以挖掘包含在数据库、数据仓库和数据中心中的隐含信息,帮助用户利用传统数据库或普通文件中的结构化数据进行数据挖掘。它已经成功应用于市场分析、诈骗行为监测及客户联系管理等；IntelligentMinerforText允许企业从文本信息进行数据挖掘，文本数据源可以是文本文件、Web页面、电子邮件、LotusNotes数据库等等。5.SASEnterpriseMiner这是一种在我国的企业中得到采用的数据挖掘工具，比较典型的包括上海宝钢配矿系统应用和铁路部门在春运客运研究中的应用。SASEnterpriseMiner是一种通用的数据挖掘工具，按照"抽样--探索--转换--建模--评估"的方法进行数据挖掘。可以与SAS数据仓库和OLAP集成，实现从提出数据、抓住数据到得到解答的"端到端"知识发现。6.SPSSClementineSPSSClementine是一个开放式数据挖掘工具，曾两次获得英国政府SMART创新奖，它不但支持整个数据挖掘流程，从数据获取、转化、建模、评估到最终部署的全部过程，还支持数据挖掘的行业标准--CRISP-DM。Clementine的可视化数据挖掘使得"思路"分析成为可能，即将集中精力在要解决的问题本身，而不是局限于完成一些技术性工作（比如编写代码）。提供了多种图形化技术，有助理解数据间的关键性联系，指导用户以最便捷的途径找到问题的最终解决法。7.数据库厂商集成的挖掘工具SQLServer2000包含由Microsoft研究院开发的两种数据挖掘算法：Microsoft决策树和Microsoft聚集。此外，SQLServer2000中的数据挖掘支持由第三方开发的算法。Microsoft决策树算法：该算法基于分类。算法建立一个决策树，用于按照事实数据表中的一些列来预测其他列的值。该算法可以用于判断最倾向于单击特定标题（banner）或从某电子商务网站购买特定商品的个人。Microsoft聚集算法：该算法将记录组合到可以表示类似的、可预测的特征的聚集中。通常这些特征可能是隐含或非直观的。例如，聚集算法可以用于将潜在汽车买主分组，并创建对应于每个汽车购买群体的营销活动。，SQLServer2005在数据挖掘方面提供了更为丰富的模型、工具以及扩展空间。包括：可视化的数据挖掘工具与导航、8种数据挖掘算法集成、DMX、XML/A、第三方算法嵌入支持等等。OracleDataMining(ODM)是Oracle数据库10g企业版的一个选件，它使公司能够从最大的数据库中高效地提取信息并创建集成的商务智能应用程序。数据分析人员能够发现那些隐藏在数据中的模式和内涵。应用程序开发人员能够在整个机构范围内快速自动提取和分发新的商务智能—预测、模式和发现。ODM针对以下数据挖掘问题为Oracle数据库10g提供支持：分类、预测、回归、聚类、关联、属性重要性、特性提取以及序列相似性搜索与分析(BLAST)。所有的建模、评分和元数据管理操作都是通过OracleDataMining客户端以及PL/SQL或基于Java的API来访问的，并且完全在关系数据库内部进行。IBMIntelligentMiner通过其世界领先的独有技术，例如典型数据集自动生成、关联发现、序列规律发现、概念性分类和可视化呈现，它可以自动实现数据选择、数据转换、数据发掘和结果呈现这一整套数据发掘操作。若有必要，对结果数据集还可以重复这一过程，直至得到满意结果为止。现在，IBM的IntelligentMiner已形成系列，它帮助用户从企业数据资产中识别和提炼有价值的信息。它包括分析软件工具----IntelligentMinerforData和IBMIntelligentMinerforText，帮助企业选取以前未知的、有效的、可行的业务知识----如客户购买行为，隐藏的关系和新的趋势，数据来源可以是大型数据库和企业内部或Internet上的文本数据源。然后公司可以应用这些信息进行更好、更准确的决策，获得竞争优势。
⑵ 简要阐述数据预处理原理
数据预处理（data preprocessing）是指在主要的处理以前对数据进行的一些处理。如对大部分地球物理面积性观测数据在进行转换或增强处理之前，首先将不规则分布的测网经过插值转换为规则网的处理，以利于计算机的运算。另外，对于一些剖面测量数据，如地震资料预处理有垂直叠加、重排、加道头、编辑、重新取样、多路编辑等。
中文名
数据预处理
外文名
data preprocessing
定义
主要的处理以前对数据进行处理
方法
数据清理，数据集成，数据变换等
目标
格式标准化，异常数据清除
快速
导航
预处理内容
方法
基本介绍
现实世界中数据大体上都是不完整，不一致的脏数据，无法直接进行数据挖掘，或挖掘结果差强人意。为了提高数据挖掘的质量产生了数据预处理技术。 数据预处理有多种方法：数据清理，数据集成，数据变换，数据归约等。这些数据处理技术在数据挖掘之前使用，大大提高了数据挖掘模式的质量，降低实际挖掘所需要的时间。
数据的预处理是指对所收集数据进行分类或分组前所做的审核、筛选、排序等必要的处理。[1]
预处理内容
数据审核
从不同渠道取得的统计数据，在审核的内容和方法上有所不同。[1]
对于原始数据应主要从完整性和准确性两个方面去审核。完整性审核主要是检查应调查的单位或个体是否有遗漏，所有的调查项目或指标是否填写齐全。准确性审核主要是包括两个方面：一是检查数据资料是否真实地反映了客观实际情况，内容是否符合实际；二是检查数据是否有错误，计算是否正确等。审核数据准确性的方法主要有逻辑检查和计算检查。逻辑检查主要是审核数据是否符合逻辑，内容是否合理，各项目或数字之间有无相互矛盾的现象，此方法主要适合对定性（品质）数据的审核。计算检查是检查调查表中的各项数据在计算结果和计算方法上有无错误，主要用于对定量（数值型）数据的审核。[1]
对于通过其他渠道取得的二手资料，除了对其完整性和准确性进行审核外，还应该着重审核数据的适用性和时效性。二手资料可以来自多种渠道，有些数据可能是为特定目的通过专门调查而获得的，或者是已经按照特定目的需要做了加工处理。对于使用者来说，首先应该弄清楚数据的来源、数据的口径以及有关的背景资料，以便确定这些资料是否符合自己分析研究的需要，是否需要重新加工整理等，不能盲目生搬硬套。此外，还要对数据的时效性进行审核，对于有些时效性较强的问题，如果取得的数据过于滞后，可能失去了研究的意义。一般来说，应尽可能使用最新的统计数据。数据经审核后，确认适合于实际需要，才有必要做进一步的加工整理。[1]
数据审核的内容主要包括以下四个方面：
1.准确性审核。主要是从数据的真实性与精确性角度检查资料，其审核的重点是检查调查过程中所发生的误差。[2]
2.适用性审核。主要是根据数据的用途，检查数据解释说明问题的程度。具体包括数据与调查主题、与目标总体的界定、与调查项目的解释等是否匹配。[2]
3.及时性审核。主要是检查数据是否按照规定时间报送，如未按规定时间报送，就需要检查未及时报送的原因。[2]
4.一致性审核。主要是检查数据在不同地区或国家、在不同的时间段是否具有可比性。[2]
数据筛选
对审核过程中发现的错误应尽可能予以纠正。调查结束后，当数据发现的错误不能予以纠正，或者有些数据不符合调查的要求而又无法弥补时，就需要对数据进行筛选。数据筛选包括两方面的内容：一是将某些不符合要求的数据或有明显错误地数据予以剔除；二是将符合某种特定条件的数据筛选出来，对不符合特定条件的数据予以剔除。数据的筛选在市场调查、经济分析、管理决策中是十分重要的。
⑶ 预处理是什么 包括哪两种方法
数据库基础分析为什么要进行预处理数据 收藏
做数据预处理很重要，但是如何做好数据预处理似乎是件更困难的事。。。。。
-----------------------------------------------------------------------------------------------------------------------
当今现实世界的数据库极易受噪声、丢失数据和不一致数据的侵扰，因为数据库太大（常常多达数千兆字节，甚至更多），并且多半来自多个异构数据源。低质量的数据将导致低质量的挖掘结果。“如何预处理数据提高数据质量，从而提高挖掘结果的质量？如何预处理数据，使得挖掘过程更加有效、更加容易？”
有大量数据预处理技术。数据清理可以用来去掉数据中的噪声，纠正不一致。数据集成将数据由多个源合并成一致的数据存储，如数据仓库。也可以使用数据变换，如规范化。例如，规范化可以提高涉及距离度量的挖掘算法的准确率和有效性。数据归约可以通过聚集、删除冗余特征或聚类等方法来减小数据规模。这些技术不是互斥的，可以一起使用。例如，数据清理可能涉及纠正错误数据的变换，如将日期字段变换成共同的格式。这些数据处理技术在挖掘之前使用，可以显着地提高挖掘模式的总体质量和/或减少实际挖掘所需要的时间。
介绍数据预处理的基本概念，介绍作为数据预处理基础的描述性数据汇总。描述性数据汇总帮助我们研究数据的一般特征、识别噪声或离群点，对成功的数据清理和数据集成很有用。数据预处理的方法组织如下：数据清理、数据集成与变换和数据归约。概念分层可以用作数据归约的一种替换形式，其中低层数据（如年龄的原始值）用高层概念（如青年、中年或老年）替换。这种形式的数据归约，在那里我们讨论使用数据离散化技术，由数值数据自动地产生概念分层。
为什么要预处理数据
想象你是AllElectronics的经理，负责分析涉及你部门的公司销售数据。你立即着手进行这项工作，仔细地审查公司的数据库和数据仓库，识别并选择应当包含在分析中的属性或维，如item, price和units_sold。啊！你注意到许多元组在一些属性上没有值。为了进行分析，希望知道每种购进的商品是否作了销售广告，但是发现这些信息没有记录下来。此外，你的数据库系统用户已经报告某些事务记录中的一些错误、不寻常的值和不一致性。换言之，你希望
使用数据挖掘技术分析的数据是不完整的（缺少属性值或某些感兴趣的属性，或仅包含聚集数据），含噪声的（包含错误或存在偏离期望的离群值），并且是不一致的（例如，用于商品分类的部门编码存在差异）。欢迎来到现实世界！
存在不完整的、含噪声的和不一致的数据是现实世界大型的数据库或数据仓库的共同特点。不完整数据的出现可能有多种原因。有些感兴趣的属性，如销售事务数据中顾客的信息，并非总是可用的。其他数据没有包含在内只是因为输入时认为是不重要的。相关数据没有记录可能是由于理解错误，或者因为设备故障。与其他记录不一致的数据可能已经删除。此外，记录历史或修改的数据可能被忽略。缺失的数据，特别是某些属性上缺少值的元组可能需要推导出来。
数据含噪声（具有不正确的属性值）可能有多种原因。收集数据的设备可能出故障；人或计算机的错误可能在数据输入时出现；数据传输中的错误也可能出现。这些可能是由于技术的限制，如用于数据传输同步的缓冲区大小的限制。不正确的数据也可能是由命名约定或所用的数据代码不一致，或输入字段（如日期）的格式不一致而导致的。重复元组也需要数据清理。
数据清理例程通过填写缺失的值、光滑噪声数据、识别或删除离群点并解决不一致性来“清理”数据。如果用户认为数据是脏的，则他们不会相信这些数据的挖掘结果。此外，脏数据造成挖掘过程陷入混乱，导致不可靠的输出。尽管大部分挖掘例程都有一些过程处理不完整或噪声数据，但它们并非总是鲁棒的。相反，它们着重于避免建模函数过分拟合数据。因此，一个有用的预处理步骤是使用一些清理例程处理数据。2.3节讨论清理数据的方法。回到你在AllElectronics的任务，假定在分析中包含来自多个数据源的数据。这涉及集成48 多个数据库、数据立方体或文件，即数据集成。代表同一概念的属性在不同的数据库中可能有不同的名字，这将导致不一致性和冗余。例如，顾客标识属性在一个数据库中可能是customer_id，而在另一个中为cust_id。命名的不一致还可能出现在属性值中。例如，同一个人的名字可能在一个数据库中登记为“Bill”，在第二个数据库中登记为“William”，而在第三个数据库中登记为“B”。此外，你可能会觉察到，有些属性可能是由其他属性（例如年收入）导出的。含大量冗余数据可能降低知识发现过程的性能或使之陷入混乱。显然，除数据清理之外，在数据集成时必须采取步骤，避免数据冗余。通常，在为数据仓库准备数据时，数据清理和集成将作为预处理步骤进行。还可以再次进行数据清理，检测和删去可能由集成导致的冗余。
回到你的数据，假设你决定要使用诸如神经网络、最近邻分类法或聚类这样的基于距离的挖掘算法进行分析。如果待分析的数据已经规范化，即按比例映射到一个特定的区间[0.0,1.0]，这些方法能得到更好的结果。例如，你的顾客数据包含年龄和年薪属性。年薪属性的取值范围可能比年龄大得多。这样，如果属性未规范化，距离度量对年薪所取的权重一般要超过距离度量对年龄所取的权重。此外，分析得到每个客户区域的销售额这样的聚集信息可能是有用的。这种信息不在你的数据仓库的任何预计算的数据立方体中。你很快意识到，数据变换操作，如规范化和聚集，是导向挖掘过程成功的预处理过程。
随着你进一步考虑数据，你想知道“我选择用于分析的数据集太大了，肯定降低挖掘过程的速度。有没有办法压缩我的数据集而又不损害数据挖掘的结果？”数据归约得到数据集的简化表示，它小得多，但能够产生同样的（或几乎同样的）分析结果。有许多数据归约策略，包括数据聚集（例如建立数据立方体）、属性子集选择（例如通过相关分析去掉不相关的属性）、维度归约（例如使用诸如最小长度编码或小波等编码方案）和数值归约（例如使用聚类或参数模型等较小的表示“替换”数据）。使用概念分层泛化也可以“归约”数据。泛化用较高层的概念替换较低层的概念，例如，对于顾客位置，用region或49 province_or_state替换city。概念分层将概念组织在不同的抽象层。数据离散化是一种数据归约形式，对于从数值数据自动地产生概念分层是非常有用的。
下图总结了这里讨论的数据预处理步骤。注意，上面的分类不是互斥的。例如，冗余数据的删除既是一种数据清理形式，也是一种数据归约。
概言之，现实世界的数据一般是脏的、不完整的和不一致的。数据预处理技术可以改进神经网络和最近邻分类法在第6章介绍，聚类在第7章讨论。
数据的质量，从而有助于提高其后的挖掘过程的精度和性能。由于高质量的决策必然依赖于高质量的数据，因此数据预处理是知识发现过程的重要步骤。检测数据异常、尽早地调整数据并归约待分析的数据，将在决策过程得到高回报。
⑷ 什么是数据预处理（在数据仓库中的概念）
数据预处理：就是指在数据进入数据仓库之前，对数据进行清洗转换装载。
⑸ 数据预处理的意义
数据预处理（datapreprocessing）是指在主要的处理以前对数据进行的一些处理。如对大部分地球物理面积性观测数据在进行转换或增强处理之前，首先将不规则分布的测网经过插值转换为规则网的处理，以利于计算机的运算。另外，对于一些剖面测量数据，如地震资料预处理有垂直叠加、重排、加道头、编辑、重新取样、多路编辑等。
⑹ 数据预处理包括哪些内容
数据预处理没有统一的标准，只能说是根据不同类型的分析数据和业务需求，在对数据特性做了充分的理解之后，再选择相关的数据预处理技术。
通常来说，数据预处理涉及到——
1）数据清理
填写空缺的值，平滑噪声数据，识别、删除孤立点，解决不一致性
2）数据集成
集成多个数据库、数据立方体或文件
3）数据变换
规范化和聚集
4）数据归约
得到数据集的压缩表示，它小得多，但可以得到相同或相近的结果
5）数据离散化
数据归约的一部分，通过概念分层和数据的离散化来规约数据，对数字型数据特别重要。
⑺ 数据预处理主要针对哪些数据
数据预处理一方面是为了提高数据的质量，另一方面也是为了适应所做数据分析的软件或者方法。一般来说，数据预处理步骤有数据清洗、数据集成、数据变换、数据规约，每个大步骤又有一些小的细分点。当然了，这四个大步骤在做数据预处理时未必都要执行。
一、数据清洗
数据清洗，顾名思义，“黑”的变成“白”的，“脏”的数据变成“干净”的，脏数据表现在形式上和内容上的脏。
形式上的脏，如：缺失值、带有特殊符号的；
内容上的脏，如：异常值。
缺失值包括缺失值的识别和缺失值的处理。
在R里缺失值的识别使用函数is.na()判别，函数complete.cases()识别样本数据是否完整。
缺失值处理常用的方法有：删除、替换和插补。
删除法 ：删除法根据删除的不同角度又可以分为删除观测样本和变量，删除观测样本（行删除法），在R里na.omit()函数可以删除所含缺失值的行。这就相当于减少样本量来换取信息的完整度，但当变量有较大缺失并且对研究目标影响不大时，可考虑删除变量R里使用语句mydata[,-p]来完成。mydata表示所删数据集的名字，p是该删除变量的列数，-表示删除。
替换法 ：替换法顾名思义对缺失值进行替换，根据变量的不同又有不同的替换规则，缺失值的所在变量是数值型用该变量下其他数的均值来替换缺失值；变量为非数值变量时则用该变量下其他观测值的中位数或众数替换。
插补法 ：插补法分为回归插补和多重插补。回归插补指的是将插补的变量当作因变量y，其他变量看错自变量，利用回归模型进行拟合，在R里使用lm（）回归函数对缺失值进行插补；多重插补是指从一个包含缺失值的数据集中生成一组完整的数据，多次进行，产生缺失值的一个随机样本，在R里mice（）包可以进行多重插补。
异常值跟缺失值一样包括异常值的识别和异常值的处理。
异常值的识别通常用单变量散点图或箱形图来处理，在R里dotchart（）是绘制单变量散点图的函数，boxplot（）函数绘制箱现图；在图形中，把远离正常范围的点当作异常值。
异常值的的处理有删除含有异常值的观测（直接删除，当样本少时直接删除会造成样本量不足，改变变量的分布）、当作缺失值（利用现有的信息，对其当缺失值填补）、平均值修正（用前后两个观测值的均值修正该异常值）、不处理。在进行异常值处理时要先复习异常值出现的可能原因，再判断异常值是否应该舍弃。
⑻ jsp数据库操作时，使用预处理语句的好处是什么请详细阐述。
预处理语句PreparedStatement会将传入的SQL命令封装在PreparedStatement对象中，事先进行预编译处理等待使用。
当有单一的SQL语句多次执行时，用PreparedStatement类会比Statement类更有效率。
⑼ 数据预处理的原理
数据预处理（data preprocessing）是指在主要的处理以前对数据进行的一些处理。如对大部分地球物理面积性观测数据在进行转换或增强处理之前，首先将不规则分布的测网经过插值转换为规则网的处理，以利于计算机的运算。另外，对于一些剖面测量数据，如地震资料预处理有垂直叠加、重排、加道头、编辑、重新取样、多路编辑等。
中文名
数据预处理
外文名
data preprocessing
定义
主要的处理以前对数据进行处理
方法
数据清理，数据集成，数据变换等
目标
格式标准化，异常数据清除
快速
导航
预处理内容
方法
基本介绍
现实世界中数据大体上都是不完整，不一致的脏数据，无法直接进行数据挖掘，或挖掘结果差强人意。为了提高数据挖掘的质量产生了数据预处理技术。 数据预处理有多种方法：数据清理，数据集成，数据变换，数据归约等。这些数据处理技术在数据挖掘之前使用，大大提高了数据挖掘模式的质量，降低实际挖掘所需要的时间。
数据的预处理是指对所收集数据进行分类或分组前所做的审核、筛选、排序等必要的处理。[1]
预处理内容
数据审核
从不同渠道取得的统计数据，在审核的内容和方法上有所不同。[1]
对于原始数据应主要从完整性和准确性两个方面去审核。完整性审核主要是检查应调查的单位或个体是否有遗漏，所有的调查项目或指标是否填写齐全。准确性审核主要是包括两个方面：一是检查数据资料是否真实地反映了客观实际情况，内容是否符合实际；二是检查数据是否有错误，计算是否正确等。审核数据准确性的方法主要有逻辑检查和计算检查。逻辑检查主要是审核数据是否符合逻辑，内容是否合理，各项目或数字之间有无相互矛盾的现象，此方法主要适合对定性（品质）数据的审核。计算检查是检查调查表中的各项数据在计算结果和计算方法上有无错误，主要用于对定量（数值型）数据的审核。[1]
对于通过其他渠道取得的二手资料，除了对其完整性和准确性进行审核外，还应该着重审核数据的适用性和时效性。二手资料可以来自多种渠道，有些数据可能是为特定目的通过专门调查而获得的，或者是已经按照特定目的需要做了加工处理。对于使用者来说，首先应该弄清楚数据的来源、数据的口径以及有关的背景资料，以便确定这些资料是否符合自己分析研究的需要，是否需要重新加工整理等，不能盲目生搬硬套。此外，还要对数据的时效性进行审核，对于有些时效性较强的问题，如果取得的数据过于滞后，可能失去了研究的意义。一般来说，应尽可能使用最新的统计数据。数据经审核后，确认适合于实际需要，才有必要做进一步的加工整理。[1]
数据审核的内容主要包括以下四个方面：
1.准确性审核。主要是从数据的真实性与精确性角度检查资料，其审核的重点是检查调查过程中所发生的误差。[2]
2.适用性审核。主要是根据数据的用途，检查数据解释说明问题的程度。具体包括数据与调查主题、与目标总体的界定、与调查项目的解释等是否匹配。[2]
3.及时性审核。主要是检查数据是否按照规定时间报送，如未按规定时间报送，就需要检查未及时报送的原因。[2]
4.一致性审核。主要是检查数据在不同地区或国家、在不同的时间段是否具有可比性。[2]
数据筛选
对审核过程中发现的错误应尽可能予以纠正。调查结束后，当数据发现的错误不能予以纠正，或者有些数据不符合调查的要求而又无法弥补时，就需要对数据进行筛选。数据筛选包括两方面的内容：一是将某些不符合要求的数据或有明显错误地数据予以剔除；二是将符合某种特定条件的数据筛选出来，对不符合特定条件的数据予以剔除。数据的筛选在市场调查、经济分析、管理决策中是十分重要的。[1]
数据排序
数据排序是按照一定顺序将数据排列，以便于研究者通过浏览数据发现一些明显的特征或趋势，找到解决问题的线索。除此之外，排序还有助于对数据检查纠错，为重新归类或分组等提供依据。在某些场合，排序本身就是分析的目的之一。排序可借助于计算机很容易的完成。[1]
对于分类数据，如果是字母型数据，排序有升序与降序之分，但习惯上升序使用得更为普遍，因为升序与字母的自然排列相同；如果是汉字型数据，排序方式有很多，比如按汉字的首位拼音字母排列，这与字母型数据的排序完全一样，也可按笔画排序，其中也有笔画多少的升序降序之分。交替运用不同方式排序，在汉字型数据的检查纠错过程中十分有用。[1]
对于数值型数据，排序只有两种，即递增和递减。排序后的数据也称为顺序统计量。[1]
方法
数据清理
数据清理例程通过填写缺失的值、光滑噪声数据、识别或删除离群点并解决不一致性来“清理”数据。主要是达到如下目标：格式标准化，异常数据清除，错误纠正，重复数据的清除。
数据集成
数据集成例程将多个数据源中的数据结合起来并统一存储，建立数据仓库的过程实际上就是数据集成。
数据变换
通过平滑聚集，数据概化，规范化等方式将数据转换成适用于数据挖掘的形式。
数据归约
数据挖掘时往往数据量非常大，在少量数据上进行挖掘分析需要很长的时间，数据归约技术可以用来得到数据集的归约表示，它小得多，但仍然接近于保持原数据的完整性，并结果与归约前结果相同或几乎相同。
数据预处理[3] 是数据挖掘一个热门的研究方面，毕竟这是由数据预处理的产生背景所决定的－－现实世界中的数据几乎都脏数据。
参考资料
[1] -李卫东主编 ．应用统计学 ．北京：清华大学出版社，2014：55-56
[2] 熊俊顺着．统计学教程 第3版 ．杭州：浙江大学出版社，2014：31-32
[3] 数据预处理的方法．中国网络网 [引用日期2014-03-27]
⑽ 数据库的特点有哪些
特点数据库管理系统将具有一定结构的数据组成一个集合，它主要具有以下几个特点：1. 数据的结构化数据库中的数据并不是杂乱无章、毫不相干的，它们具有一定的组织结构，属于同一集合的数据具有相似的特征。2. 数据的共享性在一个单位的各个部门之间，存在着大量的重复信息。使用数据库的目的就是要统一管理这些信息，减少冗余度，使各个部门共同享有相同的数据。3. 数据的独立性数据的独立性是指数据记录和数据管理软件之间的独立。数据及其结构应具有独立性，而不应该去改变应用程序。4. 数据的完整性数据的完整性是指保证数据库中数据的正确性。可能造成数据不正确的原因很多，数据库管理系统通过对数据性质进行检查而管理它们。5. 数据的灵活性数据库管理系统不是把数据简单堆积，它在记录数据信息的基础上具有很多的管理功能，如输入、输出、查询、编辑修改等。6. 数据的安全性根据用户的职责，不同级别的人对数据库具有不同的权限，数据库管理系统应该确保数据的安全性。