sql因子分析方法

⑴ 因子分析的简介

因子分析的方法约有10多种，如重心法、影像分析法，最大似然解、最小平方法、阿尔发抽因法、拉奥典型抽因法等等。这些方法本质上大都属近似方法，是以相关系数矩阵为基础的，所不同的是相关系数矩阵对角线上的值，采用不同的共同性□2估值。在社会学研究中，因子分析常采用以主成分分析为基础的反复法。
主成分分析为基础的反复法主成分分析的目的与因子分析不同，它不是抽取变量群中的共性因子，而是将变量□1，□2，…,□□进行线性组合，成为互为正交的新变量□1，□2，…,□□，以确保新变量具有最大的方差：
在求解中，正如因子分析一样,要用到相关系数矩阵或协方差矩阵。其特征值□1，□2，…，□□,正是□1，□2,…，□□的方差，对应的标准化特征向量，正是方程中的系数□，□，…，□。如果□1>□2,…，□□，则对应的□1，□2，…，□□分别称作第一主成分,第二主成分，……,直至第□主成分。如果信息无需保留100%，则可依次保留一部分主成分□1，□2，…，□□(□<□)。
当根据主成分分析，决定保留□个主成分之后，接着求□个特征向量的行平方和，作为共同性□：
□并将此值代替相关数矩阵对角线之值，形成约相关矩阵。根据约相关系数矩阵，可进一步通过反复求特征值和特征向量方法确定因子数目和因子的系数。
因子旋转为了确定因子的实际内容,还须进一步旋转因子，使每一个变量尽量只负荷于一个因子之上。这就是简单的结构准则。常用的旋转有直角旋转法和斜角旋转法。作直角旋转时，各因素仍保持相对独立。在作斜角旋转时，允许因素间存在一定关系。
Q型因子分析 上述从变量群中提取共性因子的方法，又称R型因子分析和R型主要成分分析。但如果研究个案群的共性因子，则称Q型因子分析和Q型主成分分析。这时只须把调查的□个方案，当作□个变量，其分析方法与R型因子分析完全相同。
因子分析是社会研究的一种有力工具，但不能肯定地说一项研究中含有几个因子，当研究中选择的变量变化时，因子的数量也要变化。此外对每个因子实际含意的解释也不是绝对的。

⑵ 因子分析的基本步骤

因子分析是指研究从变量群中提取共性因子的统计技术。最早由英国心理学家C.E.斯皮尔曼提出。他发现学生的各科成绩之间存在着一定的相关性，一科成绩好的学生，往往其他各科成绩也比较好，从而推想是否存在某些潜在的共性因子，或称某些一般智力条件影响着学生的学习成绩。因子分析可在许多变量中找出隐藏的具有代表性的因子。将相同本质的变量归入一个因子，可减少变量的数目，还可检验变量间关系的假设。因子分析的前提条件

由于因子分析的主要任务之一是对原有变量进行浓缩，即将原有变量中的信息重叠部分提取和综合成因子，进而最终实现减少变量个数的目的。因此它要求原有变量之间应存在较强的相关关系。否则，如果原有变量相互独立，相关程度很低，不存在信息重叠，它们不可能有共同因子，那么也就无法将其综合和浓缩，也就无需进行因子分析。本步骤正是希望通过各种方法分析原有变量是否存在相关关系，是否适合进行因子分析。SPSS提供了四个统计量可帮助判断观测数据是否适合作因子分析：

（1）计算相关系数矩阵Correlation Matrix

在进行提取因子等分析步骤之前，应对相关矩阵进行检验，如果相关矩阵中的大部分相关系数小于0.3，则不适合作因子分析；当原始变量个数较多时，所输出的相关系数矩阵特别大，观察起来不是很方便，所以一般不会采用此方法或即使采用了此方法，也不方便在结果汇报中给出原始分析报表。

（2）计算反映象相关矩阵Anti-image correlation matrix

反映象矩阵重要包括负的协方差和负的偏相关系数。偏相关系数是在控制了其他变量对两变量影响的条件下计算出来的净相关系数。如果原有变量之间确实存在较强的相互重叠以及传递影响，也就是说，如果原有变量中确实能够提取出公共因子，那么在控制了这些影响后的偏相关系数必然很小。观察反映象相关矩阵，如果反映象相关矩阵中除主对角元素外，其他大多数元素的绝对值均小，对角线上元素的值越接近1，则说明这些变量的相关性较强，适合进行因子分析。与方法（1）中最后所述理由相同，一般少采用此方法

（3）巴特利特球度检验Bartlett test of sphericity

Bartlett球体检验的目的是检验相关矩阵是否是单位矩阵（identity matrix），如果是单位矩阵，则认为因子模型不合适。Bartlett球体检验的虚无假设为相关矩阵是单位阵，如果不能拒绝该假设的话，就表明数据不适合用于因子分析。一般说来，显着水平值越小（<0.05）表明原始变量之间越可能存在有意义的关系，如果显着性水平很大（如0.10以上）可能表明数据不适宜于因子分析。

（4）KMO（Kaiser-Meyer-OklinMeasure of Smapling Adequacy）

KMO是Kaiser-Meyer-Olkin的取样适当性量数。KMO测度的值越高（接近1.0时），表明变量间的共同因子越多，研究数据适合用因子分析。通常按以下标准解释该指标值的大小：KMO值达到0.9以上为非常好，0.8～0.9为好，0.7～0.8为一般，0.6～0.7为差，0.5～0.6为很差。如果KMO测度的值低于0.5时，表明样本偏小，需要扩大样本。

⑶ 简述因子分析的基本过程和常用标量。

简述因子分析的基本过程和常用标量：

一、基本过程：

2、构造因子变量;

3、利用旋转方法使因子变量具有可解释性;

4、计算每个样本的因子变量得分

二、常用标量：

变量是用在方程中的, 选择变量是过滤个案的

⑷ 大数据分析方法有哪些

1、因子分析方法

所谓因子分析是指研究从变量群中提取共性因子的统计技术。因子分析就是从大量的数据中寻找内在的联系，减少决策的困难。因子分析的方法约有10多种，如影像分析法，重心法、最大似然法、最小平方法、α抽因法、拉奥典型抽因法等等。

2、回归分析方法

回归分析方法就是指研究一个随机变量Y对另一个(X)或一组变量的相依关系的统计分析方法。回归分析是确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法。回归分析方法运用十分广泛，回归分析按照涉及的自变量的多少，可分为一元回归分析和多元回归分析;按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。

3、相关分析方法

相关分析是研究现象之间是否存在某种依存关系，并对具体有依存关系的现象探讨其相关方向以及相关程度。相关关系是一种非确定性的关系。

4、聚类分析方法

聚类分析指将物理或抽象对象的集合分组成为由类似的对象组成的多个类的分析过程。聚类是将数据分类到不同的类或者簇这样的一个过程，所以同一个簇中的对象有很大的相似性，而不同簇间的对象有很大的相异性。聚类分析是一种探索性的分析，在分类的过程中，不需要事先给出一个分类的标准，聚类分析能够从样本数据出发，自动进行分类。

5、方差分析方法

方差数据方法就是用于两个及两个以上样本均数差别的显着性检验。由于各种因素的影响，研究所得的数据呈现波动状。方差分析是从观测变量的方差入手，研究诸多控制变量中哪些变量是对观测变量有显着影响的变量。

6、对应分析方法

对应分析是通过分析由定性变量构成的交互汇总表来揭示变量间的联系。可以揭示同一变量的各个类别之间的差异，以及不同变量各个类别之间的对应关系。对应分析的基本思想是将一个联列表的行和列中各元素的比例结构以点的形式在较低维的空间中表示出来。

⑸ 因子分析法的概念

1.主成分分析
主成分分析主要是一种探索性的技术，在分析者进行多元数据分析之前，用他来分析数据，让自己对数据有一个大致的了解，这是非常有必要的。主成分分析一般很少单独使用：a、了解数据。（screening the data），b、和cluster analysis（聚类分析）一起使用，c、和判别分析一起使用，比如当变量很多，个案数不多，直接使用判别分析可能无解，这时候可以使用主成分对变量简化（rece dimensionality），d、在多元回归中，主成分分析可以帮助判断是否存在共线性（条件指数），还可以用来处理共线性。
1、因子分析中是把变量表示成各因子的线性组合，而主成分分析中则是把主成分表示成各变量的线性组合。
2、主成分分析的重点在于解释各变量的总方差，而因子分析则把重点放在解释各变量之间的协方差。
3、主成分分析中不需要有假设（assumptions），因子分析则需要一些假设。因子分析的假设包括：各个共同因子之间不相关，特殊因子（specific factor）之间也不相关，共同因子和特殊因子之间也不相关。
4、主成分分析中，当给定的协方差矩阵或者相关矩阵的特征值是唯一的时候，主成分一般是独特的；而因子分析中因子不是独特的，可以旋转得到不同的因子。
5、在因子分析中，因子个数需要分析者指定（spss根据一定的条件自动设定，只要是特征值大于1的因子进入分析），而指定的因子数量不同而结果不同。在主成分分析中，成分的数量是一定的，一般有几个变量就有几个主成分。和主成分分析相比，由于因子分析可以使用旋转技术帮助解释因子，在解释方面更加有优势。大致说来，当需要寻找潜在的因子，并对这些因子进行解释的时候，更加倾向于使用因子分析，并且借助旋转技术帮助更好解释。而如果想把现有的变量变成少数几个新的变量（新的变量几乎带有原来所有变量的信息）来进入后续的分析，则可以使用主成分分析。当然，这种情况也可以使用因子得分做到。所以这种区分不是绝对的。
在算法上，主成分分析和因子分析很类似，不过在因子分析中所采用的协方差矩阵的对角元素不再是变量的方差，而是和变量对应的共同度（变量方差中被各因子所解释的部分）。
2.聚类分析（Cluster Analysis)
聚类分析是直接比较各事物之间的性质，将性质相近的归为一类，将性质差别较大的归入不同的类的分析技术。
在市场研究领域，聚类分析主要应用方面是帮助我们寻找目标消费群体，运用这项研究技术，我们可以划分出产品的细分市场，并且可以描述出各细分市场的人群特征，以便于客户可以有针对性的对目标消费群体施加影响，合理地开展工作。
3.判别分析（Discriminatory Analysis)
判别分析（Discriminatory Analysis）的任务是根据已掌握的1批分类明确的样品，建立较好的判别函数，使产生错判的事例最少，进而对给定的1个新样品，判断它来自哪个总体。根据资料的性质，分为定性资料的判别分析和定量资料的判别分析；采用不同的判别准则，又有费歇、贝叶斯、距离等判别方法。
费歇（FISHER）判别思想是投影，使多维问题简化为一维问题来处理。选择一个适当的投影轴，使所有的样品点都投影到这个轴上得到一个投影值。对这个投影轴的方向的要求是：使每一类内的投影值所形成的类内离差尽可能小，而不同类间的投影值所形成的类间离差尽可能大。贝叶斯（BAYES）判别思想是根据先验概率求出后验概率，并依据后验概率分布作出统计推断。所谓先验概率，就是用概率来描述人们事先对所研究的对象的认识的程度；所谓后验概率，就是根据具体资料、先验概率、特定的判别规则所计算出来的概率。它是对先验概率修正后的结果。
距离判别思想是根据各样品与各母体之间的距离远近作出判别。即根据资料建立关于各母体的距离判别函数式，将各样品数据逐一代入计算，得出各样品与各母体之间的距离值，判样品属于距离值最小的那个母体。
4.对应分析（Correspondence Analysis)
对应分析是一种用来研究变量与变量之间联系紧密程度的研究技术。
运用这种研究技术，我们可以获取有关消费者对产品品牌定位方面的图形，从而帮助您及时调整营销策略，以便使产品品牌在消费者中能树立起正确的形象。
这种研究技术还可以用于检验广告或市场推广活动的效果，我们可以通过对比广告播出前或市场推广活动前与广告播出后或市场推广活动后消费者对产品的不同认知图来看出广告或市场推广活动是否成功的向消费者传达了需要传达的信息。
5.典型相关分析
典型相关分析是分析两组随机变量间线性密切程度的统计方法，是两变量间线性相关分析的拓广。各组随机变量中既可有定量随机变量，也可有定性随机变量（分析时须F6说明为定性变量）。本法还可以用于分析高维列联表各边际变量的线性关系。
注意
1．严格地说，一个典型相关系数描述的只是一对典型变量之间的相关，而不是两个变量组之间的相关。而各对典型变量之间构成的多维典型相关才共同揭示了两个观测变量组之间的相关形式。
2．典型相关模型的基本假设和数据要求
要求两组变量之间为线性关系，即每对典型变量之间为线性关系；
每个典型变量与本组所有观测变量的关系也是线性关系。如果不是线性关系，可先线性化：如经济水平和收入水平与其他一些社会发展水之间并不是线性关系，可先取对数。即log经济水平，log收入水平。
3．典型相关模型的基本假设和数据要求
所有观测变量为定量数据。同时也可将定性数据按照一定形式设为虚拟变量后，再放入典型相关模型中进行分析。
6.多维尺度分析（Multi-dimension Analysis)
多维尺度分析（Multi-dimension Analysis) 是市场研究的一种有力手段，它可以通过低维空间（通常是二维空间）展示多个研究对象（比如品牌）之间的联系，利用平面距离来反映研究对象之间的相似程度。由于多维尺度分析法通常是基于研究对象之间的相似性（距离）的，只要获得了两个研究对象之间的距离矩阵，我们就可以通过相应统计软件做出他们的相似性知觉图。
在实际应用中，距离矩阵的获得主要有两种方法：一种是采用直接的相似性评价，先将所有评价对象进行两两组合，然后要求被访者所有的这些组合间进行直接相似性评价，这种方法我们称之为直接评价法；另一种为间接评价法，由研究人员根据事先经验，找出影响人们评价研究对象相似性的主要属性，然后对每个研究对象，让被访者对这些属性进行逐一评价，最后将所有属性作为多维空间的坐标，通过距离变换计算对象之间的距离。
多维尺度分析的主要思路是利用对被访者对研究对象的分组，来反映被访者对研究对象相似性的感知，这种方法具有一定直观合理性。同时该方法实施方便，调查中被访者负担较小，很容易得到理解接受。当然，该方法的不足之处是牺牲了个体距离矩阵，由于每个被访者个体的距离矩阵只包含1与0两种取值，相对较为粗糙，个体距离矩阵的分析显得比较勉强。但这一点是完全可以接受的，因为对大多数研究而言，我们并不需要知道每一个体的空间知觉图。
多元统计分析是统计学中内容十分丰富、应用范围极为广泛的一个分支。在自然科学和社会科学的许多学科中，研究者都有可能需要分析处理有多个变量的数据的问题。能否从表面上看起来杂乱无章的数据中发现和提炼出规律性的结论，不仅对所研究的专业领域要有很好的训练，而且要掌握必要的统计分析工具。对实际领域中的研究者和高等院校的研究生来说，要学习掌握多元统计分析的各种模型和方法，手头有一本好的、有长久价值的参考书是非常必要的。这样一本书应该满足以下条件：首先，它应该是“浅入深出”的，也就是说，既可供初学者入门，又能使有较深基础的人受益。其次，它应该是既侧重于应用，又兼顾必要的推理论证，使学习者既能学到“如何”做，而且在一定程度上了解“为什么”这样做。最后，它应该是内涵丰富、全面的，不仅要基本包括各种在实际中常用的多元统计分析方法，而且还要对现代统计学的最新思想和进展有所介绍、交代。
主成分分析通过线性组合将原变量综合成几个主成分，用较少的综合指标来代替原来较多的指标（变量）。在多变量分析中，某些变量间往往存在相关性。是什么原因使变量间有关联呢？是否存在不能直接观测到的、但影响可观测变量变化的公共因子？因子分析法（Factor Analysis）就是寻找这些公共因子的模型分析方法，它是在主成分的基础上构筑若干意义较为明确的公因子，以它们为框架分解原变量，以此考察原变量间的联系与区别。
例如，随着年龄的增长，儿童的身高、体重会随着变化，具有一定的相关性，身高和体重之间为何会有相关性呢？因为存在着一个同时支配或影响着身高与体重的生长因子。那么，我们能否通过对多个变量的相关系数矩阵的研究，找出同时影响或支配所有变量的共性因子呢？因子分析就是从大量的数据中“由表及里”、“去粗取精”，寻找影响或支配变量的多变量统计方法。
可以说，因子分析是主成分分析的推广，也是一种把多个变量化为少数几个综合变量的多变量分析方法，其目的是用有限个不可观测的隐变量来解释原始变量之间的相关关系。
因子分析主要用于：1、减少分析变量个数；2、通过对变量间相关关系探测，将原始变量进行分类。即将相关性高的变量分为一组，用共性因子代替该组变量。

⑹ 什么是因子分析法

因子分析法，是指在尽可能不损失信息或少损失信息的情况下，将多个变量减少为少数几个潜在的因子，这几个因子可以高度概括大量数据中的信息，既减少变量个数，又同样地能再现变量之间的内在联系。

⑺ 因子分析可分为哪三个步骤

职务分析是一项技术性很强的工作，需要做周密的准备。同时还需具有与人力资源管理活动相匹配的科学的、合理的操作程序。 (一)准备阶段 1、建立工作分析小组。小组成员通常由分析专家构成。所谓分析专家，是指具有分析专长，并对组织结构及组织内各项工作有明确概念的人员。一旦小组成员确定之后，赋予他们进行分析活动的权限，以保证分析工作的协调和顺利进行。 2、明确工作分析的总目标、总任务。根据总目标、总任务，对企业现状进行初步了解，掌握各种数据和资料。 3、明确工作分析的目的。有了明确的目的，才能正确确定分析的范围、对象和内容，规定分析的方式、方法，并弄清应当收集什么资料，到哪儿去收集，用什么方法去收集。 4、明确分析对象。为保证分析结果的正确性，应该选择有代表性、典型性的工作。 5、建立良好的工作关系。为了搞好工作分析，还应做好员工的心理准备工作，建立起友好的合作关系。 (二)调查阶段 分析人员应制定工作分析的时间计划进度表，以保证这项工作能够按部就班的进行调查。同时搜集有关职位的相关信息。这一阶段包括以下几项内容： 1、选择信息来源。信息主要来源于：工作执行者本人、管理监督者、顾客、分析专家、职业名称辞典以及以往的分析资料。 2、选择收集信息的方法和系统。信息收集的方法和分析信息适用的系统由工作分析人员根据企业的实际需要灵活运用。 3、搜集职位的相关信息 (三)分析阶段 工作分析就是审查、分析企业某个工作有关的信息的过程。也就是说，该阶段包括信息的整理、审查、分析三个相关活动，是整个工作分析过程的主要部分。 1、工作名称该名称必须明确，使人看到工作名称，就可以大致了解工作内容。如果该工作已完成了工作评价，在工资上已有固定的等级，则名称上可加上等级。 2、聘用人员数目同一工作所聘用工作人员的数目和性别，应予以记录。 3、工作单位工作单位是显示工作所在的单位及其上下左右的关系，也就是说明工作的组织位置。 4、职责所谓职责，就是这项工作的权限和责任有多大，主要包括以下几方面： 5、工作知识工作知识是为圆满完成某项工作，工作人员应具备的实际知识。这种知识应包括任用后为执行其工作任务所需获得的知识，以及任用前已具备的知识。 6、智力要求智力要求指在执行过程中所需运用的智力，包括判断、决策、警觉、主动、积极、反应、适应等。

⑻ 因子分析法的分析步骤

因子分析的核心问题有两个：一是如何构造因子变量；二是如何对因子变量进行命名解释。因此，因子分析的基本步骤和解决思路就是围绕这两个核心问题展开的。
（i）因子分析常常有以下四个基本步骤：
⑴确认待分析的原变量是否适合作因子分析。
⑵构造因子变量。
⑶利用旋转方法使因子变量更具有可解释性。
⑷计算因子变量得分。
（ii）因子分析的计算过程：
⑴将原始数据标准化，以消除变量间在数量级和量纲上的不同。
⑵求标准化数据的相关矩阵；
⑶求相关矩阵的特征值和特征向量；
⑷计算方差贡献率与累积方差贡献率；
⑸确定因子：
设F1，F2，…， Fp为p个因子，其中前m个因子包含的数据信息总量（即其累积贡献率）不低于80%时，可取前m个因子来反映原评价指标；
⑹因子旋转：
若所得的m个因子无法确定或其实际意义不是很明显，这时需将因子进行旋转以获得较为明显的实际含义。
⑺用原指标的线性组合来求各因子得分：
采用回归估计法，Bartlett估计法或Thomson估计法计算因子得分。
⑻综合得分
以各因子的方差贡献率为权，由各因子的线性组合得到综合评价指标函数。
F = (w1F1+w2F2+…+wmFm)/(w1+w2+…+wm )
此处wi为旋转前或旋转后因子的方差贡献率。
⑼得分排序：利用综合得分可以得到得分名次。
在采用多元统计分析技术进行数据处理、建立宏观或微观系统模型时，需要研究以下几个方面的问题：
· 简化系统结构，探讨系统内核。可采用主成分分析、因子分析、对应分析等方法，在众多因素中找出各个变量最佳的子集合，从子集合所包含的信息描述多变量的系统结果及各个因子对系统的影响。“从树木看森林”，抓住主要矛盾，把握主要矛盾的主要方面，舍弃次要因素，以简化系统的结构，认识系统的内核。
· 构造预测模型，进行预报控制。在自然和社会科学领域的科研与生产中，探索多变量系统运动的客观规律及其与外部环境的关系，进行预测预报，以实现对系统的最优控制，是应用多元统计分析技术的主要目的。在多元分析中，用于预报控制的模型有两大类。一类是预测预报模型，通常采用多元线性回归或逐步回归分析、判别分析、双重筛选逐步回归分析等建模技术。另一类是描述性模型，通常采用聚类分析的建模技术。
· 进行数值分类，构造分类模式。在多变量系统的分析中，往往需要将系统性质相似的事物或现象归为一类。以便找出它们之间的联系和内在规律性。过去许多研究多是按单因素进行定性处理，以致处理结果反映不出系统的总的特征。进行数值分类，构造分类模式一般采用聚类分析和判别分析技术。
如何选择适当的方法来解决实际问题，需要对问题进行综合考虑。对一个问题可以综合运用多种统计方法进行分析。例如一个预报模型的建立，可先根据有关生物学、生态学原理，确定理论模型和试验设计；根据试验结果，收集试验资料；对资料进行初步提炼；然后应用统计分析方法（如相关分析、逐步回归分析、主成分分析等）研究各个变量之间的相关性，选择最佳的变量子集合；在此基础上构造预报模型，最后对模型进行诊断和优化处理，并应用于生产实际。

⑼ SQL中如何实现大数据量共现分析

1.可视化分析
大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。
2. 数据挖掘算法
大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计 学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如 果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。
3. 预测性分析
大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。
4. 语义引擎
非结构化数据的多元化给数据分析带来新的挑战，我们需要一套工具系统的去分析，提炼数据。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。
5.数据质量和数据管理。 大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。
大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。

大数据的技术
数据采集： ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
数据存取： 关系数据库、NOSQL、SQL等。
基础架构： 云存储、分布式文件存储等。
数据处理： 自然语言处理(NLP，Natural Language Processing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机”理解”自然语言，所以自然语言处理又叫做自然语言理解也称为计算语言学。一方面它是语言信息处理的一个分支，另一方面它是人工智能的核心课题之一。
统计分析： 假设检验、显着性检验、差异分析、相关分析、T检验、 方差分析 、 卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、 因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、bootstrap技术等等。
数据挖掘： 分类 （Classification）、估计（Estimation）、预测（Prediction）、相关性分组或关联规则（Affinity grouping or association rules）、聚类（Clustering）、描述和可视化、Description and Visualization）、复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等)
模型预测 ：预测模型、机器学习、建模仿真。
结果呈现： 云计算、标签云、关系图等。

大数据的处理
1. 大数据处理之一：采集
大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的 数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除 此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。
在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户 来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间 进行负载均衡和分片的确是需要深入的思考和设计。
2. 大数据处理之二：导入/预处理
虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这 些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使 用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。
导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。
3. 大数据处理之三：统计/分析
统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通 的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于 MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。
统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。
4. 大数据处理之四：挖掘
与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数 据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于 统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并 且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。

整个大数据处理的普遍流程至少应该满足这四个方面的步骤，才能算得上是一个比较完整的大数据处理。