‘壹’ 值得一试的4个大数据工具！
编译 | Harris来源 | 机房360
如今，大数据越来越重要，因为企业需要处理来自多个来源的不断增长的存储数据。
采用大数据可以称之为一场完美风暴。廉价的存储和大量的结构化和非结构化数据的大量涌入，导致了诸多的大型数据工具得以开发，帮助企业“解锁”他们积累的数据，从客户记录到产品性能的结果等更多的数据。
像传统的商业智能（BI），这些新的大数据工具可以分析过去的趋势，并帮助企业识别重要模式，如特定的销售趋势。许多大数据工具现在提供了一个新一代预测和规范性的见解，以及深埋在企业数据中心的所有数据。
对于人们面临的挑战，调查机构Gartner公司分析师道格·兰尼表示，人们还是不要用扩展的基础设施来处理所有这些数据，而是从各种数据本身进行处理。
“对于真正的挑战，企业对自己和客户的交易数据进行处理、整合，并共同构建和理解输入，加上来自合作伙伴和供应商的数据，还有一些外源性数据，如社会媒体的开放数据和聚合数据等等，而这些只是触及了表面。”兰尼在一封电子邮件中说表示。
大数据是一个大问题：您的网络准备好了吗？
尽管Gartner的客户端通过一个2比1的比例说明各种数据是一个更大的问题，对他们来说数据增长的速度越来越快，而数据处理供应商将会继续提供资金更大、更快的解决方案。
ConstellationResearch公司分析师道格·亨森特表示，大数据解决方案肯定是不断发展变化的。
“在我的书中，2014年是发布sqlHadoop公告的一年，但今年企业和销售商开始认识到大数据的机会不只是扩大传统的BI和数据库。”亨森特说，“因此，ApacheSpark开源框架和其他的分析方案已在2015年超越了SQL。2015年，数百家供应商和大公司开始采用ApacheSpark开源框架，IIBM公司拥抱是倡导其他分析选项最明显的厂商，而其他致力于数据集成和大数据平台的很多企业加入这个行列。”
事实上，大数据浪潮似乎来临，每天都会供应商推出的各种解决方案，其中也包括一些相对全面的设计。尽管很难得到一个全面的名单，这四个工具应该出在用户的应用清单中。
（1）数据科学家的H2O.ai
H2O.ai是初创公司Oxdata在2014年底推出的一个独立开源机器学习平台，主要服务于数据科学家和开发者，为其应用提供快速机器学习引擎。Oxdata公司表示，可以在商用硬件上对任何来源（如Hadoop，SQL）的数据进行处理分析，甚至在上千个网络节点或亚马逊的AWS云运行。个人可以尝试并继续免费使用H2O.ai。Oxdata公司将收取企业用户的费用。
“很多公司使用Spark代替Hadoop短期记忆，这就像大数据的内存一样。”H2O公司市场营销和增长副总裁奥列格·罗格斯科说，“在读取你的短期记忆方面，h20.ai的功能超越了Spark，基本上提供了超快速的分析能力。”
罗格斯科说，H2O.ai是旨在提供预测分析的数据工具的一个新品种。他指出，SQL帮助推动了描述性数据分析的早期阶段或“告诉我发生了什么”，其次是“预测期”的产品，看看发生了什么事，尽量帮助客户预测接下来会发生什么-例如：库存用完或产品突破等。
“我们在未来几年将看到第三个阶段是指令性的阶段发挥作用，这个系统说，‘这是我的教训，我认为未来会发生什么，你应该最大限度地实现目标。’”罗格斯科说，他还指出，谷歌地图的主动建议替代路线的能力就是一个规范性解决方案的例子。
H20.ai将自己定位为各种行业数据科学家使用的一个预测工具和“盒子”。例如，网络巨头思科公司有6万款预测购买决策的模型，该公司使用H2O.ai对这些模型评分。思科公司首席数据科学家表示，“其结果是太棒了，我们看到H2O.ai比我们的同类产品的性能要好3到7倍。在单独建模评分方面，h2o.ai环境是upwards的10到15倍。”
（2）ThoughtSpot3–大数据应用
借助谷歌公司这样的搜索引擎，很容易在网上搜到用户需要的社交数据和网络数据，但企业数据一般难以查找，也更难以利用。为此，7位工程师共同成立了ThoughtSpot公司，目标是开发一个类似于谷歌的搜索引擎，用于查找商业数据。
该公司在谷歌公司成立初期就为其提供硬件设备，在企业启用防火墙后提供超快搜索功能。ThoughtSpot结合了新搜索引擎的应用，它的功能是通过一个快速内存数据库来搜寻海量信息。该公司还计划提供一个基于云的服务。
ThoughtSpot3起始售价为90000美元，是一种为企业快速寻找大数据的数据科学家依赖的工具。“我们已经看到企业使用该产品的数据科学家正在增加。”ThoughtSpot公司营销副总裁史葛霍尔顿说，“二十亿人都在搜索，但在工作中，我们仍然依赖于数据专家。”
霍尔顿在加利福尼亚公司总部PaloAlto进行了一个演示，显示系统使用熟悉的搜索栏界面是如何工作的.刚刚发布的ThoughtSpot3.0具有一些新功能，包括“DataRank”的工作方式，类似于谷歌的PageRank和typeahead。该软件使用机器学习算法建议的关键词为客户搜索，以加快这一进程。
Popcharts无疑是最酷的新功能。当你在搜索框中输入“由东海岸销售......”ThoughtSpot瞬间创建基于查询相关的图表，并利用机器学习给出10多个可以选择的图表。
另一个“即时”功能是AutoJoins，其目的是为一般都有数百个数据源的企业导航。AutoJoins使用ThoughtSpot的数据索引，通过索引模式和机器学习，以了解表格是否相关，并在一秒内呈现研究结果。
霍尔顿说，ThoughtSpot更侧重于对历史数据的传统BI分析（速度超快，使用十分方便），其预测性和规范性分析功能会在未来的软件中体现。
（3）Connotate软件
Connotate公司是一家为美联社、路透社、道琼斯等大型公司对全球上千个网站的非结构化数据进行实时分类和分析的企业。在Web数据抽取和监控上，Connotate软件是世界上最简单、最合算的解决方案，以有效地利用海量数据，从中挖掘出对企业增长有价值的信息，并可以进行高度可扩展性的数据监控和数据收集。
Gartner公司分析师道格·莱尼表示，Connotate和BrightPlanet在他所列的大数据工具名单上，因为它们有助于从企业自身的数据库和互联网上收割和构建丰富多彩的内容。
“随着数字化和经济增长，企业认识到只关注自己的数据不再是万无一失的创新良方，他们越来越多地转向外源数据（即公司外部的数据）。”莱尼说。
Connotate公司表示，其从网页抽取内容的专利技术远远超出了网页抓取或自定义脚本。取而代之的是对于网站工作如何使用机器学习采用一种直观的视觉理解，Connotate公司表示，使其内容提取“准确可靠，并且可扩展。”
据该公司介绍，Connotate平台”可以很容易处理成百上千的网站和百万兆字节。”并提供与业务相关的有针对性的信息。其提供的内容采集平均成本比传统方法少55％。
例举一个使用案例，Connotate帮助销售情报提供者从数千个医院网站提取联系人资料（姓名，职务，电话，电子邮件和隶属关系），并建立一个全国性的医生档案数据库。
Connotate公司表示，其大数据解决方案卖给了几家大型制药公司，并没有花费额外的硬件或IT资源。大数据提取的规模化，甚至可以提供50万名医生的数据。
（4）BrightPlanet工具
BrightPlanet公司也从网络中提取数据，该公司宣称其搜索具有所谓的“深网”见解的能力。其深网可以挖掘那些具有密码保护的网站和通常不会被传统的搜索引擎索引的其他网站的数据。
BrightPlanet公司表示，其收集的数据条目数以百万计，其中包括推特和新闻数据库和医学期刊的数据，并可以根据企业的具体需求和条件进行过滤。
该公司为使用该软件的数据采集工程师提供一个免费的数据即服务（DaaS）咨询，并介绍他们的服务是一个不错的选择。咨询的目的是帮助企业数据中心找到合适的收集数据，并得到正确的格式，这样客户可以得到一个好主意的过程和结果。
最终用户或客户可以选择哪些网站收获的内容。反过来，BrightPlanet公司又将其内容进行充实。例如，像在社交媒体网站评论这样的非结构化数据，通过一个自定义格式设计，使其在更便于使用的客户端提交。
end
‘贰’ Spark之我看什么是RDD
一般来讲，对于陌生的名词，大家的第一个反应都是“What is it？”。
RDD是Spark的核心内容，在Spark的官方文档中解释如下：RDD is a fault-tolerant collection of elements that can be operated on in parallel。由此可见，其中有两个关键词：fault-tolerant & in parallel。首先，容错性是RDD的一个重要特性；其次，它是并行计算的数据。
RDD的中文解释为：弹性分布式数据集，全称Resilient Distributed Datasets。宾语是dataset，即内存中的数据库。RDD 只读、可分区，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。 所谓弹性，是指内存不够时可以与磁盘进行交换。这涉及到了RDD的另一特性：内存计算，就是将数据保存到内存中。同时，为解决内存容量限制问题，Spark为我们提供了最大的自由度，所有数据均可由我们来进行cache的设置，包括是否cache和如何cache。
（关于cache的设置以及Spark的一些基础概念，http://www.dataguru.cn/forum.php?mod=viewthread&tid=295317中解释得很详细。）
如果看到这里，你的思维里对RDD还是没有任何概念的话，或许可以参照我的形象化理解：RDD，就是一个被武装起来的数据集。
主体：a、由源数据分割而来，源码中对应splits变量；
武器有下：b、数据集体内包含了它本身的“血统”信息，即dependencies变量，存储着它的父RDD及两者关系；
c、计算函数，即其与父RDD的转化方式，对应源码中的iterator(split) & compute函数；
d、一些关于如何分块以及如何存放位置的元信息，eg：partitioner & preferredLocations。
有了这些武器，RDD的容错机制也就显而易见了。容错，顾名思义就是在存在故障的情况下，计算机系统仍能正常工作。 容错通常有两种方式 checkpoint 和logging update ， RDD 采用的是 logging update 。 Checkpoint（ 数据检查点）意味着要在各个机器间复制大数据，花费会很高，这种拷贝操作相当缓慢，而且会消耗大量的存储资源，因此deserted。 Logging update（ 记录更新），仅支持粗颗粒度变换，也就是说，仅记录在单个块上执行的单个操作，然后创建某个RDD的变换序列存储下来，数据丢失时，就可通过“血统”重新计算，恢复数据。Nevertheless，血缘链（变换序列）变得很长时，建议用户此时建立一些数据检查点加快容错速度。（saveAstextFile方法手动设置）
‘叁’ 怎样从spark rdd中得到某个元素，并将他赋值给一个对象
一般来讲,对于陌生的名词,大家的第一个反应都是“What is it?”.
RDD是Spark的核心内容,在Spark的官方文档中解释如下：RDD is a fault-tolerant collection of elements that can be operated on in parallel.由此可见,其中有两个关键词：fault-tolerant & in parallel.首先,容错性是RDD的一个重要特性；其次,它是并行计算的数据.
RDD的中文解释为：弹性分布式数据集,全称Resilient Distributed Datasets.宾语是dataset,即内存中的数据库.RDD 只读、可分区,这个数据集的全部或部分可以缓存在内存中,在多次计算间重用.所谓弹性,是指内存不够时可以与磁盘进行交换.这涉及到了RDD的另一特性：内存计算,就是将数据保存到内存中.同时,为解决内存容量限制问题,Spark为我们提供了最大的自由度,所有数据均可由我们来进行cache的设置,包括是否cache和如何cache.
如果看到这里,你的思维里对RDD还是没有任何概念的话,或许可以参照我的形象化理RDD,就是一个被武装起来的数据集.
‘肆’ sparksql内存溢出怎么解决
这个不太好办，数据库溢出说明数据量有点大。
‘伍’ Spark和Redis结合使用到底有多大的性能提升呢45倍
Spark代表着下一代大数据处理技术，并且，借着开源算法和计算节点集群分布式处理，Spark和Hadoop在执行的方式和速度已经远远的超过传统单节点的技术架构。但Spark利用内存进行数据处理，这让Spark的处理速度超过基于磁盘的Hadoop 100x 倍。
但Spark和内存数据库Redis结合后可显着的提高Spark运行任务的性能，这源于Redis优秀的数据结构和执行过程，从而减小数据处理的复杂性和开销。Spark通过一个Redis连接器可以访问Redis的数据和API，加速Spark处理数据。
Spark和Redis结合使用到底有多大的性能提升呢?结合这两者来处理时序数据时可以提高46倍以上——而不是提高百分之四十五。
‘陆’ 科普Spark，Spark是什么，如何使用Spark
科普Spark，Spark是什么，如何使用Spark
1.Spark基于什么算法的分布式计算（很简单）
2.Spark与MapRece不同在什么地方
3.Spark为什么比Hadoop灵活
4.Spark局限是什么
5.什么情况下适合使用Spark
Spark与Hadoop的对比
Spark的中间数据放到内存中，对于迭代运算效率更高。
Spark更适合于迭代运算比较多的ML和DM运算。因为在Spark里面，有RDD的抽象概念。
Spark比Hadoop更通用
Spark提供的数据集操作类型有很多种，不像Hadoop只提供了Map和Rece两种操作。比如map, filter, flatMap, sample, groupByKey, receByKey, union, join, cogroup, mapValues, sort,partionBy等多种操作类型，Spark把这些操作称为Transformations。同时还提供Count, collect, rece, lookup, save等多种actions操作。
这些多种多样的数据集操作类型，给给开发上层应用的用户提供了方便。各个处理节点之间的通信模型不再像Hadoop那样就是唯一的Data Shuffle一种模式。用户可以命名，物化，控制中间结果的存储、分区等。可以说编程模型比Hadoop更灵活。
不过由于RDD的特性，Spark不适用那种异步细粒度更新状态的应用，例如web服务的存储或者是增量的web爬虫和索引。就是对于那种增量修改的应用模型不适合。
容错性
在分布式数据集计算时通过checkpoint来实现容错，而checkpoint有两种方式，一个是checkpoint data，一个是logging the updates。用户可以控制采用哪种方式来实现容错。
可用性
Spark通过提供丰富的Scala, Java，Python API及交互式Shell来提高可用性。
Spark与Hadoop的结合
Spark可以直接对HDFS进行数据的读写，同样支持Spark on YARN。Spark可以与MapRece运行于同集群中，共享存储资源与计算，数据仓库Shark实现上借用Hive，几乎与Hive完全兼容。
Spark的适用场景
Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但是计算密集度较大的场合，受益就相对较小（大数据库架构中这是是否考虑使用Spark的重要因素）
由于RDD的特性，Spark不适用那种异步细粒度更新状态的应用，例如web服务的存储或者是增量的web爬虫和索引。就是对于那种增量修改的应用模型不适合。总的来说Spark的适用面比较广泛且比较通用。
运行模式
本地模式
Standalone模式
Mesoes模式
yarn模式
Spark生态系统
Shark ( Hive on Spark): Shark基本上就是在Spark的框架基础上提供和Hive一样的H iveQL命令接口，为了最大程度的保持和Hive的兼容性，Shark使用了Hive的API来实现query Parsing和 Logic Plan generation，最后的PhysicalPlan execution阶段用Spark代替Hadoop MapRece。通过配置Shark参数，Shark可以自动在内存中缓存特定的RDD，实现数据重用，进而加快特定数据集的检索。同时，Shark通过UDF用户自定义函数实现特定的数据分析学习算法，使得SQL数据查询和运算分析能结合在一起，最大化RDD的重复使用。
Spark streaming: 构建在Spark上处理Stream数据的框架，基本的原理是将Stream数据分成小的时间片断（几秒），以类似batch批量处理的方式来处理这小部分数据。Spark Streaming构建在Spark上，一方面是因为Spark的低延迟执行引擎（100ms+）可以用于实时计算，另一方面相比基于Record的其它处理框架（如Storm），RDD数据集更容易做高效的容错处理。此外小批量处理的方式使得它可以同时兼容批量和实时数据处理的逻辑和算法。方便了一些需要历史数据和实时数据联合分析的特定应用场合。
Bagel: Pregel on Spark，可以用Spark进行图计算，这是个非常有用的小项目。Bagel自带了一个例子，实现了Google的PageRank算法。
End.
‘柒’ 大数据分析的8大趋势
大数据分析的8大趋势
大数据和分析学等学科发展十分迅速，因此企业必须努力跟上，否则就有被甩掉的危险。”他还说：“过去，新兴技术往往需要十年左右的时间才能够成熟，但是现在大大不同了，人们几个月甚至几周时间就能想出解决方案。”那么，有哪些新兴技术是我们应该关注，或者说科研人员正在重点研究的呢？《电脑世界》采访了一些IT精英、咨询师和行业分析专家，来看看他们列出的几大趋势吧。
1.云端大数据分析
Hadoop是一组有一定框架结构的工具，用来处理大型数据组。它原本用于机器群，但现在情况有所变化。Forrester Research一位分析师BrianHopkins表示，现在有越来越多的技术可以运用到云端数据处理上来了。比如亚马逊的BI数据库、Google的 BigQuery数据分析服务,、IBM’sBluemix 云平台和亚马逊的Kinesis数据处理服务。这位分析师还说，未来的大数据将是内部数据部署与云端数据的结合体。
Smarter Remarketer是SaaS零售分析、市场细分和营销服务的供应商，它最近将自己室内的Hadoop和MongoDB数据库基础设施转移到了一个基于云技术的数据库—Amazon Redshift. 这家位于印第安纳波利斯的公司收集线上和实体销售数据、顾客信息和实时行为数据，之后进行分析，从而帮助零售商做出针对消费者的决策，有些决策甚至是实时的。
Abbott表示，Redshift可以节省这家公司的成本，这是因为它对于结构数据拥有强大的汇总报告功能，而且它颇具规模，使用起来相对容易。用这些虚拟设备总是要比那些实体设备便宜一些。
相比之下，位于加州山景城的Intuit在走向云分析的过程中就要谨慎多了，因为它需要一个安全、稳定、可控的环境。目前为止，这家金融软件公司的数据都还在自家的数据库—Intuit Analytics Cloud里面。Loconzolo表示：“目前我们正跟亚马逊还有Cloudera合作，建立一个我们几家公司公用的能跨越虚拟、现实两个世界的、具有高度稳定性的云端，但是现在这个问题还没有得到解决。”然而，可以说，对于像Intuit这种销售云端产品的公司来说，向云端技术进军是必然的。Loconzolo还说道，未来我们会发展到一个阶段，那时把数据放在私有云端将是浪费的。
2. Hadoop：一个新的企业数据运行系统
Hopkins表示，向MapRece这样的分布式分析框架，正在逐渐演化成分布式资源管理器，这些资源管理器正逐步将Hadoop变为多用途数据运行系统。“有了这些系统，你就可以进行多种多样的操作和分析。”
这对企业来说意味着什么呢？SQL、MapRece、in-memory、流水式处理、图表分析还有其它工作都能在Hadoop上进行，越来越多的企业会把Hadoop当做企业数据中心。Hopkins还说：“在Hadoop上能进行各种各样的数据处理工作，这样的话，Hadoop会慢慢变成一个多用途的数据处理系统。”
Intuit已经开始在Hadoop建立自己的数据基地了。Loconzolo说：“我们的策略是利用Hadoop分布式文件系统，因为它和MapRece与Hadoop等联系十分密切，这样的话，人与产品之间的各种互动就可以实现了。
3.大数据湖泊
美国普华永道首席技术专家Chris Curran说，传统数据库理论认为，人们应该先设计数据集，然后再将数据输入进去。而“数据湖泊“，也被称作“企业数据湖泊”或者“企业数据中心”，颠覆了这个理念。“现在，我们先收集数据，然后把它们都存入Hadoop仓库里，我们不必事先设计数据模型了。”这个数据湖泊不仅为人们提供了分析数据的工具，而且很明确地告诉你，这里有什么样的数据。Curran还表示，运用Hadoop的过程中人们就可以增加对数据的认识。这是一个递增的、有机的大规模数据库。当然，这样一来，对使用者的技术要求相应地会比较高。
Loconzolo表示，Intuit拥有自己的数据湖泊，这个数据湖里既有用户点击量的数据，也有企业和第三方的数据，所有这些都是Intuit分析云端的一部分，但关键是要让围绕这个数据湖的工具能够为人们有效利用起来。Loconzolo还说，对于在Hadoop建立数据湖，一个需要考虑的问题是，这个平台并没有完完全全的为企业的需求设置周全。“我们还需要传统企业数据库已经有了几十年的一些功能，比如监控访问控制、加密、安全性以及能够从源头到去向地追踪数据等等。
4.更多预测分析
Hopkins表示，有了大数据，分析师们不仅有了更多的数据可以利用，也拥有了更强大的处理打量不同属性数据的能力。
他说：“传统的机器学习利用的数据分析是建立在一个大数据集中的一个样本基础上的，而现在，我们拥有了处理了大量数字记录的能力，甚至于每条数据有多种不同属性，我们都应对自如。”
大数据与计算功能的结合也让分析师们能够挖掘人们一天中的行为数据，好比他们访问的网站或者是去过的地方。Hopkins把这些数据称作“稀少数据（sparsedata）”，因为要想得到这些你感兴趣的数据，必须过滤掉一大堆无关的数据。“要想用传统机器算法对抗这种数据，从计算角度来讲几乎不可能。因为计算能力是一个十分重要的问题，特别是现在传统算法的速度和记忆储存能力退化很快。而现在你可以很容易知道哪些数据是最容易分析的，不得不说，赛场易主了。”
Loconzolo表示：“我们最感兴趣的地方是，怎样在同一个Hadoop内核中既能作实时分析，又能做预测模型。这里最大的问题在于速度。Hadoop花费的时间要比现有技术长20倍，所以Intuit也在尝试另一个大规模数据处理器Apache Spark及其配套的 Spark SQL查询工具。Loconzolo说：“Spark具有快速查询、制表服务和分组功能。它能在把数据保留在Hadoop内部的前提下，还将数据处理得十分出色。”
5.Hadoop的结构化查询语言（SQR, StructuredQuery Language）：更快，更好
Gartner一位分析师表示，如果你是个不错的编码员或者数学家，你可以把数据丢进Hadoop，想做什么分析就做什么分析，这是好处，但同时这也是个问题。“尽管任何程序语言都行得通，但我需要有人把这些数据用我熟悉的形式或者语言输入进去，这也是为什么我们需要Hadoop的结构化查询语言。支持与SQR类似的查询语言的工具，让那些懂得SQR的企业使用者们能把类似的技术运用在数据上。Hopkins认为，Hadoop的SQR打开了企业通往Hadoop的大门，因为有了SQR，企业不需要在那些能使用Java, JavaScript 和Python高端数据和商业分析师上投资了，而这些投资在以前可是少不了的一笔开销。
这些工具也并非最近才出现的了。Apache Hive曾经为用户提供了一种适用于Hadoop、类似于SQR的查询语言，但是竞争对手Cloudera、PivotalSoftware、IBM还有其他销售商提供的产品不仅性能更好，速度也更快。这项技术也适合“迭代分析（iterative analytics）”，也就是说，分析师先问一个问题，得到回答之后再问下一个问题。而这种工作放在过去可是需要建立一个数据库的。Hopkins说：“Hadoop的SQR并不是为了取代数据库，最起码短期不会，但对于某些分析来说，它让我们知道，除了那些高成本的软件和应用之外，还有别的选择。”
6.不仅仅是SQR(NoSQL，NotOnly SQR)—更快，更好
Curran表示,现在我们除了基于SQR的传统的数据库之外，还有NoSQL，这个数据库能用于特定目的的分析，当下十分热门，而且估计会越来越受欢迎。他粗略估计目前大概有15-20个类似的开放资源NoSQL，每一个都独具特色。比如ArangoDB，这是一款具备图标分析功能的产品，能更快、更直接地分析顾客与销售人员之间的关系网。
Curran还说，开放资源的NoSQL数据库已经存在一段时间了，但是他们依然势头不减，因为人们需要它们所做的分析。一位在某个新兴市场的普华永道客户把传感器按在了店面柜台上，这样就能监控到那里到底有什么产品，顾客会摆弄这些产品多长时间以及人们会在柜台前站多久。“传感器会产生大量类似指数增长的数据，NoSQL将是未来的一个发展方向，因为它可以针对特定目的进行数据分析，性能好，而且很轻巧。”
7.深度学习
Hopkins认为，作为一种基于神经网络的机械学习技术，虽然还在发展过程中，但在解决问题方面却已经表现出巨大的潜力。“深度学习……能够让计算机在大量非结构化和二进制的数据中识别出有用信息，而且它能够在不需要特殊模型和程序指令的前提下就剔除那些不必要的关系。”
举个例子说明：一个深度学习的算法通过维基网络了解到加利福尼亚和德克萨斯是美国的两个州。“我们不在需要通过模式化让程序去理解州和国家的概念，这就是原来的机械学习和新兴深度学习的区别之一。”
Hopkins还说道：“大数据运用先进的分析技术，例如深度分析，来处理各种各样的非结构文本，这些处理问题的思路和方式，我们也是现在才开始理解。”比如，深度学习可以用来识别各种各样不同的数据，比如形状、颜色和录像中的物体，甚至是图片中的猫—谷歌建立的神经网络就做到了这一点。“这项技术所昭示的认知理念、先进的分析，将是未来的一个趋势。”
8.内存中分析
Beyer表示，利用内存中数据库来提升分析处理速度，这种方式已经越来越广泛，而且只要运用得当，益处也很多。事实上，很多企业现在已经在利用HTAP（hybridtransaction/analytical processing）了，这种处理方式能在同一个内存数据库中进行转换和分析处理。但Beyer同时也表示，对于HTAP的宣传有些过头了，很多公司也过度利用这项技术。对于那些使用者需要每天多次以同样的方式看同样数据的系统来说，这样的数据没有太大变化，这时用内存中分析就是一种浪费了。
虽然有了HTAP的帮助，人们分析速度更快了，但是，所有的转换都必须储存在同一个数据库里。Beyer认为，这样的特点就产生了一个问题，分析师们目前的工作主要是把不同地方的数据汇总输入到同一个数据库当中去。“如果你想做任何分析都运用HTAP，所有的数据就得存在同一个地方。要把多样化的数据进行整合。”
然而，引入内存数据库的同时也意味着，还有另一个产品等着我们去管理、维护、整合与权衡。
对于Intuit而言，他们已经在使用Spark了，所以对引进内存数据库的愿望并没有那么强烈。Loconzolo说：“如果我们用Spark就能处理70%的问题，而用内存数据库可以解决100%，那么我们还会选择前者。所以我们现在也在权衡，要不要马上停用内部的内存数据系统。”
大步向前迈
在大数据和分析领域有这么多的新兴趋势，IT组织应该创造条件，让分析师和数据专家们大显身手。Curran认为：“我们需要评估、整合一些技术，从而把它们运用到商业领域中去。”
‘捌’ 大数据核心技术有哪些
大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。
一、数据采集与预处理
对于各种来源的数据，包括移动互联网数据、社交网络的数据等，这些结构化和非结构化的海量数据是零散的，也就是所谓的数据孤岛，此时的这些数据并没有什么意义，数据采集就是将这些数据写入数据仓库中，把零散的数据整合在一起，对这些数据综合起来进行分析。数据采集包括文件日志的采集、数据库日志的采集、关系型数据库的接入和应用程序的接入等。在数据量比较小的时候，可以写个定时的脚本将日志写入存储系统，但随着数据量的增长，这些方法无法提供数据安全保障，并且运维困难，需要更强壮的解决方案。
Flume NG作为实时日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据，同时，对数据进行简单处理，并写到各种数据接收方(比如文本，HDFS，Hbase等)。Flume NG采用的是三层架构：Agent层，Collector层和Store层，每一层均可水平拓展。其中Agent包含Source，Channel和 Sink，source用来消费（收集）数据源到channel组件中，channel作为中间临时存储，保存所有source的组件信息，sink从channel中读取数据，读取成功之后会删除channel中的信息。
NDC，Netease Data Canal，直译为网易数据运河系统，是网易针对结构化数据库的数据实时迁移、同步和订阅的平台化解决方案。它整合了网易过去在数据传输领域的各种工具和经验，将单机数据库、分布式数据库、OLAP系统以及下游应用通过数据链路串在一起。除了保障高效的数据传输外，NDC的设计遵循了单元化和平台化的设计哲学。
Logstash是开源的服务器端数据处理管道，能够同时从多个来源采集数据、转换数据，然后将数据发送到您最喜欢的 “存储库” 中。一般常用的存储库是Elasticsearch。Logstash 支持各种输入选择，可以在同一时间从众多常用的数据来源捕捉事件，能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。
Sqoop，用来将关系型数据库和Hadoop中的数据进行相互转移的工具，可以将一个关系型数据库(例如Mysql、Oracle)中的数据导入到Hadoop(例如HDFS、Hive、Hbase)中，也可以将Hadoop(例如HDFS、Hive、Hbase)中的数据导入到关系型数据库(例如Mysql、Oracle)中。Sqoop 启用了一个 MapRece 作业（极其容错的分布式并行计算）来执行任务。Sqoop 的另一大优势是其传输大量结构化或半结构化数据的过程是完全自动化的。
流式计算是行业研究的一个热点，流式计算对多个高吞吐量的数据源进行实时的清洗、聚合和分析，可以对存在于社交网站、新闻等的数据信息流进行快速的处理并反馈，目前大数据流分析工具有很多，比如开源的strom，spark streaming等。
Strom集群结构是有一个主节点（nimbus）和多个工作节点（supervisor）组成的主从结构，主节点通过配置静态指定或者在运行时动态选举，nimbus与supervisor都是Storm提供的后台守护进程，之间的通信是结合Zookeeper的状态变更通知和监控通知来处理。nimbus进程的主要职责是管理、协调和监控集群上运行的topology（包括topology的发布、任务指派、事件处理时重新指派任务等）。supervisor进程等待nimbus分配任务后生成并监控worker（jvm进程）执行任务。supervisor与worker运行在不同的jvm上，如果由supervisor启动的某个worker因为错误异常退出（或被kill掉），supervisor会尝试重新生成新的worker进程。
当使用上游模块的数据进行计算、统计、分析时，就可以使用消息系统，尤其是分布式消息系统。Kafka使用Scala进行编写，是一种分布式的、基于发布/订阅的消息系统。Kafka的设计理念之一就是同时提供离线处理和实时处理,以及将数据实时备份到另一个数据中心，Kafka可以有许多的生产者和消费者分享多个主题，将消息以topic为单位进行归纳；Kafka发布消息的程序称为procer，也叫生产者，预订topics并消费消息的程序称为consumer，也叫消费者；当Kafka以集群的方式运行时，可以由一个服务或者多个服务组成，每个服务叫做一个broker，运行过程中procer通过网络将消息发送到Kafka集群，集群向消费者提供消息。Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Procer使用push模式将消息发布到broker，Consumer使用pull模式从broker订阅并消费消息。Kafka可以和Flume一起工作，如果需要将流式数据从Kafka转移到hadoop，可以使用Flume代理agent，将Kafka当做一个来源source，这样可以从Kafka读取数据到Hadoop。
Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，提供数据同步服务。它的作用主要有配置管理、名字服务、分布式锁和集群管理。配置管理指的是在一个地方修改了配置，那么对这个地方的配置感兴趣的所有的都可以获得变更，省去了手动拷贝配置的繁琐，还很好的保证了数据的可靠和一致性，同时它可以通过名字来获取资源或者服务的地址等信息，可以监控集群中机器的变化，实现了类似于心跳机制的功能。
二、数据存储
Hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储。
HBase，是一个分布式的、面向列的开源数据库，可以认为是hdfs的封装，本质是数据存储、NoSQL数据库。HBase是一种Key/Value系统，部署在hdfs上，克服了hdfs在随机读写这个方面的缺点，与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。
Phoenix，相当于一个Java中间件，帮助开发工程师能够像使用JDBC访问关系型数据库一样访问NoSQL数据库HBase。
Yarn是一种Hadoop资源管理器，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。Yarn由下面的几大组件构成：一个全局的资源管理器ResourceManager、ResourceManager的每个节点代理NodeManager、表示每个应用的Application以及每一个ApplicationMaster拥有多个Container在NodeManager上运行。
Mesos是一款开源的集群管理软件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等应用架构。
Redis是一种速度非常快的非关系数据库，可以存储键与5种不同类型的值之间的映射，可以将存储在内存的键值对数据持久化到硬盘中，使用复制特性来扩展性能，还可以使用客户端分片来扩展写性能。
Atlas是一个位于应用程序与MySQL之间的中间件。在后端DB看来，Atlas相当于连接它的客户端，在前端应用看来，Atlas相当于一个DB。Atlas作为服务端与应用程序通讯，它实现了MySQL的客户端和服务端协议，同时作为客户端与MySQL通讯。它对应用程序屏蔽了DB的细节，同时为了降低MySQL负担，它还维护了连接池。Atlas启动后会创建多个线程，其中一个为主线程，其余为工作线程。主线程负责监听所有的客户端连接请求，工作线程只监听主线程的命令请求。
Ku是围绕Hadoop生态圈建立的存储引擎，Ku拥有和Hadoop生态圈共同的设计理念，它运行在普通的服务器上、可分布式规模化部署、并且满足工业界的高可用要求。其设计理念为fast analytics on fast data。作为一个开源的存储引擎，可以同时提供低延迟的随机读写和高效的数据分析能力。Ku不但提供了行级的插入、更新、删除API，同时也提供了接近Parquet性能的批量扫描操作。使用同一份存储，既可以进行随机读写，也可以满足数据分析的要求。Ku的应用场景很广泛，比如可以进行实时的数据分析，用于数据可能会存在变化的时序数据应用等。
在数据存储过程中，涉及到的数据表都是成千上百列，包含各种复杂的Query，推荐使用列式存储方法，比如parquent,ORC等对数据进行压缩。Parquet 可以支持灵活的压缩选项，显着减少磁盘上的存储。
三、数据清洗
MapRece作为Hadoop的查询引擎，用于大规模数据集的并行计算，”Map（映射）”和”Rece（归约）”，是它的主要思想。它极大的方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统中。
随着业务数据量的增多，需要进行训练和清洗的数据会变得越来越复杂，这个时候就需要任务调度系统，比如oozie或者azkaban，对关键任务进行调度和监控。
Oozie是用于Hadoop平台的一种工作流调度引擎，提供了RESTful API接口来接受用户的提交请求(提交工作流作业)，当提交了workflow后，由工作流引擎负责workflow的执行以及状态的转换。用户在HDFS上部署好作业(MR作业)，然后向Oozie提交Workflow，Oozie以异步方式将作业(MR作业)提交给Hadoop。这也是为什么当调用Oozie 的RESTful接口提交作业之后能立即返回一个JobId的原因，用户程序不必等待作业执行完成（因为有些大作业可能会执行很久(几个小时甚至几天)）。Oozie在后台以异步方式，再将workflow对应的Action提交给hadoop执行。
Azkaban也是一种工作流的控制引擎，可以用来解决有多个hadoop或者spark等离线计算任务之间的依赖关系问题。azkaban主要是由三部分构成：Relational Database，Azkaban Web Server和Azkaban Executor Server。azkaban将大多数的状态信息都保存在MySQL中，Azkaban Web Server提供了Web UI，是azkaban主要的管理者，包括project的管理、认证、调度以及对工作流执行过程中的监控等；Azkaban Executor Server用来调度工作流和任务，记录工作流或者任务的日志。
流计算任务的处理平台Sloth，是网易首个自研流计算平台，旨在解决公司内各产品日益增长的流计算需求。作为一个计算服务平台，其特点是易用、实时、可靠，为用户节省技术方面（开发、运维）的投入，帮助用户专注于解决产品本身的流计算需求。
四、数据查询分析
Hive的核心工作就是把SQL语句翻译成MR程序，可以将结构化的数据映射为一张数据库表，并提供 HQL(Hive SQL)查询功能。Hive本身不存储和计算数据，它完全依赖于HDFS和MapRece。可以将Hive理解为一个客户端工具，将SQL操作转换为相应的MapRece jobs，然后在hadoop上面运行。Hive支持标准的SQL语法，免去了用户编写MapRece程序的过程，它的出现可以让那些精通SQL技能、但是不熟悉MapRece 、编程能力较弱与不擅长Java语言的用户能够在HDFS大规模数据集上很方便地利用SQL 语言查询、汇总、分析数据。
Hive是为大数据批量处理而生的，Hive的出现解决了传统的关系型数据库(MySql、Oracle)在大数据处理上的瓶颈 。Hive 将执行计划分成map->shuffle->rece->map->shuffle->rece…的模型。如果一个Query会被编译成多轮MapRece，则会有更多的写中间结果。由于MapRece执行框架本身的特点，过多的中间过程会增加整个Query的执行时间。在Hive的运行过程中，用户只需要创建表，导入数据，编写SQL分析语句即可。剩下的过程由Hive框架自动的完成。
Impala是对Hive的一个补充，可以实现高效的SQL查询。使用Impala来实现SQL on Hadoop，用来进行大数据实时查询分析。通过熟悉的传统关系型数据库的SQL风格来操作大数据，同时数据也是可以存储到HDFS和HBase中的。Impala没有再使用缓慢的Hive+MapRece批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从HDFS或HBase中用SELECT、JOIN和统计函数查询数据，从而大大降低了延迟。Impala将整个查询分成一执行计划树，而不是一连串的MapRece任务，相比Hive没了MapRece启动时间。
Hive 适合于长时间的批处理查询分析，而Impala适合于实时交互式SQL查询，Impala给数据人员提供了快速实验，验证想法的大数据分析工具，可以先使用Hive进行数据转换处理，之后使用Impala在Hive处理好后的数据集上进行快速的数据分析。总的来说：Impala把执行计划表现为一棵完整的执行计划树，可以更自然地分发执行计划到各个Impalad执行查询，而不用像Hive那样把它组合成管道型的map->rece模式，以此保证Impala有更好的并发性和避免不必要的中间sort与shuffle。但是Impala不支持UDF，能处理的问题有一定的限制。
Spark拥有Hadoop MapRece所具有的特点，它将Job中间输出结果保存在内存中，从而不需要读取HDFS。Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。
Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。
Solr用Java编写、运行在Servlet容器（如Apache Tomcat或Jetty）的一个独立的企业级搜索应用的全文搜索服务器。它对外提供类似于Web-service的API接口，用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引；也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果。
Elasticsearch是一个开源的全文搜索引擎，基于Lucene的搜索服务器，可以快速的储存、搜索和分析海量的数据。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
还涉及到一些机器学习语言，比如，Mahout主要目标是创建一些可伸缩的机器学习算法，供开发人员在Apache的许可下免费使用；深度学习框架Caffe以及使用数据流图进行数值计算的开源软件库TensorFlow等，常用的机器学习算法比如，贝叶斯、逻辑回归、决策树、神经网络、协同过滤等。
五、数据可视化
对接一些BI平台，将分析得到的数据进行可视化，用于指导决策服务。主流的BI平台比如，国外的敏捷BI Tableau、Qlikview、PowrerBI等，国内的SmallBI和新兴的网易有数（可点击这里免费试用）等。
在上面的每一个阶段，保障数据的安全是不可忽视的问题。
基于网络身份认证的协议Kerberos，用来在非安全网络中，对个人通信以安全的手段进行身份认证，它允许某实体在非安全网络环境下通信，向另一个实体以一种安全的方式证明自己的身份。
控制权限的ranger是一个Hadoop集群权限框架，提供操作、监控、管理复杂的数据权限，它提供一个集中的管理机制，管理基于yarn的Hadoop生态圈的所有数据权限。可以对Hadoop生态的组件如Hive，Hbase进行细粒度的数据访问控制。通过操作Ranger控制台，管理员可以轻松的通过配置策略来控制用户访问HDFS文件夹、HDFS文件、数据库、表、字段权限。这些策略可以为不同的用户和组来设置，同时权限可与hadoop无缝对接。
‘玖’ 如何在 Spark 的 Dataset 中娉22 列的数据
一般来讲,对于陌生的名词,大家的第一个反应都是“What is it?”.
RDD是Spark的核心内容,在Spark的官方文档中解释如下：RDD is a fault-tolerant collection of elements that can be operated on in parallel.由此可见,其中有两个关键词：fault-tolerant & in parallel.首先,容错性是RDD的一个重要特性；其次,它是并行计算的数据.
RDD的中文解释为：弹性分布式数据集,全称Resilient Distributed Datasets.宾语是dataset,即内存中的数据库.RDD 只读、可分区,这个数据集的全部或部分可以缓存在内存中,在多次计算间重用.所谓弹性,是指内存不够时可以与磁盘进行交换.这涉及到了RDD的另一特性：内存计算,就是将数据保存到内存中.同时,为解决内存容量限制问题,Spark为我们提供了最大的自由度,所有数据均可由我们来进行cache的设置,包括是否cache和如何cache.
如果看到这里,你的思维里对RDD还是没有任何概念的话,或许可以参照我的形象化理RDD,就是一个被武装起来的数据集.
主体：a、由源数据分割而来,源码中对应splits变量；
武器有下：b、数据集体内包含了它本身的“血统”信息,即dependencies变量,存储着它的父RDD及两者关系；
c、计算函数,即其与父RDD的转化方式,对应源码中的iterator(split) & compute函数；
d、一些关于如何分块以及如何存放位置的元信息,eg：partitioner & preferredLocations.
有了这些武器,RDD的容错机制也就显而易见了.容错,顾名思义就是在存在故障的情况下,计算机系统仍能正常工作.容错通常有两种方式 checkpoint 和logging update ,RDD 采用的是 logging update .Checkpoint（ 数据检查点）意味着要在各个机器间复制大数据,花费会很高,这种拷贝操作相当缓慢,而且会消耗大量的存储资源,因此deserted.Logging update（ 记录更新）,仅支持粗颗粒度变换,也就是说,仅记录在单个块上执行的单个操作,然后创建某个RDD的变换序列存储下来,数据丢失时,就可通过“血统”重新计算,恢复数据.Nevertheless,血缘链（变换序列）变得很长时,建议用户此时建立一些数据检查点加快容错速度.（saveAstextFile方法手动设置）