当前位置:首页 » 服务存储 » 存储设备和大数据有关吗
扩展阅读
webinf下怎么引入js 2023-08-31 21:54:13
堡垒机怎么打开web 2023-08-31 21:54:11

存储设备和大数据有关吗

发布时间: 2022-11-27 00:36:53

A. 大数据存储与应用特点及技术路线分析

大数据存储与应用特点及技术路线分析

大数据时代,数据呈爆炸式增长。从存储服务的发展趋势来看,一方面,对数据的存储量的需求越来越大;另一方面,对数据的有效管理提出了更高的要求。大数据对存储设备的容量、读写性能、可靠性、扩展性等都提出了更高的要求,需要充分考虑功能集成度、数据安全性、数据稳定性,系统可扩展性、性能及成本各方面因素。

大数据存储与应用的特点分析

“大数据”是由数量巨大、结构复杂、类型众多数据构成的数据集合,是基于云计算的数据处理与应用模式,通过数据的整合共享,交叉复用形成的智力资源和知识服务能力。其常见特点可以概括为3V:Volume、Velocity、Variety(规模大、速度快、多样性)。

大数据具有数据规模大(Volume)且增长速度快的特性,其数据规模已经从PB级别增长到EB级别,并且仍在不断地根据实际应用的需求和企业的再发展继续扩容,飞速向着ZB(ZETA-BYTE)的规模进军。以国内最大的电子商务企业淘宝为例,根据淘宝网的数据显示,至2011年底,淘宝网最高单日独立用户访问量超过1.2亿人,比2010年同期增长120%,注册用户数量超过4亿,在线商品数量达到8亿,页面浏览量达到20亿规模,淘宝网每天产生4亿条产品信息,每天活跃数据量已经超过50TB.所以大数据的存储或者处理系统不仅能够满足当前数据规模需求,更需要有很强的可扩展性以满足快速增长的需求。

(1)大数据的存储及处理不仅在于规模之大,更加要求其传输及处理的响应速度快(Velocity)。

相对于以往较小规模的数据处理,在数据中心处理大规模数据时,需要服务集群有很高的吞吐量才能够让巨量的数据在应用开发人员“可接受”的时间内完成任务。这不仅是对于各种应用层面的计算性能要求,更加是对大数据存储管理系统的读写吞吐量的要求。例如个人用户在网站选购自己感兴趣的货物,网站则根据用户的购买或者浏览网页行为实时进行相关广告的推荐,这需要应用的实时反馈;又例如电子商务网站的数据分析师根据购物者在当季搜索较为热门的关键词,为商家提供推荐的货物关键字,面对每日上亿的访问记录要求机器学习算法在几天内给出较为准确的推荐,否则就丢失了其失效性;更或者是出租车行驶在城市的道路上,通过GPS反馈的信息及监控设备实时路况信息,大数据处理系统需要不断地给出较为便捷路径的选择。这些都要求大数据的应用层可以最快的速度,最高的带宽从存储介质中获得相关海量的数据。另外一方面,海量数据存储管理系统与传统的数据库管理系统,或者基于磁带的备份系统之间也在发生数据交换,虽然这种交换实时性不高可以离线完成,但是由于数据规模的庞大,较低的数据传输带宽也会降低数据传输的效率,而造成数据迁移瓶颈。因此大数据的存储与处理的速度或是带宽是其性能上的重要指标。

(2)大数据由于其来源的不同,具有数据多样性的特点。

所谓多样性,一是指数据结构化程度,二是指存储格式,三是存储介质多样性。对于传统的数据库,其存储的数据都是结构化数据,格式规整,相反大数据来源于日志、历史数据、用户行为记录等等,有的是结构化数据,而更多的是半结构化或者非结构化数据,这也正是传统数据库存储技术无法适应大数据存储的重要原因之一。所谓存储格式,也正是由于其数据来源不同,应用算法繁多,数据结构化程度不同,其格式也多种多样。例如有的是以文本文件格式存储,有的则是网页文件,有的是一些被序列化后的比特流文件等等。所谓存储介质多样性是指硬件的兼容,大数据应用需要满足不同的响应速度需求,因此其数据管理提倡分层管理机制,例如较为实时或者流数据的响应可以直接从内存或者Flash(SSD)中存取,而离线的批处理可以建立在带有多块磁盘的存储服务器上,有的可以存放在传统的SAN或者NAS网络存储设备上,而备份数据甚至可以存放在磁带机上。因而大数据的存储或者处理系统必须对多种数据及软硬件平台有较好的兼容性来适应各种应用算法或者数据提取转换与加载(ETL)。

大数据存储技术路线最典型的共有三种:

第一种是采用MPP架构的新型数据库集群,重点面向行业大数据,采用Shared Nothing架构,通过列存储、粗粒度索引等多项大数据处理技术,再结合MPP架构高效的分布式计算模式,完成对分析类应用的支撑,运行环境多为低成本 PC Server,具有高性能和高扩展性的特点,在企业分析类应用领域获得极其广泛的应用。

这类MPP产品可以有效支撑PB级别的结构化数据分析,这是传统数据库技术无法胜任的。对于企业新一代的数据仓库和结构化数据分析,目前最佳选择是MPP数据库。

第二种是基于Hadoop的技术扩展和封装,围绕Hadoop衍生出相关的大数据技术,应对传统关系型数据库较难处理的数据和场景,例如针对非结构化数据的存储和计算等,充分利用Hadoop开源的优势,伴随相关技术的不断进步,其应用场景也将逐步扩大,目前最为典型的应用场景就是通过扩展和封装 Hadoop来实现对互联网大数据存储、分析的支撑。这里面有几十种NoSQL技术,也在进一步的细分。对于非结构、半结构化数据处理、复杂的ETL流程、复杂的数据挖掘和计算模型,Hadoop平台更擅长。

第三种是大数据一体机,这是一种专为大数据的分析处理而设计的软、硬件结合的产品,由一组集成的服务器、存储设备、操作系统、数据库管理系统以及为数据查询、处理、分析用途而特别预先安装及优化的软件组成,高性能大数据一体机具有良好的稳定性和纵向扩展性。

以上是小编为大家分享的关于大数据存储与应用特点及技术路线分析的相关内容,更多信息可以关注环球青藤分享更多干货

B. 大数据和传统数据存储的区别

没什么关联性 大数据是海量数据、是一种现状、一种解决问题的手段 传统数据存储是存储的问题

C. 大数据时代的安防数据存储安全

大数据时代的安防数据存储安全

近几年随着平安城市、智能交通、智能楼宇等行业的快速发展,大集成、大联网推动安防行业进入了大数据时代。安防行业大数据的存在已经被越来越多的人熟知,特别是安防行业海量的非结构化视频数据,以及飞速增长的特征数据(卡口过车数据、人像抓拍数据、异常行为数据等),带动了大数据的数据安全一系列问题,吸引着行业的关注。

大数据引发监控数据安全性问题突出

大数据的本质是系统通过处理采集到的所有数据,去提取其特征和共性的信息。通过大数据的处理使得所有的数据都有价值。通过大数据的处理,把传统认为没有价值的信息也能够产生非常有价值的信息,这就叫做数据挖掘。同样的数据摆在我们面前不同的挖掘方法,不同的挖掘目标可以为各种各样的业务的应用产生有价值的信息。对于安防行业,监控技术如今正面临日新月异的变革,模拟视频监控正在向IP网络监控转变,巨大转变的同时对安全性也提出了更高的要求。我们探讨数据安全,包括产品本身的物理安全和产生数据的安全。所以,大数据时代引发监控数据安全性问题有以下几点:

1、基础设备的风险:包括监控中心的存储设备、服务器和前端节点设备的安全性、网络设备的安全性、传输线缆的安全性等。设备的安全可靠是整个大数据安防系统安全运行的基础。

2、信息存取的风险:包括用户非法访问、数据丢失、数据被篡改等。系统信息的安全,主要运用各种加密技术、存储技术、及备份方案来达到系统信息的安全。

3、信息在网络上传输的风险:包括视频信息、录像数据信息、用户信息等在传输过程中保密性、完整性的保障以及传输链路上的节点设备的安全。另外还包括前端采集设备、社会监控资源接入公安监控专网的安全。

4、系统运行的风险:包括接入设备的识别和认证、设备运行故障、软件病毒、恶意代码、以及设备控制的优先级调度等。系统运行时的风险控制主要依靠视频监控软件平台来保障,该软件平台可以完成设备管理、故障监控、访问控制、用户管理、鉴权机制等一系列的功能来保障整个系统的安全运行。

基于以上4点,从存储设备的角度我们主要谈及前面两点。

大数据也催生监控存储方式变革

在一个时代下,必然会发生诸多变革。

视频监控的存储技术和介质从VCR模拟存储、DVR数字存储,逐渐向NVR、NAS、SAN等网络存储发展。而在存储方式上,主要有集中式存储和分布式存储两种。大数据意味着海量的数据,也意味着更复杂、更敏感的数据,这些数据会吸引更多的潜在攻击者。为此,我们关注点是,大数据下的信息安全问题将衍生新的机遇,提升安防的价值。

随着安防形势的复杂多变和大数据时代的来临,对视频录像文件分析的需求越来越多。视频监控系统中也越来越多的使用了高级的数据存储设备和系统,例如专业的磁盘阵列系统等等。同理,安防行业使用这些专业存储设备时,需要充分了解这些软硬件的特性,而不要仅仅把它们当作超级外接大硬盘来使用。在系统设计和实施过程中可以充分利用这些设备中自带的一些数据保护软件来保护自己的数据。常用和流行的数据安全保护技术主要有以下七种:

磁盘阵列:磁盘阵列是指把多个类型、容量、接口甚至品牌一致的专用磁盘或普通硬盘连成一个阵列,使其以更快的速度、准确、安全的方式读写磁盘数据,从而加快数据读取速度、提高数据保存的安全性。

SAN:SAN允许服务器在共享存储装置的同时仍能高速传送数据。这一方案具有带宽高、可用性高、容错能力强的优点,而且它可以轻松升级,容易管理,有助于改善整个系统的总体成本状况。我们推荐FCSAN方案,它能为大数据时代的视频监控,相较于IPSAN方案,大幅减少存储设备台数,从而大幅降低成本,在数据安全方面由于自身设备超高的稳定性和性能来得以保障。

数据备份:备份管理包括数据备份的计划,自动操作,备份日志的保存。

双机容错:双机容错的目的在于保证系统数据和服务的在线性,即当某一系统发生故障时,仍然能够正常的向网络系统提供数据和服务,使得系统不至于停顿,双机容错的目的在于保证数据不丢失和系统不停机。

NAS解决方案通常配置为作为文件服务的设备,由工作站或服务器通过网络协议和应用程序来进行文件访问,大多数NAS链接在工作站客户机和NAS文件共享设备之间进行。这些链接依赖于企业的网络基础设施来正常运行;NAS提供视频监控系统后期视频文件批量处理分析的基本可能。

数据迁移:由在线存储设备和离线存储设备共同构成一个协调工作的存储系统,该系统在在线存储和离线存储设备间动态的管理数据,使得访问频率高的数据存放于性能较高的在线存储设备中,而访问频率低的数据存放于较为廉价的离线存储设备中;视频录像的归档可以充分利用高级存储设备的数据迁移手段;分层存储有效降低存储系统的整体成本。

异地容灾:以异地实时备份为基础的、高效的、可靠的远程数据存储,在各单位的IT系统中,必然有核心部分,通常称之为生产中心。往往给生产中心配备一个备份中心,改备份中心是远程的,并且在生产中心的内部已经实施了各种各样的数据保护。不管怎么保护,当火灾、地震这种灾难发生时,一旦生产中心瘫痪了,备份中心会接管生产,继续提供服务;视频监控的多中心配置越来越多,各个中心的系统和数据容灾应该借鉴IT的容灾技术考虑。

结束语

大数据是继云计算、物联网之后信息产业当前科技创新、产业政策及国家安全领域的又一次知识新增长点。在大数据的背景下信息安全面临着很多的挑战,特别是现阶段视频监控已有的信息安全手段已经不能满足大数据时代的信息安全的实际要求,因此研究大数据时代视频监控所面临的信息安全问题具有重要意义。

以上是小编为大家分享的关于大数据时代的安防数据存储安全的相关内容,更多信息可以关注环球青藤分享更多干货

D. 大数据、云计算有什么关系

大数据,通常情况下,既指数据本身,也指实现大数据处理的技术;而云计算,则可以理解为硬件资源的虚拟化,大数据由于规模大,必然无法用单台的计算机进行处理,而这时候就需要依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
大数据与云计算的关系,本质上讲,云计算强调的是计算能力;而大数据强调的是处理、计算的对象。二者并不是孤立存在的,而是相互关联的。
云计算中的重要组成部分既是基础设施还是存储设备;大数据提供给用户的服务需要对数据进行处理,主要落脚在对数据的加工上。因此,云计算与大数据两者密不可分。
云计算的存储和计算能力以及分布式结构,都为大数据的商业模式提供了实现的可能。“大数据”要求能够处理几乎所有类型的海量数据,例如文档、图片、视频、音频、微博、电子邮件等,而且要求处理的速度非常高,几乎实时。因为这些大量数据的计算需要面向最普通的用户,所以必须是廉价的,因此其所应用的基础硬件设施都要求低成本。
而云计算提供了这些价格低廉的基础设施,使用户能够按照需求获得相应的服务,云计算的分配机制满足了大数据系统中海量、多种类型数据的存储和计算要求,使大数据的实现成为可能。

E. 大数据对于数据中心基础设施有何意义

大数据对于数据中心基础设施有何意义
今天,我们可以从各种各样的渠道来源收集和存储数据,如网上交易、社交媒体活动、移动设备和自动化传感器等等。而软件的发展始终为新硬件的改进铺平了道路。在这种情况下,大数据的计算和存储需求无疑正推动着存储硬件、网络基础设施和不断增长的新的计算需求处理方式的发展。对于大数据分析而言,最重要的基础设施莫过于存储设备了。
容量能力
那些超过PB级规模的数据即可被认为是大数据。随着数据量的飞速增长,企业的存储设备也必须是高度可扩展的、且灵活的,以保证整个系统不会被打乱,进而重新增加存储。大数据转化为大量的元数据,所以传统的文件系统无法支持。为了减少可扩展性,面向对象的文件系统应该是灵活的。
关于延迟性
大数据分析涉及到对社交媒体和交易数据的跟踪,这需要利用实时的战术决策。因此,大数据存储不能出现延迟状况或过时数据的状况。有些应用程序可能需要实时数据的以便进行实时的决策。存储系统必须能够在不牺牲性能的情况下向外扩展,这可以通过实施一个基于闪存的存储系统来实现。
保证正常访问
由于大数据分析是用于跨多个平台和主机系统,需要有一个更大的交叉引用数据,并将所有这些结合在一起,以便提供一个形象图。因此,存储设备必须能够在同一时间处理来自不同源系统中的数据。
安全性
由于交叉引用数据处于一个新的水平,会产生更大的形象图,新数据级别的安全注意事项可能需要考虑现有IT场景。存储设备应该能够在不牺牲可扩展性或延迟性能的前提下处理这些类型的数据级别的安全需求。
成本因素
大数据项目也会涉及到大的成本。大数据分析所需的最昂贵的组件是存储设备。某些技术像重复数据删除可以使用磁带备份、数据冗余和构建定制的硬件,而不是使用市场上可以买到的任何可用的存储设备,这样可以帮助企业显着降低成本。
灵活性
大数据通常采用商业智能应用程序,这需要数据集成和迁移。然而,考虑到大数据的规模,存储系统需要修复而不能涉及任何数据的迁移需求,同时需要有足够的灵活性以适应不同类型的数据源,再次,也不能以牺牲性能或延迟性为代价。企业应谨慎考虑所有当前和未来可能的使用情况和场景,以进行存储系统的规划和设计。

F. 大数据、云存储的时代已经来临

大数据、云存储的时代已经来临
在文章中,笔者简单阐述了两种监控摄像目前的市场状况,也谈到了高清监控设备产生的海量数据,对存储设备的冲击。在流量较少的区域,采用支持移动侦测的监控摄像机,确实能为后端存储设备减轻压力,但对于要求7*24小时工作的监控摄像机来说,压力似乎还是存在的,如何缓解并有效的管理这些数据,成了目前安防企业需要考虑的问题。
口号OR行动
云计算、大数据、云存储等概念相继提出,立刻成为时下的热点话题,几乎各行各业都对它未来的发展,提出了美好的设想。
确实如此,大数据、云存储的深入发展,确实给高清监控设备产生的大量数据带来了福音,不仅有效的存储及管理数据,而且这些海量数据不再是孤立的,所有安防数据可以实现资源共享,为后期大量的分析提供数据支撑。
对于安防企业的影响
对于安防企业,首先在营销模式上会发生变化,企业不再单一的为用户提供设备,可以由服务着手。安防厂商可以为用户设计方案并提供设备,用户只需按期向安防企业缴纳服务费,相当于把企业的安防部分托管给安防厂商,企业本身也不必再为这些复杂而专业的问题苦恼。对于安防企业,用户增加了对自己的依赖,为后期的二次营销带来可能。
对于托管服务,早已不是什么新鲜事,众多企业都将人力、IT服务外包给专业公司,由他们帮忙打理这些琐碎的杂事,而企业自身只会专注属于自已的领域。
对各行业的影响
对于道路交通。
智能交通概念的提出,不仅仅是道路的监控,其涉及的是人、车、路三者的关系,如何有效的管理他们的关系,成为城市发展的重要因素。
众所周知,城市化道路压力日益严重,道路拥堵不堪,智能化交通势在必行。但海量的交通数据对于监管部门来说,压力不是一般的大,大数据、云存储的应用,对于智能交通的数据共享提供了可能,通过智能分析功能,监管部门可以清楚哪条道路在什么时间段内拥堵最为严重,哪段道路多出现交通事故,对于针对性的监管提供了数据支持,可以在事故多发路段假设警示牌等。
对于医疗行业。
智慧医疗概念的提出,立刻引起轩然大波,最近网上有关医疗安防的信息非常多,如何有效的处理医患之间的关系,也是智慧医疗重点的研究问题。
针对挂号难这一问题,各大医院已经纷纷出台网上挂号平台,大大减轻了挂号窗口的压力,在挂号大厅,医院也设立的多台挂号机,也缓解大量就医人员的挂号问题。
挂号平台、挂号机的应用,是向智慧医疗平台的过度阶段,相信不久的将来,医疗行业会融入更多高新技术,使医疗服务更智能化。大数据的应用,对于医疗行业也有很大的帮助,能有效的分析目前医疗技术的走势、哪种疾病在什么季节多发等等。
对于学校。
学校的安全问题,一直以来是监管部门管理的重点,学校暴力事件时有发生,青少年叛逆思想严重,如何有效的管理校园安全,也是当下亟待解决的问题。
除了保护学生安全,对于校内盗窃案件的发生也有很大帮助。大数据、云计算的深入应用,帮助学校分析校园安全,青少年暴力事件发生频率及阶段,都有极大的借鉴意义。
对于公安系统。
社会的安全稳定,可以为人们提供一个良好的居住环境,但犯罪事件时有发生 ,犯罪形式更是多种多样,如何行之有效的管理及监控不法分子,是相关管理人员考虑的头等大事。
在重点路段、街道部署监控摄像机,对刑事案件的侦破提供了更多依据,能够有效的减少犯罪事件的发生。大数据、云计算的应用,针对海量监控资料进行智能分析,有效的分析犯罪事件的多发地点、多发时间,弥补监控系统的空白区域,争取做到零死角监控,减少犯罪事件的发生,保障大家的安全。
大数据、云存储的相继应用,对于安防监控行业发展意义重大,云存储不仅可以有效的存储大量数据,还能通过智能化分析,为各行各业提供数据支撑。在未来,大数据、云存储在智慧城市、物联网、智慧医疗、智能交通领域,一定会大放异彩。大数据、云存储的时代已经来临,云安防还会远么?

G. 大数据的快速发展离不开存储技术,CPU处理能力的提升,各种终端设备可以随时随

大数据时代,大数据分析与应用大肆盛行。越来越多的大公司大企业大集团,都越来越重视大数据的影响和作用。可以说,谁想抢得大数据的一手可靠资料,谁就在未来的业务发展和拓宽中占据优势,谁就会在相关领域首先拔得头筹。但是,大数据发展前景现在到底如何,大数据的可靠性由谁说了算,大数据的真实性有谁可以保证?甚至还可以再倒退一点点来问问,如今的大数据究竟发展到了什么阶段?

我想,应该很少人能够清楚地知道这一点吧!毕竟在大数据分析与应用火爆的年代,一般人都只是了解大数据的皮毛和表面,而对于大数据发展前景、大数据背后的来源及处理分析等等精密的工作程序,肯定不了解,也不会感兴趣。而且对于一般人,也不可能会去真正弄明白大数据分析与应用背后蕴藏的种种可靠性、客观性、真实性的来源支撑与科学手段处理。下面,小编就用大白话的方式来跟大家讲讲,如今的大数据究竟发展到了什么阶段,由此来窥探一下大数据发展前景到底是怎么个情况。

在日新月异且喜新厌旧的技术初创企业界,已有3年历史的 “大数据” 听起来似乎已经有点过气。虽然 Hadoop 在 2006年 已经出来,但 “大数据” 这个概念大概是在 2012 到 2015年左右才真正火起来的。也就是在这段时间里,至少是在媒体或者专家眼里,“大数据” 才开始慢慢成为了新的 “金子” 或者 “石油”。然而,至少在我跟业界人士交谈中,大家越来越感觉到这项技术已经在某种程度上陷入了停滞或迷惑期。2017年可能是数据领域的那些酷小子转移兴趣,开始沉迷于 AI 以及机器智能、深度学习等许多相关概念的年份。

抛开不可避免的炒作周期曲线态势不管,我们的 “大数据版图” 已经进入第 4 个年头了,趁这个时候退一步来反思一下去年发生了什么,思考一下这个行业的未来会怎样是很有意义的,看看如今的大数据到底发展到了什么阶段。那么 2019年大数据到底还有多大的发展和进步空间呢?我们不妨探讨一下。

企业技术=艰苦工作

大数据有趣的一点在于,它不再像当初经历过那样有可能成为炒作的题材了。

经过炒作周期后仍能引起广泛兴趣的产品和服务往往那些大家能够接触、可以感知,或者与大众相关联的:比如移动应用、社交网络、可穿戴、虚拟现实等。

但大数据基本上就是管道设施的一种。当然,大数据为许多消费者或商业用户体验提供了动力,但它的核心是企业技术:数据库、分析等,这些东西都是在后端运行的,没几个人能看得见。就像在那个世界工作的任何人都知道那样,用一个晚上的时间就想适应企业端的新技术是不可能的。

H. 大数据中,大数据存储和大数据分析技术这两者的关系是怎样的

大数据存储的目的是支撑大数据分析。到目前为止,这两种技术还是两种截然不同的计算机技术领域:大数据存储致力于研发可以扩展至PB甚至EB级别的数据存储平台;大数据分析关注的是在最短时间内处理大量不同类型的数据集。

I. 分布式存储和大数据有什么关系

当数据越来越大的时候,就设计到存储了。像hadoop就提供了分布式存储技术HDFS,还有Ceph。Ceph目前在国内刚兴起,前景很大,很多大公l司像阿里,元核云,腾讯都在做。

J. 大数据时代下存储新价值

大数据时代下存储新价值
大数据正在成为众多企业单位的重要的工具,而随着数据本身的加速增长,用户们所部属的存储变得越来越重要。而由于用户面临的各种挑战,比如实施分析工具和掌控大型数据文件等,用户首先需要了解大数据与存储的关系。
惠普亚太和日本地区存储产品部某专家为记者分析了二者之间的关系,主要包括两个方面:第一是对象存储这个全新的概念,主要涉及到社交媒体以及设备相关的存储方式;第二是大数据最重要的问题-搜索和发现数据,如果你无法高效地搜索到数据,存储的价值也荡然无存。
大数据激发“对象存储”潜能
而谈到大数据中重要的非结构化数据,其表示,这需要具体区分为半结构化数据和非结构化数据,这些都直接影响到了用户数据的存储方式和架构。
这就需要提到“对象存储”,解释了“对象存储”对大数据的意义,非结构化数据特别是基于云服务数据的属性大部分是静态的,生成之后很长一段时间不会发生变化。但经常读取大量静态数据对存储需求变革的发展带来很多的影响,这就产生了“对象存储”的概念。“对象存储”是一种传统的文件格式,但不断地适应目前对象性的数据的变化。对象性的数据可以帮助我们克服过去文件系统技术的局限。我们看到大数据很多产生于各种各样的社交媒体以及数字传感器,也就是终端设备,包括智能手机、平板电脑以及监控摄像头等,这些设备都带来了大数据的增长,也催生了“对象存储”的巨大需求,所以“对象存储”对大数据的影响很大。
他最后表示,要让大数据真正实现价值,必须提高搜索和发现能力。即通过搜索相关的索引或者元数据的标签这样的工具来发现和搜索数据。用一个小故事来说明,人们原来花65000秒在草堆里面找到了一根银针(代指数据的价值),类似于中国的“大海捞针”,而现在通过大数据的分析能力,能在几秒,甚至不到一秒钟内快速地发现数据并获得价值。