① 大数据时代需要什么样的存储
众多专家认为，大数据时代的存储，应当是分布式的存储，并呈现出与计算融合的趋势。当然，不同专家对融合的理解也有所区别。 SNIA-China技术委员会主席雷涛表示，在当前的大数据时代，由于数据量TB、PB级的急剧膨胀，传统的数据搬移工作已经不现实，因而存储服务器出现新的融合趋势。在这样的架构中，数据不再移动，写入以后分散在STORAGE，它的计算节点融合在数据旁边的CPU，数据越来越贴近计算。 雷涛补充说，大数据只谈商业分析的数据支持，这是小数据思维，从金融、运营商、政府行业我们做的项目里面发现，大数据是嵌入到整个行业里面，替换以前的存储和计算的系统架构的过程。 华为存储产品线Marketing部长经宁认为，大数据带来的三大变化，包括从集中式走向分布式，从水平走向纵向，从计算为中心转向以数据为中心，总结一句话，即在大数据下架构方向走向分布式存储的架构。 2013年，华为存储产品线把理念进行升级，变成“存以致用，融以致远”。经宁表示，融合架构是我们面对大数据挑战一个很好的选择。华为更多的希望把数据智能用起来产生价值，通过融合架构实现计算存储融合，可以带来更高的管理效率更高效能，大大降低我们管理上的开销。 中桥国际调研咨询公司首席分析师王丛女士则从虚拟化、云计算数据保护和融合架构三个维度谈了中国数据中心的发展变化。她表示，具有高可移动性的虚拟机用于生产，掉了链子就很难判断是哪个物理环境，这就驱动了融合架构。融合架构避免了整合的时间和网络问题判断的时间，能够实现统一集中透明管理，可以根据工作负载去实时动态配置资源，也可以实时监控哪里出了问题，怎么解决问题。 王丛还指出，融合架构有不同的形态，其中一种是在原来硬件基础上用一个软件罩上，然后形成融合架构，实现目的是可以在线扩展，所有动态可以负载均衡，在最大限度提高部署效率前提下，又能够降低因为硬件问题而导致的应用性能降低和应用的不稳定。 老牌存储厂商NetApp同样对存储架构很有体会。NetApp公司北方区及电信事业部技术总监刘炜表示，在今天把数据存起来不是很难的问题，买一个移动硬盘就可以存储数据，但是在上面存储享受的服务级别不同的，不同于放在数据中心和网络云上面的服务级别的。 为了不让数据成为整个企业发展的负担，而是成为真正的价值点，从资料变成资产，基础架构需要快速、安全地支持一些新的技术手段。刘炜认为，应用级别和服务级别怎么定义需要有很好存储架构。NetApp集群存储系统，并不是简单地迎合新概念，而是面向实际的应用设计。NetApp做了很多IT架构的设计，满足应用分级、资源分层的需求，你可以用虚拟化，也可以不用。 Fusion-io大中国区技术总监Tonny Ai与英特尔公司通信和存储基础架构事业部存储部市场总监 Christine M Rice女士谈到了SSD在大数据时代数据中心的应用。Tonny Ai表示，让包括非结构化数据的大量数据快速变成信息，不仅仅是服务器要快，存储速度也要跟上CPU的速度，闪存正是针对当前网络存储速度落后的解决方案，能够有效提高存储的性能。 同时，Tonny Ai认为，在云计算、大数据时代，集中式存储需要的管理和维护非常困难，分布式存储模型是大势所趋。在这其中，Fusion-io提供了PCIe闪存卡、全闪存阵列以及SDK工具，支持提升各种应用的性能。 Christine M Rice女士指出，SSD不只是让数据变快。她认为，通过SSD在数据中心的使用，能够帮助节约成本，降低延迟，加快访问数据的速度，同时还能够提供非常高的可靠性和管理级别，结合了DRM的使用进行软件分层管理。 戴尔亚太存储技术总监许良谋则强调了SSD的利用要在成本和性能之间的平衡，如何更好地应对大数据——闪存的成本和寿命让很多企业对它爱恨交加。许良谋认为，大数据需要一个高容量高速度的共享存储，戴尔的流动数据架构就是一个让数据平滑迁移的平台。 戴尔实现了一个新的技术突破，即快速SLC和eMLC大容量盘可以用到流动架构里面，再加上普通的大容量盘，两级固态盘优化和流动数据架构的配合，这种方案可以比普通纯闪存的方式实现75%以上的成本节约。 许良谋介绍到，戴尔一直通过收购、合作等方式，在自身产品线中不断引入新的存储技术，力图把最好的存储产品以最经济的方式提供给用户。
② 大数据时代下存储新价值
大数据时代下存储新价值
大数据正在成为众多企业单位的重要的工具，而随着数据本身的加速增长，用户们所部属的存储变得越来越重要。而由于用户面临的各种挑战，比如实施分析工具和掌控大型数据文件等，用户首先需要了解大数据与存储的关系。
惠普亚太和日本地区存储产品部某专家为记者分析了二者之间的关系，主要包括两个方面：第一是对象存储这个全新的概念，主要涉及到社交媒体以及设备相关的存储方式；第二是大数据最重要的问题-搜索和发现数据，如果你无法高效地搜索到数据，存储的价值也荡然无存。
大数据激发“对象存储”潜能
而谈到大数据中重要的非结构化数据，其表示，这需要具体区分为半结构化数据和非结构化数据，这些都直接影响到了用户数据的存储方式和架构。
这就需要提到“对象存储”，解释了“对象存储”对大数据的意义，非结构化数据特别是基于云服务数据的属性大部分是静态的，生成之后很长一段时间不会发生变化。但经常读取大量静态数据对存储需求变革的发展带来很多的影响，这就产生了“对象存储”的概念。“对象存储”是一种传统的文件格式，但不断地适应目前对象性的数据的变化。对象性的数据可以帮助我们克服过去文件系统技术的局限。我们看到大数据很多产生于各种各样的社交媒体以及数字传感器，也就是终端设备，包括智能手机、平板电脑以及监控摄像头等，这些设备都带来了大数据的增长，也催生了“对象存储”的巨大需求，所以“对象存储”对大数据的影响很大。
他最后表示，要让大数据真正实现价值，必须提高搜索和发现能力。即通过搜索相关的索引或者元数据的标签这样的工具来发现和搜索数据。用一个小故事来说明，人们原来花65000秒在草堆里面找到了一根银针（代指数据的价值），类似于中国的“大海捞针”，而现在通过大数据的分析能力，能在几秒，甚至不到一秒钟内快速地发现数据并获得价值。
③ 新数据需要新存储，浪潮存储有什么应对发展措施吗
新数据时代，数字经济正飞速发展，数据作为新生产要素，其类型越来越丰富、数据量的规模也越来越大，需要从采、存、管、用进行全生命周期提速。新的数据时代，需要新的存储理念，也给浪潮存储等企业带来了全新的发展机遇。对此，浪潮存储提出了“云存智用、运筹新数据”的存储理念，聚焦极致技术、存储即平台、数据“系”存储基础设施的打造，希望通过“理念、技术、产品、方案”四个关键要素的闭环，帮助企业彻底释放数据价值。如今，浪潮存储正全面推进端到端NVMe、智能运维、多云对接等新兴技术在存储产品中的应用，驱动企业数字化转型，伴随着数字经济市场的扩大，浪潮存储也将迎来越来越好的发展。
④ 在新数据时代的今天，浪潮存储应对的全新挑战聚集在哪些方面
浪潮存储对容量要求极大，以清华大学RUSH脑科学研究为例，通过28台2500万像素的高清摄像机在3天不间断观测大脑活动变化，每小时就能够产生72TB数据，3天实验周期可以产生5PB数据。与过去相比，当前越来越多应用所产生的数据量提升了10-100倍，海量数据的产生使得越来越多用户对于存储容量有着极大的需求。
对于数据存储性能的要求越来越高，比如健康码，每天有几十亿次的查询，需要底层存储具备足够强大的性能，来满足上层应用的快速响应需求；对于数据的共享、使用和管理需要更加顺畅和便捷。随着5G、物联网、AI等数字技术加速普及与商用，数据的产生量、产生方式、处理方式正在发生巨大变化，未来可能面对的不再是数据沼泽，而是数据“死海”，如果存储不能很好地将数据共享和管理起来，将会给上层智慧应用带来极大的挑战。
⑤ 大数据时代,数据的存储与管理有哪些要求
数据时代的到来，数据的存储有以下主要要求：
首先，海量数据被及时有效地存储。根据现行技术和预防性法规和标准，系统采集的信息的保存时间不少于30天。数据量随时间的增加而线性增加。
其次，数据存储系统需要具有可扩展性，不仅要满足海量数据的不断增长，还要满足获取更高分辨率或更多采集点的数据需求。
第三，存储系统的性能要求很高。在多通道并发存储的情况下，它对带宽，数据容量，高速缓存等有很高的要求，并且需要针对视频性能进行优化。
第四，大数据应用需要对数据存储进行集中管理分析。
⑥ 大数据存储需要具备什么
大数据之大大是相对而言的概念。例如，对于像SAPHANA那样的内存数据库来说，2TB可能就已经是大容量了；而对于像谷歌这样的搜索引擎，EB的数据量才能称得上是大数据。大也是一个迅速变化的概念。HDS在2004年发布的USP存储虚拟化平台具备管理32PB大数据存储需要具备什么？
⑦ 在新数据时代，浪潮存储的核心发展方向是什么
新数据时代有着更高存储容量、存储性能以及数据共享与使用的需求，浪潮存储的新存储之道核心是聚焦极致技术、存储即平台、数据“系”存储基础设施的打造，计划通过“理念、技术、产品、方案”四个关键要素的闭环，加速数据流动、数据处理、数据共享和数据在线和数据安全，从而能够以更高的性能以及产品技术能力，帮助企业在新数据时代迎接挑战，并彻底地释放出数据的真正价值。
⑧ 大数据、高性能环境对存储的需求
大数据、高性能环境对存储的需求
一直以来，高性能计算的主要目的就是提高运算速度，来解决大规模科学计算和海量数据的处理问题。高性能计算每秒万亿次级的强大计算能力，使其成为石油、生物勘探、气象预测、生命科学研究等领域的重要技术选择。但是随着数据量以及数据价值的不断增长，金融、电信、互联网等领域对高性能计算的需求不断加大。随着技术的发展，高性能计算系统的处理能力越来越强，任务的计算时间越来越短，对业务的价值不断提高。但是，要想实现快速的任务计算处理，高性能计算系统的存储能力是关键。因为在计算开始，要从存储系统中读取数据；计算结束时，要向存储系统中写入计算后的结果。如果这之间的读取和写入速度不匹配，不仅会拖延高性能项目的完成周期，低延迟还会严重影响高性能创造价值的能力。通常，高性能计算要求存储系统能够满足性能、可扩展性要求，保护投资回报：吞吐量达到几个甚至几十个GB/s，容量能扩展至PB级；透明的访问和数据共享；集中式的智能化管理，高性价比；可按需独立扩展容量和性能等。中桥分析师在深圳华大基因研究院实地测试了EMC Isilon 产品在其HPC 环境下的运行情况，并记录下其结果。
背景
高性能计算（High Performance Computing—HPC ）指通常使用很多处理器（作为单个机器的一部分）或者某一集群组织中几台计算机（作为单个计算资源操作）的计算系统和环境。长期以来，高性能计算应用的主要领域是科学与工程计算，诸如高能物理、核爆炸模拟、气象预报、石油勘探、地震预报、地球模拟、药品研制、CAD 设计中的仿真与建模、流体力学的计算等。如今，像金融证券、政府信息化、电信行业、教育、企业、网络游戏等领域对HPC的需求也在迅猛增长。
高性能计算的应用
高性能计算有着广泛的行业应用基础，下面列举几个行业对高性能计算的应用需求：
1. 航空航天行业
在航空航天行业，随着中国航空航天事业的快速发展，尤其是载人航天技术的巨大成功，我国科技人员对空气动力学的数值模拟研究提出了越来越多的需求，常规的计算能力远远无法满足复杂的大型飞行器设计所带来的巨大需求。在航空航天企业的设计过程中，研究人员往往需要把飞机表面分成几百万甚至几千万个离散型的网格点，然后通过高性能计算平台求解方程，得出每个网格点的温度、速度、摩擦力等各种参数，并模拟出连续型的曲线，进而为飞机设计提供宝贵的参考资料。对这类计算来说，网格点分割得越细密，计算结果的精确度也就越好。但是这些大规模设计计算问题不但单个作业计算量庞大，且需不断调整、重复计算，因此高性能在航天航空行业中占据着举足轻重的地位。
2. 能源行业
石油能源作为国家战略资源，对于国家经济、安全、军事等各方面都具有非常重要的战略意义。石油勘探承担着寻找储油构造、确定井位的重要任务。目前的主流做法就是人为的制造相应规模的地震（视勘探地区面积与深度不同），同时在相应的地层遍布若干震波收集点。由于不同材料的地质环境对地震波的影响是有规可循的，所以借助这一点，通过相关的算法，即可以通过对地震波的传递演算来“计算出”地质结构，从而找出我们所需要的能源位置。这种计算量无疑是异常庞大的，由于地震波法勘探收集的数据通常都以TB计，近年来海洋油气勘探所采集的数据甚至开始向PB规模发展。为此，只有借助高性能计算，才能在最短的时间内处理这些海量数据。
3. 生命科学
在现代生命科学领域，以数据为驱动力的改变正引发着巨大的变革。海量生物数据的分析将会增强疾病的实时监控能力和对潜在流行病做出反应的能力，但海量数据的挖掘、处理、存储却面临着前所未有的挑战。特别是随着新一代测序技术的迅猛发展，基因组学研究产生的海量数据正以每12- 18个月10倍的速度增长，已远超越着名的摩尔定律，这使得众多生物企业和科研机构面临强大的数据分析和存储需求。
在国内，生物基因行业的发展势头也不可小觑。2011年1 月30日，国家发改委已批复同意深圳依托华大基因研究院组建国家基因库，这是中国首次建立国家级基因库，首期投资为1500万元。深圳国家基因库是一个服务于国家战略需求的国家级公益性创新科研及产业基础设施建设项目，是目前我国唯一一个获批筹建的国家级基因库，是全球仅次美国、日本和欧洲三个国家级基因库之后的世界第四个国家级基因库。现在，该国家基因库已经收集了100万GB的生物数据，包含基因组、转录组、蛋白质组、代谢组及表型的数据，同时也积累了约四十万份生物样本。预计该基因库最终将达到10亿GB级别的数据容量。深圳国家基因库和国际上已有的基因库相比，它的特点是既有“湿库”也有“干库”：前者把千万种实体的动植物、微生物和人类组织细胞等资源和样本纳入网络；后者汇集巨量的核酸、基因表达、蛋白、表型等多类数据信息，成为“大数据”生物学时代研究生物生长发育、疾病、衰老、死亡以及向产业化推广的利器。
4. 金融行业
金融说到底就是数据。在金融市场中，拥有速度就意味着更高的生产力和更多的市场份额。金融计算模型相当复杂，数据收集越多，计算结果越精确。金融分析师都迫切地需要一个能模拟复杂现实环境，并进行精确处理的金融计算程序，以便对每个投资产品及时地评估投资收益，衡量投资风险，以期获得更好的投资回报。也正因此，高性能计算已经越来越多地应用到全球资本市场，以期在最短时间内实现对市场的动态响应与转换。
5. 气象预报
世纪二十年代初，天气预报方程已基本建立。但只有在计算机出现以后，数值天气预报才成为可能。而在使用并行计算机系统之前，由于受处理能力的限制，只能做到24小时天气预报。高性能计算是解决数值预报中大规模科学计算必要手段。采用高性能计算技术，可以从提高分辨率来提高预报精度。
6. 游戏动漫和影视产业
随着3D、4D电影的兴起和高清动漫趋热，由高性能计算（HPC ）集群构成的“渲染农场”已经成为三维动画、影视特效公司不可或缺的生产工具。动漫渲染基于一套完整的程序进行计算，从而通过模型、光线、材质、阴影等元素的组合设定，将动漫设计转化为具体图像。以《玩具总动员》为例，如果仅使用单台工作站（单一处理器）进行动画渲染，这部长达77分钟的影片的渲染时间将会是43年，而采用集群渲染系统，只需约80天。
⑨ 大数据对存储平台有哪些特殊要求
伴随着安防大数据时代的来临，安防行业原有的存储技术已经无法满足行业发展新需求，尤其是公共安全视频监控建设联网应用工作对数据联网共享提出了更高的要求，同时以“实战”为根本的公安业务中，大数据深度挖掘极度依赖数据存储系统对非结构化数据分析再处理。云存储技术的出现，在安防行业大数据发展时代无异于革命性的应用，不断地解决了安防存储难题，同时也为视频监控的深度应用与发展提供强大的驱动力。
当今世界，每个人的一言一行都在产生着数据，并且被记录着。各行各业爆炸式增长的数据，正推动人类进入大数据时代。根据相关统计，2017年全球的数据总量为21.6ZB，目前全球数据的增长速度在每年40%左右，预计到2020年全球的数据总量将达到40ZB。数据增长在安防行业表现得尤为明显，在近两年“平安城市”、“ 智能交通”、“ 雪亮工程”等不断开展和深入的过程中，以视频监控为核心代表的行业发展正朝着超高清、智能化和融合应用的方向迈进，系统性工程中现有视频监控系统数据采集量正在呈线性增长。海量数据的出现对高效、及时的存储和处理的要求不断提升。
从目前行业来看，大数据时代的到来，系统性工程中视频监控系统对存储主要有以下几方面的需求：
一是海量数据及时高效存储，根据现行的技防法规及标准，一般应用领域视频监控系统数据采集是7x24小时不间断的，系统采集的音视频信息资料留存时限不得少于30日，针对案(事)件信息以及一些特殊应用领域视音频资料存放时间更长，甚至长期保留，数据量随时间增加呈线性增长。
二是监控数据存储系统需要具备可扩展性，不但满足海量数据持续增加，还需要满足采集更高分辨率或更多采集点的数据需要。
三是对存储系统的性能要求高。与其他领域不同，视频监控主要是视频码流的存储，在多路并发存储的情况下，对带宽、数据能力、缓存等都有很高的要求，需要有专门针对视频性能的优化处理。
四是大数据应用需要数据存储的集中管理分析。但现实情况却恰恰相反，一方面是系统性工程在分期建设的过程中，采购的设备并不能保证为同一品牌，实际项目中多种品牌、多种型号比比皆是，给视频监控的存储集中管理带来很大难度。同时，在一些大型的项目中，例如特大城市“天网工程”，高速公路中道路监控所跨区域较大，集中存储较为困难。另外，受网络带宽及老旧设备影响，系统难以形成统一存储、统一监控的中心体系架构，导致数据在应用中调取不及时。
总体来看，随着系统性安防项目的深入开展以及物联网建设初露峥嵘，大规模联网监控的建设和高清监控的逐步普及，海量视频数据已经呈现井喷式地增长，并冲击着传统的存储系统，遗憾的是原有的存储系统无法满足大数据时代提出的新要求，亟需新的存储技术支撑现有业务模式，同时为人工智能技术在安防领域施展拳脚拓展新的空间。