① 大数据下的地质资料信息存储架构设计
颉贵琴 胡晓琴
(甘肃省国土资源信息中心)
摘要 为推进我国地质资料信息服务集群化产业化工作，更大更好地发挥地质资料信息的价值，本文针对我国现有的地质资料信息集群化共享服务平台存在的缺陷和问题，基于现有系统的存储架构，设计了一种大数据下的地质资料信息存储架构，以便于我国地质资料信息服务集群化产业化工作能够适应大数据时代的数据存储。
0 引言
新中国成立60多年来，我国形成了海量的地质资料信息，为国民经济和社会发展提供了重要支撑。但在地质资料管理方面长期存在资料信息分散、综合研究不够、数字化信息化程度不高、服务渠道不畅、服务能力不强等问题，使地质资料信息的巨大潜在价值未能得到充分发挥。为进一步提高地质工作服务国民经济和社会发展的能力，充分发挥地质资料信息的服务功能，扩大服务领域，国土资源部根据国内外地质工作的先进经验，做出了全面推进地质资料信息服务集群化产业化工作的部署。
目前，全国各省地质资料馆都在有条不紊地对本省成果、原始和实物地质资料进行清理，并对其中重要地质资料进行数字化和存储工作。然而，由于我国地质资源丰富，经过几十年的积累，已经形成了海量的地质资料，数据量早已经超过了几百太字节(TB)。在进行地质资料信息服务集群化工作中，随着共享数据量的不断增大，传统的数据存储方式和管理系统必然会展现出存储和检索方面的不足以及系统管理方面的缺陷。为了解决该问题，需要设计更加先进的数据存储架构来实现海量地质资料的存储。
而大数据(Big Data)作为近年来在云计算领域中出现的一种新型数据，科技工作者在不断的研究中，设计了适合大数据存储管理的非关系型数据库NoSQL进行大数据的存储和管理。本文将针对我国现有的地质资料信息集群化共享服务平台存在的缺陷和问题，利用大数据存储管理模式的思想，提出一种海量地质资料存储架构，改进现有系统存储架构，以便于我国全面推进地质资料信息服务集群化产业化工作。
1 工作现状
1.1 国内外地质资料信息的存储现状
在美国，主要有两大地质资料公共服务平台，分别是地球科学信息中心(ESIC)、地球资源观测和科学中心(EROS)，其目的是通过为社会和政府提供更加便利、快速的地质信息服务。20世纪90年代初，澳大利亚出台了国家地球科学填图协议，采用先进的科学方法和技术进行数据存储，从而形成了第二代澳大利亚陆地地质图。
目前，我国地质资料信息服务集群化产业化工作刚刚起步，虽然国土资源部信息中心已经开发了地质资料信息集群化共享服务平台，并倡导各地方用户使用该系统。但由于各个地方早期的工作背景不一致，因此各地方所使用的存储系统也不尽相同，主要有Access、SQL Server、Oracle、MySQL等系统。本文以国土资源部信息中心开发的地质资料信息集群化共享服务平台的存储系统MySQL为例说明。该系统是基于关系数据库管理系统MySQL的一套分布式存储检索系统。该系统的部署使得我国地质资料信息服务集群化产业化工作取得了重大进展，同时也为我国建立标准统一的地质资料信息共享服务平台和互联互通的网络服务体系奠定了坚实的基础。然而，该系统的研发并没有考虑到地质资料信息进一步集群化以及在未来地质资料信息进入大数据时代的信息共享和存储管理问题，也没有给出明确的解决方案。
1.2 大数据的存储架构介绍
大数据是近年在云计算领域中出现的一种新型数据，具有数据量大、数据结构不固定、类型多样、查询分析复杂等特点。传统关系型数据库管理系统在数据存储规模、检索效率等方面已不再适合大数据存储。NoSQL(Not Only SQL)是与关系数据库相对的一类数据库的总称。这些数据库放弃了对关系数据库的支持，转而采用灵活的、分布式的数据存储方式管理数据，从而可以满足大数据存储和处理的需求。NoSQL基于非关系型数据存储的设计理念，以键值对进行存储，采用的数据字的结构不固定，每一个元组可以有不一样的字段，且每个元组可以根据自己的需要增加一些自己的键值对，可以减少一些检索时间和存储空间。目前，应用广泛的 NoSQL 数据库有 Google BigTable、HBase、MongoDB、Neo4 j、Infinite Graph等。
2 大数据下的地质资料信息存储架构设计
根据国土资源部做出的全面推进地质资料信息服务集群化产业化工作的部署，国土资源部倡导全国地质资料馆使用国土资源部信息中心开发的地质资料信息集群化共享服务平台，实现地质资料信息的存储和共享。该系统采用了数据库管理系统MySQL作为数据存储系统。
为了与现有系统和现有的工作进行对接，并为将来地质资料进入大数据时代后的存储工作做准备，本文设计了一种能用于海量地质资料信息存储并且兼容MySQL的分布式的数据存储架构(图1)。
整个系统可以根据不同的用户等级分为不同的用户管理层，由于图幅限制，在图1 中仅仅展示了3级：国家级管理层(即共享服务平台用户层)、省级管理层以及市级管理层(可根据实际需要延伸至县级)。
每级管理层的每个用户可以单独管理一个服务器。如国土资源部信息中心可以单独管理一个服务器；甘肃省国土资源信息中心可以单独管理一个服务器，陕西省国土资源信息中心可以单独管理一个服务器；甘肃的若干个市级国土资源局可以根据需要分别管理各自的服务器。
在服务器上分别安装两套数据库管理系统，一套是原有的MySQL数据库管理系统，另一套是为大数据存储而配备的NoSQL型数据库管理系统。在服务器上还专门开发一个数据库管理器中间件，用于进行用户层和数据库的通信以及两套数据库之间的通信。
由于各个管理层都各自维护自己的数据库和数据。当用户需要进行数据存储时，他所影响的数据库仅仅是本地数据库，存储效率较高；当用户需要从多个数据库读取数据时，顶层的共享服务平台会根据用户需求进行任务分解，将任务分发给下层的管理层进行数据库读取，由于各个数据库并行读取，从而提高了数据库读取效率。
图1 大数据下的地质资料信息存储架构框图
2.1 用户管理层
用户管理层根据权限范围，分为多层(本文以3层为例)。
位于顶层的国家级管理层(共享服务平台用户层)负责用户访问权限的分配、与其直接关联的数据库的访问、下级管理层任务的分配等工作。
用户访问权限的分配是指为访问本共享服务平台的个人用户和单位用户分配数据的使用权限、安全性的设计等。
与其直接关联的数据库访问是指直接存储在其本地数据库上的数据的访问。在该数据库中不仅要存储所需要的地质资料，还要存储注册用户信息等数据。
下级管理层任务分配是指如果用户需要访问多个下层数据库，用户只需要输入查询这几个下层数据库的命令，而如何查找下层数据库则由该功能来完成。例如某用户要查找甘肃、陕西、上海、北京的铁矿分布图，则用户只需要输入这几个地方及铁矿等查询条件，系统将自动把各个省的数据库查询任务分派到下级管理层。
同理，位于下层的省级管理层和市级管理层除了没有用户访问权限功能外，其余功能与国家级管理层是相同的。各层之间的数据库通过互联网相互连接成分布式的数据库系统。
2.2 MySQL和NoSQL的融合
MySQL是关系型数据库，它支持SQL查询语言，而NoSQL是非关系型数据库，它不支持SQL查询语言。用户要想透明地访问这两套数据库，必须要设计数据库管理器中间件，作为用户访问数据库的统一入口和两套数据库管理系统的通信平台。本文所设计的数据库管理器简单模型如图2所示。
图2 数据库管理器模型
服务器管理器通过用户程序接口与应用程序进行通讯，通过MySQL数据库接口与MySQL服务器通讯，通过NoSQL数据库接口与NoSQL数据库接口通讯。当应用程序接口接收到一条数据库访问命令之后，交由数据库访问命令解析器进行命令解析，从而形成MySQL访问命令或者NoSQL访问命令，通过相应的数据库接口访问数据库；数据库返回访问结果后经过汇总，由应用程序接口返回给应用程序。
两套数据库可以通过双数据库通信协议进行相互的通信和互访。此通信协议的建立便于地质工作人员将已经存入MySQL数据库的不适合结构化存储的数据转存到NoSQL数据库中，从而便于系统的升级和优化。
2.3 系统的存储和检索模式
在本存储框架设计中，系统采用分布式网络存储模式，即采用可扩展的存储结构，利用分散在全国各地的多台独立的服务器进行数据存储。这种方式不仅分担了服务器的存储压力，提高了系统的可靠性和可用性，还易于进行系统扩展。另外，由于地质资料信息存储的特殊性，各地方用户的数据存储工作基本都是在本地服务器进行，很少通过网络进行远程存储，所以数据存储效率较高。
在一台数据库服务器上安装有MySQL和NoSQL型两套数据库管理系统，分别用于存储地质资料信息中的结构化数据和非结构化数据。其中，NoSQL型数据库作为主数据库，用于存储一部分结构化数据和全部的非结构化数据；而MySQL数据库作为辅助数据库，用于存储一部分结构化的数据，以及旧系统中已经存储的数据。使用两套数据库不仅可以存储结构化数据而且还可以适用于大数据时代地质资料信息的存储，因此系统具有很好的适应性和灵活性。
2.4 安全性设计
地质资料信息是国家的机密，地质工作人员必须要保证它的安全。地质资料信息进入数字化时代之后，地质资料常常在计算机以及网络上进行传输，地质资料信息的安全传输和保存更是地质工作人员必须关注和解决的问题。在本存储架构的设计中设计的安全问题主要有数据库存储安全、数据传输安全、数据访问安全等问题。
数据库设计时采用多边安全模型和多级安全模型阻止数据库中信息和数据的泄露来提高数据库的安全性能，以保障地质信息在数据库中的存储安全；当用户登录系统访问数据库时，必须进行用户甄别和实名认证，这主要是对用户的身份进行有效的识别，防止非法用户访问数据库；在对地质资料进行网络传输时，应该首先将数据进行加密，然后再进行网络传输，以防止地质信息在传输过程中被窃取。
3 结语
提高地质资料数字化信息化水平，是国外地质工作强国的普遍做法。为推进我国地质资料信息服务集群化产业化工作，本文针对我国现有的地质资料信息集群化共享服务平台存在的缺陷和问题，利用大数据存储管理模式的思想，基于现有系统的存储架构，设计了一种大数据下的地质资料信息存储架构，以便于我国地质资料信息服务集群化产业化工作能够适应大数据时代的数据存储。该存储架构的设计只涉及了简单模型的构建，具体详细复杂的功能设计和软件实现还需要在进一步的研究工作中完成。
参考文献
[1]吴金朋.一种大数据存储模型的研究与应用[D].北京：北京邮电大学计算机学院，2012.
[2]吴广君，王树鹏，陈明，等.海量结构化数据存储检索系统[J].计算机研究与发展，2012，49(Suppl)：1～5.
[3]黄
② IT培训分享Hadoop环境中管理大数据8大存储技巧
在现如今，随着IT互联网信息技术的飞速发展和进步。目前大数据行业也越来越火爆，从而导致国内大数据人才也极度缺乏，下面IT培训http://www.kmbdqn.com/介绍一下关于Hadoop环境中管理大数据存储技巧。
1、分布式存储
传统化集中式存储存在已有一段时间。但大数据并非真的适合集中式存储架构。Hadoop设计用于将计算更接近数据节点，同时采用了HDFS文件系统的大规模横向扩展功能。
虽然，通常解决Hadoop管理自身数据低效性的方案是将Hadoop数据存储在SAN上。但这也造成了它自身性能与规模的瓶颈。现在，如果你把所有的数据都通过集中式SAN处理器进行处理，与Hadoop的分布式和并行化特性相悖。你要么针对不同的数据节点管理多个SAN，要么将所有的数据节点都集中到一个SAN。
但Hadoop是一个分布式应用，就应该运行在分布式存储上，这样存储就保留了与Hadoop本身同样的灵活性，不过它也要求拥抱一个软件定义存储方案，并在商用服务器上运行，这相比瓶颈化的Hadoop自然更为高效。
2、超融合VS分布式
注意，不要混淆超融合与分布式。某些超融合方案是分布式存储，但通常这个术语意味着你的应用和存储都保存在同一计算节点上。这是在试图解决数据本地化的问题，但它会造成太多资源争用。这个Hadoop应用和存储平台会争用相同的内存和CPU。Hadoop运行在专有应用层，分布式存储运行在专有存储层这样会更好。之后，利用缓存和分层来解决数据本地化并补偿网络性能损失。
3、避免控制器瓶颈(ControllerChokePoint)
实现目标的一个重要方面就是——避免通过单个点例如一个传统控制器来处理数据。反之，要确保存储平台并行化，性能可以得到显着提升。
此外，这个方案提供了增量扩展性。为数据湖添加功能跟往里面扔x86服务器一样简单。一个分布式存储平台如有需要将自动添加功能并重新调整数据。
4、删重和压缩
掌握大数据的关键是删重和压缩技术。通常大数据集内会有70%到90%的数据简化。以PB容量计，能节约数万美元的磁盘成本。现代平台提供内联(对比后期处理)删重和压缩，大大降低了存储数据所需能力。
5、合并Hadoop发行版
很多大型企业拥有多个Hadoop发行版本。可能是开发者需要或是企业部门已经适应了不同版本。无论如何最终往往要对这些集群的维护与运营。一旦海量数据真正开始影响一家企业时，多个Hadoop发行版存储就会导致低效性。我们可以通过创建一个单一，可删重和压缩的数据湖获取数据效率
6、虚拟化Hadoop
虚拟化已经席卷企业级市场。很多地区超过80%的物理服务器现在是虚拟化的。但也仍有很多企业因为性能和数据本地化问题对虚拟化Hadoop避而不谈。
7、创建弹性数据湖
创建数据湖并不容易，但大数据存储可能会有需求。我们有很多种方法来做这件事，但哪一种是正确的?这个正确的架构应该是一个动态，弹性的数据湖，可以以多种格式(架构化，非结构化，半结构化)存储所有资源的数据。更重要的是，它必须支持应用不在远程资源上而是在本地数据资源上执行。
③ 求《大规模分布式系统架构与设计实战豆瓣》全文免费下载百度网盘资源,谢谢~
《大规模分布式系统架构与设计实战豆瓣》网络网盘pdf最新全集下载:
链接: https://pan..com/s/1kFdPR4e5S1K3PW43mc1RVw
简介：《大规模分布式系统架构与设计实战》从分布式计算的基本概念开始，解剖了众多流行概念的本质，深入讲解分布式系统的基本原理与实现方式，包括master-slave结构、消息中枢模式、网状直接交互模式、并行结合串行模式等，以及Fourinone系统的架构、实现分布式功能的示例。接下来详细介绍分布式协调、分布式缓存、消息队列、分布式文件系统、分布式作业调度平台的设计与实现方法，不仅包括详细的架构原理、算法，还给出了实现步骤、核心API、实现代码。随书附带的光盘包括书中示例代码以及Fourinone系统源代码。
④ 《大规模分布式系统架构与设计实战（含光盘）》epub下载在线阅读全文，求百度网盘云资源
《大规模分布式系统架构与设计实战（含光盘）》（彭渊）电子书网盘下载免费在线阅读
链接：https://pan..com/s/1rDgvCgeNKwl4gJlFJeYxpg
书名：大规模分布式系统架构与设计实战（含光盘）
豆瓣评分：4.8
作者:彭渊
出版社:机械工业出版社
出版年:2014-3
页数:231
内容简介
本书从作者的实战经验出发，深入浅出地讲解了如何建立一个Hadoop那样的分布式系统，实现对多台计算机CPU、内存、硬盘的统一利用，从而获取强大计算能力去解决复杂问题。一般互联网企业的分布式存储计算系统都是个大平台，系统复杂、代码庞大，而且只适合公司的业务，工程师很难下载安装到自己的电脑里学习和吃透。本书对分布式核心技术进行了大量归纳和总结，并从中抽取出一套简化的框架和编程API进行讲解，方便工程师了解分布式系统的主要技术实现。这不是一本空谈概念、四处摘抄的书，这本书包含了大量精炼示例，手把手教你掌握分布式核心技术。
作者简介
彭渊资深架构师，现任华为企业中间件首席架构师，主要负责中间件和大数据。前淘宝高级专家（花名：千峰），先后在淘宝交易、淘宝中间件、集团核心系统、阿里金融等部门工作。曾任金蝶总体架构部SOA架构师，负责设计ESB。曾艰苦创业，编写和销售财务软件。在Java技术领域从业十多年，撰写过多款开源软件，其中，淘宝分布式技术框架Fourinone为其代表作。他拥有软件着作权的代表作有：BS系列软件（包括财务进销存、OA产品、CRM等）、FMS视频会议、Flash网站生成软件（华军可下载），所有软件作品均贡献99%代码。
⑤ 大数据高并发系统架构实战方案(LVS负载均衡、Nginx、共享存储、海量数据、队列缓存)
去51cto网上博客搜索看吧，也有很多类似的书籍
⑥ 《大规模分布式系统架构与设计实战（含光盘）》epub下载在线阅读，求百度网盘云资源
《大规模分布式系统架构与设计实战（含光盘）》（彭渊）电子书网盘下载免费在线阅读
资源链接：
链接：https://pan..com/s/1XoxJB0i2HGGsmPJtONFSUA
书名：大规模分布式系统架构与设计实战（含光盘）
作者：彭渊
豆瓣评分：4.8
出版社：机械工业出版社
出版年份：2014-3
页数：231
内容简介：
【编辑推荐】
绝技源于江湖、将军发于卒伍，本书包含作者从程序员到首席架构师十多年职业生涯所积累的实战经验。
这不是一本讲怎么使用Hadoop的书，而是一本讲实现Hadoop功能的书，本书系统讲解构建大规模分布式系统的核心技术和实现方法，包含开源的代码，手把手教你掌握分布式技术
【内容简介】
本书从作者的实战经验出发，深入浅出地讲解了如何建立一个Hadoop那样的分布式系统，实现对多台计算机CPU、内存、硬盘的统一利用，从而获取强大计算能力去解决复杂问题。一般互联网企业的分布式存储计算系统都是个大平台，系统复杂、代码庞大，而且只适合公司的业务，工程师很难下载安装到自己的电脑里学习和吃透。本书对分布式核心技术进行了大量归纳和总结，并从中抽取出一套简化的框架和编程API进行讲解，方便工程师了解分布式系统的主要技术实现。这不是一本空谈概念、四处摘抄的书，这本书包含了大量精炼示例，手把手教你掌握分布式核心技术。
本书主要内容
分布式并行计算的基本原理解剖；
分布式协调的实现，包括如何实现公共配置管理，如何实现分布式锁，如何实现集群管理等；
分布式缓存的实现，包括如何提供完整的分布式缓存来利用多机内存能力；
消息队列的实现，包括如何实现发送和接收模式；
分布式文件系统的实现，包括如何像操作本地文件一样操作远程文件，并利用多机硬盘存储能力；
分布式作业调度平台的实现，包括资源隔离、资源调度等。
【参考阅读】
978-7-111-43052-0 大规模分布式存储系统:原理解析与架构实战
978-7-111-40392-0 分布式系统：概念与设计（原书第5版）
978-7-111-45244-7 Hadoop应用开发技术详解
978-7-111-41766-8 Hadoop技术内幕：深入解析Hadoop Common和HDFS架构设计与实现原理
978-7-111-42226-6 Hadoop技术内幕：深入解析MapRece架构设计与实现原理
978-7-111-44534-0 Hadoop技术内幕：深入解析YARN架构设计与实现原理
978-7-111-43514-3 网站数据分析：数据驱动的网站管理、优化和运营
978-7-111-42591-5 数据挖掘：实用案例分析
作者简介：
彭渊资深架构师，现任华为企业中间件首席架构师，主要负责中间件和大数据。前淘宝高级专家（花名：千峰），先后在淘宝交易、淘宝中间件、集团核心系统、阿里金融等部门工作。曾任金蝶总体架构部SOA架构师，负责设计ESB。曾艰苦创业，编写和销售财务软件。在Java技术领域从业十多年，撰写过多款开源软件，其中，淘宝分布式技术框架Fourinone为其代表作。他拥有软件着作权的代表作有：BS系列软件（包括财务进销存、OA产品、CRM等）、FMS视频会议、Flash网站生成软件（华军可下载），所有软件作品均贡献99%代码。
⑦ 《大规模分布式存储系统原理解析与架构实战》epub下载在线阅读，求百度网盘云资源
《大规模分布式存储系统》（杨传辉）电子书网盘下载免费在线阅读
链接：https://pan..com/s/1CG8nBAVixYg53OHREZc_3g
书名：大规模分布式存储系统
作者：杨传辉
豆瓣评分：7.8
出版社：机械工业出版社
出版年份：2013-9-1
页数：293
内容简介：
《大规模分布式存储系统：原理解析与架构实战》是分布式系统领域的经典着作，由阿里巴巴高级技术专家“阿里日照”（OceanBase核心开发人员）撰写，阳振坤、章文嵩、杨卫华、汪源、余锋（褚霸）、赖春波等来自阿里、新浪、网易和网络的资深技术专家联袂推荐。理论方面，不仅讲解了大规模分布式存储系统的核心技术和基本原理，而且对谷歌、亚马逊、微软和阿里巴巴等国际型大互联网公司的大规模分布式存储系统进行了分析；实战方面，首先通过对阿里巴巴的分布式数据库OceanBase的实现细节的深入剖析完整地展示了大规模分布式存储系统的架构与设计过程，然后讲解了大规模分布式存储技术在云计算和大数据领域的实践与应用。
《大规模分布式存储系统：原理解析与架构实战》内容分为四个部分：基础篇——分布式存储系统的基础知识，包含单机存储系统的知识，如数据模型、事务与并发控制、故障恢复、存储引擎、压缩/解压缩等；分布式系统的数据分布、复制、一致性、容错、可扩展性等。范型篇——介绍谷歌、亚马逊、微软、阿里巴巴等着名互联网公司的大规模分布式存储系统架构，涉及分布式文件系统、分布式键值系统、分布式表格系统以及分布式数据库技术等。实践篇——以阿里巴巴的分布式数据库OceanBase为例，详细介绍分布式数据库内部实现，以及实践过程中的经验。专题篇——介绍分布式系统的主要应用：云存储和大数据，这些是近年来的热门领域，本书介绍了云存储平台、技术与安全，以及大数据的概念、流式计算、实时分析等。
作者简介：
杨传辉，阿里巴巴高级技术专家，花名日照，OceanBase核心开发人员，对分布式系统的理论和工程实践有深刻理解。曾在网络作为核心成员参与类MapRece系统、类Bigtable系统和网络分布式消息队列等底层基础设施架构工作。热衷于分布式存储和计算系统设计，乐于分享，有技术博客NosqlNotes。
⑧ 谁有《大规模分布式存储系统：原理解析与架构实战-杨传辉》电子书百度网盘资源下载
大规模分布式存储系统：原理解析与架构实战-杨传辉链接：
⑨ 《大规模分布式系统架构与设计实战豆瓣》pdf下载在线阅读全文，求百度网盘云资源
《大规模分布式系统架构与设计实战豆瓣》网络网盘pdf最新全集下载:
链接: https://pan..com/s/1kFdPR4e5S1K3PW43mc1RVw
简介：《大规模分布式系统架构与设计实战》从分布式计算的基本概念开始，解剖了众多流行概念的本质，深入讲解分布式系统的基本原理与实现方式，包括master-slave结构、消息中枢模式、网状直接交互模式、并行结合串行模式等，以及Fourinone系统的架构、实现分布式功能的示例。接下来详细介绍分布式协调、分布式缓存、消息队列、分布式文件系统、分布式作业调度平台的设计与实现方法，不仅包括详细的架构原理、算法，还给出了实现步骤、核心API、实现代码。随书附带的光盘包括书中示例代码以及Fourinone系统源代码。
⑩ 谁有《大规模分布式系统架构与设计实战-彭渊》电子书百度网盘资源下载
大规模分布式系统架构与设计实战-彭渊链接：https://pan..com/s/1vOtKfez0HEZ__DnJQ0_DbA