当前位置:首页 » 服务存储 » 国家存储结构
扩展阅读
webinf下怎么引入js 2023-08-31 21:54:13
堡垒机怎么打开web 2023-08-31 21:54:11

国家存储结构

发布时间: 2022-04-25 10:46:16

数据库系统都有哪三级模式结构其优点是什么

美国国家标准协会所属标准计划和要求委员会在1975年公布的研究报告中,把数据库系统内部的体系结构从逻辑上分为外模式、模式和内模式三级抽象结构和二级映像功能。外模式、模式和内模式分别对应一般用户模式、概念模式和物理模式。

三级模式具有以下优点:

  1. 保证数据的独立性。将模式与内模式分开,保证了数据的物理独立性。讲外模式和模式分开,保证了数据的逻辑独立性。

  2. 简化了用户接口。按照外模式编写应用程序或输入命令,而不需要了解数据库内部的存储结构,方便用户使用系统。

  3. 有利于数据共享。在不同的外模式下可由多个用户共享系统中的数据,减少了数据冗余。

  4. 有利于数据的安全保密。在外模式下根据要求进行操作,只能对限定的数据操作,保证了其他数据的安全。

❷ 国家计算机二级考试 C语音

多练习基础题,尽量理解性记一下选择和填空的答案,买本二级上机题做一下,选择性的做,不用全做。下面是写基础练习:
2009年上半年全国计算机二级考试公共基础知识习题(1)
计算机二级考试 免费试听课程 收藏本页 2009/1/9 保存本文
2009年上半年全国计算机等级考试你准备好了没?考计算机等级二级考试的朋友,考试大为大家整理的2009年上半年全国计算机等级二级公共基础知识考前练习!希望对大家的备考有好的帮助!考试大祝各位考个好成绩!
(1) 下面叙述正确的是______。(C)
A. 算法的执行效率与数据的存储结构无关
B. 算法的空间复杂度是指算法程序中指令(或语句)的条数(指的是算法所占用的空间)
C. 算法的有穷性是指算法必须能在执行有限个步骤之后终止
D. 以上三种描述都不对
(2) 以下数据结构中不属于线性数据结构的是______。(C)
A. 队列
B. 线性表
C. 二叉树
D. 栈
(3) 在一棵二叉树上第5层的结点数最多是______。(B)2n-1
A. 8
B. 16
C. 32
D. 15
(4) 下面描述中,符合结构化程序设计风格的是______。(A)
A. 使用顺序、选择和重复(循环)三种基本控制结构表示程序的控制逻辑
B. 模块只有一个入口,可以有多个出口(可以有0个入口)
C. 注重提高程序的执行效率
D. 不使用goto语句(只是限制使用)
(5) 下面概念中,不属于面向对象方法的是______。(D)
A. 对象
B. 继承
C. 类
D. 过程调用
(6) 在结构化方法中,用数据流程图(DFD)作为描述工具的软件开发阶段是______。(B)
A. 可行性分析
B. 需求分析
C. 详细设计
D. 程序编码
(7) 在软件开发中,下面任务不属于设计阶段的是______。(D)
A. 数据结构设计
B. 给出系统模块结构
C. 定义模块算法
D. 定义需求并建立系统模型
(8) 数据库系统的核心是______。(B)
A. 数据模型
B. 数据库管理系统
C. 软件工具
D. 数据库
(9) 下列叙述中正确的是______。(C)
A. 数据库是一个独立的系统,不需要操作系统的支持
B. 数据库设计是指设计数据库管理系统
C. 数据库技术的根本目标是要解决数据共享的问题
D. 数据库系统中,数据的物理结构必须与逻辑结构一致
(10) 下列模式中,能够给出数据库物理存储结构与物理存取方法的是______。(A)
A. 内模式
B. 外模式
C. 概念模式
D. 逻辑模式
2009年上半年全国计算机二级考试公共基础知识习题(2)
计算机二级考试 2009/1/9 保存本文 免费试听课程 收藏本页
2009年上半年全国计算机等级考试你准备好了没?考计算机等级二级考试的朋友,考试大为大家整理的2009年上半年全国计算机等级二级公共基础知识考前练习!希望对大家的备考有好的帮助!考试大祝各位考个好成绩!
(1) 算法的时间复杂度是指______。(C)
A. 执行算法程序所需要的时间
B. 算法程序的长度
C. 算法执行过程中所需要的基本运算次数
D. 算法程序中的指令条数
(2) 下列叙述中正确的是______。(A)
A. 线性表是线性结构
B. 栈与队列是非线性结构
C. 线性链表是非线性结构
D. 二叉树是线性结构
(3) 设一棵完全二叉树共有699个结点,则在该二叉树中的叶子结点数为______。(B)
A. 349
B. 350
C. 255
D. 351
(4) 结构化程序设计主要强调的是______。(B)
A. 程序的规模
B. 程序的易读性
C. 程序的执行效率
D. 程序的可移植性
(5) 在软件生命周期中,能准确地确定软件系统必须做什么和必须具备哪些功能的阶段是______。(D)
A. 概要设计
B. 详细设计
C. 可行性分析
D. 需求分析
(6) 数据流图用于抽象描述一个软件的逻辑模型,数据流图由一些特定的图符构成。下列图符名标识的图符不属于数据流图合法图符的是______。(A)
A. 控制流
B. 加工
C. 数据存储
D. 源和潭
(7) 软件需求分析阶段的工作,可以分为四个方面:需求获取、需求分析、编写需求规格说明书以及______。(B)
A. 阶段性报告
B. 需求评审
C. 总结
D. 都不正确
(8) 下述关于数据库系统的叙述中正确的是______。(A)
A. 数据库系统减少了数据冗余
B. 数据库系统避免了一切冗余
C. 数据库系统中数据的一致性是指数据类型的一致
D. 数据库系统比文件系统能管理更多的数据
(9) 关系表中的每一横行称为一个______。(A)
A. 元组
B. 字段
C. 属性
D. 码
(10) 数据库设计包括两个方面的设计内容,它们是______。(A)
A. 概念设计和逻辑设计
B. 模式设计和内模式设计
C. 内模式设计和物理设计
D. 结构特性设计和行为特性设计
2009年上半年全国计算机二级考试公共基础知识习题(3)
计算机二级考试 免费试听课程 收藏本页 2009/1/9 保存本文
2009年上半年全国计算机等级考试你准备好了没?考计算机等级二级考试的朋友,2009年上半年全国计算机等级考试时间是2009年3月28日到4月1日。考试大为大家整理的2009年上半年全国计算机等级二级公共基础知识考前练习!希望对大家的备考有好的帮助!考试大祝各位考个好成绩!
(1) 算法的空间复杂度是指______。(D)
A. 算法程序的长度
B. 算法程序中的指令条数
C. 算法程序所占的存储空间
D. 算法执行过程中所需要的存储空间
(2) 下列关于栈的叙述中正确的是______。(D)
A. 在栈中只能插入数据
B. 在栈中只能删除数据
C. 栈是先进先出的线性表
D. 栈是先进后出的线性表
(3) 在深度为5的满二叉树中,叶子结点的个数为______。(C)
A. 32
B. 31
C. 16
D. 15
(4) 对建立良好的程序设计风格,下面描述正确的是______。(A)
A. 程序应简单、清晰、可读性好
B. 符号名的命名要符合语法
C. 充分考虑程序的执行效率
D. 程序的注释可有可无
(5) 下面对对象概念描述错误的是______。(A)
A. 任何对象都必须有继承性
B. 对象是属性和方法的封装体
C. 对象间的通讯靠消息传递
D. 操作是对象的动态性属性
(6) 下面不属于软件工程的3个要素的是______。(D)
A. 工具
B. 过程
C. 方法
D. 环境
(7) 程序流程图(PFD)中的箭头代表的是______。(B)
A. 数据流
B. 控制流
C. 调用关系
D. 组成关系
(8) 在数据管理技术的发展过程中,经历了人工管理阶段、文件系统阶段和数据库系统阶段。其中数据独立性最高的阶段是______。(A)
A. 数据库系统
B. 文件系统
C. 人工管理
D. 数据项管理
(9) 用树形结构来表示实体之间联系的模型称为______。(B)
A. 关系模型
B. 层次模型
C. 网状模型
D. 数据模型
(10) 关系数据库管理系统能实现的专门关系运算包括______。(B)
A. 排序、索引、统计
B. 选择、投影、连接
C. 关联、更新、排序
D. 显示、打印、制表

2009年上半年全国计算机二级考试公共基础知识习题(4)
计算机二级考试 2009/1/9 保存本文 免费试听课程 收藏本页
2009年上半年全国计算机等级考试你准备好了没?考计算机等级二级考试的朋友,2009年上半年全国计算机等级考试时间是2009年3月28日到4月1日。考试大为大家整理的2009年上半年全国计算机等级二级公共基础知识考前练习!希望对大家的备考有好的帮助!考试大祝各位考个好成绩!
(1) 算法一般都可以用哪几种控制结构组合而成______。(D)
A. 循环、分支、递归
B. 顺序、循环、嵌套
C. 循环、递归、选择
D. 顺序、选择、循环
(2) 数据的存储结构是指______。(B)
A. 数据所占的存储空间量
B. 数据的逻辑结构在计算机中的表示
C. 数据在计算机中的顺序存储方式
D. 存储在外存中的数据
(3) 在面向对象方法中,一个对象请求另一对象为其服务的方式是通过发送______。(D)
D. 消息
A. 调用语句
B. 命令
C. 口令
(4) 检查软件产品是否符合需求定义的过程称为______。(A)
A. 确认测试
B. 集成测试
C. 验证测试
D. 验收测试
(5) 下列工具中属于需求分析常用工具的是______。(D)
A. PAD
B. PFD
C. N-S
D. DFD
(6) 下面不属于软件设计原则的是______。(C)
A. 抽象
B. 模块化
C. 自底向上
D. 信息隐蔽
(7) 索引属于______。(B)
A. 模式
B. 内模式
C. 外模式
D. 概念模式
(8) 在关系数据库中,用来表示实体之间联系的是______。(D)
A. 树结构
B. 网结构
C. 线性表
D. 二维表
(9) 将E-R图转换到关系模式时,实体与联系都可以表示成______。(B)
A. 属性
B. 关系
C. 键
D. 域
转贴于:计算机二级考试_考试大
2009年上半年全国计算机二级考试公共基础知识习题(5)
计算机二级考试 免费试听课程 收藏本页 2009/1/9 保存本文
2009年上半年全国计算机等级考试你准备好了没?考计算机等级二级考试的朋友,2009年上半年全国计算机等级考试时间是2009年3月28日到4月1日。考试大为大家整理的2009年上半年全国计算机等级二级公共基础知识考前练习!希望对大家的备考有好的帮助!考试大祝各位考个好成绩!
(1) 在下列选项中,哪个不是一个算法一般应该具有的基本特征______。(C)
A. 确定性
B. 可行性
C. 无穷性
D. 拥有足够的情报
(2) 希尔排序法属于哪一种类型的排序法______。(B)
A. 交换类排序法
B. 插入类排序法
C. 选择类排序法
D. 建堆排序法
(3) 下列关于队列的叙述中正确的是______。(C)
A. 在队列中只能插入数据
B. 在队列中只能删除数据
C. 队列是先进先出的线性表
D. 队列是先进后出的线性表
(4) 对长度为N的线性表进行顺序查找,在最坏情况下所需要的比较次数为______。(B)
A. N+1
B. N
C. (N+1)/2
D. N/2
(5) 信息隐蔽的概念与下述哪一种概念直接相关______。(B)
A. 软件结构定义
B. 模块独立性
C. 模块类型划分
D. 模拟耦合度
(6) 面向对象的设计方法与传统的的面向过程的方法有本质不同,它的基本原理是______。(C)
A. 模拟现实世界中不同事物之间的联系
B. 强调模拟现实世界中的算法而不强调概念
C. 使用现实世界的概念抽象地思考问题从而自然地解决问题
D. 鼓励开发者在软件开发的绝大部分中都用实际领域的概念去思考
(7) 在结构化方法中,软件功能分解属于下列软件开发中的阶段是______。(C)
A. 详细设计
B. 需求分析
C. 总体设计
D. 编程调试
(8) 软件调试的目的是______。(B)
A. 发现错误
B. 改正错误
C. 改善软件的性能
D. 挖掘软件的潜能
(9) 按条件f对关系R进行选择,其关系代数表达式为______。(C)
A. R|X|R
B. R|X|R
C. бf(R)
D. ∏f(R)
(10) 数据库概念设计的过程中,视图设计一般有三种设计次序,以下各项中不对的是______。(D)
A. 自顶向下
B. 由底向上
C. 由内向外
D. 由整体到局部

2009年上半年全国计算机二级考试公共基础知识习题(6)
计算机二级考试 2009/1/9 保存本文 免费试听课程 收藏本页
2009年上半年全国计算机等级考试你准备好了没?考计算机等级二级考试的朋友,2009年上半年全国计算机等级考试时间是2009年3月28日到4月1日。考试大为大家整理的2009年上半年全国计算机等级二级公共基础知识考前练习!希望对大家的备考有好的帮助!考试大祝各位考个好成绩!
(1) 在计算机中,算法是指______。(C)
A. 查询方法
B. 加工方法
C. 解题方案的准确而完整的描述
D. 排序方法
(2) 栈和队列的共同点是______。(C)
A. 都是先进后出
B. 都是先进先出
C. 只允许在端点处插入和删除元素
D. 没有共同点
(3) 已知二叉树后序遍历序列是dabec,中序遍历序列是debac,它的前序遍历序列是______。(A)
A. cedba
B. acbed
C. decab
D. deabc
(4) 在下列几种排序方法中,要求内存量最大的是______。(D)
A. 插入排序
B. 选择排序
C. 快速排序
D. 归并排序
(5) 在设计程序时,应采纳的原则之一是______。(A)
A. 程序结构应有助于读者理解
B. 不限制goto语句的使用
C. 减少或取消注解行
D. 程序越短越好
(6) 下列不属于软件调试技术的是______。(B)
A. 强行排错法
B. 集成测试法
C. 回溯法
D. 原因排除法
(7) 下列叙述中,不属于软件需求规格说明书的作用的是______。(D)
A. 便于用户、开发人员进行理解和交流
B. 反映出用户问题的结构,可以作为软件开发工作的基础和依据
C. 作为确认测试和验收的依据
D. 便于开发人员进行需求分析
(8) 在数据流图(DFD)中,带有名字的箭头表示______。(C) A. 控制程序的执行顺序
B. 模块之间的调用关系
C. 数据的流向
D. 程序的组成成分
(9) SQL语言又称为______。(C)
A. 结构化定义语言
B. 结构化控制语言
C. 结构化查询语言
D. 结构化操纵语言
(10) 视图设计一般有3种设计次序,下列不属于视图设计的是______。(B)
A. 自顶向下
B. 由外向内
C. 由内向外
D. 自底向上
转贴于:计算机二级考试_考试大
【责编:zj 纠错】
2009年上半年全国计算机二级考试公共基础知识习题(7)
计算机二级考试 2009/1/9 保存本文 免费试听课程 收藏本页
2009年上半年全国计算机等级考试你准备好了没?考计算机等级二级考试的朋友,2009年上半年全国计算机等级考试时间是2009年3月28日到4月1日。考试大为大家整理的2009年上半年全国计算机等级二级公共基础知识考前练习!希望对大家的备考有好的帮助!考试大祝各位考个好成绩!
(1) 数据结构中,与所使用的计算机无关的是数据的______。(C)
A. 存储结构
B. 物理结构
C. 逻辑结构
D. 物理和存储结构
(2) 栈底至栈顶依次存放元素A、B、C、D,在第五个元素E入栈前,栈中元素可以出栈,则出栈序列可能是______。(D)
A. ABCED
B. DBCEA
C. CDABE
D. DCBEA
(3) 线性表的顺序存储结构和线性表的链式存储结构分别是______。(B)
A. 顺序存取的存储结构、顺序存取的存储结构
B. 随机存取的存储结构、顺序存取的存储结构
C. 随机存取的存储结构、随机存取的存储结构
D. 任意存取的存储结构、任意存取的存储结构
(4) 在单链表中,增加头结点的目的是______。(A)
A. 方便运算的实现
B. 使单链表至少有一个结点
C. 标识表结点中首结点的位置
D. 说明单链表是线性表的链式存储实现
(5) 软件设计包括软件的结构、数据接口和过程设计,其中软件的过程设计是指______。(B)
A. 模块间的关系
B. 系统结构部件转换成软件的过程描述
C. 软件层次结构
D. 软件开发过程
(6) 为了避免流程图在描述程序逻辑时的灵活性,提出了用方框图来代替传统的程序流程图,通常也把这种图称为______。(B)
A. PAD图
B. N-S图
C. 结构图
D. 数据流图
(7) 数据处理的最小单位是______。(C)
A. 数据
B. 数据元素
C. 数据项
D. 数据结构
(8) 下列有关数据库的描述,正确的是______。(C)
A. 数据库是一个DBF文件
B. 数据库是一个关系
C. 数据库是一个结构化的数据集合
D. 数据库是一组文件
(9) 单个用户使用的数据视图的描述称为______。(A)
A. 外模式
B. 概念模式
C. 内模式
D. 存储模式
(10) 需求分析阶段的任务是确定______。(D)
A. 软件开发方法
B. 软件开发工具
C. 软件开发费用
D. 软件系统功能
转贴于:计算机二级考试_考试大
2009年上半年全国计算机二级考试公共基础知识习题(8)
计算机二级考试 免费试听课程 收藏本页 2009/1/9 保存本文
(1) 算法分析的目的是______。(D)
A. 找出数据结构的合理性
B. 找出算法中输入和输出之间的关系
C. 分析算法的易懂性和可靠性
D. 分析算法的效率以求改进
(2) n个顶点的强连通图的边数至少有______。(C)
A. n-1
B. n(n-1)
C. n
D. n+1
(3) 已知数据表A中每个元素距其最终位置不远,为节省时间,应采用的算法是______。(B)
A. 堆排序
B. 直接插入排序
C. 快速排序
D. 直接选择排序
(4) 用链表表示线性表的优点是______。(A)
A. 便于插入和删除操作
B. 数据元素的物理顺序与逻辑顺序相同
C. 花费的存储空间较顺序存储少
D. 便于随机存取
(5) 下列不属于结构化分析的常用工具的是______。(D)
A. 数据流图
B. 数据字典
C. 判定树
D. PAD图
(6) 软件开发的结构化生命周期方法将软件生命周期划分成______。(A)
A. 定义、开发、运行维护
B. 设计阶段、编程阶段、测试阶段
C. 总体设计、详细设计、编程调试
D. 需求分析、功能定义、系统设计
(7) 在软件工程中,白箱测试法可用于测试程序的内部结构。此方法将程序看做是______。(C)
A. 循环的集合
B. 地址的集合
C. 路径的集合
D. 目标的集合
(8) 在数据管理技术发展过程中,文件系统与数据库系统的主要区别是数据库系统具有______。(D)
A. 数据无冗余
B. 数据可共享
C. 专门的数据管理软件
D. 特定的数据模型
(9) 分布式数据库系统不具有的特点是______。(B)
A. 分布式
B. 数据冗余
C. 数据分布性和逻辑整体性
D. 位置透明性和复制透明性
(10) 下列说法中,不属于数据模型所描述的内容的是______。(C)
A. 数据结构
B. 数据操作
C. 数据查询
D. 数据约束

2009年上半年全国计算机二级考试公共基础知识习题(9)
计算机二级考试 免费试听课程 收藏本页 2009/1/9 保存本文
(1) 算法的复杂度主要包括______复杂度和空间复杂度。
答:时间
(2) 数据的逻辑结构在计算机存储空间中的存放形式称为数据的______。
答:模式#逻辑模式#概念模式
(3) 若按功能划分,软件测试的方法通常分为白盒测试方法和______测试方法。
答:黑盒
(4) 如果一个工人可管理多个设施,而一个设施只被一个工人管理,则实体"工人"与实体"设备"之间存在______联系。
答:一对多#1:N#1:n
(5) 关系数据库管理系统能实现的专门关系运算包括选择、连接和______。
答:投影
(6) 在先左后右的原则下,根据访问根结点的次序,二叉树的遍历可以分为三种:前序遍历、______遍历和后序遍历。
答:中序
(7) 结构化程序设计方法的主要原则可以概括为自顶向下、逐步求精、______和限制使用goto语句。
答:模块化
(8) 软件的调试方法主要有:强行排错法、______和原因排除法。
答:回溯法
(9) 数据库系统的三级模式分别为______模式、内部级模式与外部级模式。
答:概念#概念级
(10) 数据字典是各类数据描述的集合,它通常包括5个部分,即数据项、数据结构、数据流、______和处理过程。
2009年上半年全国计算机二级考试公共基础知识习题(10)
计算机二级考试 2009/1/9 保存本文 免费试听课程 收藏本页
(1) 设一棵完全二叉树共有500个结点,则在该二叉树中有______个叶子结点。
答:250
(2) 在最坏情况下,冒泡排序的时间复杂度为______。
答:n(n-1)/2#n*(n-1)/2#O(n(n-1)/2)#O(n*(n-1)/2)
(3) 面向对象的程序设计方法中涉及的对象是系统中用来描述客观事物的一个______。
答:实体
(4) 软件的需求分析阶段的工作,可以概括为四个方面:______、需求分析、编写需求规格说明书和需求评审。
答:需求获取
(5) ______是数据库应用的核心。
答:数据库设计
(6) 数据结构包括数据的______结构和数据的存储结构。
答:逻辑
(7) 软件工程研究的内容主要包括:______技术和软件工程管理。
答:软件开发
(8) 与结构化需求分析方法相对应的是______方法。
答:结构化设计
(9) 关系模型的完整性规则是对关系的某种约束条件,包括实体完整性、______和自定义完整性。
答:参照完整性
(10) 数据模型按不同的应用层次分为三种类型,它们是______数据模型、逻辑数据模型和物理数据模型。
答:概念
转贴于:计算机二级考试_考试大
2009年上半年全国计算机二级考试公共基础知识习题(11)
计算机二级考试 免费试听课程 收藏本页 2009/1/9 保存本文
(1) 栈的基本运算有三种:入栈、退栈和______。
答:读栈顶元素#读栈顶的元素#读出栈顶元素
(2) 在面向对象方法中,信息隐蔽是通过对象的______性来实现的。
答:封装
(3) 数据流的类型有______和事务型。
答:变换型
(4) 数据库系统中实现各种数据管理功能的核心软件称为______。
答:数据库管理系统#DBMS
(5) 关系模型的数据操纵即是建立在关系上的数据操纵,一般有______、增加、删除和修改四种操作。
答:查询
(6) 实现算法所需的存储单元多少和算法的工作量大小分别称为算法的 ______。
答:空间复杂度和时间复杂度
(7) 数据结构包括数据的逻辑结构、数据的 ______以及对数据的操作运算。
答:存储结构
(8) 一个类可以从直接或间接的祖先中继承所有属性和方法。采用这个方法提高了软件的______。
答:可重用性
(9) 面向对象的模型中,最基本的概念是对象和 ______。
答:类
(10) 软件维护活动包括以下几类:改正性维护、适应性维护、______维护和预防性维护。
答:完善性 转贴于:计算机二级考试_考试大
2009年上半年全国计算机二级考试公共基础知识习题(12)
计算机二级考试 免费试听课程 收藏本页 2009/1/9 保存本文
(1) 算法的基本特征是可行性、确定性、______和拥有足够的情报。
答:有穷性
(2) 顺序存储方法是把逻辑上相邻的结点存储在物理位置______的存储单元中。
答:相邻
(3) Jackson结构化程序设计方法是英国的M.Jackson提出的,它是一种面向______的设计方法。
答:数据结构
(4) 数据库设计分为以下6个设计阶段:需求分析阶段、______、逻辑设计阶段、物理设计阶段、实施阶段、运行和维护阶段。
答:概念设计阶段#数据库概念设计阶段
(5) 数据库保护分为:安全性控制 、______、并发性控制和数据的恢复。
答:完整性控制
(6) 测试的目的是暴露错误,评价程序的可靠性;而______的目的是发现错误的位置并改正错误。
答:调试
(7) 在最坏情况下,堆排序需要比较的次数为______。
答:O(nlog2n)
(8) 若串s="Program",则其子串的数目是______。
答:29
(9) 一个项目具有一个项目主管,一个项目主管可管理多个项目,则实体"项目主管"与实体"项目"的联系属于______的联系。
答:1对多#1:N
(10) 数据库管理系统常见的数据模型有层次模型、网状模型和______三种。
答:关系模型

❸ 音响电子档案的离线移交电子档案及元数据应以什么形式一定

摘要 (三)移交单位应当按照有关要求进行光盘数据刻录及检测;

❹ 大数据下的地质资料信息存储架构设计

颉贵琴 胡晓琴

(甘肃省国土资源信息中心)

摘要 为推进我国地质资料信息服务集群化产业化工作,更大更好地发挥地质资料信息的价值,本文针对我国现有的地质资料信息集群化共享服务平台存在的缺陷和问题,基于现有系统的存储架构,设计了一种大数据下的地质资料信息存储架构,以便于我国地质资料信息服务集群化产业化工作能够适应大数据时代的数据存储。

关键词 大数据 地质资料 存储 NoSQL 双数据库

0 引言

新中国成立60多年来,我国形成了海量的地质资料信息,为国民经济和社会发展提供了重要支撑。但在地质资料管理方面长期存在资料信息分散、综合研究不够、数字化信息化程度不高、服务渠道不畅、服务能力不强等问题,使地质资料信息的巨大潜在价值未能得到充分发挥。为进一步提高地质工作服务国民经济和社会发展的能力,充分发挥地质资料信息的服务功能,扩大服务领域,国土资源部根据国内外地质工作的先进经验,做出了全面推进地质资料信息服务集群化产业化工作的部署。

目前,全国各省地质资料馆都在有条不紊地对本省成果、原始和实物地质资料进行清理,并对其中重要地质资料进行数字化和存储工作。然而,由于我国地质资源丰富,经过几十年的积累,已经形成了海量的地质资料,数据量早已经超过了几百太字节(TB)。在进行地质资料信息服务集群化工作中,随着共享数据量的不断增大,传统的数据存储方式和管理系统必然会展现出存储和检索方面的不足以及系统管理方面的缺陷。为了解决该问题,需要设计更加先进的数据存储架构来实现海量地质资料的存储。

而大数据(Big Data)作为近年来在云计算领域中出现的一种新型数据,科技工作者在不断的研究中,设计了适合大数据存储管理的非关系型数据库NoSQL进行大数据的存储和管理。本文将针对我国现有的地质资料信息集群化共享服务平台存在的缺陷和问题,利用大数据存储管理模式的思想,提出一种海量地质资料存储架构,改进现有系统存储架构,以便于我国全面推进地质资料信息服务集群化产业化工作。

1 工作现状

1.1 国内外地质资料信息的存储现状

在美国,主要有两大地质资料公共服务平台,分别是地球科学信息中心(ESIC)、地球资源观测和科学中心(EROS),其目的是通过为社会和政府提供更加便利、快速的地质信息服务。20世纪90年代初,澳大利亚出台了国家地球科学填图协议,采用先进的科学方法和技术进行数据存储,从而形成了第二代澳大利亚陆地地质图。

目前,我国地质资料信息服务集群化产业化工作刚刚起步,虽然国土资源部信息中心已经开发了地质资料信息集群化共享服务平台,并倡导各地方用户使用该系统。但由于各个地方早期的工作背景不一致,因此各地方所使用的存储系统也不尽相同,主要有Access、SQL Server、Oracle、MySQL等系统。本文以国土资源部信息中心开发的地质资料信息集群化共享服务平台的存储系统MySQL为例说明。该系统是基于关系数据库管理系统MySQL的一套分布式存储检索系统。该系统的部署使得我国地质资料信息服务集群化产业化工作取得了重大进展,同时也为我国建立标准统一的地质资料信息共享服务平台和互联互通的网络服务体系奠定了坚实的基础。然而,该系统的研发并没有考虑到地质资料信息进一步集群化以及在未来地质资料信息进入大数据时代的信息共享和存储管理问题,也没有给出明确的解决方案。

1.2 大数据的存储架构介绍

大数据是近年在云计算领域中出现的一种新型数据,具有数据量大、数据结构不固定、类型多样、查询分析复杂等特点。传统关系型数据库管理系统在数据存储规模、检索效率等方面已不再适合大数据存储。NoSQL(Not Only SQL)是与关系数据库相对的一类数据库的总称。这些数据库放弃了对关系数据库的支持,转而采用灵活的、分布式的数据存储方式管理数据,从而可以满足大数据存储和处理的需求。NoSQL基于非关系型数据存储的设计理念,以键值对进行存储,采用的数据字的结构不固定,每一个元组可以有不一样的字段,且每个元组可以根据自己的需要增加一些自己的键值对,可以减少一些检索时间和存储空间。目前,应用广泛的 NoSQL 数据库有 Google BigTable、HBase、MongoDB、Neo4 j、Infinite Graph等。

2 大数据下的地质资料信息存储架构设计

根据国土资源部做出的全面推进地质资料信息服务集群化产业化工作的部署,国土资源部倡导全国地质资料馆使用国土资源部信息中心开发的地质资料信息集群化共享服务平台,实现地质资料信息的存储和共享。该系统采用了数据库管理系统MySQL作为数据存储系统。

为了与现有系统和现有的工作进行对接,并为将来地质资料进入大数据时代后的存储工作做准备,本文设计了一种能用于海量地质资料信息存储并且兼容MySQL的分布式的数据存储架构(图1)。

整个系统可以根据不同的用户等级分为不同的用户管理层,由于图幅限制,在图1 中仅仅展示了3级:国家级管理层(即共享服务平台用户层)、省级管理层以及市级管理层(可根据实际需要延伸至县级)。

每级管理层的每个用户可以单独管理一个服务器。如国土资源部信息中心可以单独管理一个服务器;甘肃省国土资源信息中心可以单独管理一个服务器,陕西省国土资源信息中心可以单独管理一个服务器;甘肃的若干个市级国土资源局可以根据需要分别管理各自的服务器。

在服务器上分别安装两套数据库管理系统,一套是原有的MySQL数据库管理系统,另一套是为大数据存储而配备的NoSQL型数据库管理系统。在服务器上还专门开发一个数据库管理器中间件,用于进行用户层和数据库的通信以及两套数据库之间的通信。

由于各个管理层都各自维护自己的数据库和数据。当用户需要进行数据存储时,他所影响的数据库仅仅是本地数据库,存储效率较高;当用户需要从多个数据库读取数据时,顶层的共享服务平台会根据用户需求进行任务分解,将任务分发给下层的管理层进行数据库读取,由于各个数据库并行读取,从而提高了数据库读取效率。

图1 大数据下的地质资料信息存储架构框图

2.1 用户管理层

用户管理层根据权限范围,分为多层(本文以3层为例)。

位于顶层的国家级管理层(共享服务平台用户层)负责用户访问权限的分配、与其直接关联的数据库的访问、下级管理层任务的分配等工作。

用户访问权限的分配是指为访问本共享服务平台的个人用户和单位用户分配数据的使用权限、安全性的设计等。

与其直接关联的数据库访问是指直接存储在其本地数据库上的数据的访问。在该数据库中不仅要存储所需要的地质资料,还要存储注册用户信息等数据。

下级管理层任务分配是指如果用户需要访问多个下层数据库,用户只需要输入查询这几个下层数据库的命令,而如何查找下层数据库则由该功能来完成。例如某用户要查找甘肃、陕西、上海、北京的铁矿分布图,则用户只需要输入这几个地方及铁矿等查询条件,系统将自动把各个省的数据库查询任务分派到下级管理层。

同理,位于下层的省级管理层和市级管理层除了没有用户访问权限功能外,其余功能与国家级管理层是相同的。各层之间的数据库通过互联网相互连接成分布式的数据库系统。

2.2 MySQL和NoSQL的融合

MySQL是关系型数据库,它支持SQL查询语言,而NoSQL是非关系型数据库,它不支持SQL查询语言。用户要想透明地访问这两套数据库,必须要设计数据库管理器中间件,作为用户访问数据库的统一入口和两套数据库管理系统的通信平台。本文所设计的数据库管理器简单模型如图2所示。

图2 数据库管理器模型

服务器管理器通过用户程序接口与应用程序进行通讯,通过MySQL数据库接口与MySQL服务器通讯,通过NoSQL数据库接口与NoSQL数据库接口通讯。当应用程序接口接收到一条数据库访问命令之后,交由数据库访问命令解析器进行命令解析,从而形成MySQL访问命令或者NoSQL访问命令,通过相应的数据库接口访问数据库;数据库返回访问结果后经过汇总,由应用程序接口返回给应用程序。

两套数据库可以通过双数据库通信协议进行相互的通信和互访。此通信协议的建立便于地质工作人员将已经存入MySQL数据库的不适合结构化存储的数据转存到NoSQL数据库中,从而便于系统的升级和优化。

2.3 系统的存储和检索模式

在本存储框架设计中,系统采用分布式网络存储模式,即采用可扩展的存储结构,利用分散在全国各地的多台独立的服务器进行数据存储。这种方式不仅分担了服务器的存储压力,提高了系统的可靠性和可用性,还易于进行系统扩展。另外,由于地质资料信息存储的特殊性,各地方用户的数据存储工作基本都是在本地服务器进行,很少通过网络进行远程存储,所以数据存储效率较高。

在一台数据库服务器上安装有MySQL和NoSQL型两套数据库管理系统,分别用于存储地质资料信息中的结构化数据和非结构化数据。其中,NoSQL型数据库作为主数据库,用于存储一部分结构化数据和全部的非结构化数据;而MySQL数据库作为辅助数据库,用于存储一部分结构化的数据,以及旧系统中已经存储的数据。使用两套数据库不仅可以存储结构化数据而且还可以适用于大数据时代地质资料信息的存储,因此系统具有很好的适应性和灵活性。

2.4 安全性设计

地质资料信息是国家的机密,地质工作人员必须要保证它的安全。地质资料信息进入数字化时代之后,地质资料常常在计算机以及网络上进行传输,地质资料信息的安全传输和保存更是地质工作人员必须关注和解决的问题。在本存储架构的设计中设计的安全问题主要有数据库存储安全、数据传输安全、数据访问安全等问题。

数据库设计时采用多边安全模型和多级安全模型阻止数据库中信息和数据的泄露来提高数据库的安全性能,以保障地质信息在数据库中的存储安全;当用户登录系统访问数据库时,必须进行用户甄别和实名认证,这主要是对用户的身份进行有效的识别,防止非法用户访问数据库;在对地质资料进行网络传输时,应该首先将数据进行加密,然后再进行网络传输,以防止地质信息在传输过程中被窃取。

3 结语

提高地质资料数字化信息化水平,是国外地质工作强国的普遍做法。为推进我国地质资料信息服务集群化产业化工作,本文针对我国现有的地质资料信息集群化共享服务平台存在的缺陷和问题,利用大数据存储管理模式的思想,基于现有系统的存储架构,设计了一种大数据下的地质资料信息存储架构,以便于我国地质资料信息服务集群化产业化工作能够适应大数据时代的数据存储。该存储架构的设计只涉及了简单模型的构建,具体详细复杂的功能设计和软件实现还需要在进一步的研究工作中完成。

参考文献

[1]吴金朋.一种大数据存储模型的研究与应用[D].北京:北京邮电大学计算机学院,2012.

[2]吴广君,王树鹏,陈明,等.海量结构化数据存储检索系统[J].计算机研究与发展,2012,49(Suppl):1~5.

[3]黄

,易晓东,李姗姗,等.面向高性能计算机的海量数据处理平台实现与评测[J].计算机研究与发展,2012,49(Suppl):357~361.

❺ 世界主要资源和能源的储存、结构消耗情况

2010-2030年全球能源发展预测报告

随着全球经济的不断发展,世界能源的总消耗量将会由2004年的447 Quads增长到2015年的559 Quads,并在2030年预计达到702 Quads的消耗量,增长57%。非经合组织国家(Non-OECD)的总能源需求将会增长95个百分点,而经合组织国家(OECD)增长只有24%。

2004-2030年各区域能源消耗情况
单位: Quads

来源: 美国能源情报署

在2004-2030年间,各行业的能源使用情况都有所变化。其中,OECD国家的交通能源消耗将由04年的58%上升到2030年的63%,住宅能源消耗将由04年的49%下跌到38%;非OECD国家的交通能源消耗将由04年的42%上升到50%左右,住宅能源将会以每年2.4%的速度增长,到2030年时将会比OECD国家高出10个百分点左右。

石油等液体燃料依然占据能源消耗的最大一部分,但其所占比重会由2004年的38%降到2030年的34%。而石油的使用量将由2004年的每天8300万桶上升到2015年的每天9700万桶,最终达到2030年的每天1.18亿桶。

近年来,非OECD国家的天然气消耗量比OECD国家增长两倍还要多,04-30年的产量增长中,非OECD国家的产量占了90%以上。

2004-2030年世界煤炭的消耗量将会增长74个百分点,煤炭在总能源中的消耗比重将会由04年的26%变为30年的28%。

2004-2030年世界各地区煤炭生产情况
单位: Quads

区域
2004
2010
2015
2020
2025
2030
04-30年均变化

OECD

北美
24.6
27
28.3
29.4
33.3
37.0
1.6%

美国
22.8
24.6
25.8
26.7
30.4
33.9
1.5%

OECD

欧洲
7.9
8.0
7.7
7.1
6.6
6.6
-0.7%

OECD

亚洲
8.1
9.7
10.4
11.2
11.9
12.7
1.7%

OECD

总和
40.6
44.7
46.4
47.7
51.9
56.2
1.3%

欧洲非OECD地区
10.0
11.5
12.5
13.3
13.6
13.7
1.2%

亚洲非

OECD地区
55.2
70.6
82.4
94.7
105.4
116.7
2.9%

非洲
5.9
7.1
7.7
8.0
8.6
8.9
1.6%

非OECD总和
72.8
91.9
105.7
120.1
131.9
143.7
2.6%

全球
113.4
136.6
152.1
167.7
183.8
199.9
2.2%

来源: 美国能源情报署

电力方面,预计全球发电量将以每年2.4%的速度增长,2030年将达到30.36万亿千瓦时。.

2004-2030年全球发电量统计及预测
单位:十亿千瓦时

❻ 数据结构研究的是基于逻辑结构还是存储结构的算法

楼上错了,数据结构是研究数据的各种逻辑结构和 存储结构以及对数据的各种操作!
矩阵的实现肯定是基于存储结构的算法,而冒泡算法等等也还是属于数据结构的,所以两者都有研究

❼ 数据库管理系统的三级模式结构的概念、原理和对数据

可以简单理解为:外模式、模式、内模式
下面是我自己的简单理解:
1.外模式对应的是用户看到的信息,例如视图
2.模式是一个全局的逻辑视图,例如基本表
3.内模式是对应的存储结构,例如表的存储文件,

呵呵,下面是应用网络中的解释:

为了有效地组织、管理数据,提高数据库的逻辑独立性和物理独立性,人们为数据库设计了一个严谨的体系结构,数据库领域公认的标准结构是三级模式结构,它包括外模式、模式和内模式。
美国家标准协会(American N ational Standard Instit ut e,ANSI)的数据库管理系统研究小组于1 9 78年提出了标准化的建议,将数据库结构分为3级:面向用户或应用程序员的用户级、面向建立和维护数据库人员的概念级、面向系统程序员的物理级。
用户级对应外模式,概念级对应模式,物理级对应内模式,使不同级别的用户对数据库形成不同的视图。所谓视图,就是指观察、认识和理解数据的范围、角度和方法,是数据库在用户“眼中"的反映,很显然,不同层次(级别)用户所“看到’’的数据库是不相同的。
1模式.
模式又称概念模式或逻辑模式,对应于概念级。它是由数据库设计者综合所有用户的数据,按照统一的观点构造的全局逻辑结构,是对数据库中全部数据的逻辑结构和特征的总体描述,是所有用户的公共数据视图(全局视图)。它是由数据库管理系统提供的数据模式描述语言(Data Description Language,DDL)来描述、定义的,体现、反映了数据库系统的整体观。
2.外模式
外模式又称子模式,对应于用户级。它是某个或某几个用户所看到的数据库的数据视图,是与某一应用有关的数据的逻辑表示。外模式是从模式导出的一个子集,包含模式中允许特定用户使用的那部分数据。用户可以通过外模式描述语言来描述、定义对应于用户的数据记录(外模式),也可以利用数据操纵语言(Data Manipulation Lang uage,DML)对这些数据记录进行。外模式反映了数据库的用户观。
3.内模式
内模式又称存储模式,对应于物理级,它是数据库中全体数据的内部表示或底层描述,是数据库最低一级的逻辑描述,它描述了数据在存储介质上的存储方式翱物理结构,对应着实际存储在外存储介质上的数据库。内模式由内模式描述语言来描述、定义,它是数据库的存储观。
在一个数据库系统中,只有唯一的数据库, 因而作为定义 、描述数据库存储结构的内模式和定义、描述数据库逻辑结构的模式,也是惟一的,但建立在数据库系统之上的应用则是非常广泛、多样的,所以对应的外模式不是惟一的,也不可能是惟一的。
4.三级模式间的映射 数据库的三级模式是数据库在三个级别 (层次)上的抽象,使用户能够逻辑地、抽象地处理数据而不必关心数据在计算机中的物理表示和存储。实际上 ,对于一个数据库系统而言一有物理级数据库是客观存在的,它是进行数据库操作的基础,概念级数据库中不过是物理数据库的一种逻辑的、抽象的描述(即模式),用户级数据库则是用户与数据库的接口,它是概念级数据库的一个子集(外模式)。
用户应用程序根据外模式进行数据操作,通过外模式一模式映射,定义和建立某个外模式与模式间的对应关系,将外模式与模式联系起来,当模式发生改变时,只要改变其映射,就可以使外模式保持不变,对应的应用程序也可保持不变;另一方面,通过模式一内模式映射,定义建立数据的逻辑结构(模式)与存储结构(内模式)间的对应关系,当数据的存储结构发生变化时,只需改变模式一内模式映射,就能保持模式不变,因此应用程序也可以保持不变。

❽ 计算机存储系统分为哪几个层次

在计算机系统中存储层次可分为高速缓冲存储器、主存储器、辅助存储器三级。高速缓冲存储器用来改善主存储器与中央处理器的速度匹配问题。辅助存储器用于扩大存储空间。

存储系统的性能在计算机中的地位日趋重要,主要原因是:

1、冯诺伊曼体系结构是建筑在存储程序概念的基础上,访存操作约占中央处理器(CPU)时间的70%左右。

2、存储管理与组织的好坏影响到整机效率。

3、现代的信息处理,如图像处理、数据库、知识库、语音识别、多媒体等对存储系统的要求很高。

(8)国家存储结构扩展阅读:

移动存储特点:

1、获国家保密局认证,安全可靠;

2、与加密系统无缝结合,防护能力倍增;

3、 国内首创,将普通U盘变为加密U盘,彻底解决U盘的方便性带来的风险;

4、 采用双因子认证技术;

5、专用加密移动存储与系统无缝结合,管理更流畅;

6、功能多样,可满足各种不同需求的保密要求;

7、 完善的审计功能,随时掌握U盘持有人的行为。

移动存储功能:

1、集中注册与授权。可通过注册信息实现U盘身份识别和介质追踪;

2、主机身份认证。所有安装客户端的计算机都须经管理员分配实名信息后方可使用;

3、加密上锁。对加密上锁后的U盘需要用户进行身份认证;

4、访问控制。可灵活控制移动存储介质注册策略和信息,设定允许使用的计算机或租;

5、外出拷贝。拷入U盘内的数据可与外界的计算机进行数据交互使用,也可实现定向拷贝;

6、用户审计。移动管理存储系统提供详细的审计记录及审计报告。

主存储器:

存放指令和数据,并能由中央处理器直接随机存取的存储器,有时也称操作存储器或初级存储器。主存储器的特点是速度比辅助存储器快,容量比高速缓冲存储器大。

计算机存储介质:

计算机存储介质是计算机存储器中用于存储某种不连续物理量的媒体。计算机存储介质主要有半导体、磁芯、磁鼓、磁带、激光盘等。

❾ 基于SAN存储的国家级土地调查数据管理与集成系统建设

张定祥 戴建旺 李宪文 何欢乐

(中国土地勘测规划院,北京,100035)

摘要:本文在对国家级土地调查数据管理与集成系统建设项目背景分析的基础上,提出了系统建设的总体目标和任务,全面阐述了系统的总体设计、运行模式、系统功能设计思想,系统地介绍了各子系统的功能模块设计,最后本文对该管理与集成系统的应用进行了展望。

关键词:土地调查;数据集成;SAN (Storage Area Network);数据仓库

1 项目背景

目前,随着我国土地调查技术水平不断提高,数据的精度和现势性不断加强,数据资源发挥了越来越重要的作用。但是,我国土地调查数据管理方面还存在一些问题。主要表现在:①数据管理手段落后、数据整合集成度差。大量调查监测与评价数据以文件光盘或纸质方式存放,大多数没有建立集成化的空间数据库;土地资源调查监测数据内容不统一,不同时期数据成果的可比性差,难以形成管理和研究分析需要的区域性时间系列数据;土地数据库存在多种比例尺、多种格式等问题。②数据共享应用存在障碍,数据信息挖掘不够。由于多方面的原因,土地调查数据共享渠道还不够通畅,大量数据资源还未纳入管理,数据应用潜力远没有开发。

当前,建立国家级土地调查数据管理与集成系统的意义在于:①有效整合、集成土地资源调查工程数据成果,为工程提供系列化、标准化的展示成果;②为“金土工程”和“全国土地资源二次详查”等新项目提供标准化、集成化数据产品;③加强数据基础建设,并进行数据信息挖掘,形成土地管理科学决策的数据基础,提高土地科技创新能力和土地资源参与国民经济宏观调控的科学性;④挽救土地资源调查历史数据,加快数据共享应用,保护国家在土地调查多年巨额投资成果。鉴于以上考虑,“土地数据存储管理系统”采用现代数据仓库数据集成技术思路,以三个数据库(土地资料库、土地成果库、土地应用库)、数据整合集成工具包、数据分发和对内对外发布等开发为主要内容,将为国土资源大调查——土地调查原始数据管理、成果数据集成、应用数据产品开发、数据分发服务一体化提供集成的网络化管理与共享平台。该系统的建设将大大提高土地调查数据管理和集成信息化水平。

2 系统建设目标

本系统建设目标为:在对国家级土地数据现状和预测分析基础上,设计并建立基于SAN (Storage Area Network)存域网的土地数据管理与集成系统,实现客户端、数据存储中心和业务系统有机衔接,满足海量土地数据的动态存储、管理维护、更新、整合处理、查询检索等功能,实现土地数据的分布式共享和应用;能够实现对国家级土地调查、评价、规划等数据进行整合、编目、集成形成多层次专题数据建库,并加入数据管理系统;在此基础上,构建土地分中心对外服务共享平台,通过专题数据库整合、集成、网上发布,实现土地调查数据社会化共享。

3 总体设计

3.1 系统总体框架设计

基于SAN存储的国家级土地调查数据管理与集成系统由基础设施、数据和业务应用三层技术体系,安全和整合集成两个技术保障构成,具体的土地数据分中心总体设计架构如图1所示。

图1 土地数据分中心总体设计架构

3.1.1 基础设施层

基础设施层是系统建立及日常运行的基本软硬件环境,其中硬件环境构成了分中心的网络环境、存储环境及安全环境,软件环境则包括操作系统、数据库管理系统、GIS软件环境等。

3.1.2 数据层

数据层是系统建设的核心部分,该层构成了分中心的数据基础设施。全部数据通过建立统一的土地资料元数据实现集中管理与维护。数据层主要由土地资料数据库、土地成果数据库和土地应用数据库组成,数据库内所有土地资料信息在元数据库中管理维护。

3.1.3 业务应用层

业务应用层是分中心的运行层,所有具体的业务人员都在这个基础上实现土地数据分中心的应用。根据应用内容的不同,应用系统包括:土地数据库管理与维护;土地数据库信息检索与查询;土地数据的加工处理与整合;各种土地业务管理应用;国土资源辅助决策支持;科学数据共享服务网站六部分职能。

3.2 运行模式

国家级土地调查数据管理与集成系统日常运行模式有三种,即分中心内部运行模式、院内部运行模式以及院外部运行模式。分中心内部运行模式的核心是土地资料数据的汇交、存储、管理、元数据库维护、数据整合与整理等。院内部运行模式主要为非专业应用系统的普通土地数据用户则可以通过元数据的检索查询完成土地数据的信息浏览、数据下载、数据转换及数据应用工作;此外院内运行的各类土地专业应用系统通过计算机网络,通过访问、检索元数据库实现土地数据仓库的信息共享,从而达到不同格式的土地数据在不同部门和业务系统间的流通、交换和共享利用的目标。

规划院外运行模式涉及国务院各部委机关、国土资源部机关、相关数据中心及信息中心、各级省级国土资源数据中心、省级规划院系统等不同层次和需求用户。

3.3 系统功能设计

3.3.1 采用基于高性能的 SAN 的网络结构

SAN (Storage Area Network)是当前最先进的网络存储方式,本系统数据存储采用光纤布线的方式为用户提高数据传输的带宽和可靠性数据。系统硬件设备主要包括P650小型机、H16 SAN光纤交换机、FastT600光纤磁盘阵列、3583光纤磁带库、IBM EXP400阵列、IBM X365服务器及IBM X445服务器等IBM的设备、SUN的Blade2500图形工作站及Cisco的网络交换机(数据存储结构见图2)。

图2 数据存储结构图

3.3.2 高可扩展性存储设计

从存储容量来看,目前IBM FastT600磁盘阵列可以提供2 T的存储空间,最大可以扩展到16 T的存储容量。IBM 3583-L36光纤磁带库内有36个磁带的舱位,配置了4个磁带驱动器和40盘200 GB的磁带,正常情况下可以存储8 TB的数据,压缩的状态下可存储16 TB的数据。3583磁带库驱动器可以再增加2个,磁带的舱位可以增加到72个。离线磁带的数量理论上是没有限制的,只需更换新的磁带就可以了。

3.3.3 基于数据仓库设计思想的数据存储管理系统

针对国家级土地调查数据多源异构情况复杂而应用目标不十分明确的矛盾,借鉴数据仓库技术思想,设计了数据存储管理系统中土地数据整合集成技术流程。其核心思想在于国家级土地数据通过数据集成工具逐步形成土地资料库、土地成果库、专题产品库等系列产品。系统土地数据整合集成技术体系在以下方面:①外部历史数据进入资料库的元数据录入和数据入库规范,主要由人工处理和系统自动完成;②数据从资料库进入成果库之前的数据转换、抽取、重组、建模、综合和集成过程,主要由系统提供工具软件或数据接口人工操作完成;③成果数据进入应用库之前的数据裁减、融合、接边、格式转换等数据集成过程,以及数据成果库数据挖掘、决策分析功能,此部分主要通过Arc/Engine开发工具的模块和利用Oracle相应的数据挖掘功能实现。

4 功能模块设计

4.1 资料库管理子系统

土地资料库系统通过建立数据的管理元数据、数据命名、数据目录规范入库、构建资料库,实现基于元数据的检索、数据查询、数据预览等功能。土地数据资料进入资料库系统是数据资料的初步整合过程,纸质资料和电子数据进行分类管理,纸质资料只录入编目系统,资料本身不进入数据目录管理系统。电子数据纳入文件目录管理范畴,需要进行元数据录入和文件重命名和数据入库等过程。数据资料整合管理过程主要包括:数据内容选择、元数据录入、文件进入资料库文件目录系统(目录资料不入库)、文件的规范命名、元数据检查修改、元数据查询浏览、数据分发和发布等过程。

土地资料库管理子系统由数据库、管理和维护应用系统、土地数据对外服务系统构成。具体包括:①数据库。根据数据层次的不同,土地资料库管理子系统中含有经过重新目录组织和文件命名的土地资料数据和体现数据目录信息及其他内容的元数据。②数据管理维护系统。针对土地资料数据库、元数据库分别由土地资料管理维护系统、元数据管理维护系统提供相应数据内容的入库、检索、利用、存取控制、备份、恢复等。③土地数据对外服务与数据分发系统。土地数据对外服务系统基于互联网,向社会公众提供元数据、土地资料数据的浏览、查询、下载等土地数据服务。

4.2 成果库管理子系统

在数据库结构预先构建前提下,在经过数据整合和成果提取过程之后,成果数据存储在Oracle Spatial中,数据管理工作包括空间数据本地浏览、数据内容维护和数据库结构维护。具体包括以下几个方面。

4.2.1 成果数据管理

成果最小的组织单位是县,然后确定一个县的土地专题,如县级土地利用、县级动态监测等,系统建库标准参考相关国家建库标准。成果数据的体现按照树型来组织,第一级是成果主题,然后根据成果组织的类型分为分幅和行政区两种方式。分幅方式主要是根据标准比例尺将全国区域分为相应数量的逻辑尺寸,数据的组织采用这两种方式相结合,主要是因为目前有很多已有土地数据成果,本身就是采用分幅来汇交数据,在不改变原有数据的数据范围下就可以完成数据的拼接。另一方面,一般显示数据采用行政区省—市—县逐级索引的,便于数据检索。

(1)成果分幅管理 标准百万分幅、标准50 万分幅、标准25 万分幅、标准10 万分幅、标准5万分幅、标准2.5万分幅、标准1万分幅。

(2)成果行政区管理 省级索引图、市级索引图、县级实际成果数据 (图3)。

图3a 百万分幅索引图

图3b 全国省界索引图

图3c 广东省界索引图

图3d 县级土地利用专题数据

4.2.2 成果空间数据浏览

此功能模块主要用来实现对存储在Oracle Spatial中的成果数据进行预览,主要包括如下空间图形操作功能。放大、缩小、漫游、全图、查阅属性数据、查阅元数据。

4.2.3 成果整合管理

成果库的建立是通过整合工具将目标数据整合而成。成果的整合管理主要是指将数据整合到成果库的过程管理,系统提供整合入库向导辅助完成这个整合过程。整合过程包括如下步骤:①选择成果目标库;②查询选择整合数据源;③确定数据源与目标库(数据表)的对应关系,系统支持多种格式的数据源,包括Arcgis shape,Arcgis coverage,Map-gis,VCT 多种国内外主流 GIS 平台数据格式;④确定数据源属性表与成果库数据字段的对应关系;⑤确定数据源元数据与成果库元数据的对应关系;⑥调用数据整合工具完成目标数据源向成果库的整合。

4.2.4 成果建库管理

成果库包括两个部分,一个是核心库,包括分幅信息、行政区索引信息、成果元数据、县级标准主题库;另一个部分是成果扩展库,主要为了实现系统的兼容性和用户自定义。

由于成果核心数据库结构是预先生成,在系统正常运行阶段不提供用户接口进行调整,可提供根据预先生成的数据库脚本重新创建数据库框架;在不影响资料库数据整合入库和数据发布的情况下,通过和开发人员共同合作实现对数据库的调整。对于成果扩展库,系统提供建库向导辅助用户完成自定义扩展。扩建库建立向导主要完成如下功能:①定义扩展数据库、数据表结构;②确定扩展数据库、数据表与核心库关系;③定义数据获取与更新机制。

4.3 应用库管理子系统

数据的最终目的很大程度上是为了应用于专题中作为数据存储系统的重要功能,要求实现根据专题用户输入应用要求,实现数据提取。完成专题产品的来源可以来自于资料库和成果库,由于各种专题的要求并不一致,因此需要具有通用性且功能强大的通用工具,以便实现专题数据产品的生成。

4.4 数据发布管理子系统

土地数据管理模式采用土地数据存域网和土地数据中心对外发布平台的有机集成管理模式。中国土地勘测规划院内部土地数据管理由对内发布服务系统实现,社会共享数据和信息管理通过土地数据中心对外发布平台实现。土地数据资源要求可以被授权用户使用,使用方式将改变以前通过文件复制的方式,而采用更加方便而且安全有效的方式,即通过信息发布——用户下载的方式来实现。具体功能包括:①数据查询;②数据分发申请登记;③数据分发申请审核;④数据分发授权;⑤数据下载服务;⑥数据下载备案。

图4 数据产品下载申请登记

图5 数据分发审核管理

4.5 数据整合环境与集成工具包

数据整合处理环境由多个数据提取工具构成。利用数据模型构建工具,面向土地专题应用,构建相应的数据仓库框架,逐步扩充土地专题业务应用数据库所涵盖的土地分析专题;通过开发面向特定土地成果数据库或土地专题应用的整合特定数据源数据的数据提取工具,逐步充实数据整合处理环境的数据提取工具;通过运行数据提取工具,逐步充实土地成果数据库和土地专题数据仓库的内容。编写数据提取工具,从各土地资料数据库抽取数据到土地成果数据库中,由土地成果数据抽取数据到土地专题应用数据库中。

基于 ESRI Arc/Engine 组件工具,开发服务于“土地数据整合处理”的各种通用 GIS工具组件备用,同时开发具有友好图形用户界面,实现基于“土地资料库”或“土地成果数据库”及其元数据库提取特定专题应用产品数据库的流程管理的专题产品数据库提取与维护管理系统。考虑到数据产品数据库创建的复杂性,在系统实现过程中,只实现可自动化进行的流程的管理,对于无法自动化的过程,系统给出信息提示,实施手工处理。

图6a 数据整合处理环境提取工具

图6b 通用集成 GIS 工具组件

5 应用展望

当前,加快土地调查评价数据集成既是深化大调查成果的需要,也是国家土地管理新形势对土地资源调查监测数据集成提出的新要求。充分发挥土地调查评价数据的基础性作用,促进国家科技数据资源共享也必须对土地数据进行整合集成。如何对多年来取得的国家级土地调查评价数据,特别是大调查数据进行有效集成和管理,并为国家土地管理宏观决策提供快速、准确的信息服务是国家级土地调查评价数据集成面临的首要问题。基于 SAN 存储的国家级土地调查数据管理与集成系统,首次将土地数据仓库技术思想应用于土地数据管理系统建设中,提出资料库、成品库、应用库三库一体的数据仓库解决方案,对不同处理级别数据分级存储,为土地数据挖掘提供可能,也为不同应用目的数据集成提供实现有效途径。通过该系统建设将能够实现土地数据管理、土地数据处理和信息发布网络化,大大提高信息化建设水平。目前本系统已经初步建成,并处于试运行阶段,正利用本数据管理集成系统平台进行全国城市土地利用动态遥感监测数据、1∶1 万土地利用建库、土地详查1∶5 万县级土地利用栅格数据等土地调查监测数据的整合集成工作。目前已经完成2004年度全国土地利用动态遥感监测成果数据、“数字国土”工程1∶1 万土地利用建库200 多个县区、土地详查1∶5 万县级土地利用栅格数据全部数据(2000 多个县)的整合入库和元数据录入,并可实现对元数据和数据的管理。系统建设已经初见成效,实现了土地调查数据科学有效管理、避免重复投资,为国家宝贵的数据资源科学管理、有效集成和共享应用打下了坚实基础。可以预见,本系统平台将在国土资源大调查——土地资源调查数据整合集成发挥重要作用。当然由于受人员、时间,特别是水平等各方面条件的限制,本系统还需要在国家级土地调查监测的数据整合集成实践中不断地完善、提高。

❿ 什么是数据库系统的体系结构

三级结构的组织形式称为数据库的体系结构或数据抽象的三个级别。这个结构是于1975年在美国ANSI/X3/SPARC(美国国家标准协会的计算机与信息处理委员会中的标准计划与需求委员会)数据库小组的报告中提出的。

1.1.4.1三级数据视图
数据抽象的三个级别又称为三级数据视图,是不同层次用户(人员)从不同角度所看到的数据组织形式。
(1) 外部视图 第一层的数据组织形式是面向应用的,是应用程序员开发应用程序时所使用的数据组织形式,是应用程序员所看到的数据的逻辑结构,是用户数据视图,称为外部视图。外部视图可有多个。这一层的最大特点是以各类用户的需求为出发点,构造满足其需求的最佳逻辑结构。
(2) 全局视图 第二层的数据组织形式是面向全局应用的,是全局数据的组织形式,是数据库管理人员所看到的全体数据的逻辑组织形式,称为全局视图,全局视图仅有一个。这一层的特点是对全局应用最佳的逻辑结构形式。
(3) 存储视图第三层的数据组织形式是面向存储的,是按照物理存储最优的策略所组织形式,是系统维护人员所看到的数据结构,称为存储视图。存储视图只有一个。这一层的特点是物理存储最佳的结构形式。
外部视图是全局视图的逻辑子集,全局视图是外部视图的逻辑汇总和综合,存储视图是全局视图的具体实现。三级视图之间的联系由二级映射实现。外部视图和全局视图之间的映射称为逻辑映射,全局视图和存储视图之间的映射称为物理映射。

1.1.4.2 三级模式
三级视图是用图、表等形式描述的,具有简单、直观的优点。但是,这种形式目前还不能被计算机直接识别。为了在计算机系统中实现数据的三级组织形式,必须用计算机可以识别的语言对其进行描述。DBMS提供了这种数据描述语言(Data Description Language 简记为DDL)。我们称用DDL精确定义数据视图的程序为模式(Scheme)。与三级视图对应的是三级模式。
(1) 子模式 定义外部视图的模式称外模式,也称子模式。它由对用户数据文件的逻辑结构描述以及和全局视图中文件的对应关系的描述组成,用DBMS提供的子模式DDL定义。一个子模式可以由多个用户共享,而一个用户只能使用一个子模式。
(2) 模式 定义全局视图的模式称逻辑模式,简称模式。它由对全局视图中全体数据文件的逻辑结构描述以及和存储视图中文件的对应关系的描述组成,用DBMS提供的模式DDL定义。逻辑结构的描述包括记录的型(组成记录的数据项名、类型、取值范围等),还有记录之间的联系,数据的完整性、安全保密要求等。
(3) 内模式 定义存储视图的模式称内模式,又称物理模式。它由对存储视图中全体数据文件的存储结构的描述和对存储介质参数的描述组成,用DBMS提供的内模式DDL定义。存储结构的描述包括记录值的存储方式(顺序存储、hash方法、B树结构等),索引的组织方式等。
三级模式的结构如图1.8所示。
三级模式所描述的仅仅是数据的组织框架,而不是数据本身。在内模式这个框架填上具体数据就构成物理数据库,它是外部存储器上真实存在的数据集合。模式框架下的数据集合是概念数据库,它仅是物理数据库的逻辑映像。子模式框架下的数据集合是用户数据库,它是概念数据库的逻辑子集。