当前位置:首页 » 服务存储 » 空间数据存储技术国内研究现状
扩展阅读
webinf下怎么引入js 2023-08-31 21:54:13
堡垒机怎么打开web 2023-08-31 21:54:11

空间数据存储技术国内研究现状

发布时间: 2023-02-17 17:53:47

① 地理空间信息服务研究现状

目前国内外在地理信息服务领域研究较多,主要分为下面三个方面。

1.3.3.1 地理空间信息服务标准化方面

地理空间信息服务标准化工作是地理空间信息服务得以稳健发展,高效互操作与集成的基础,得到了许多国际化组织和机构的关注,取得了不少研究成果。作为全球最大的空间信息、互操作规范的制订者和倡议者,开放地理信息系统联盟(OpenGISConsortium,OGC)已经认识到在地理信息领域中引入 Web 服务技术的重要性和紧迫性,对地理信息服务制定了一系列的规范,主要包括: 网络矢量数据服务(Web Feature Service,WFS)、网络栅格数据服务(Web Coverage Service,WCS)、网络地图服务(Web Map Service,WMS)、网络处理服务(Web Geoprocessing Service)、网络目录服务(Catalogue Service-Web)等地理信息服务的相关规范。以上这些规范既可以作为 Web 服务的空间数据服务规范,又可以作为空间数据的互操作实现规范。国际标准化组织 ISO/TC211 技术委员会在 ISO 19119 草案中也对地理信息服务的相关概念、标准做了规定。在 ISO/TC211 技术委员会和 OGC 组织制定地理信息服务的内涵和标准的基础上,越来越多的学者投入到地理信息 Web 服务研究中。然而,国内在地理空间信息服务标准化方面的研究人员和研究工作非常少。

1.3.3.2 地理空间信息服务模式及框架方面

国外 Panatkool(2002)介绍了一种基于 P2P 网格的分布式网络地理信息服务模式,在这个模式下,地理信息服务可以在节点间迁移。Onchaga(2006)研究了一种服务质量(QoS)支持的服务链方法,使得地理空间信息服务在发现、组合以及执行过程中能同时顾及功能性以及质量上的要求,并且构建了一个服务质量管理框架以对服务链中基础的概念,规则以及机制进行定义。Shu et al.(2006)提出了如下图 1.8 融合 OGC 技术和网格技术的地理空间信息共享架构。

图 1.8 于 OGC 服务的网格框架(Shu et al.,2006)

梁旭鹏等(2006)在分析了传统的解决空间信息共享与互操作方法存在的不足的基础上,提出从数据共享、功能互操作系统集成等多面考虑实现空间信息共享与互操作的设计思想,建立基于 Web 服务的分布式空间信息共享与互操作模型。陈应东(2008)提出了适合空间信息特点的空间信息服务模式组成结构,并详细论述了空间信息服务模式的基本组成要素和特征,以及模式之间的演变规律; 并在此基础上阐述了面向服务的空间信息服务活动过程的实现架构与运行流程,空间信息服务资源管理体系以及基于脱坡结构的描述服务之间关系的方法(陈应东,2008)。罗英伟等(罗英伟等,2003; 王文俊等,2005)设计了一个基于 Web Services 技术的、可实现城市空间信息服务集成与互操作的框架 - π 系统框架,系统由 6 个层次组成: 应用层、WWW 服务层、Web 空间应用集成层、空间应用集成服务层、元数据服务和空间信息服务层以及空间信息库层,系统给城市空间信息应用的开发者提供了一个二次开发的平台和应用系统的基础框架,屏蔽了城市空间信息应用的分布性和 GIS 平台的异构性,整个系统贯穿 Web Services 的概念,使系统具有良好的开放性,为支持其他 GIS 平台和空间信息服务提供基础。李琦等(李琦等,2002; 黄晓斌等,2004)在阐述空间智能体 GeoAgent 的概念、特点和行为等有关内容的基础上,提出基于 GeoAgent 的地理信息服务模式。该模式能够利用 GeoAgent 的优势来克服现有GIS 的不足,并通过与 Web 服务等技术相结合,为数字城市中地理信息服务的构建提供有效的方法和有利的支撑。汪洋等(2004)认为,区域性/全国性的海洋环境监测系统需要集成许多已有业务化运行的海洋信息系统,并且要为成千上万的应用系统提供服务,迫切需要一个支持分布式异构环境的海洋监测信息及服务集成框架来指导系统的建设。因此他提出了基于 XML,Web Service,Ontology 等技术的集成框架包括集成总线及 Adapter Serv-ice,元数据库及集成协调器与供二次开发的 API 及 Web Service 工具集。这一集成框架是开放的可扩充的,它实现了数据互操作,软件互操作与语义互操作,可以应用于大规模海洋监测系统的动态集成,并能有效利用网上丰富的涉海商业 Web 服务(汪洋等,2004)。

1.3.3.3 地理空间信息服务应用方面

这方面研究比较多,Best(2007)介绍了一种是通过在科学工作中使用地理空间信息服务的方法来实现动态环境中对海洋哺乳动物栖息地的预测。Hamre(2009)在 InterRisk项目(欧洲海洋海岸带环境风险互操作服务)中建立了基于网络地理信息服务的海洋污染监测与预报互操作服务,并成功运用于挪威、英国、爱尔兰、德国以及波兰的水域。Foerster et al.(2010)在网络服务环境下基于 OGC 的 WPS 服务实现了地理空间数据的地图综合以及模式转换。王兴玲(2002)对基于 Web 的地理信息服务模式以及相关方面的问题进行了初步的探索和研究,利用 XML(GML/SVG)和 Web Service 技术构建了一个基于 Web 的地理信息服务平台,并成功应用到 “北京指南”平台中。马林兵等(2003)提出了一个基于可重用 Web Services 技术在全球范围内解决 GIS 数据集成和共享问题的新方法,并应用于城市交通管理信息系统中。刘文亮等(2009)、杨峰等(2008),分别通过 Web Service 实现了在分布式环境下海洋标量场数据与矢量场数据的远程时空过程可视化。何亚文等(2009b)通过 Web Service 实现了网络环境下的 NDVI 的计算,研究了基于Web Service 的 Argo 数据服务框架及相应的实现方法,为用户提供透明的、 “一站式” 的Argo 数据 Web 应用(何亚文等,2009a)。

② 我国空间技术的发展历史以及现状

空间技术历史人造卫星中国于1970年4月24日成功地研制并发射了第一颗人造地球卫 星“东方红一号”,成为世界上第五个独立自主研制和发射人造地球卫星的国家。截至2000年10月,中国共研制并发射了47颗不同类型的人造地球卫星,飞行成功率达90%以上。中国已初步形成了四个卫星系列——返回式遥感卫星系列、“东方红”通信广播卫星系列、“风云”气象卫星系列和“实践”科学探测与技术试验卫星系列,“资源”地球资源卫星系列也即将形成。中国是世界上第三个掌握卫星回收技术的国家,卫星回收成功率达到国际先进水平;中国是世界上第五个独立研制和发射地球静止轨道通信卫星的国家。中国的气象卫星、地球资源卫星主要技术指标已达到二十世纪九十年代初期的国际水平。近几年来,中国研制并发射的6颗通信、地球资源和气象卫星投入使用后,工作稳定,性能良好,产生了很好的社会效益和经济效益。运载火箭中国独立自主地研制了12种不同型号的“长征”系列运载火箭,适用于发射近地轨道、地球静止轨道和太阳同步轨道卫星。“长征”系列运载火箭近地轨道最大运载能力达到9200千克,地球同步转移轨道最大运载能力达到5100千克,基本能够满足不同用户的需求。自1985年中国政府正式宣布将“长征”系列运载火箭投入国际商业发射市场以来,已将27颗外国制造的卫星成功地送入太空,在国际商业卫星发射服务市场中占有了一席之地。迄今,“长征”系列运载火箭共实施了63次发射;1996年10月至2000年10月,“长征”系列运载火箭已连续21次发射成功。航天器发射场中国已建成酒泉、西昌、太原三个航天器发射场,并圆满完成了未来5年启动“北斗”导航系统 ●研制新一代无毒、无污染、高性能、低成本和大推力的运载火箭,最终实现近地轨道运载能力达到25吨,地球同步转移轨道运载能力达到14吨。●启动并实施高分辨率对地观测系统工程,研制、发射新型极轨和静止轨道气象卫星、海洋卫星、地球资源卫星、环境与灾害监测预报小卫星,初步形成全天候、全天时、多谱段、不同分辨率、稳定运行的对地观测体系,实现对陆地、大气、海洋的立体观测和动态监测。●统筹发展卫星遥感地面系统和业务应用系统,建立和完善国家级的遥感卫星数据中心,初步实现社会公益服务领域的遥感数据共享,建立卫星环境应用机构和卫星减灾应用机构,形成若干重要业务应用系统。●研制并发射长寿命、高可靠、大容量的地球静止轨道通信卫星和电视直播卫星,发展卫星直播、宽带多媒体、卫星应急通信、公益性通信广播等技术,积极推进卫星通信广播的商业化进程,扩大产业规模。●完善“北斗”导航试验卫星系统,启动并实施“北斗”卫星导航系统计划。●研制并发射新技术试验卫星,加强新技术、新材料、新器件、新设备的空间飞行验证,提高自主研发水平,提高产品质量与可靠性。●研制并发射“育种”卫星,推进空间技术与农业育种技术的结合,扩大空间技术在农业科研领域的应用。●研制空间望远镜、新型返回式科学卫星等卫星,开展空间天文、空间物理、微重力科学和空间生命科学的基础研究,加强对空间环境与空间碎片的监测能力,初步建立空间环境监测预警体系。●载人航天实现航天员出舱活动,进行航天器交会对接试验,开展具有一定应用规模的短期有人照料、长期在轨自主飞行的空间实验室的研制等载人航天工程后续工作。●实现绕月探测,突破月球探测基本技术,研制和发射中国第一颗月球探测卫星“嫦娥一号”,开展月球探测工程后期工作。●提高航天发射场综合试验能力和效益,进一步优化航天发射场布局,提高航天发射场设施、设备的可靠性和自动化水平。●进一步提高航天测控网的技术水平和能力,扩大测控覆盖率,具备初步满足深空探测需求的测控能力。各种运载火箭的飞行试验和各类人造卫星、试验飞船的发射任务。中国航天器发射场既可完成国内发射任务,又具有完成为国际商业发射服务和开展其他国际航天合作的能力。航天测控中国已建成完整的航天测控网,包括陆地测控站和海上测控船,圆满完成了从近地轨道卫星到地球静止轨道卫星、从卫星到试验飞船的航天测控任务。中国航天测控网已具备国际联网共享测控资源的能力,测控技术达到了世界先进水平。载人航天中国于1992年开始实施载人飞船航天工程,研制了载人飞船和高可靠运载火箭,开展了航天医学和空间生命科学的工程研究,选拔了预备航天员,研制了一批空间遥感和空间科学试验装置。1999年11月20日至21日,中国成功地发射并回收了第一艘“神舟”号无人试验飞船,标志着中国已突破了载人飞船的基本技术,在载人航天领域迈出了重要步伐。 空间技术的未来规划 ●研制新一代无毒、无污染、高性能、低成本和大推力的运载火箭,最终实现近地轨道运载能力达到25吨,地球同步转移轨道运载能力达到14吨。●启动并实施高分辨率对地观测系统工程,研制、发射新型极轨和静止轨道气象卫星、海洋卫星、地球资源卫星、环境与灾害监测预报小卫星,初步形成全天候、全天时、多谱段、不同分辨率、稳定运行的对地观测体系,实现对陆地、大气、海洋的立体观测和动态监测。●统筹发展卫星遥感地面系统和业务应用系统,建立和完善国家级的遥感卫星数据中心,初步实现社会公益服务领域的遥感数据共享,建立卫星环境应用机构和卫星减灾应用机构,形成若干重要业务应用系统。●研制并发射长寿命、高可靠、大容量的地球静止轨道通信卫星和电视直播卫星,发展卫星直播、宽带多媒体、卫星应急通信、公益性通信广播等技术,积极推进卫星通信广播的商业化进程,扩大产业规模。●完善“北斗”导航试验卫星系统,启动并实施“北斗”卫星导航系统计划。●研制并发射新技术试验卫星,加强新技术、新材料、新器件、新设备的空间飞行验证,提高自主研发水平,提高产品质量与可靠性。●研制并发射“育种”卫星,推进空间技术与农业育种技术的结合,扩大空间技术在农业科研领域的应用。●研制空间望远镜、新型返回式科学卫星等卫星,开展空间天文、空间物理、微重力科学和空间生命科学的基础研究,加强对空间环境与空间碎片的监测能力,初步建立空间环境监测预警体系。●载人航天实现航天员出舱活动,进行航天器交会对接试验,开展具有一定应用规模的短期有人照料、长期在轨自主飞行的空间实验室的研制等载人航天工程后续工作。●实现绕月探测,突破月球探测基本技术,研制和发射中国第一颗月球探测卫星“嫦娥一号”,开展月球探测工程后期工作。●提高航天发射场综合试验能力和效益,进一步优化航天发射场布局,提高航天发射场设施、设备的可靠性和自动化水平。●进一步提高航天测控网的技术水平和能力,扩大测控覆盖率,具备初步满足深空探测需求的测控能力。

③ 海量空间数据存储

(一)空间数据存储技术

随着地理信息系统的发展,空间数据库技术也得到了很大的发展,并出现了很多新的空间数据库技术(黄钊等,2003),其中应用最广的就是用关系数据库管理系统(RDBMS)来管理空间数据。

用关系数据库管理系统来管理空间数据,主要解决存储在关系数据库中的空间数据与应用程序之间的数据接口问题,即空间数据库引擎(SpatialDatabase Engine)(熊丽华等,2004)。更确切地说,空间数据库技术是解决空间数据对象中几何属性在关系数据库中的存取问题,其主要任务是:

(1)用关系数据库存储管理空间数据;

(2)从数据库中读取空间数据,并转换为GIS应用程序能够接收和使用的格式;

(3)将GIS应用程序中的空间数据导入数据库,交给关系数据库管理。

空间数据库中数据存储主要有三种模式:拓扑关系数据存储模式、Oracle Spatial模式和ArcSDE模式。拓扑关系数据存储模式将空间数据存在文件中,而将属性数据存在数据库系统中,二者以一个关键字相连。这样分离存储的方式由于存在数据的管理和维护困难、数据访问速度慢、多用户数据并发共享冲突等问题而不适用于大型空间数据库的建设。而OracleSpatial实际上只是在原来的数据库模型上进行了空间数据模型的扩展,实现的是“点、线、面”等简单要素的存储和检索,所以它并不能存储数据之间复杂的拓扑关系,也不能建立一个空间几何网络。ArcSDE解决了这些问题,并利用空间索引机制来提高查询速度,利用长事务和版本机制来实现多用户同时操纵同一类型数据,利用特殊的表结构来实现空间数据和属性数据的无缝集成等(熊丽华等,2004)。

ArcSDE是ESRI公司开发的一个中间件产品,所谓中间件是一个软件,它允许应用元素通过网络连接进行互操作,屏蔽其下的通讯协议、系统结构、操作系统、数据库和其他应用服务。中间件位于客户机/服务器的操作系统之上,管理计算资源和网络通讯,并营造出一个相对稳定的高层应用环境,使开发人员可以集中精力于系统的上层开发,而不用过多考虑系统分布式环境下的移植性和通讯能力。因此,中间件能无缝地连入应用开发环境中,应用程序可以很容易地定位和共享中间件提供的应用逻辑和数据,易于系统集成。在分布式的网络环境下,客户端的应用程序如果要访问网络上某个服务器的信息,而服务器可能运行在不同于客户端的操作系统和数据库系统中。此时,客户机的应用程序中负责寻找数据的部分只需要访问一个数据访问中间件,由该中间件完成网络中数据或服务的查找,然后将查找的信息返回给客户端(万定生等,2003)。因此,本系统实现空间数据库存储的基本思想就是利用ArcSDE实现各类空间数据的存储。

目前,空间数据存储技术已比较成熟,出现了许多类似ArcSDE功能的中间件产品,这些软件基本上都能实现空间数据的数据库存储与管理,但对于海量空间数据的存储,各种软件性能差别较大。随着数据量的增长,计算机在分析处理上会产生很多问题,比如数据不可能一次完全被读入计算机的内存中进行处理。单纯依赖于硬件技术,并不能满足持续增长的数据的处理要求。因此需要在软件上找到处理海量数据的策略,并最终通过软硬件的结合完成对海量数据的处理。在海量数据存储问题上,许多专家从不同侧面进行过研究,Lindstrom在地形简化中使用了外存模型(Out-of-core)技术;钟正采用了基于数据分块、动态调用的策略;汪国平等人在研究使用高速网络进行三维海量地形数据的实时交互浏览中,采用了分块、多分辨率模板建立模型等方法。这些技术、方法已经在各自系统上进行了研究和实现。本系统采用的ArcSDE软件基本上也是采用分块模型的方法,具体存储和操作不需要用户过多了解,已经由ArcSDE软件实现。因此,对海量数据的存储管理,更需要从数据的组织方式等方面进行设计。塔里木河流域生态环境动态监测系统采集了大量的遥感影像、正射影像等栅格结构的数据,这些数据具有很大的数据量,为适应流域空间基础设施的管理需要,采取一种新的方式来管理、分发这些海量数据以适应各部门的快速浏览和管理需要。

(二)影像金字塔结构

影像数据库的组织是影像数据库效率的关键,为了获得高效率的存取速度,在数据的组织上使用了金字塔数据结构和网格分块数据结构。该技术主导思想如下:

(1)将数据库中使用到的纹理处理成为大小一致的纹理块;

(2)为每块纹理生成5个细节等级的纹理,分别为0、1、2、3、4,其中1级纹理通过0级纹理1/4压缩得到,2级纹理通过1级纹理1/4压缩得到,…,以此类推;

(3)在显示每个块数据之前,根据显示比例的大小,并以此决定该使用那一级的纹理;

(4)在内存中建立纹理缓冲池,使用LRU算法进行纹理块的调度,确保使用频率高的纹理调度次数尽可能少。

(三)影像数据压缩

影像数据压缩有无损压缩和有损压缩两个方法,具体采取哪种压缩方法需根据具体情况确定。对于像元值很重要的数据,如分类数据、分析数据等采用无损压缩(即LZ77算法),否则采用有损压缩(即JPEG算法)。通过对影像数据的压缩,一方面可以节约存储空间,另一方面可以加快影像的读取和显示速度。影像数据的压缩一般与构建金字塔同时进行,在构建影像金字塔过程中自动完成数据的压缩。

④ GIS技术在国内的研究现状及其发展趋势

0 引言
随着计算机技术的飞速发展、空间技术的日新月异及计算机图形学理论的日渐完善,GIS(Geographic Information System)技术也日趋成熟,并且逐渐被人们所认识和接受。近年来,GIS被世界各国普遍重视,尤其是“数字地球”概念的提出,使其核心技术GIS更为各国政府所关注。目前,以管理空间数据见长的GIS已经在全球变化与监测、军事、资源管理、城市规划、土地管理、环境研究、农作物估产、灾害预测、交通管理、矿产资源评价、文物保护、湿地制图以及政府部门等许多领域发挥着越来越重要的作用。当前GIS正处于急剧发展和变化之中,研究和总结GIS技术发展,对进一步开展GIS研究工作具有重要的指导意义。因此,本文就目前GIS技术的研究现状及未来发展趋势进行总结和分析。
1 GIS研究现状及其分析
1.1 GIS研究现状
世纪90年代以来,由于计算机技术的不断突破以及其它相关理论和技术的完善,GIS在全球得到了迅速的发展。在海量数据存储、处理、表达、显示及数据共享技术等方面都取得了显着的成效,其概括起来有以下几个方面[1]:①硬件系统采用服务器/客户机结构,初步形成了网络化、分布式、多媒体GIS;②在GIS的设计中,提出了采用“开放的CIS环境”的概念,最终以实现资源共享、数据共享为目标;③高度重视数据标准化与数据质量的问题,并已形成一些较为可行的数据标准;④面向对象的数据库管理系统已经问世,正在发展称之为“对象——关系DBMS(数据库管理系统)”;⑤以CIS为核心的“3S”技术的逐渐成熟,为资源与环境工作提供了空间数据新的工具和方法;⑥新的数学理论和工具采用CIS,使其信息识别功能、空间分析功能得以增强等等。
在GIS技术不断发展下,目前GIS的应用已从基础信息管理与规划转向更复杂的区域开发、预测预报,与卫星遥感技术相结合用于全球监测,成为重要的辅助决策工具。据有关部门估计,目前世界上常用的GIS软件己达400多种[2].国外较着名的GIS软件产品有[3]:Auotodesk系列产品、Arc/Info、MapInfo及其构件产品、Intergraph、Microstation等,还有Web环境下矢量地图发布的标准和规范,如XML、GML、SVG等等。我国GIS软件研制起步较晚,比较成熟的测绘软件主要有南方CASS,MapGIS,GeoStar,SuperMap等。尽管现存的GIS软件很多,但对于它的研究应用,归纳概括起来有二种情况:一是利用GIS系统处理用户的数据;二是在GIS的基础上,利用它的开发函数库二次开发用户专用的GIS软件。目前已成功应用包括资源管理、自动制图、设施管理、城市和区域规划、人口和商业管理、交通运输、石油和天然气、教育、军事等九大类别的一百多个领域。在美国及发达国家,GIS的应用遍及环境保护、灾害预测、城市规划建设、政府管理等众多领域。近年来,随着我国经济建设的迅速发展,加速了GIS应用的进程,在城市规划管理、交通运输、测绘、环保、农业等领域发挥r重要的作用,取得了良好的经济效益和社会效益。
1.2 当前GIS发展存在的主要问题
基于以上GIS技术现状研究,本文分析认为GIS技术在模型、数据结构等方面存在着不足,一定程度上制约了GIS技术的发展。
(1)数据结构方面存在的问题
目前通用的GIS主要有矢量、栅格或两者相加的混合系统,即使是混合系统实际上也是将两类数据分开存储,当需要执行不同的任务时采用不同的数据形式。在矢量结构方面,其缺点是处理位置关系(包括相交、通过、包含等)相当费时,且缺乏与DEM和RS直接结合的能力。在栅格结构方面,存在着栅格数据分辨率低,精度差;难以建立地物间的拓扑关系;难以操作单个目标及栅格数据存贮量大等问题[4].
(2)GIS模型存在的问题
传统GIS模型是按照计算机的方法对客观世界地理空间不自然的分割和抽象,使得人们认知地理空间的认知模型与计算机中的数据模型不能形成良好的对应关系,难以表达复杂的地理实体,更难满足客观世界的整体特征要求。在GIS软件开发中,如果语义分割不合理,将难以有效表达地理空间实体间的关系,这就导致较深层次的分析、处理操作难以实现。随着GIS应用需求领域的不断开拓及计算机技术的迅速发展,对空间数据模型和空间数据结构提出了更高的要求,使得传统的地理空间数据模型力不从心,逐渐暴露其弊端。
目前,面向对象的数据模型一定程度上解决了传统GIS数据模型的某些不足,但是OODB(面向对象数据库)目前仍未在市场以及关键任务应用方面被广泛接受,因为OODB作为一个DBS还不太成熟,如缺少完全非过程性的查询语言以及视图、授权、动态模式更新和参数化性能协调等;且OODB与RDB之间缺少应有的兼容性,因而使得大量的已建立起来的庞大的RDB客户不敢轻易地去选择OODB.
(3)其他方面亟待解决的问题
当前,GIS正处在一个大变革时期,GIS的进一步发展还面临不少问题,主要表现在以下几个方面[5]:①GIS设计与实现的方法学问题。在GIS设计与实现过程中缺乏面向对象的认知方法学和面向对象的程序设计方法学的指导,导致GIS软件系统的可靠性和可维护性差;②GIS的功能问题。当前以数据采集、存储、管理和查询检索功能为主的GIS,不能满足社会和区域可持续发展在空间分析、预测预报、决策支持等方面的要求,直接影响到GIS的应用效益和生命力;③三维GIS模型及可视化问题。目前大多数GIS软件的图形显示是基于二维平面的,即使是三维效果显示也是采用DEM的方法来处理表达地形的起伏,涉及到地底下真三维的自然和人工现象显得无能为力。
2 GIS未来发展趋势
2.1数据管理方面
(1)多比例尺、多尺度和多维空间数据的表达[6]
对于多比例尺数据的显示,将运用影像金字塔技术、细节分层技术和地图综合等技术;而为了实现GIS的动态、实时和三维可视化,出现存储真三维坐标数据的3D GIS和真四维时空GIS,这其中涉及了空间数据的海量存储、时空数据处理与分析以及快速广域三维计算与显示等多项理论与技术[7].
(2)三库一体化的数据结构方向
空间数据库向着真正面向对象的数据模型和图形矢量库、影像栅格库和DEM格网库三库一体化数据结构的方向发展[8].这种三库一体化的数据结构改变了以图层为处理基础的组织方式,实现了直接面向空间实体的数据组织,使多源空间数据的录入与融合成为了可能,从而为GIS与遥感技术的集成创造了条件。
(3)基于空间数据仓库(Spatial Data warehouse)的海量空间数据管理的研究
空间数据量非常大,而且数据大都分散在政府、私人机构、公司的各个部门,数据的管理与使用就变得非常复杂,但这些空间数据又具有极大的科学价值和经济价值,因此大多数发达国家都比较重视空间数据仓库的建立工作,许多研究机构和政府部门都参与到空间数据仓库建立的研究工作。
(4)利用数据挖掘技术进行知识发现
空间数据挖掘是从空间数据库中抽取隐含的知识、空间关系以及其他非显式的包含在空间数据库中但以别的模式存在的信息供用户使用,这是GIS应用的较高层次。由于目前空间数据的组织与管理仍局限于二维、静态、单时相,且仍以图层为处理基础,因此,当前的GIS软件和空间数据库还不能有效地支持数据挖掘。
2.2技术集成方面
(1)“3S”集成
“3S”是GPS(全球定位系统)、RS(遥感)和GIS的简称,“3S”集成是指将遥感、空间定位系统和地理信息系统这三种对地观测技术有机地集成在一起。地理信息是一种信息流,RS、GPS和GIS中任何一个系统都只侧重于信息流特征中的一个方面,而不能满足准确、全面地描述地理信息流的要求。因此,无论从物质运动形式、地学信息的本质特征还是“3S”各自的技术特征来说,“3S”集成都是科技发展的必然结果。
目前,“3S”集成还仅限于两两结合方式,这是“3S”集成的初级和基础起步阶段,其核心是GIS与RS的结合。这种两两结合虽然优于单一系统,但是仍然存在以下缺陷。将“3S”进行集成从而形成一体化的信息技术体系是非常迫切的。这种集成包括空基“3S”集成和地基“3S”集成,即在硬件方面建立具有同步获取涉谱数据和空间数据的高重复观测能力的平台,而在软件方面使GIS支持数据封装,同时解决图形和图像数据的统一处理问题。
(2)GIS与虚拟现实技术的结合
虚拟现实(Virtual Reality)是一种最有效地模拟人在自然环境中视、听、动等行为的高级人机交互技术,是当代信息技术高速发展和集成的产物。从本质上说,虚拟现实就是一种先进的计算机用户接口,通过计算机建立一种仿真数字环境,将数据转换成图形、声音和接触感受,利用多种传感设备使用户“投入”到该环境中,用户可以如同在真实世界那样“处理”计算机系统所产生的虚拟物体。将虚拟和重建逼真的、可操作的地理三维实体,GIS用户在客观世界的虚拟环境中能更有效的管理、分析空间实体数据。因此,开发虚拟GIS已成为GIS发展的一大趋势。
(3)分布式技术、万维网与GIS的结合[9]
目前,随着Internet技术的迅猛发展,其应用已经深人到各行各业,作为与我们日常生活息息相关的GIS也不例外,它们的结合产生了web GIS.当前Web GIS系统已经得到迅速的发展,到1999年1月,仅在美国出现的这类系统就有23种之多。又由于客户端可能会采用新的应用协议,因此也被认为是Internet GIS.
计算机网络技术的飞速发展,分布式计算的优势日益凸显,GIS与分布式技术结合也就成为必然,它们的结合即构成了分布式CIS.它就是指利用最先进的分布式计算技术来处理分布在网络上的异构多源的地理信息,集成网络上不同平台上的空间服务,构建一个物理上分布,逻辑上统一的GIS.它与传统GIS最大的区别在于它不是按照系统的应用类别、运行环境划分的,而是按照系统中的数据分布特征和针对其中数据处理的计算特征而分类的。
(4)移动通信技术与CIS的结合发展[10]
WAP/WML技术作为无线互联网领域的一个热点,已经显示了其巨大的应用前景和市场价值。WAP柳ML技术与GIS技术的结合产生了移动GIS(Mobile GIS)应用和无线定位服务LBS(Location一basedServices)。通过WAR/WML技术,移动用户几乎可以在任何地方、时间获得网络提供的各种服务。无线定位服务将提供一个机会使GIS突破其传统行业的角色而进人到主流的IT技术领域里。大多数的分析家都认为,到2010年,无线网络将成为全球数据传送的主要途径。GIS的未来将会由其机动性所决定。
当前用于地理信息交互的语言还不足以完成真正的“设备无关接口”的互操作。各种移动设备对于从地理信息服务器所获得的信息,其表现方式是各不相同的,用户输人方式也不相同。因此,对于不同的移动设备需要一种统一的标记语言。无线定位服务将提供一个机会使GIS突破其传统行业的角色而进人到主流的IT技术领域里:大多数的分析家都认为,到2010年,无线网络将成为全球数据传送的主要途径。GIS的未来将会由其机动性所决定。
(5)GIS与决策支持系统(DSS)的集成[11]
决策支持系统(Decision Support System,简称DSS)是以管理学、运筹学、控制论、行为科学和人下智能为基础,运用信息仿真和计算手段为基础,综合利用现有的各种数据库、信息和模型来辅助决策者或决策分析人员解决结构化和半结构化问题,甚至非结构化问题的人机交互系统。
目前,绝大多数的GIS还仅限于图形的分析处理,缺乏对复杂空间问题的决策支持,而目前绝大多数的DSS则无法向决策者提供一个友好的可视化的决策环境。因此,将GIS与DSS相集成,最终形成空间决策支持系统(SDSS),借助GIS强大的空间数据处理分析功能,并在DSS中嵌入空间分析模块,从而辅助决策者求解复杂的空间问题,这是GIS应用向较高层次的发展。其中SDSS中知识的表达、获取和知识推理以及模型库、知识库、数据库三库接口的设计是哑待解决的关键问题。
2.3 发展历程方面
自20世纪60年代世界上第一个GIS——加拿大地理信息系统(CGIS)问世以来,经过40年的发展,GIS经历了三个阶段的发展。目前,随着第三代互联网的提出与实施,以及计算机技术、数据库技术的飞速发展,GIS即将步入第四代GIS发展阶段。
第四代GIS软件将在数据组织、存储、检索和运算等方面发生革命性的变革。数据组织应该是面向空间实体的,空间位置只是实体众多属性中的一类,它应和其它属性有机地组织在一起并统一存放:“关系”概念和“关系运算”应该加以扩充,应该包括空间关系及其运算;传统的结构化查询语言应该扩充,把空间关系及其查询包括在里面;以倒排表为基础的数据库索引机制应该扩展,建立至少包括拓扑关系在内的新的索引机制;数据存储机制应该适应空间数据提取和计算的要求等。只有实现数据真正的一体化存储和处理,才能自由地、方便地、快速地实现人们所期望的处理功能。在功能上,第四代GIS软件应该具备支持数字地球(区域、城市)的能力,成为OS、DBMS之上的主要应用集成平台,它具有统一的海量存储、查询和分析处理能力、一定的三维和时序处理能力、强大的应用集成能力和灵活的操纵能力,且具有一定的虚拟现实表达。
3 结束语
通过以上对GIS现状及发展趋势的分析,可以看出,GIS作为信息产业的重要组成部分,正以前所未有的速度向前发展。把握当前GIS的技术发展现状及不足,有利于人们预见GIS的发展趋势,站在更高更远的角度去扬长避短,较好地促进GIS技术的快速发展。随着地理信息系统产业的建立和数字化住处产品在全世界的普及,GIS将深人到各行各业以至千家万户,成为人们生产、工作、学习和生活中不可缺少的工具和助手。

⑤ 请介绍空间信息处理的发展趋势

面向21世纪空间信息技术的发展趋势以及我国空间信息技术发展对

作者单位: 来源:中华人民共和国科学技术部国家遥感中心

2.2 加速现代化的国家空间信息基础设施建设

国家空间信息基础设施是国家信息基础设施中具有特殊功能的组成部分,由国家公用地理空间信息通信网络体系、公益性和基础性地理空间数据系统、地理空间信息共享的政策法规标准和技术体系、支持地理空间信息共享服务的组织体系四部分组成。为了进一步促进我国地理空间信息的共享和广泛应用,充分发挥地理空间信息在我国国民经济和社会信息化以及经济结构战略性调整中的作用,必须不失时机地加快我国国家空间信息基础设施建设,健全地理空间信息标准和政策法规,建立完善的公益性、基础性地理空间信息系统及其交换网络体系,为相关产业的发展创造条件。国内外实践证明,信息基础设施是信息社会重要的基础设施,也是国家缩小不同地区、不同行业和不同群体之间"数字鸿沟",促进跨越发展的重要工具。针对我国空间信息技术发展的现状和问题,未来5-10年我国空间信息基础设施建设的主要任务是:以促进我国地理空间信息共享为主目标,组织制定地理空间信息标准规范;进一步完善国家级地理空间信息系统和遥感对地观测体系;建成多层次地理空间信息交换网络。

2.2.1要抓紧空间信息基础设施建设中的标准化工作。

抓紧制定和实施国家空间信息基础设施建设的有关标准规范,组织开发相应的软件产品,广泛推广应用。当前标准制定滞后已经成为制约我国地理空间信息基础设施发展和信息资源开发利用的瓶颈。为此,对于技术上比较成熟的标准,要通过加强协调和应用,促使其成为国家标准。目前要重点解决有关基础性地理空间信息分类、编码及其质量控制,地理空间信息元数据,地理空间信息转换,地理空间信息数据库集成,地理空间信息网络传输,地理空间信息安全保密等方面的标准以及部分应用广泛的专业标准,如建立在城市的地理空间信息系统及其应用的有关标准、车载导航地图及其信息服务技术标准等。要积极参与地理空间信息标准化领域的国际合作,研究提出符合我国实际、有利于发挥我国地理空间信息优势的技术标准,力争纳入有关国际标准,以维护我国在国际合作中的利益。同时,要注重我国有关标准与国际标准的接轨问题。

2.2.2加速地理空间信息资源的数字化、网络化

在抓紧现有地理空间信息资源的数字化工作的同时,需要根据统一的标准、规范建立和完善基础性地理空间信息系统,实现其空间集成。从当前空间信息共享的需求出发,首先要进一步加大投资力度,完善我国大地测量基准系统,遥感和卫星定位导航信息服务体系,国家基础地理信息系统,人口、资源环境与地区经济信息系统,宏观经济社会地理信息系统等。有条件的城市应积极面向市场,尽快建立地理空间信息系统及其运行管理机制,带动相关的软件产业和信息服务业发展。同时要抓紧地理空间信息元数据系统的建设,尽快形成全国网络互联的地理空间信息元数据系统,提高地理空间信息的网络共享服务水平。

2.2.3抓紧建立统一的全国性地理空间信息交换网络体系

实现国家主要基础性地理空间信息资源数据库的网络互联。地理空间信息交换网络体系是国家空间信息基础设施建设的重要组成部分,也是国家引导相关产业发展的重要手段。目前我国的公共网络体系发展达到较高水平,但利用率较低,因此地理空间信息交换网络体系的建设,要充分利用和依托现有的国家公用网络设施,特别是国家高速宽带传输网,坚持分层次、分等级、分步骤建设的原则,并积极采用我国自主知识产权的技术和设备,鼓励各种经济成分投资者参与空间信息基础设施建设,带动我国相应的软、硬件产业发展。根据国民经济和社会发展的实际需要,今后一段时间内,首先开展国家级和重点省级的地理空间信息交换网络建设。在此基础上,充分发挥各地区、部门、单位的积极性,逐步使地理空间信息交换网络体系的覆盖范围扩大到各社会团体和企事业单位。

2.2.4 重视遥感基础设施建设

遥感基础设施是空间信息基础设施的重要组成部分,其发展直接关系国家安全和未来信息产业的国际竞争力,世界上各主要国家都十分重视这方面的工作。随着我国国民经济和社会发展信息化进程的不断加快,实现信息空间定位、推动数据标准化和规范化、促进信息共享,显得日益迫切。加快遥感基础设施的建设,对于促进我国高新技术产业的发展,保障国家的经济安全、资源安全特别是国防安全具有重要意义。除遥感平台及其载荷、地面接收设施和技术之外,还必须高度重视其他基础设施发展,重点是国家基础性地理信息系统、资源环境信息系统、基础影像数据库、地物波谱测量数据库以及应用模型库等基础数据群的建设,使其对空间技术的开发和不断更新的应用形成强大的支持。加速对具有产业竞争力的核心技术的科技攻关。

2.3 进一步加强空间技术及其应用的科技创新

当前,解决各类遥感业务运行系统稳定可靠的信息源问题成为我国空间信息技术发展十分突出而紧迫的任务。我国遥感卫星及其地面基础设施发展迅速,但整体水平与世界先进水平之间存在较大差距,而且呈现差距加大的趋势,不能满足各行各业对遥感信息越来越高的需求。到目前为止,我国各个应用领域使用的卫星遥感数据90%以上来自美、法、加等国的遥感卫星。气象卫星已发射多颗,但工作稳定性较差、寿命较短,难以满足国内气象部门和有关单位对其数据的要求,因此国外卫星仍是目前业务应用的主要数据源。陆地卫星资源1号虽已发射成功,但其有效载荷仍缺乏足够的稳定性和定量化,还未能形成向主要用户提供及时、完整的标准产品的规模化能力。整体上看与国外先进的资源卫星相比在技术、效益和管理方面仍有较大差距。特别是国民经济建设和新兴产业发展迫切需要的多波段高空间、高光谱分辩率卫星、全天候的雷达卫星数据我国尚属空白。承担这类数据的我国航空遥感系统也未能形成长期、稳定的运行机制,在技术上除常规航空摄影之外,多属科研产品,更缺乏较大型综合性和续航能力强、全天候、商业化运行的新一代航空遥感平台。以陆地为主要对象的综合性遥感卫星及其应用涉及部门较多、包括农业、林业、土地。工程、水利、测绘、城市建设、地质、石油等,应用的领域广,数据需求量巨大,是全球卫星应用的重点和应用技术水平的标志。但长期以来,陆地遥感卫星及其地面接收系统的建设缺少统筹发展规划,90年代以来,国家曾经多次对遥感卫星及其地面接收站的立项建设开展协调,避免了一些重复引进和重复建设,但合理布局和综合利用的问题仍然没有完全解决。目前虽然我国已是世界上遥感卫星接收站密度最大的国家之一,但仍然未能形成覆盖全国的陆地卫星地面接收站网。遥感数据资源的商品化程度和深加工开发利用水平不高,在国家宏观决策管理和其他领域中的作用尚未充分发挥。受数据源和应用水平的制约,我国绝大多数遥感应用尚未形成长期稳定运行的业务系统。经过多次科技攻关及有关专业部门的努力,我国曾建立了主要农作物估产、资源和环境监测调查、森林草场覆盖面积调查等系统,但大多没有在全国范围内形成长期业务化运行。还不能持续、完整地为国家重要决策提供依据。除技术因素外,缺乏及时、稳定的数据保障和必要的统筹规划也是一个重要原因。国家对遥感及空间信息的统筹管理体制尚未形成。对于遥感空间信息采集骨干平台及其地面系统建设和持续发展,海量遥感时空系列数据的存储、共享和开发利用的政策和国家发展战略,缺乏统筹规划和充分论证。重大遥感卫星和地面系统的规划论证不够充分,卫星研制周期长、成本高、效益低、应用计划不完整、后续星计划不落实,以及星地建设脱节、卫星发射和应用脱节、重复建设、重复引进、经费使用不当等问题,影响我国卫星系统研发的效率和运行效益,制约我国遥感技术及其应用的健康发展。此外、在军民结合、国内外结合、中央和地方结合等方面也存在一些矛盾和问题。需要及时解决,以便扬长避短,充分调动各方面的积极因素,促进跨越发展。为此,加强国家的宏观管理,进一步理顺我国遥感卫星及其地面基础设施的管理体制和机制,对于促进今后我国民用遥感卫星系统的发展具有重要意义。 (下接4)

⑥ 大数据的产生与发展现状研究

发展历程:十年来大数据产业高速增长,我国信息智能化程度得到显着提升

我国大数据产业布局相对较早,2011年,工信部就把信息处理技术作为四项关键技术创新工程之一,为大数据产业发展奠定了一定的政策基础。自2014年起,“大数据”首次被写进我国政府工作报告,大数据产业上升至国家战略层面,此后,国家大数据综合试验区逐渐建立起来,相关政策与标准体系不断被完善,到2020年,我国大数据解决方案已经发展成熟,信息社会智能化程度得到显着提升。

—— 更多行业相关数据请参考前瞻产业研究院《中国大数据产业发展前景与投资战略规划分析报告》

⑦ 开展微型数据存储技术创新研发抢占未来大数据存储技术高地的建议

我国数据存储核心技术长期落后,大数据中心按照传统的 科技 房地产的思路将面临资源约束。为了防止我国存储技术“卡脖子”,节省未来海量数据存储占地空间,系统化整合资源解决当前中国大数据存储技术产品的容量问题,建议国家立项 开展微型数据存储技术创新研发

我国数据储存的现状和面临的问题

计算机数据存储技术是信息技术应用的核心。一切计算机应用数据都需要由物理设备来存储,以便计算机系统进行读写等处理,数据应用与数据存储恰似树干与树根的密切关系。伴随着信息技术应用的持续高速发展,可以预见未来的数据量必将呈现爆炸式增长,随之而来的海量数据存储瓶颈问题必然日趋严重,加剧着数据存储领域长期面临的容量、安全、性能、扩充、维护、灾备、监管等诸多挑战。其中,容量困境,首当其冲。

当前痛点。 为了满足数据存储容量日益增长的需求,大数据存储中心建设必不可少。放眼当下全国各地的大数据存储中心建设,由于数据存储基础核心技术缺位,流行的模式是不可持续的“ 科技 房地产”,即单纯拓展占地面积盖楼建设数据中心,进而耗费宝贵自然资源。目前我国城市监控视频图像数据受限于数据中心存储容量空间,一般只能保留一个月左右,相关的数据应用严重受制。

应用基石。 底层数据存储是信息产业发展的基石,数据存储技术产品是信息应用系统的架构基础,也是我国的关键行业技术短板。有效的数据存储技术产品涉及到所有信息技术应用场景:人工智能,信息安全,智慧城市,大数据,云计算,区块链,城市大脑,雪亮工程,城市管理视频监控,医学影像识别,等等。

严峻局面。 追溯信息技术百年来的发展轨迹,中国在数据存储基础技术领域的贡献几乎为零。国内数据存储行业主要擅长于市场侧的商业应用创新,数据存储底层管理的核心技术研发严重依赖国外的开源开放。缺乏基础研发梯队,没有关键理论 探索 ;沿袭陈旧的发展思路,习于外购器件设备;底层技术积累短缺,核心创新能力薄弱;严峻的局面至今没有重大改变。

危情险势。 中国在核心存储产品、底层支撑技术、商业应用理念上长期跟跑,遭受外部势力釜底抽薪式的“存储底层关键核心技术精准打击”的隐患和风险极大。面对复杂多变的国际环境,一旦遭遇卡脖子,如外购存储产品断货或核心技术交流封锁,举国上下所有涉及信息技术应用的行业领域都必然窒息。从而直接降低相关产业迭代发展速度,掣肘 社会 前进步伐,削弱国家治理能力,进而危及影响到国家的政治和 社会 稳定。

时不我待。 我们需要立即行动起来,通过立项开展微型数据存储技术创新研发,凝聚国内外数据存储领域资源力量,构建数据存储专业核心技术团队;从研发软件定义的存储(数据去重)技术产品入手,填补国内技术产品领域空白;启动研发微型化(原子级)数据存储设备,抢占未来数据存储领域的制高点。这项举措也是解除我国数据存储技术产品创新研发“卡脖子”危机的最佳途径。

开展微型数据存储技术创新研发的思路

我国应抓住当前数据应用驱动信息技术升级换代的大数据发展 历史 契机,凝聚国内外资源力量,构建中国数据存储专业核心技术团队。近期:研发部署模块化数据去重技术产品,压缩海量数据存储空间需求,填补国内底层数据存储管理技术空白。远期:启动研发微型数据存储设备,抢占未来数据存储技术领域的制高点。

从开展微型数据存储技术创新研发入手,聚焦国际存储技术领域的战略性前沿技术趋势;联手科研院所、高等院校、生产企业、大型用户的资源,建设国家级核心技术团队;积极引进/培养数据存储技术人才,研发自主可控系列产品。

1.近期跟踪行业动态

对标国际顶级数据存储技术产品,砥砺学习底层模块级数据存储去重技术,压缩海量数据存储空间需求,实现自主可控国产数据存储技术管理软件产品的商务应用。基本原理是首先识别出重复的数据模块,然后优化存储多个重复数据模块中的单一模块,以及同其它重复模块的链接关系。进而减少企业级客户存储数据所需的物理空间占有量,降低采购部署数据存储设备的增量。

2.远期重点突出推进

探索 下一代数据存储技术,整合跨学科资源启动开展研发微型存储器,力图将现有基于磁盘/光盘/磁带的计算机数据存储器,转化为未来基于原子/电子运动状态的微型化数字信息采集与存取机制。其原理是将现在耗费数百万个原子的材料介质所表征的一位“0”或“1”二进制计算机数据,试图由单个原子状态变化来表征。于是,可以将现有数据存储设备体积缩小数十万乃至百万倍,最终将占地约足球场面积的大数据存储仓库缩小为便携式器件。

3.研发工作开展建议

开展微型数据存储技术创新研发应该建设成为国内领先、国际一流的数据存储技术研究机构、产业孵化温室、以及人才培养基地。

延揽数据存储技术专家领衔担纲咨询顾问。全球招聘在世界顶级数据存储公司工作多年的业界精英加盟指导。

构建中国数据存储技术研发团队。采用引进师资/开设培训课程等有效方式,积累培育国内数据存储技术力量。

结盟硅谷存储技术研究院。依托美国硅谷地区的数据存储实体公司,共享数据存储底层技术知识。

注册成立企业运营机构。开发软件定义存储(数据去重)技术产品,服务数据用户市场,遵循商务运作规律。

融资涵盖多种基金渠道。申报获取国家重大专项基础项目研发资金,吸引专业投资基金加盟。首期投资约需10亿元人民币(参考国际相关工程估值:美国IBM公司同类项目投资约600亿美元/10年)。

推动微型数据存储技术创新研发的建议

我国在开展新型基础设施建设的同时,应当抓住当前数据计算应用驱动信息技术升级换代的大数据发展 历史 契机,建立数据存储技术的自主知识产权体系,填补国内空白,保障数字中国建设长远规划实施,推进国产数据存储产品崛起,为相关产业发展铺路。

2.建议远期紧跟世界主流研发创新步伐,聚焦研发原子级微型化数据存储技术产品(2020-2040年),在2040年前研发出原子级大数据存储技术,并逐步实现产业化。

3.建议将微型化数据存储技术创新作为国家战略。搭建政产学研用共建共治共享的中国数据存储技术联合创新平台,建设国家级重点实验室。依托科研院所/高等院校/相关企业,奠定从微型数据存储理论、硬件设计、软件开发、结构设计、系统集成等一整套原子级微型数据存储技术研发工作的基础。

4.建议国家相关部委给予配套资金支持。加快推进原子级大数据存储技术研发和产业化转化。支持申报重大 科技 项目和专项扶持资金。

5.建议形成能够长期从事数据存储技术创新的人才队伍。借鉴全球数据存储技术创新研发经验,引进海内外数据存储技术领域顶尖科学家和工程师。在高等院校与科研院所开设数据存储技术专业课程,搭建完善的国内人才培养体系。

6.建议立项过程不宜采用常规项目申报、审批流程,亟需特事特办予以批准。主要是有鉴于本项目相关的科研生产领域中,国内现有技术力量薄弱分散,评估体系资源匮乏。

7.建议项目推进应当低调快速务实:不重造势,不扬虚名,不谋近利。主要是基于当前复杂敏感的国际政治经济形势,预计本项目势将关联国家核心产业战略布局,影响未来数十年中国数字经济命脉与发展。

作 者:中央 财经 大学中国互联网经济研究院研究员 欧阳日辉

通讯员:李 翀

战略性新兴产业专题报道 办事,“刷脸”就行

张家口敢闯敢试、先行先试,积极 探索 氢能产业创新发展的有益路径

“东数西算”正式启动,枢纽网络如何建设?

“十四五”浪潮下如何构建城市数据中心网络?

“我为群众办实事”北京市发展改革委发布第三批政策工具应用指南

大美密云 助推新兴产业发展

东方测控:打造智能制造示范工厂,引领矿山行业新未来

⑧ 数据库技术的国内外发展与应用现状

数据库技术是现代信息科学与技术的重要组成部分,是计算机数据处理与信息管理系统的核心。数据库技术研究和解决了计算机信息处理过程中大量数据有效地组织和存储的问题,在数据库系统中减少数据存储冗余、实现数据共享、保障数据安全以及高效地检索数据和处理数据。

随着计算机技术与网络通信技术的发展,数据库技术已成为信息社会中对大量数据进行组织与管理的重要技术手段及软件技术,是网络信息化管理系统的基础。本章主要介绍数据库技术的应用与发展、关系模型的基本概念、关系数据库的设计理论及数据库设计方法等内容,是学习和掌握现代数据库技术的基础。

1.1 数据库技术的发展与应用
从20世纪60年代末期开始到现在,数据库技术已经发展了30多年。在这30多年的历程中,人们在数据库技术的理论研究和系统开发上都取得了辉煌的成就,而且已经开始对新一代数据库系统的深入研究。数据库系统已经成为现代计算机系统的重要组成部分。

1.1.1 数据库技术与信息技术
信息技术(Information Technology,IT)是当今使用频率最高的名词之一,它随着计算机技术在工业、农业以及日常生活中的广泛应用,已经被越来越多的个人和企业作为自己赶超世界潮流的标志之一。而数据库技术则是信息技术中一个重要的支撑。没有数据库技术,人们在浩瀚的信息世界中将显得手足无措。

数据库技术是计算机科学技术的一个重要分支。从20世纪50年代中期开始,计算机应用从科学研究部门扩展到企业管理及政府行政部门,人们对数据处理的要求也越来越高。1968年,世界上诞生了第一个商品化的信息管理系统IMS(Information Management System),从此,数据库技术得到了迅猛发展。在互联网日益被人们接受的今天,Internet又使数据库技术、知识、技能的重要性得到了充分的放大。现在数据库已经成为信息管理、办公自动化、计算机辅助设计等应用的主要软件工具之一,帮助人们处理各种各样的信息数据。

1.1.2 数据库技术的应用及特点
数据库最初是在大公司或大机构中用作大规模事务处理的基础。后来随着个人计算机的普及,数据库技术被移植到PC机(Personal Computer,个人计算机)上,供单用户个人数据库应用。接着,由于PC机在工作组内连成网,数据库技术就移植到工作组级。现在,数据库正在Internet和内联网中广泛使用。

20世纪60年代中期,数据库技术是用来解决文件处理系统问题的。当时的数据库处理技术还很脆弱,常常发生应用不能提交的情况。20世纪70年代关系模型的诞生为数据库专家提供了构造和处理数据库的标准方法,推动了关系数据库的发展和应用。1979年,Ashton-Tate公司引入了微机产品dBase Ⅱ,并称之为关系数据库管理系统,从此数据库技术移植到了个人计算机上。20世纪80年代中期到后期,终端用户开始使用局域网技术将独立的计算机连接成网络,终端之间共享数据库,形成了一种新型的多用户数据处理,称为客户机/服务器数据库结构。现在,数据库技术正在被用来同Internet技术相结合,以便在机构内联网、部门局域网甚至WWW上发布数据库数据。

1.1.3 数据库技术发展历史
数据模型是数据库技术的核心和基础,因此,对数据库系统发展阶段的划分应该以数据模型的发展演变作为主要依据和标志。按照数据模型的发展演变过程,数据库技术从开始到现在短短的30年中,主要经历了三个发展阶段:第一代是网状和层次数据库系统,第二代是关系数据库系统,第三代是以面向对象数据模型为主要特征的数据库系统。数据库技术与网络通信技术、人工智能技术、面向对象程序设计技术、并行计算技术等相互渗透、有机结合,成为当代数据库技术发展的重要特征。

1. 第一代数据库系统
第一代数据库系统是20世纪70年代研制的层次和网状数据库系统。层次数据库系统的典型代表是1969年IBM公司研制出的层次模型的数据库管理系统IMS。20世纪60年代末70年代初,美国数据库系统语言协会CODASYL(Conference on Data System Language)下属的数据库任务组DBTG(Data Base Task Group)提出了若干报告,被称为DBTG报告。DBTG报告确定并建立了网状数据库系统的许多概念、方法和技术,是网状数据库的典型代表。在DBTG思想和方法的指引下数据库系统的实现技术不断成熟,开发了许多商品化的数据库系统,它们都是基于层次模型和网状模型的。

可以说,层次数据库是数据库系统的先驱,而网状数据库则是数据库概念、方法、技术的奠基者。

2. 第二代数据库系统
第二代数据库系统是关系数据库系统。1970年IBM公司的San Jose研究试验室的研究员Edgar F. Codd发表了题为《大型共享数据库数据的关系模型》的论文,提出了关系数据模型,开创了关系数据库方法和关系数据库理论,为关系数据库技术奠定了理论基础。Edgar F. Codd于1981年被授予ACM图灵奖,以表彰他在关系数据库研究方面的杰出贡献。

20世纪70年代是关系数据库理论研究和原型开发的时代,其中以IBM公司的San Jose研究试验室开发的System R和Berkeley大学研制的Ingres为典型代表。大量的理论成果和实践经验终于使关系数据库从实验室走向了社会,因此,人们把20世纪70年代称为数据库时代。20世纪80年代几乎所有新开发的系统均是关系型的,其中涌现出了许多性能优良的商品化关系数据库管理系统,如DB2、Ingres、Oracle、Informix、Sybase等。这些商用数据库系统的应用使数据库技术日益广泛地应用到企业管理、情报检索、辅助决策等方面,成为实现和优化信息系统的基本技术。

3. 第三代数据库系统
从20世纪80年代以来,数据库技术在商业上的巨大成功刺激了其他领域对数据库技术需求的迅速增长。这些新的领域为数据库应用开辟了新的天地,并在应用中提出了一些新的数据管理的需求,推动了数据库技术的研究与发展。

1990年高级DBMS功能委员会发表了《第三代数据库系统宣言》,提出了第三代数据库管理系统应具有的三个基本特征:

l 应支持数据管理、对象管理和知识管理。

l 必须保持或继承第二代数据库系统的技术。

l 必须对其他系统开放。

面向对象数据模型是第三代数据库系统的主要特征之一;数据库技术与多学科技术的有机结合也是第三代数据库技术的一个重要特征。分布式数据库、并行数据库、工程数据库、演绎数据库、知识库、多媒体库、模糊数据库等都是这方面的实例。

1.1.4 数据库系统访问技术
目前访问数据库服务器的主流标准接口主要有ODBC、OLE DB和ADO。下面分别对这三种接口进行概要介绍。

1. 开放数据库连接(ODBC)
开放数据库连接(Open Database Connectivity,ODBC)是由Microsoft公司定义的一种数据库访问标准。使用ODBC应用程序不仅可以访问存储在本地计算机的桌面型数据库中的数据,而且可以访问异构平台上的数据库,例如可以访问SQL Server、Oracle、Informix或DB2构建的数据库等。

ODBC是一种重要的访问数据库的应用程序编程接口(Application Programming Interface,API),基于标准的SQL语句,它的核心就是SQL语句,因此,为了通过ODBC访问数据库服务器,数据库服务器必须支持SQL语句。

ODBC通过一组标准的函数(ODBC API)调用来实现数据库的访问,但是程序员不必理解这些ODBC,API就可以轻松开发基于ODBC的客户机/服务器应用程序。这是因为在很多流行的程序开发语言中,如Visual Basic、PowerBuilder、Visual C++等,都提供了封装ODBC各种标准函数的代码层,开发人员可以直接使用这些标准函数。

ODBC获得了巨大成功并大大简化了一些数据库开发工作。但是它也存在严重的不足,因此Microsoft公司又开发了OLE DB。

2. OLE DB
OLE DB是Microsoft公司提供的关于数据库系统级程序的接口(System-Level Programming Interface),是Microsoft公司数据库访问的基础。OLE DB实际上是Microsoft公司OLE对象标准的一个实现。OLE DB对象本身是COM(组件对象模型)对象并支持这种对象的所有必需的接口。

一般说来,OLE DB提供了两种访问数据库的方法:一种是通过ODBC驱动器访问支持SQL语言的数据库服务器;另一种是直接通过原始的OLE DB提供程序。因为ODBC只适用于支持SQL语言的数据库,因此ODBC的使用范围过于狭窄,目前Microsoft公司正在逐步用OLE DB来取代ODBC。

因为OLE DB是一个面向对象的接口,特别适合于面向对象语言。然而,许多数据库应用开发者使用VBScript和JScript等脚本语言开发程序,所以Microsoft公司在OLE DB对象的基础上定义了ADO。

3. 动态数据对象(ADO)
动态数据对象(Active Data Objects,ADO)是一种简单的对象模型,可以被开发者用来处理任何OLE DB数据,可以由脚本语言或高级语言调用。ADO对数据库提供了应用程序水平级的接口(Application-Level Programming Interface),几乎使用任何语言的程序员都能够通过使用ADO来使用OLE DB的功能。Microsoft公司声称,ADO将替换其他的数据访问方式,所以ADO对于任何使用Microsoft公司产品的数据库应用是至关重要的。

1.1.5 网络数据库系统编程技术
在当今网络盛行的年代,数据库与Web技术的结合正在深刻改变着网络应用。有了数据库的支持,扩展网页功能、设计交互式页面、构造功能强大的后台管理系统、更新网站和维护网站都将变得轻而易举。随着网络应用的深入,Web数据库技术将日益显示出其重要地位。在这里简单介绍一下Web数据库开发的相关技术。

1. 通用网关接口(CGI)编程
通用网关接口(Common Gateway Interface,CGI)是一种通信标准,它的任务是接受客户端的请求,经过辨认和处理,生成HTML文档并重新传回到客户端。这种交流过程的编程就叫做CGI编程。CGI可以运行在多种平台上,具有强大的功能,可以使用多种语言编程,如Visual Basic、Visual C++、Tcl、Perl、AppletScript等,比较常见的是用Perl语言编写的CGI程序。但是CGI也有其致命的弱点,即速度慢和安全性差等。

2. 动态服务器页面(ASP)
动态服务器页面(Active Server Pages,ASP)是Microsoft公司推出的一种用以取代CGI的技术,是一种真正简便易学、功能强大的服务器编程技术。ASP实际上是Microsoft公司开发的一套服务器端脚本运行环境,通过ASP可以建立动态的、交互的、高效的Web服务器应用程序。用ASP编写的程序都在服务器端执行,程序执行完毕后,再将执行的结果返回给客户端浏览器,这样不仅减轻了客户端浏览器的负担,大大提高了交互速度,而且避免了ASP程序源代码的外泄,提高了程序的安全性。

3. Java 服务器页面(JSP)
Java服务器页面(Java Server Pages,JSP)是Sun公司发布的Web应用程序开发技术,一经推出,就受到了人们的广泛关注。JSP技术为创建高度动态的Web应用程序提供了一个独特的开发环境,它能够适用于市场上大多数的服务器产品。

JSP使用Java语言编写服务器端程序,当客户端向服务器发出请求时,JSP源程序被编译成Servlet并由Java虚拟机执行。这种编译操作仅在对JSP页面的第一次请求时发生。因此,JSP程序能够提供更快的交互速度,其安全性和跨平台性也很优秀。

⑨ idc行业的发展现状,规模以及趋势

IDC行业是什么行业。