当前位置:首页 » 服务存储 » 计算存储媒介的完整性校验值
扩展阅读
webinf下怎么引入js 2023-08-31 21:54:13
堡垒机怎么打开web 2023-08-31 21:54:11

计算存储媒介的完整性校验值

发布时间: 2022-05-12 01:34:47

⑴ 电子数据完整性校验值怎么看

完整性校验值,是指为防止电子数据被篡改或者破坏,使用散列算法等特定算法对电子数据进行计算,得出的用于校验数据完整性的数据值。

为了验证电子数据的完整性,通常采用哈希值等验证算法。

微版权通过sha-512哈希算法、时间戳服务和pbft共识算法对原始数据进行加密,为证书的主体、时间、进程和内容生成唯一的对应数字指纹,并加密存储在区块链上,有效保证证书的完整性数据。

用户可通过微版权官网的“验证保存”功能,输入押金数据的记录编号,上传原始文件。系统自动将上传文件的哈希值与原始存款数据的哈希值进行比较。如果存款数据和上传文件完整,则通过验证,否则失败。



⑵ 关于云计算,常用的数据完整性验证的方法


云计算模式下的数据完整性是指在传输、存储的过程中确保数据不被未授权的用户进行修改、增加和删除,确保用户查询的数据是数据库中的原始数据,并且云服务提供商返回的查询结果应该是所有满足查询要求的数据。一般来说,保证数据的完整性主要采用数字签名的认证技术,其关键之处在于设计一种高效的验证数据结构,提高云存储服务器查询执行效率和用户的验证效率。对数据的完整性的验证技术主要有以下三类。



  • 数字签名数据拥有者为数据库中每一条记录产生一个签名,将数据和签名交给云服务提供商,用户查询时获得记录和对应的签名,通过签名验证返回记录的正确性和完整性,这种方法需要进行大量的签名运算,代价非常大。
  • 基于Merkle的哈希树方法主要思想是数据拥有者根据数据库的记录构建Merkle哈希树(MHT),对根节点签名后交给云服务提供商,用户查询时获得返回记录和Merkle哈希树的相关节点,重新计算Merkle哈希树,直至根节点进行验证,由于该方法采用多次的哈希运算和一次签名,因此Merkle哈希树生成效率和验证效率远远高于第一类方法,但是Merkle哈希树是二叉平衡树,树深度很高,构建验证对象和查询代价仍较大
  • 基于概率的方法其主要思想是采用抽样验证和交叉验证,有挑战-应答方法、伪元组插入和双重加密方法。与上述两类方法相比,该方法效率最高,能够满足大部分的应用需求,但不能提供百分之百的验证。

以上三种方法可以实现云中数据的完整性验证,但是当用户在云计算中存储了几十个GB以上的数据时,进行完整性检查时,迁移数据进出云存储系统需要支付云存储系统转移费用,而且随着数据量的增加费用也会越来越高,同时也会大量消耗用户的网络带宽,降低网络利用率。基于此种情况提出了云存储中数据完整性验证的新需求,就是在云计算环境中直接验证存储数据的完整性,而不需要先将数据下载到用户端,在用户端验证完成后再重新上传数据。但是在云端对数据进行完整性验证面临的一个更为严峻的问题就是用户不能了解整个数据集的情况,用户不清楚他们的数据存储在哪些物理服务器上,或者那些物理服务器处于何处,而且数据集可能是动态地频繁变化的,这些频繁的变化使得传统保证完整性的技术无法发挥效果,所以在云计算环境下进行数据完整性验证是一个亟待解决的问题,也是云计算能否得到广泛应用的前提。

⑶ 关于数据存储媒介

可行,但在海量数据的时候是比较慢的。
譬如还可以利用记事本进行数据存取
我个人感觉只要是文件就可以进行数据存取,可以宏观的想象一下,文件不就是存取数据的介质吗
但是 我个人感觉还是利用数据库存取比较好,因为像单纯的文本 和xml等都没有相应的数据库存储机理,你必须自己来定义行列 ,浏览 存入等等

⑷ 如何通过微版权校验区块链存证数据的完整性

《关于办理刑事案件收集提取和审查判断电子数据若干问题的规定》第5条规定,可以采用计算电子数据完整性校验值等来保护电子数据的完整性。

校验电子数据的完整性,一般是采用哈希值等校验算法进行判定。

微版权通过SHA-512哈希算法、时间戳服务、PBFT共识算法,对原数据进行加密运算,把存证主体、存证时间、存证过程和存证内容等生成唯一对应的数字指纹,加密存储到区块链上,有效保障存证数据的完整性。

用户通过微版权官网上的“验证保全”,输入存证数据的备案号并上传原文件,系统自动对上传文件的哈希值和原始存证数据的哈希值进行比对,如果存证数据与上传文件完整无误,则通过验证,反之,不通过。

⑸ 手机调取电子数据能够扣押电子数据原始存储介质的应当扣押什么并予以封存

最高法最高检公安部规定:《规定》要求,收集、提取电子数据,应当由二名以上侦查人员进行,取证方法应当符合相关技术标准..如能够扣押电子数据原始存储介质的,应当扣押法院
时间:2016-09-23   作者:   点击:17479 次
最高法最高检公安部联合出台规定

规范刑事案件电子数据收集提取审查判断

为规范电子数据的收集提取和审查判断,提高刑事案件办理质量,近日,最高人民法院、最高人民检察院、公安部联合出台了《关于办理刑事案件收集提取和审查判断电子数据若干问题的规定》(以下简称《规定》),将自2016年10月1日起施行。

《规定》明确,电子数据是案件发生过程中形成的,以数字化形式存储、处理、传输的,能够证明案件事实的数据,包括:网页、博客、朋友圈等网络平台发布的信息,手机短信、电子邮件、即时通信等网络应用服务的通信信息,用户注册信息、身份认证信息、电子交易记录等信息,文档、图片、音视频等电子文件。

《规定》要求,收集、提取电子数据,应当由二名以上侦查人员进行,取证方法应当符合相关技术标准。收集、提取过程中,如能够扣押电子数据原始存储介质的,应当扣押、封存原始存储介质,并制作笔录,如无法扣押原始存储介质的,可以提取电子数据,但应当注明原因、存放地点或电子数据的来源等情况。

《规定》明确,如存在数据量大无法或不便提取,或者提取时间长可能造成电子数据被篡改或者灭失的等情形,经县级以上公安机关负责人或者检察长批准,可以对电子数据进行冻结。冻结电子数据,应当采取计算电子数据的完整性校验值、锁定网络应用账号等方法。

《规定》要求,收集、提取的原始存储介质或者电子数据,应当以封存状态随案移送,并制作电子数据的备份一并移送,对网页、文档、图片等可以直接展示的电子数据,可以不随案移送打印件。对冻结的电子数据,应当移送被冻结电子数据的清单,注明类别、文件格式、冻结主体、证据要点、相关网络应用账号,并附查看工具和方法的说明。

《规定》明确,电子数据是否真实,应当着重审查移送的是否是原始存储介质、电子数据是否具有数字签名或证书等特殊标识等内容,对电子数据是否完整,应当采取审查原始存储介质的扣押、封存状态等方法进行验证,对收集、提取电子数据是否合法,应当着重审查收集、提取电子数据是否由二名以上侦查人员进行以及取证方法是否符合相关技术标准等内容。

《规定》明确,如公诉人、当事人或者辩护人、诉讼代理人对电子数据鉴定意见有异议,可以申请人民法院通知鉴定人出庭作证。人民法院认为鉴定人有必要出庭的,鉴定人应当出庭作证。经人民法院通知,鉴定人拒不出庭作证的,鉴定意见不得作为定案的根据。公诉人、当事人或者辩护人、诉讼代理人可以申请法庭通知有专门知识的人出庭,就鉴定意见提出意见。

《规定》要求,在电子数据的收集、提取程序中,如存在未以封存状态移送等瑕疵的,不能补正或者作出合理解释的,不得作为定案的根据。如电子数据系篡改、伪造或者无法确定真伪的,以及电子数据有增加、删除、修改等情形,影响电子数据真实性的,不得作为定案的根据

⑹ IPsec如何进行完整性校验

当通信双方建立了一个SA后,它们就有了所有用来计算它们交换的数据报的ICV值的参数。ICV的计算涉及到整个IP头,然而有些域在从源到目的的传输过程中可能会改变,所以在计算ICV时将这些域设为0。首先需要了解IPv4和IPv6数据包头的可变域和不变域。哪些被计算进去了,而哪些被设置为0.


IPv4头的可变域


(图片来源于搜索)
服务类型(Type of service):8比特的服务类型(TOS)域表明了数据报所属数据流的需求,这个需求是针对延迟、吞吐量和可靠性的组合而言的。IP协议并不认为这个域是可变的,但IPSec将它作为可变域对待,因为现有的一些路由器会改变这些域。
标志(FLAGS):IP头中有三个标志位。第一个是DF(不可分段)位,当这个位被设置的时候表明不允许对数据报分段。第二个是MF(更多分段)位,当这个位为0的时候表明数据包的最后一个数据分段到达。第三个被保留做将来使用。ICV的计算不包括这个域,因为即使数据源没有设置这个位,中间的路由器也可能设置DF位。
分段偏移量(Fragment offset):这个13比特的域表明一个分段在它所属的数据报中的位置。AH仅应用于非分段的IP包;所以在计算ICV之前,必须将这个域设为0。
TTL:这8比特的域被用来限制一个数据报的生命期,因此可以防止数据报在一个网段中无限循环。数据报在经过每个路由器时,它的TTL值都被路由器减小。目的主机无法预计TTL值,所以这个域被排除在ICV的计算之外。
头校验值(Header checksum):这个16比特域保存IP头的校验和。如果IP头的任一个域发生了变化,校验和的值也会变化,所以在计算ICV之前,必须将这个域设为0。
可选项(Options):这个变长域存放数据包的可选信息,比如安全性和处理限制。这个域很少被使用,并且被大多数的路由器忽略。所以大部分的IPSec实现在计算ICV时都不包含可选项。


IPv4头的不变域

  • 版本(Version)。
  • 头长度(IHL)。
  • 总长度(Total length)。
  • 标识(Identification)。
  • 协议(Protocol)。
  • 源地址(Source address)。
  • 目的地址(Destination address)。
  • 数据(Data)(被封装的传输协议头和数据)。

IPv6头的可变域

  • 优先级(Priority):这个4比特的域表明一个数据包要求的服务质量。这个域可能会被中间的路由器改变,所以它没有被包含在ICV的计算中。
  • 流标签(Flow label):这个24比特的域是一个实验性的域。大多数应用忽略它,最终IPSec强制在计算ICV值之前将其设为0。
  • 跳数限制(Hop limit):这个跳数限制域和IPv4的TTL域相同。它在经过每个路由器时都被减小1。

逐跳和目的选项扩展头中包含一个比特,用来表明这个选项在传输过程中是否可能发生变化。可以通过设置和取消这些比特来指定这些扩展头可变还是不可变。逐跳扩展头被用来携带可选的路由信息,数据报从源到目的沿途的每个节点都必须检查这些信息。目的选项扩展头携带仅需由目的节###IPv6头的不变域



  • 版本(Version)。
  • 载荷长度(Payload length)。
  • 下一个头(Next header)。
  • 源地址(Source address)。
  • 目的地址(Destination address)。

可变但可预测

路由扩展头有可变但可预测的特性。IPv6数据源用这个扩展头列出数据包从源到目的途径中的一个或多个网关。路由扩展头中的地址域可能在传输中被重排;然而数据包在目的主机时的内容的形式对发送者和中间节点而言却是已知的。所以,可以由发送者排列地址域使其和发送到目的地时相同。因此是在计算ICV时包含了这个扩展头。如果有分段扩展头的话,它对IPSec而言是不可见的,因为它在外出的IPSec处理后才出现;而重组工作在进入IPSec处理之前进行。所以,在计算ICV时这个扩展头不予考虑。


重头戏:完整性校验值(ICV)

把IP的可变域和IPv6可变扩展头设为0后,整个IP数据报以一个比特串的形式作为MAC的输入。MAC采用指定的密钥生成ICV。值得注意的是,在隧道模式中,内部IP头的可变域未被设为0,因为只有外部IP头的可变域才可能在传输过程中被修改。
ICV的长度依赖于使用的MAC算法。例如,对于HMAC-MD5,ICV是128比特;而对于HMAC-SHA1,ICV是160比特。如果一个MAC算法生成的IPv4数据报的ICV长度不是32的整数倍,或生成的IPv6数据报的ICV长度不是64的整数倍,则需要增加填充比特使ICV达到32(IPv4)或64(IPv6)的整数倍。计算出ICV(有必要的话还得对它进行填充)之后,把它放在认证数据域中,然后数据报将被发送到目的地址。

⑺ 网络犯罪,可否仅仅根据一个IP地址定罪

不可以。 定罪需要一个严谨的调查、取证的过程。
IP地址只是其中一部分。简单通俗的说,还需要证明是犯罪嫌疑人本人使用该IP地址做出了构成犯罪的行为。
仅仅一个ip地址,只能作为线索,对相关嫌疑人进行“初查”。
网络犯罪是指危害计算机系统、网络、数据的安全,以及利用这些系统、网络、数据实施其他犯罪的行为。因此,网络犯罪案件的犯罪证据既有传统形式的证据,如一般的物证、书证、视听资料等,也存在新型的电子证据。
还需要提醒一下大家,不管是什么形式的犯罪,都难逃法网,不要存侥幸心理。
下面是节选的办理网络犯罪案件适用刑事诉讼程序问题意见:
关于电子数据的取证与审查
13、收集、提取电子数据,应当由二名以上具备相关专业知识的侦查人员进行。取证设备和过程应当符合相关技术标准,并保证所收集、提取的电子数据的完整性、客观性。
14、收集、提取电子数据,能够获取原始存储介质的,应当封存原始存储介质,并制作笔录,记录原始存储介质的封存状态,由侦查人员、原始存储介质持有人签名或者盖章;持有人无法签名或者拒绝签名的,应当在笔录中注明,由见证人签名或者盖章。有条件的,侦查人员应当对相关活动进行录像。
15、具有下列情形之一,无法获取原始存储介质的,可以提取电子数据,但应当在笔录中注明不能获取原始存储介质的原因、原始存储介质的存放地点等情况,并由侦查人员、电子数据持有人、提供人签名或者盖章;持有人、提供人无法签名或者拒绝签名的,应当在笔录中注明,由见证人签名或者盖章;有条件的,侦查人员应当对相关活动进行录像:
(1)原始存储介质不便封存的;
(2)提取计算机内存存储的数据、网络传输的数据等不是存储在存储介质上的电子数据的;
(3)原始存储介质位于境外的;
(4)其他无法获取原始存储介质的情形。
16、收集、提取电子数据应当制作笔录,记录案由、对象、内容,收集、提取电子数据的时间、地点、方法、过程,电子数据的清单、规格、类别、文件格式、完整性校验值等,并由收集、提取电子数据的侦查人员签名或者盖章。远程提取电子数据的,应当说明原因,有条件的,应当对相关活动进行录像。通过数据恢复、破解等方式获取被删除、隐藏或者加密的电子数据的,应当对恢复、破解过程和方法作出说明。
17、收集、提取的原始存储介质或者电子数据,应当以封存状态随案移送,并制作电子数据的复制件一并移送。对文档、图片、网页等可以直接展示的电子数据,可以不随案移送电子数据打印件,但应当附有展示方法说明和展示工具;人民法院、人民检察院因设备等条件限制无法直接展示电子数据的,公安机关应当随案移送打印件。对侵入、非法控制计算机信息系统的程序、工具以及计算机病毒等无法直接展示的电子数据,应当附有电子数据属性、功能等情况的说明。对数据统计数量、数据同一性等问题,公安机关应当出具说明。
18、对电子数据涉及的专门性问题难以确定的,由司法鉴定机构出具鉴定意见,或者由公安部指定的机构出具检验报告。

⑻ checksum文件 效验怎么算

校验和(Checksum)

PE的可选映像头(IMAGE_OPTION_HEADER)里面,有一个Checksum字段,是该文件的校验和,一般EXE文件可以使0,但一些重要的和系统DLL及驱动文件必须有一个校验和.

Windows 提供了一个API函数MapFileAndCheckSum 测试文件的Checksum,它位于IMAGEHLP.DLL链接库里,其原型:

ULONG MapFileAndCheckSum

{

LPSTR FileName, // 文件名

LPDWORD HeaderSum, // 指向PE文件头的CheckSum

LPDWORD new_checksum // 指向新计算出的Checksum

}

程序一旦运行后,new_checksum 地址处将放当前的文件的校验和,old_checksum地址指向PE文件的checksum字段

安全的方法是将此值放在注册表里,需要时比较.

内存映像校验

磁盘文件完整性校验可以抵抗解密者直接修改文件,但对内存补丁却没有效果,必须对内存关键的代码进行校验.

1 对整个代码进行校验

每个程序至少有一个代码区块和数据区块,数据区块属性可读写,程序运行时全局变量通常会放在这里,这些数据会动态变化,因此校验这部分是没什么意义,而代码段只读,存放的是程序代码,在程序中数据数不会变的,因此用这部分进行内存校验是可行的.

具体实现方法:

(1) 从内存中映像中得到PE相关数据,如代码块的RVA和内存大小

(2) 根据得到代码区块的RVA值和内存大小,计算出内存数据的CRC-32值

(3) 读取自身文件先前存储的CRC-32值(PE文件头前一个字段),这个值是通过软件写进去的.

(4) 比较两个CRC-32值.

这样比较内存的代码段校验,只要内存的数据被修改,就能发现。

BOOL CodeSectionCRC32()

{

PIMAGE_DOS_HEADER pDosHeader = NULL;

PIMAGE_NT_HEADERS pNTHeader = NULL;

PIMAGE_SECTION_HEADER pSection = NULL;

DWORD ImageBase,OriginalCRC32;

ImageBase = (DWORD)GetMoleHandle(NULL); // 取基址

pDosHeader = (PIMAGE_DOS_HEADER)ImageBase;

pNtHeader = (PIMAGE_NT_HEADER32)((DWORD)pDosHeader + pDosHeader -> e_lfanew);

// 定位到PE文件头前4个字节值,并读取存储在这里的CRC -32值

OriginalCRC32 = *((DWORD*)(DWORD)pNtHeader - 4);

pSecHeader = IMAGE_FIRST_SECTION(pNtHeader); // 得到第一个区块的地址

//假设第一个区块就是代码区块

if(OriginalCRC32 == CRC32((BYTE*)ImageBase + pSecHeader -> VirtualAddress)

// 为了方便加壳

// 上一句也可为if(OriginalCRC32 == CRC32((BYTE *)0x401000, 0x36AE)

return TRUE;

else

return FALSE;

}

⑼ 数据完整性校验,会不会把U盘烧坏我的是64G 的U盘

不会,这个数据完整性校验就是往你的U盘里填充文件,再读取信息,查看信息完整性,如果不完整,说明这个区域的存储介质已经损坏,是常见的检查是否是拓容U盘的方式,没必要考虑是否会损坏。

⑽ 基础数据库

(一)数据内容

基础数据库包括系统运行前所采集到的所有支撑数据,数据的具体内容在数据分类与数据源章节中已描述,概括可分为以下几类。

(1)遥感影像数据:包括历史图像数据,以及按照一定监测周期更新的遥感图像数据。

(2)数字线划图数据:矢量数据(现状专题图和历史专题图数据)、栅格数据、元数据等。入库前数据以ArcInfoCoverage格式分幅或整体存储,采用地理坐标系统。

(3)数字栅格图数据:包括1∶5万和1∶10万基础地理图形数据的扫描栅格数据。

(4)数字高程模型数据:塔里木河干流河道1∶1万和“四源一干”区域1∶10万数字高程模型。

(5)多媒体数据:考察照片、录像、录音和虚拟演示成果等多媒体资料。

(6)属性数据:社会经济与水资源数据、水利工程数据、生态环境数据等。

(二)数据存储结构

1.栅格数据

栅格数据包括遥感影像、数字栅格图、数字正射影像图、数字高程模型等,这些数据的存储结构基本类似,因此可进行统一设计。遥感图像数据库与普通的图像数据库在存储上有些差别,遥感图像作为传感器对地理、空间环境在不同条件下的测量结果(如光谱辐射特性、微波辐射特性),必须结合同时得到的几个图像才可以认为是对环境在一定的时间条件下的完整的描述,也即是说,可能需要一个图像集合才能构成一个图像的完整的概念,并使之与语义信息产生联系(罗睿等,2000)。因此,遥感图像数据存储结构模型必须能够描述几个图像(波段)之间的逻辑关系。利用ArcSDE进行数据入库时,系统可自动建立各图像(波段)之间的关系,并按一定规则存储在数据库系统中。

对栅格数据在后台将采用Oracle数据库管理系统进行存储。Oracle系统可直接存储影像信息,并具有较强的数据管理能力,可以实现栅格数据信息的快速检索和提取。数据引擎采用ArcSDE,实现各类影像数据的入库。数据存储的关键是建立图幅索引,本系统数据的存储按图幅号、图名、采集时间等内容建立索引。

栅格数据依据图形属性一体化的存储思想,采用大二进制格式直接存储数据,这种方式的存储可实现内容的快速检索查询,按索引表检索出相关项后可直接打开栅格数据,提高栅格数据的管理效率。

2.矢量数据

本系统采用图属一体化思想即将空间数据和属性数据合二为一,全部存在一个记录集中的思想存储空间数据,是目前GIS数据非常流行的存储方法。考虑到数据的具体情况,决定采用数据库存储空间数据和属性数据,部分具有少量、定型几何信息的地理要素如水文测站、河流、湖泊等,采用图属一体化思想存储其信息,而与其有关联关系的大量、多边化的属性信息如水文信息,则存储在属性数据表中,利用唯一标识符信息建立两表的关联。

针对本系统空间数据的特点,系统按照“数据库—子库—专题(基础数据)—层—要素—属性”的层次框架来构筑空间数据库,按照统一的地理坐标系统来存储空间数据,以实现对地理实体/专题要素进行分层叠加显示。

3.多媒体数据

Oracle系统可直接存储图片和视频信息,并具有较强的数据管理能力,可以实现多媒体信息的快速检索和提取。多媒体数据存储的关键是建立索引表,本系统多媒体数据的存储按类型、时间、内容等项目建立索引,直接存储于Oracle数据库中。

多媒体数据存储时,可以将多媒体内容与索引表结构合为一体,采用大二进制格式直接存储,这种存储方式可实现内容的快速检索和查询,按索引表检索出相关项后可直接打开多媒体内容,而且多媒体数据库也便于维护管理。

(三)空间索引设计

1.矢量空间索引

确定合适的格网级数、单元大小是建立空间格网索引的关键。格网太大,在一个格网内有多个空间实体,查询检索的准确度就低。格网太小,则索引数据量成倍增长和冗余,检索的速度和效率低。每一个数据层可采用不同大小、不同级别的空间索引格网单元,但每层级数最多不能超过三级。索引方式设置遵循以下基本原则:

(1)对于简单要素的数据层,尽可能选择单级索引格网,减少RDBMS搜索格网单元索引的级数,缩短空间索引搜索的过程;

(2)如果数据层中的要素封装边界大小变化比较大,应选择2或3级索引格网;

(3)如果用户经常对图层执行相同的查询,最佳格网的大小应是平均查询范围的1.5倍;

(4)格网的大小不能小于要素封装边界的平均大小。为了减少每个格网单元有多个要素封装边界的可能性,格网单元的大小应取要素封装边界平均大小的3倍;

(5)格网单元的大小不是一个确定性的问题,需要多次尝试和努力才会得到好的结果。有一些确定格网初始值的原则,用它们可以进一步确定最佳的格网大小。

SDE(Spatial Data Engine,即空间数据引擎),从空间管理的角度看,是一个连续的空间数据模型,可将地理特征的空间数据和属性数据统一集成在关系型数据库管理系统中。关系型数据库系统支持对海量数据的存储,从而也可实现对空间数据的海量存储。空间数据可通过层来进行数据的划分,将具有共同属性的一类要素放到一层中,每个数据库记录对应一层中一个实际要素,这样避免了检索整个数据表,减少了检索的数据记录数量,从而减少磁盘输入/输出的操作,加快了对空间数据查询的速度。

ArcSDE采用格网索引方式,将空间区域划分成合适大小的正方形格网,记录每一个格网内所包含的空间实体(对象),以及每一个实体的封装边界范围,即包围空间实体的左下角和右上角坐标。当用户进行空间查询时,首先计算出用户查询对象所在格网,然后通过格网号,就可以快速检索到所需的空间实体。因此确定合适的格网级数、单元大小是建立空间格网索引的关键,太大或太小均不合适,这就需要进行多次尝试,确定合适的网格大小,以保证各单元能均匀落在网格内。利用ArcSDE的索引表创建功能,记录每一网格单元的实体分布情况,形成图层空间索引表。根据空间索引表,ArcSDE实现了对空间数据的快速查询。

2.栅格数据空间索引

栅格数据的空间索引通过建立多级金字塔结构来实现。以高分辨率栅格数据为底层,逐级抽取数据,建立不同分辨率的数据金字塔结构,逐级形成较低分辨率的栅格数据。该方法通常会增加20%左右的存储空间,但却可以提高栅格数据的显示速度。在数据库查询检索时,调用合适级别的栅格数据,可提高浏览和显示速度。

(四)入库数据校验

入库数据的质量关系到系统评价分析结果的准确性。数据在生产中就需要严格进行质量控制。依据数据生产流程,将数据质量控制分成生产过程控制和结果控制。生产过程控制包括数据生产前期的质量控制、数据生产过程中的实时质量控制,结果质量控制为数据生产完成后的质量控制(裴亚波等,2003)。对入库数据的校验主要是进行数据生产完成后的质量控制和检查。

1.规范化检查

(1)代码规范化:所有地理代码尽量采用国家标准和行业标准,例如,行政代码采用中华人民共和国行政区划代码国标。

(2)数据格式规范化:所有数据采用标准交换数据格式,例如,矢量数据采用标准输出Coverage格式和E00格式。

(3)属性数据和关系数据字段规范化:所有属性数据和关系数据提前分门别类地设计字段的内容、长短和格式,操作过程中严格执行。

(4)坐标系统规范化:本系统所有与空间有关的数据采用统一的空间坐标系统,即地理坐标系统。

(5)精度规范化:所有数据按照数据精度与质量控制中所要求的精度进行采集和处理。

(6)命名规范化:所有数据按照命名要求统一命名,便于系统的查询。

(7)元数据规范化:依照元数据标准要求,进行元数据检查。

2.质量控制

数据质量是GIS成败的关键。对于关系型数据库设计,只要能保证表的实体完整性和参照完整性,并使之符合关系数据库的三个范式即可。对于空间数据库设计,则不仅要考虑数据采样、数据处理流程、空间配准、投影变换等问题,还应对数据质量做出定量分析。

数据质量一般可以通过以下几个方面来描述(吴芳华等,2001):

(1)准确度(Accuracy):即测量值与真值之间的接近程度,可用误差来衡量;

(2)精度(Precision):即对现象描述得详细程度;

(3)不确定性(Uncertainty):指某现象不能精确测得,当真值不可测或无法知道时,就无法确定误差,因而用不确定性取代误差;

(4)相容性(Compatibility):指两个来源不同的数据在同一个应用中使用的难易程度;

(5)一致性(Consistency):指对同一现象或同类现象表达的一致程度;

(6)完整性(Completeness):指具有同一准确度和精度的数据在类型上和特定空间范围内完整的程度;

(7)可得性(Accessibility):指获取或使用数据的容易程度;

(8)现势性(Timeliness):指数据反映客观现象目前状况的程度。

塔里木河流域生态环境动态监测系统的所有数据在数据质量评价后,还需要从数据格式、坐标一致性等方面进行入库质量检验,只有通过质量检验的数据才可以入库。

3.数据检验

空间数据质量检验包括以下步骤:

(1)数据命名是否规范,是否按设计要求命名;

(2)数据是否能够正常打开;

(3)投影方式是否正确;

(4)坐标系统是否正确;

(5)改错是否完成,拓扑关系是否建立;

(6)属性数据是否正确,包括字段设置是否依据设计进行、是否有空属性记录、是否有属性错误记录等。

关系数据质量检验包括以下步骤:

(1)数据命名是否规范,是否按设计要求命名;

(2)数据是否能够正常打开;

(3)数据字段是否按设计要求设置;

(4)是否有空属性记录;

(5)是否有属性错误记录。

属性数据的校验,主要采用以下三种方式:

(1)两次录入校验:对一些相互之间毫无关联的数据,进行两次的录入,编写程序对两次录入的结果进行比较,找出两次录入结果不一样的数据,查看正确值,进行改正。

(2)折线图检验:对一些相互之间有关联的序列数据,如人口统计数据,对这一类数据,编写程序把数据以折线图的形式显示在显示器上,数据的序列一般都有一定规律,如果出现较大的波动,则需对此点的数据进行检查修改。

(3)计算校验:对一些按一定公式计算后所得结果与其他数据有关联的数据,如某些数据的合计等于另一数据,编写程序对这类数据进行计算,计算结果与有关联的数据进行比较,找出结果不一样的数据,查看正确值,进行改正。

图形数据的校验,主要包括以下步骤(陈俊杰等,2005):

(1)图层校验:图形要素的放置图层是唯一的。对于入库的Coverage数据,系统将根据图层代码进行检查,确保图形要素对层入座。

(2)代码检查:图形要素的代码是唯一的。对于入库的Coverage数据,系统将根据入库要素代码与特征表中的代码进行比较,确保入库数据代码存在,杜绝非法代码入库。

(3)类型检查:对入库的数据,检查该要素的类型与特征表中的类型是否一致,确保图形要素对表入座。如点要素、线要素、面要素仅能赋相应的点、线、面代码,且该代码必须与特征表中的数据类型代码相同。

(4)范围检查:根据入库的数据,确定该类要素的大体范围(如X、Y坐标等),在数据入库前,比较入库数据与范围数据的大小,若入库数据在该范围内,则入库,否则给出提示检查信息。

(五)数据入库

1.遥感影像数据

利用空间数据引擎———ArcSDE可实现遥感影像数据在Oracle数据库中的存储和管理,在影像数据进行入库时,应加入相应的索引和影像描述字段。

遥感影像入库步骤:

(1)影像数据预处理:要将塔里木河遥感影像数据库建成一个多分辨率无缝影像数据库系统,客观上要求数据库中的影像数据在几何空间、灰度空间连续一致。因此,在数据采集阶段就需要对影像数据进行预处理,包括图像几何校正、灰度拼接(无缝镶嵌)、正射处理、投影变换等。

几何校正的目的是使校正后的图像重新定位到某种地图投影方式,以适用于各种定位、量测、多源影像的复合及与矢量地图、DTM等的套合显示与处理。几何校正多采用二次多项式算法和图像双线性内插重采样法进行图像校正。将纠正后具有规定地理编码的图像按多边形圈定需要拼接的子区,逐一镶嵌到指定模版,同时进行必要的色彩匹配,使整体图像色调一致,完成图像的几何拼接,再采用金字塔影像数据结构和“从粗到精”的分层控制策略实现逐级拼接。

数字正射影像具有统一的大地坐标系、丰富的信息量和真实的景观表达,易于制作具有“独立于比例尺”的多级金字塔结构影像。可以采用DTM和外方位元素经过数字微分纠正方法,获得数字正射影像,它的基本参数包括原始影像与正射影像的比例尺、采样分辨率等(方涛等,1997)。

投影变换需根据数据库系统定义的标准转换到统一的投影体系下。

(2)影像数据压缩:随着传感器空间分辨率的提高和对遥感信息需求的日益增长,获取的影像数据量成几何级数增大,如此庞大的数据将占用较大的存储空间,给影像的存储和传输带来不便(葛咏等,2000)。目前,系统处理的遥感影像数据已达数百千兆,单个文件的影像数据最大达到了2G,这样的数据量在调用显示时速度很慢,对影像数据进行压缩存储,将大大提高影像访问效率。本系统采用ArcSDE软件提供的无损压缩模式对入库影像进行压缩。

(3)影像导入:遥感影像的入库可通过ArcSDE或入库程序进行导入,并填写相关的索引信息,在入库时对大型的遥感影像数据进行自动分割,分为若干的块(tiles)进行存储。

(4)图像金字塔构建:采用ArcSDE提供的金字塔构建工具在入库时自动生成图像金字塔,用户只需要选择相应的参数设置即可。图像金字塔及其层级图像按分辨率分级存储与管理。最底层的分辨率最高,并且数据量最大,分辨率越低,其数据量越小,这样,不同的分辨率遥感图像形成了塔式结构。采用这种图像金字塔结构建立的遥感影像数据库,便于组织、存储与管理多尺度、多数据源遥感影像数据,实现了跨分辨率的索引与浏览,极大地提高了影像数据的浏览显示速度。

2.数字线划图

对纸图数字化、配准、校正、分层及拼接等处理后,生成标准分幅和拼接存储的数字矢量图,就可以进行图形数据入库。

(1)分幅矢量图形数据、图幅接合表:按图形比例尺、图幅号、制作时间、图层等方式,通过入库程序导入到数据库中,同时导入与该地理信息相对应的属性信息,建立空间信息与属性信息的关联。

(2)拼接矢量图形数据:按图形比例尺、制作时间、图层等方式,通过入库程序导入到数据库中,同时导入与该地理信息相对应的属性信息,建立空间信息与属性信息的关联。

3.栅格数据

对纸图数字化、配准、校正、分层及拼接等处理后,生成标准分幅和整体存储的数字栅格图,然后进行图形数据入库。

(1)分幅栅格图形数据、图幅接合表:按图形比例尺、图幅号、制作时间等方式,通过入库程序导入到数据库中。

(2)整幅栅格图形数据:按比例尺、制作时间等方式,通过入库程序导入到数据库中。

4.数字高程模型

(1)分幅数字高程模型数据、图幅接合表:按图形比例尺、图幅号、制作时间等方式,通过入库程序导入到数据库中。

(2)拼接数字高程模型数据:按比例尺、制作时间等方式通过入库程序导入到数据库中。

5.多媒体数据

多媒体数据入库可根据多媒体数据库内容的需要对入库数据进行预处理,包括音频、视频信息录制剪接、文字编辑、色彩选配等。对多媒体信息的加工处理需要使用特定的工具软件进行编辑。由于音频信息和视频信息数据量巨大,因此,对多媒体数据存储时需采用数据压缩技术,现在的许多商用软件已能够直接存储或播放压缩后的多媒体数据文件,这里主要考虑根据数据显示质量要求选择采用不同的存储格式。图4-2为各类多媒体数据的加工处理流程。

图4-2 多媒体数据加工处理流程图

6.属性数据

将收集的社会经济、水利工程、生态环境等属性资料,进行分析整理,输入计算机,最后经过程序的计算处理,存储到数据库中,具体流程如图4-3所示。

图4-3 属性数据入库流程图