當前位置:首頁 » 服務存儲 » 計算存儲媒介的完整性校驗值
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

計算存儲媒介的完整性校驗值

發布時間: 2022-05-12 01:34:47

⑴ 電子數據完整性校驗值怎麼看

完整性校驗值,是指為防止電子數據被篡改或者破壞,使用散列演算法等特定演算法對電子數據進行計算,得出的用於校驗數據完整性的數據值。

為了驗證電子數據的完整性,通常採用哈希值等驗證演算法。

微版權通過sha-512哈希演算法、時間戳服務和pbft共識演算法對原始數據進行加密,為證書的主體、時間、進程和內容生成唯一的對應數字指紋,並加密存儲在區塊鏈上,有效保證證書的完整性數據。

用戶可通過微版權官網的「驗證保存」功能,輸入押金數據的記錄編號,上傳原始文件。系統自動將上傳文件的哈希值與原始存款數據的哈希值進行比較。如果存款數據和上傳文件完整,則通過驗證,否則失敗。



⑵ 關於雲計算,常用的數據完整性驗證的方法


雲計算模式下的數據完整性是指在傳輸、存儲的過程中確保數據不被未授權的用戶進行修改、增加和刪除,確保用戶查詢的數據是資料庫中的原始數據,並且雲服務提供商返回的查詢結果應該是所有滿足查詢要求的數據。一般來說,保證數據的完整性主要採用數字簽名的認證技術,其關鍵之處在於設計一種高效的驗證數據結構,提高雲存儲伺服器查詢執行效率和用戶的驗證效率。對數據的完整性的驗證技術主要有以下三類。



  • 數字簽名數據擁有者為資料庫中每一條記錄產生一個簽名,將數據和簽名交給雲服務提供商,用戶查詢時獲得記錄和對應的簽名,通過簽名驗證返回記錄的正確性和完整性,這種方法需要進行大量的簽名運算,代價非常大。
  • 基於Merkle的哈希樹方法主要思想是數據擁有者根據資料庫的記錄構建Merkle哈希樹(MHT),對根節點簽名後交給雲服務提供商,用戶查詢時獲得返回記錄和Merkle哈希樹的相關節點,重新計算Merkle哈希樹,直至根節點進行驗證,由於該方法採用多次的哈希運算和一次簽名,因此Merkle哈希樹生成效率和驗證效率遠遠高於第一類方法,但是Merkle哈希樹是二叉平衡樹,樹深度很高,構建驗證對象和查詢代價仍較大
  • 基於概率的方法其主要思想是採用抽樣驗證和交叉驗證,有挑戰-應答方法、偽元組插入和雙重加密方法。與上述兩類方法相比,該方法效率最高,能夠滿足大部分的應用需求,但不能提供百分之百的驗證。

以上三種方法可以實現雲中數據的完整性驗證,但是當用戶在雲計算中存儲了幾十個GB以上的數據時,進行完整性檢查時,遷移數據進出雲存儲系統需要支付雲存儲系統轉移費用,而且隨著數據量的增加費用也會越來越高,同時也會大量消耗用戶的網路帶寬,降低網路利用率。基於此種情況提出了雲存儲中數據完整性驗證的新需求,就是在雲計算環境中直接驗證存儲數據的完整性,而不需要先將數據下載到用戶端,在用戶端驗證完成後再重新上傳數據。但是在雲端對數據進行完整性驗證面臨的一個更為嚴峻的問題就是用戶不能了解整個數據集的情況,用戶不清楚他們的數據存儲在哪些物理伺服器上,或者那些物理伺服器處於何處,而且數據集可能是動態地頻繁變化的,這些頻繁的變化使得傳統保證完整性的技術無法發揮效果,所以在雲計算環境下進行數據完整性驗證是一個亟待解決的問題,也是雲計算能否得到廣泛應用的前提。

⑶ 關於數據存儲媒介

可行,但在海量數據的時候是比較慢的。
譬如還可以利用記事本進行數據存取
我個人感覺只要是文件就可以進行數據存取,可以宏觀的想像一下,文件不就是存取數據的介質嗎
但是 我個人感覺還是利用資料庫存取比較好,因為像單純的文本 和xml等都沒有相應的資料庫存儲機理,你必須自己來定義行列 ,瀏覽 存入等等

⑷ 如何通過微版權校驗區塊鏈存證數據的完整性

《關於辦理刑事案件收集提取和審查判斷電子數據若干問題的規定》第5條規定,可以採用計算電子數據完整性校驗值等來保護電子數據的完整性。

校驗電子數據的完整性,一般是採用哈希值等校驗演算法進行判定。

微版權通過SHA-512哈希演算法、時間戳服務、PBFT共識演算法,對原數據進行加密運算,把存證主體、存證時間、存證過程和存證內容等生成唯一對應的數字指紋,加密存儲到區塊鏈上,有效保障存證數據的完整性。

用戶通過微版權官網上的「驗證保全」,輸入存證數據的備案號並上傳原文件,系統自動對上傳文件的哈希值和原始存證數據的哈希值進行比對,如果存證數據與上傳文件完整無誤,則通過驗證,反之,不通過。

⑸ 手機調取電子數據能夠扣押電子數據原始存儲介質的應當扣押什麼並予以封存

最高法最高檢公安部規定:《規定》要求,收集、提取電子數據,應當由二名以上偵查人員進行,取證方法應當符合相關技術標准..如能夠扣押電子數據原始存儲介質的,應當扣押法院
時間:2016-09-23   作者:   點擊:17479 次
最高法最高檢公安部聯合出台規定

規范刑事案件電子數據收集提取審查判斷

為規范電子數據的收集提取和審查判斷,提高刑事案件辦理質量,近日,最高人民法院、最高人民檢察院、公安部聯合出台了《關於辦理刑事案件收集提取和審查判斷電子數據若干問題的規定》(以下簡稱《規定》),將自2016年10月1日起施行。

《規定》明確,電子數據是案件發生過程中形成的,以數字化形式存儲、處理、傳輸的,能夠證明案件事實的數據,包括:網頁、博客、朋友圈等網路平台發布的信息,手機簡訊、電子郵件、即時通信等網路應用服務的通信信息,用戶注冊信息、身份認證信息、電子交易記錄等信息,文檔、圖片、音視頻等電子文件。

《規定》要求,收集、提取電子數據,應當由二名以上偵查人員進行,取證方法應當符合相關技術標准。收集、提取過程中,如能夠扣押電子數據原始存儲介質的,應當扣押、封存原始存儲介質,並製作筆錄,如無法扣押原始存儲介質的,可以提取電子數據,但應當註明原因、存放地點或電子數據的來源等情況。

《規定》明確,如存在數據量大無法或不便提取,或者提取時間長可能造成電子數據被篡改或者滅失的等情形,經縣級以上公安機關負責人或者檢察長批准,可以對電子數據進行凍結。凍結電子數據,應當採取計算電子數據的完整性校驗值、鎖定網路應用賬號等方法。

《規定》要求,收集、提取的原始存儲介質或者電子數據,應當以封存狀態隨案移送,並製作電子數據的備份一並移送,對網頁、文檔、圖片等可以直接展示的電子數據,可以不隨案移送列印件。對凍結的電子數據,應當移送被凍結電子數據的清單,註明類別、文件格式、凍結主體、證據要點、相關網路應用賬號,並附查看工具和方法的說明。

《規定》明確,電子數據是否真實,應當著重審查移送的是否是原始存儲介質、電子數據是否具有數字簽名或證書等特殊標識等內容,對電子數據是否完整,應當採取審查原始存儲介質的扣押、封存狀態等方法進行驗證,對收集、提取電子數據是否合法,應當著重審查收集、提取電子數據是否由二名以上偵查人員進行以及取證方法是否符合相關技術標准等內容。

《規定》明確,如公訴人、當事人或者辯護人、訴訟代理人對電子數據鑒定意見有異議,可以申請人民法院通知鑒定人出庭作證。人民法院認為鑒定人有必要出庭的,鑒定人應當出庭作證。經人民法院通知,鑒定人拒不出庭作證的,鑒定意見不得作為定案的根據。公訴人、當事人或者辯護人、訴訟代理人可以申請法庭通知有專門知識的人出庭,就鑒定意見提出意見。

《規定》要求,在電子數據的收集、提取程序中,如存在未以封存狀態移送等瑕疵的,不能補正或者作出合理解釋的,不得作為定案的根據。如電子數據系篡改、偽造或者無法確定真偽的,以及電子數據有增加、刪除、修改等情形,影響電子數據真實性的,不得作為定案的根據

⑹ IPsec如何進行完整性校驗

當通信雙方建立了一個SA後,它們就有了所有用來計算它們交換的數據報的ICV值的參數。ICV的計算涉及到整個IP頭,然而有些域在從源到目的的傳輸過程中可能會改變,所以在計算ICV時將這些域設為0。首先需要了解IPv4和IPv6數據包頭的可變域和不變域。哪些被計算進去了,而哪些被設置為0.


IPv4頭的可變域


(圖片來源於搜索)
服務類型(Type of service):8比特的服務類型(TOS)域表明了數據報所屬數據流的需求,這個需求是針對延遲、吞吐量和可靠性的組合而言的。IP協議並不認為這個域是可變的,但IPSec將它作為可變域對待,因為現有的一些路由器會改變這些域。
標志(FLAGS):IP頭中有三個標志位。第一個是DF(不可分段)位,當這個位被設置的時候表明不允許對數據報分段。第二個是MF(更多分段)位,當這個位為0的時候表明數據包的最後一個數據分段到達。第三個被保留做將來使用。ICV的計算不包括這個域,因為即使數據源沒有設置這個位,中間的路由器也可能設置DF位。
分段偏移量(Fragment offset):這個13比特的域表明一個分段在它所屬的數據報中的位置。AH僅應用於非分段的IP包;所以在計算ICV之前,必須將這個域設為0。
TTL:這8比特的域被用來限制一個數據報的生命期,因此可以防止數據報在一個網段中無限循環。數據報在經過每個路由器時,它的TTL值都被路由器減小。目的主機無法預計TTL值,所以這個域被排除在ICV的計算之外。
頭校驗值(Header checksum):這個16比特域保存IP頭的校驗和。如果IP頭的任一個域發生了變化,校驗和的值也會變化,所以在計算ICV之前,必須將這個域設為0。
可選項(Options):這個變長域存放數據包的可選信息,比如安全性和處理限制。這個域很少被使用,並且被大多數的路由器忽略。所以大部分的IPSec實現在計算ICV時都不包含可選項。


IPv4頭的不變域

  • 版本(Version)。
  • 頭長度(IHL)。
  • 總長度(Total length)。
  • 標識(Identification)。
  • 協議(Protocol)。
  • 源地址(Source address)。
  • 目的地址(Destination address)。
  • 數據(Data)(被封裝的傳輸協議頭和數據)。

IPv6頭的可變域

  • 優先順序(Priority):這個4比特的域表明一個數據包要求的服務質量。這個域可能會被中間的路由器改變,所以它沒有被包含在ICV的計算中。
  • 流標簽(Flow label):這個24比特的域是一個實驗性的域。大多數應用忽略它,最終IPSec強制在計算ICV值之前將其設為0。
  • 跳數限制(Hop limit):這個跳數限制域和IPv4的TTL域相同。它在經過每個路由器時都被減小1。

逐跳和目的選項擴展頭中包含一個比特,用來表明這個選項在傳輸過程中是否可能發生變化。可以通過設置和取消這些比特來指定這些擴展頭可變還是不可變。逐跳擴展頭被用來攜帶可選的路由信息,數據報從源到目的沿途的每個節點都必須檢查這些信息。目的選項擴展頭攜帶僅需由目的節###IPv6頭的不變域



  • 版本(Version)。
  • 載荷長度(Payload length)。
  • 下一個頭(Next header)。
  • 源地址(Source address)。
  • 目的地址(Destination address)。

可變但可預測

路由擴展頭有可變但可預測的特性。IPv6數據源用這個擴展頭列出數據包從源到目的途徑中的一個或多個網關。路由擴展頭中的地址域可能在傳輸中被重排;然而數據包在目的主機時的內容的形式對發送者和中間節點而言卻是已知的。所以,可以由發送者排列地址域使其和發送到目的地時相同。因此是在計算ICV時包含了這個擴展頭。如果有分段擴展頭的話,它對IPSec而言是不可見的,因為它在外出的IPSec處理後才出現;而重組工作在進入IPSec處理之前進行。所以,在計算ICV時這個擴展頭不予考慮。


重頭戲:完整性校驗值(ICV)

把IP的可變域和IPv6可變擴展頭設為0後,整個IP數據報以一個比特串的形式作為MAC的輸入。MAC採用指定的密鑰生成ICV。值得注意的是,在隧道模式中,內部IP頭的可變域未被設為0,因為只有外部IP頭的可變域才可能在傳輸過程中被修改。
ICV的長度依賴於使用的MAC演算法。例如,對於HMAC-MD5,ICV是128比特;而對於HMAC-SHA1,ICV是160比特。如果一個MAC演算法生成的IPv4數據報的ICV長度不是32的整數倍,或生成的IPv6數據報的ICV長度不是64的整數倍,則需要增加填充比特使ICV達到32(IPv4)或64(IPv6)的整數倍。計算出ICV(有必要的話還得對它進行填充)之後,把它放在認證數據域中,然後數據報將被發送到目的地址。

⑺ 網路犯罪,可否僅僅根據一個IP地址定罪

不可以。 定罪需要一個嚴謹的調查、取證的過程。
IP地址只是其中一部分。簡單通俗的說,還需要證明是犯罪嫌疑人本人使用該IP地址做出了構成犯罪的行為。
僅僅一個ip地址,只能作為線索,對相關嫌疑人進行「初查」。
網路犯罪是指危害計算機系統、網路、數據的安全,以及利用這些系統、網路、數據實施其他犯罪的行為。因此,網路犯罪案件的犯罪證據既有傳統形式的證據,如一般的物證、書證、視聽資料等,也存在新型的電子證據。
還需要提醒一下大家,不管是什麼形式的犯罪,都難逃法網,不要存僥幸心理。
下面是節選的辦理網路犯罪案件適用刑事訴訟程序問題意見:
關於電子數據的取證與審查
13、收集、提取電子數據,應當由二名以上具備相關專業知識的偵查人員進行。取證設備和過程應當符合相關技術標准,並保證所收集、提取的電子數據的完整性、客觀性。
14、收集、提取電子數據,能夠獲取原始存儲介質的,應當封存原始存儲介質,並製作筆錄,記錄原始存儲介質的封存狀態,由偵查人員、原始存儲介質持有人簽名或者蓋章;持有人無法簽名或者拒絕簽名的,應當在筆錄中註明,由見證人簽名或者蓋章。有條件的,偵查人員應當對相關活動進行錄像。
15、具有下列情形之一,無法獲取原始存儲介質的,可以提取電子數據,但應當在筆錄中註明不能獲取原始存儲介質的原因、原始存儲介質的存放地點等情況,並由偵查人員、電子數據持有人、提供人簽名或者蓋章;持有人、提供人無法簽名或者拒絕簽名的,應當在筆錄中註明,由見證人簽名或者蓋章;有條件的,偵查人員應當對相關活動進行錄像:
(1)原始存儲介質不便封存的;
(2)提取計算機內存存儲的數據、網路傳輸的數據等不是存儲在存儲介質上的電子數據的;
(3)原始存儲介質位於境外的;
(4)其他無法獲取原始存儲介質的情形。
16、收集、提取電子數據應當製作筆錄,記錄案由、對象、內容,收集、提取電子數據的時間、地點、方法、過程,電子數據的清單、規格、類別、文件格式、完整性校驗值等,並由收集、提取電子數據的偵查人員簽名或者蓋章。遠程提取電子數據的,應當說明原因,有條件的,應當對相關活動進行錄像。通過數據恢復、破解等方式獲取被刪除、隱藏或者加密的電子數據的,應當對恢復、破解過程和方法作出說明。
17、收集、提取的原始存儲介質或者電子數據,應當以封存狀態隨案移送,並製作電子數據的復製件一並移送。對文檔、圖片、網頁等可以直接展示的電子數據,可以不隨案移送電子數據列印件,但應當附有展示方法說明和展示工具;人民法院、人民檢察院因設備等條件限制無法直接展示電子數據的,公安機關應當隨案移送列印件。對侵入、非法控制計算機信息系統的程序、工具以及計算機病毒等無法直接展示的電子數據,應當附有電子數據屬性、功能等情況的說明。對數據統計數量、數據同一性等問題,公安機關應當出具說明。
18、對電子數據涉及的專門性問題難以確定的,由司法鑒定機構出具鑒定意見,或者由公安部指定的機構出具檢驗報告。

⑻ checksum文件 效驗怎麼算

校驗和(Checksum)

PE的可選映像頭(IMAGE_OPTION_HEADER)裡面,有一個Checksum欄位,是該文件的校驗和,一般EXE文件可以使0,但一些重要的和系統DLL及驅動文件必須有一個校驗和.

Windows 提供了一個API函數MapFileAndCheckSum 測試文件的Checksum,它位於IMAGEHLP.DLL鏈接庫里,其原型:

ULONG MapFileAndCheckSum

{

LPSTR FileName, // 文件名

LPDWORD HeaderSum, // 指向PE文件頭的CheckSum

LPDWORD new_checksum // 指向新計算出的Checksum

}

程序一旦運行後,new_checksum 地址處將放當前的文件的校驗和,old_checksum地址指向PE文件的checksum欄位

安全的方法是將此值放在注冊表裡,需要時比較.

內存映像校驗

磁碟文件完整性校驗可以抵抗解密者直接修改文件,但對內存補丁卻沒有效果,必須對內存關鍵的代碼進行校驗.

1 對整個代碼進行校驗

每個程序至少有一個代碼區塊和數據區塊,數據區塊屬性可讀寫,程序運行時全局變數通常會放在這里,這些數據會動態變化,因此校驗這部分是沒什麼意義,而代碼段只讀,存放的是程序代碼,在程序中數據數不會變的,因此用這部分進行內存校驗是可行的.

具體實現方法:

(1) 從內存中映像中得到PE相關數據,如代碼塊的RVA和內存大小

(2) 根據得到代碼區塊的RVA值和內存大小,計算出內存數據的CRC-32值

(3) 讀取自身文件先前存儲的CRC-32值(PE文件頭前一個欄位),這個值是通過軟體寫進去的.

(4) 比較兩個CRC-32值.

這樣比較內存的代碼段校驗,只要內存的數據被修改,就能發現。

BOOL CodeSectionCRC32()

{

PIMAGE_DOS_HEADER pDosHeader = NULL;

PIMAGE_NT_HEADERS pNTHeader = NULL;

PIMAGE_SECTION_HEADER pSection = NULL;

DWORD ImageBase,OriginalCRC32;

ImageBase = (DWORD)GetMoleHandle(NULL); // 取基址

pDosHeader = (PIMAGE_DOS_HEADER)ImageBase;

pNtHeader = (PIMAGE_NT_HEADER32)((DWORD)pDosHeader + pDosHeader -> e_lfanew);

// 定位到PE文件頭前4個位元組值,並讀取存儲在這里的CRC -32值

OriginalCRC32 = *((DWORD*)(DWORD)pNtHeader - 4);

pSecHeader = IMAGE_FIRST_SECTION(pNtHeader); // 得到第一個區塊的地址

//假設第一個區塊就是代碼區塊

if(OriginalCRC32 == CRC32((BYTE*)ImageBase + pSecHeader -> VirtualAddress)

// 為了方便加殼

// 上一句也可為if(OriginalCRC32 == CRC32((BYTE *)0x401000, 0x36AE)

return TRUE;

else

return FALSE;

}

⑼ 數據完整性校驗,會不會把U盤燒壞我的是64G 的U盤

不會,這個數據完整性校驗就是往你的U盤里填充文件,再讀取信息,查看信息完整性,如果不完整,說明這個區域的存儲介質已經損壞,是常見的檢查是否是拓容U盤的方式,沒必要考慮是否會損壞。

⑽ 基礎資料庫

(一)數據內容

基礎資料庫包括系統運行前所採集到的所有支撐數據,數據的具體內容在數據分類與數據源章節中已描述,概括可分為以下幾類。

(1)遙感影像數據:包括歷史圖像數據,以及按照一定監測周期更新的遙感圖像數據。

(2)數字線劃圖數據:矢量數據(現狀專題圖和歷史專題圖數據)、柵格數據、元數據等。入庫前數據以ArcInfoCoverage格式分幅或整體存儲,採用地理坐標系統。

(3)數字柵格圖數據:包括1∶5萬和1∶10萬基礎地理圖形數據的掃描柵格數據。

(4)數字高程模型數據:塔里木河幹流河道1∶1萬和「四源一干」區域1∶10萬數字高程模型。

(5)多媒體數據:考察照片、錄像、錄音和虛擬演示成果等多媒體資料。

(6)屬性數據:社會經濟與水資源數據、水利工程數據、生態環境數據等。

(二)數據存儲結構

1.柵格數據

柵格數據包括遙感影像、數字柵格圖、數字正射影像圖、數字高程模型等,這些數據的存儲結構基本類似,因此可進行統一設計。遙感圖像資料庫與普通的圖像資料庫在存儲上有些差別,遙感圖像作為感測器對地理、空間環境在不同條件下的測量結果(如光譜輻射特性、微波輻射特性),必須結合同時得到的幾個圖像才可以認為是對環境在一定的時間條件下的完整的描述,也即是說,可能需要一個圖像集合才能構成一個圖像的完整的概念,並使之與語義信息產生聯系(羅睿等,2000)。因此,遙感圖像數據存儲結構模型必須能夠描述幾個圖像(波段)之間的邏輯關系。利用ArcSDE進行數據入庫時,系統可自動建立各圖像(波段)之間的關系,並按一定規則存儲在資料庫系統中。

對柵格數據在後台將採用Oracle資料庫管理系統進行存儲。Oracle系統可直接存儲影像信息,並具有較強的數據管理能力,可以實現柵格數據信息的快速檢索和提取。數據引擎採用ArcSDE,實現各類影像數據的入庫。數據存儲的關鍵是建立圖幅索引,本系統數據的存儲按圖幅號、圖名、採集時間等內容建立索引。

柵格數據依據圖形屬性一體化的存儲思想,採用大二進制格式直接存儲數據,這種方式的存儲可實現內容的快速檢索查詢,按索引表檢索出相關項後可直接打開柵格數據,提高柵格數據的管理效率。

2.矢量數據

本系統採用圖屬一體化思想即將空間數據和屬性數據合二為一,全部存在一個記錄集中的思想存儲空間數據,是目前GIS數據非常流行的存儲方法。考慮到數據的具體情況,決定採用資料庫存儲空間數據和屬性數據,部分具有少量、定型幾何信息的地理要素如水文測站、河流、湖泊等,採用圖屬一體化思想存儲其信息,而與其有關聯關系的大量、多邊化的屬性信息如水文信息,則存儲在屬性數據表中,利用唯一標識符信息建立兩表的關聯。

針對本系統空間數據的特點,系統按照「資料庫—子庫—專題(基礎數據)—層—要素—屬性」的層次框架來構築空間資料庫,按照統一的地理坐標系統來存儲空間數據,以實現對地理實體/專題要素進行分層疊加顯示。

3.多媒體數據

Oracle系統可直接存儲圖片和視頻信息,並具有較強的數據管理能力,可以實現多媒體信息的快速檢索和提取。多媒體數據存儲的關鍵是建立索引表,本系統多媒體數據的存儲按類型、時間、內容等項目建立索引,直接存儲於Oracle資料庫中。

多媒體數據存儲時,可以將多媒體內容與索引表結構合為一體,採用大二進制格式直接存儲,這種存儲方式可實現內容的快速檢索和查詢,按索引表檢索出相關項後可直接打開多媒體內容,而且多媒體資料庫也便於維護管理。

(三)空間索引設計

1.矢量空間索引

確定合適的格網級數、單元大小是建立空間格網索引的關鍵。格網太大,在一個格網內有多個空間實體,查詢檢索的准確度就低。格網太小,則索引數據量成倍增長和冗餘,檢索的速度和效率低。每一個數據層可採用不同大小、不同級別的空間索引格網單元,但每層級數最多不能超過三級。索引方式設置遵循以下基本原則:

(1)對於簡單要素的數據層,盡可能選擇單級索引格網,減少RDBMS搜索格網單元索引的級數,縮短空間索引搜索的過程;

(2)如果數據層中的要素封裝邊界大小變化比較大,應選擇2或3級索引格網;

(3)如果用戶經常對圖層執行相同的查詢,最佳格網的大小應是平均查詢范圍的1.5倍;

(4)格網的大小不能小於要素封裝邊界的平均大小。為了減少每個格網單元有多個要素封裝邊界的可能性,格網單元的大小應取要素封裝邊界平均大小的3倍;

(5)格網單元的大小不是一個確定性的問題,需要多次嘗試和努力才會得到好的結果。有一些確定格網初始值的原則,用它們可以進一步確定最佳的格網大小。

SDE(Spatial Data Engine,即空間數據引擎),從空間管理的角度看,是一個連續的空間數據模型,可將地理特徵的空間數據和屬性數據統一集成在關系型資料庫管理系統中。關系型資料庫系統支持對海量數據的存儲,從而也可實現對空間數據的海量存儲。空間數據可通過層來進行數據的劃分,將具有共同屬性的一類要素放到一層中,每個資料庫記錄對應一層中一個實際要素,這樣避免了檢索整個數據表,減少了檢索的數據記錄數量,從而減少磁碟輸入/輸出的操作,加快了對空間數據查詢的速度。

ArcSDE採用格網索引方式,將空間區域劃分成合適大小的正方形格網,記錄每一個格網內所包含的空間實體(對象),以及每一個實體的封裝邊界范圍,即包圍空間實體的左下角和右上角坐標。當用戶進行空間查詢時,首先計算出用戶查詢對象所在格網,然後通過格網號,就可以快速檢索到所需的空間實體。因此確定合適的格網級數、單元大小是建立空間格網索引的關鍵,太大或太小均不合適,這就需要進行多次嘗試,確定合適的網格大小,以保證各單元能均勻落在網格內。利用ArcSDE的索引表創建功能,記錄每一網格單元的實體分布情況,形成圖層空間索引表。根據空間索引表,ArcSDE實現了對空間數據的快速查詢。

2.柵格數據空間索引

柵格數據的空間索引通過建立多級金字塔結構來實現。以高解析度柵格數據為底層,逐級抽取數據,建立不同解析度的數據金字塔結構,逐級形成較低解析度的柵格數據。該方法通常會增加20%左右的存儲空間,但卻可以提高柵格數據的顯示速度。在資料庫查詢檢索時,調用合適級別的柵格數據,可提高瀏覽和顯示速度。

(四)入庫數據校驗

入庫數據的質量關繫到系統評價分析結果的准確性。數據在生產中就需要嚴格進行質量控制。依據數據生產流程,將數據質量控制分成生產過程式控制制和結果控制。生產過程式控制制包括數據生產前期的質量控制、數據生產過程中的實時質量控制,結果質量控制為數據生產完成後的質量控制(裴亞波等,2003)。對入庫數據的校驗主要是進行數據生產完成後的質量控制和檢查。

1.規范化檢查

(1)代碼規范化:所有地理代碼盡量採用國家標准和行業標准,例如,行政代碼採用中華人民共和國行政區劃代碼國標。

(2)數據格式規范化:所有數據採用標准交換數據格式,例如,矢量數據採用標准輸出Coverage格式和E00格式。

(3)屬性數據和關系數據欄位規范化:所有屬性數據和關系數據提前分門別類地設計欄位的內容、長短和格式,操作過程中嚴格執行。

(4)坐標系統規范化:本系統所有與空間有關的數據採用統一的空間坐標系統,即地理坐標系統。

(5)精度規范化:所有數據按照數據精度與質量控制中所要求的精度進行採集和處理。

(6)命名規范化:所有數據按照命名要求統一命名,便於系統的查詢。

(7)元數據規范化:依照元數據標准要求,進行元數據檢查。

2.質量控制

數據質量是GIS成敗的關鍵。對於關系型資料庫設計,只要能保證表的實體完整性和參照完整性,並使之符合關系資料庫的三個範式即可。對於空間資料庫設計,則不僅要考慮數據采樣、數據處理流程、空間配准、投影變換等問題,還應對數據質量做出定量分析。

數據質量一般可以通過以下幾個方面來描述(吳芳華等,2001):

(1)准確度(Accuracy):即測量值與真值之間的接近程度,可用誤差來衡量;

(2)精度(Precision):即對現象描述得詳細程度;

(3)不確定性(Uncertainty):指某現象不能精確測得,當真值不可測或無法知道時,就無法確定誤差,因而用不確定性取代誤差;

(4)相容性(Compatibility):指兩個來源不同的數據在同一個應用中使用的難易程度;

(5)一致性(Consistency):指對同一現象或同類現象表達的一致程度;

(6)完整性(Completeness):指具有同一準確度和精度的數據在類型上和特定空間范圍內完整的程度;

(7)可得性(Accessibility):指獲取或使用數據的容易程度;

(8)現勢性(Timeliness):指數據反映客觀現象目前狀況的程度。

塔里木河流域生態環境動態監測系統的所有數據在數據質量評價後,還需要從數據格式、坐標一致性等方面進行入庫質量檢驗,只有通過質量檢驗的數據才可以入庫。

3.數據檢驗

空間數據質量檢驗包括以下步驟:

(1)數據命名是否規范,是否按設計要求命名;

(2)數據是否能夠正常打開;

(3)投影方式是否正確;

(4)坐標系統是否正確;

(5)改錯是否完成,拓撲關系是否建立;

(6)屬性數據是否正確,包括欄位設置是否依據設計進行、是否有空屬性記錄、是否有屬性錯誤記錄等。

關系數據質量檢驗包括以下步驟:

(1)數據命名是否規范,是否按設計要求命名;

(2)數據是否能夠正常打開;

(3)數據欄位是否按設計要求設置;

(4)是否有空屬性記錄;

(5)是否有屬性錯誤記錄。

屬性數據的校驗,主要採用以下三種方式:

(1)兩次錄入校驗:對一些相互之間毫無關聯的數據,進行兩次的錄入,編寫程序對兩次錄入的結果進行比較,找出兩次錄入結果不一樣的數據,查看正確值,進行改正。

(2)折線圖檢驗:對一些相互之間有關聯的序列數據,如人口統計數據,對這一類數據,編寫程序把數據以折線圖的形式顯示在顯示器上,數據的序列一般都有一定規律,如果出現較大的波動,則需對此點的數據進行檢查修改。

(3)計算校驗:對一些按一定公式計算後所得結果與其他數據有關聯的數據,如某些數據的合計等於另一數據,編寫程序對這類數據進行計算,計算結果與有關聯的數據進行比較,找出結果不一樣的數據,查看正確值,進行改正。

圖形數據的校驗,主要包括以下步驟(陳俊傑等,2005):

(1)圖層校驗:圖形要素的放置圖層是唯一的。對於入庫的Coverage數據,系統將根據圖層代碼進行檢查,確保圖形要素對層入座。

(2)代碼檢查:圖形要素的代碼是唯一的。對於入庫的Coverage數據,系統將根據入庫要素代碼與特徵表中的代碼進行比較,確保入庫數據代碼存在,杜絕非法代碼入庫。

(3)類型檢查:對入庫的數據,檢查該要素的類型與特徵表中的類型是否一致,確保圖形要素對表入座。如點要素、線要素、面要素僅能賦相應的點、線、面代碼,且該代碼必須與特徵表中的數據類型代碼相同。

(4)范圍檢查:根據入庫的數據,確定該類要素的大體范圍(如X、Y坐標等),在數據入庫前,比較入庫數據與范圍數據的大小,若入庫數據在該范圍內,則入庫,否則給出提示檢查信息。

(五)數據入庫

1.遙感影像數據

利用空間數據引擎———ArcSDE可實現遙感影像數據在Oracle資料庫中的存儲和管理,在影像數據進行入庫時,應加入相應的索引和影像描述欄位。

遙感影像入庫步驟:

(1)影像數據預處理:要將塔里木河遙感影像資料庫建成一個多解析度無縫影像資料庫系統,客觀上要求資料庫中的影像數據在幾何空間、灰度空間連續一致。因此,在數據採集階段就需要對影像數據進行預處理,包括圖像幾何校正、灰度拼接(無縫鑲嵌)、正射處理、投影變換等。

幾何校正的目的是使校正後的圖像重新定位到某種地圖投影方式,以適用於各種定位、量測、多源影像的復合及與矢量地圖、DTM等的套合顯示與處理。幾何校正多採用二次多項式演算法和圖像雙線性內插重采樣法進行圖像校正。將糾正後具有規定地理編碼的圖像按多邊形圈定需要拼接的子區,逐一鑲嵌到指定模版,同時進行必要的色彩匹配,使整體圖像色調一致,完成圖像的幾何拼接,再採用金字塔影像數據結構和「從粗到精」的分層控制策略實現逐級拼接。

數字正射影像具有統一的大地坐標系、豐富的信息量和真實的景觀表達,易於製作具有「獨立於比例尺」的多級金字塔結構影像。可以採用DTM和外方位元素經過數字微分糾正方法,獲得數字正射影像,它的基本參數包括原始影像與正射影像的比例尺、采樣解析度等(方濤等,1997)。

投影變換需根據資料庫系統定義的標准轉換到統一的投影體系下。

(2)影像數據壓縮:隨著感測器空間解析度的提高和對遙感信息需求的日益增長,獲取的影像數據量成幾何級數增大,如此龐大的數據將佔用較大的存儲空間,給影像的存儲和傳輸帶來不便(葛詠等,2000)。目前,系統處理的遙感影像數據已達數百千兆,單個文件的影像數據最大達到了2G,這樣的數據量在調用顯示時速度很慢,對影像數據進行壓縮存儲,將大大提高影像訪問效率。本系統採用ArcSDE軟體提供的無損壓縮模式對入庫影像進行壓縮。

(3)影像導入:遙感影像的入庫可通過ArcSDE或入庫程序進行導入,並填寫相關的索引信息,在入庫時對大型的遙感影像數據進行自動分割,分為若乾的塊(tiles)進行存儲。

(4)圖像金字塔構建:採用ArcSDE提供的金字塔構建工具在入庫時自動生成圖像金字塔,用戶只需要選擇相應的參數設置即可。圖像金字塔及其層級圖像按解析度分級存儲與管理。最底層的解析度最高,並且數據量最大,解析度越低,其數據量越小,這樣,不同的解析度遙感圖像形成了塔式結構。採用這種圖像金字塔結構建立的遙感影像資料庫,便於組織、存儲與管理多尺度、多數據源遙感影像數據,實現了跨解析度的索引與瀏覽,極大地提高了影像數據的瀏覽顯示速度。

2.數字線劃圖

對紙圖數字化、配准、校正、分層及拼接等處理後,生成標准分幅和拼接存儲的數字矢量圖,就可以進行圖形數據入庫。

(1)分幅矢量圖形數據、圖幅接合表:按圖形比例尺、圖幅號、製作時間、圖層等方式,通過入庫程序導入到資料庫中,同時導入與該地理信息相對應的屬性信息,建立空間信息與屬性信息的關聯。

(2)拼接矢量圖形數據:按圖形比例尺、製作時間、圖層等方式,通過入庫程序導入到資料庫中,同時導入與該地理信息相對應的屬性信息,建立空間信息與屬性信息的關聯。

3.柵格數據

對紙圖數字化、配准、校正、分層及拼接等處理後,生成標准分幅和整體存儲的數字柵格圖,然後進行圖形數據入庫。

(1)分幅柵格圖形數據、圖幅接合表:按圖形比例尺、圖幅號、製作時間等方式,通過入庫程序導入到資料庫中。

(2)整幅柵格圖形數據:按比例尺、製作時間等方式,通過入庫程序導入到資料庫中。

4.數字高程模型

(1)分幅數字高程模型數據、圖幅接合表:按圖形比例尺、圖幅號、製作時間等方式,通過入庫程序導入到資料庫中。

(2)拼接數字高程模型數據:按比例尺、製作時間等方式通過入庫程序導入到資料庫中。

5.多媒體數據

多媒體數據入庫可根據多媒體資料庫內容的需要對入庫數據進行預處理,包括音頻、視頻信息錄制剪接、文字編輯、色彩選配等。對多媒體信息的加工處理需要使用特定的工具軟體進行編輯。由於音頻信息和視頻信息數據量巨大,因此,對多媒體數據存儲時需採用數據壓縮技術,現在的許多商用軟體已能夠直接存儲或播放壓縮後的多媒體數據文件,這里主要考慮根據數據顯示質量要求選擇採用不同的存儲格式。圖4-2為各類多媒體數據的加工處理流程。

圖4-2 多媒體數據加工處理流程圖

6.屬性數據

將收集的社會經濟、水利工程、生態環境等屬性資料,進行分析整理,輸入計算機,最後經過程序的計算處理,存儲到資料庫中,具體流程如圖4-3所示。

圖4-3 屬性數據入庫流程圖