❶ 做資料庫怎麼調研
簡單的問一問,各種常用的表格和電子文檔都有要一些。
推薦一本書《UML和模式應用》上面講的很全。
❷ 資料庫檢查技術在土地變更調查中的應用研究
高梅 王斌
(荊州市國土資源局,荊州,434000)
摘要:本文以荊州市應用資料庫檢查技術進行土地變更調查為例,介紹了變更資料庫建設的技術流程,變更資料庫檢查的內容、方法及程序,為資料庫檢查技術在土地變更調查中的應用提供借鑒。
關鍵詞:資料庫;土地變更調查
1 引言
准確的土地調查數據資料,是正確認識土地國情、國力的前提,也是制定科學的土地政策,合理利用和科學管理土地,有效監管土地市場,確保國民經濟持續、協調發展和社會安定團結的重要基礎。1998年《土地管理法》修訂時,又對土地調查制度作出規定:「國家建立土地調查制度。縣級以上人民政府土地行政主管部門會同同級有關部門進行土地調查。土地所有者或者使用者應當配合調查,並提供有關資料。」
而土地部門自建立以來,開展了大量城鎮地籍調查、土地利用現狀調查、建設用地勘測定界、土地權屬調查、土壤調查等工作,完成了第一輪土地利用現狀調查及變更調查等許多基礎性技術工作。各地國土資源管理部門根據國土資源部對「數字國土工程」的規劃和對國土資源信息化管理的具體工作要求,都相繼建立土地利用現狀資料庫,從而將廣義上的土地利用現狀調查工作,通過土地信息系統的管理功能簡化為主要是同步進行土地變更調查,以滿足科學管理土地的統一性、現勢性、實用性要求。
為了進一步規范和提高土地變更調查工作數據的准確性,本文就在荊州市土地利用變更調查中資料庫檢查技術的應用與各位專家和同行做一次交流和探討。
2 荊州市土地利用現狀概要
荊州市隨著經濟的快速發展,工業化、城市化進程的加快,全市建設用地增幅較大,農業產業結構調整很大,土地利用現狀變化顯著。近年來,根據國土資源部的要求,進行了年度的變更調查,使土地變更調查工作步入了日常化、規范化和制度化的軌道,積累了一定的經驗。但由於變更時間跨度長、技術陳舊、沒有及時進行圖件更新和數據同步等原因,造成土地利用現狀現勢性較差,圖、數、實地不一致,在實際應用中不能准確反映土地利用現狀,難以適應新時期土地管理和經濟建設的新要求。
2001年5月按照國土資源部《2000年國土資源大調查項目計劃》和《關於報送國土資源大調查項目實施方案的通知》的精神,荊州市承擔了基礎圖件與數據更新項目的試點任務,結合荊州市的實際,荊州市國土資源信息中心採用武漢瑞得信息工程有限責任公司(以下簡稱「瑞得公司」)開發的GIS軟體和土地利用現狀管理信息系統軟體,先後完成了荊州市1988年土地利用現狀資料庫和2001年變更資料庫的建設,之後每年按要求及時統一進行數據更新,基本實現了土地利用現狀數據的動態管理。
3 變更資料庫建設的技術流程
在以2001年土地利用現狀資料庫為本庫的基礎上,根據2001~2005年所收集匯總的土地變更調查數據資料,建立變更資料庫——即2005年土地利用現狀資料庫。變更資料庫建庫流程如圖1所示。
圖1 變更資料庫建庫流程
4 變更資料庫檢查內容
同初始資料庫一樣,變更資料庫的檢查,也是對變更調查工作流程中每一個階段生成的數據成果進行自我檢查、糾正錯誤、保證資料庫的質量技術手段。
4.1 資料預處理階段
4.1.1 建庫基礎資料檢查
該項工作主要是對建庫所用的土地變更調查基礎資料進行統計、核查,看是否符合建庫的要求。
(1)荊州市國土資源局信息中心提供建庫的變更圖件資料為2001年土地利用現狀圖生成的藍曬圖(標准分幅),該藍曬圖上標示出了2001~2005年的變更圖斑(點狀、面狀、線狀圖斑),共有120張變更圖紙(89 幅標准分幅圖)。
首先對變更圖件資料中的以下內容進行檢查:①變更圖斑是否完整,有無未閉合情況;②變更圖斑中圖斑號、地類號標注是否正確,變更圖斑編號是否符合規定;③跨村界、鄉鎮界的變更圖斑接邊情況(例在檢查中發現宜黃高速公路荊州段中涉及變更眾多圖斑,由於判讀地物產生誤差,各鄉鎮之間的高速路出現不銜接的情況,到實地進行地調後及時更正。);④變更圖斑內線狀地物處理情況等。對部分圖紙不符合《縣(市)級土地利用資料庫建設技術規范》要求的,必須由技術人員對其進行重新實地調繪、轉繪,然後再提交作業人員進行數據採集。
(2)根據圖歷簿填寫內容的要求,逐項認真填寫,並檢查變更標准分幅圖圖紙質量。
(3)對各部門提供的屬性資料進行整理,對不完整的資料要求相關部門進行補充完善。
4.1.2 圖件掃描質量檢查
因為變更圖紙是由2001年薄膜圖藍曬而成的紙質圖,圖面不是很清晰,且已經用了幾年的時間,變形和圖面磨損都比較大,給變更數據的採集造成了一定的難度。因此,對變更底圖的掃描質量要求就比初始薄膜圖掃描的要求更高。
圖件掃描的解析度不能低於300dpi,256 灰度掃描,圖紙不清楚時可採用400dpi 或更高的解析度進行掃描。掃描前必須進行掃描儀系統誤差的檢查和處理,盡量減小系統誤差對整個底圖質量的影響。對於一些局部變形較大的圖紙在掃描的時候須進行特殊的處理,主要是採用分塊掃描、校整的辦法進行處理。
4.1.3 底圖校正質量檢查
使用瑞得公司矢量化軟體RDSCAN,對掃描並經預處理過的底圖進行圖幅校正和坐標系轉換。在圖幅校正中將每幅圖的圖廓計算邊長與其標准邊長進行比較,對誤差較大的圖紙進行分析,並協同技術人員解決。
4.1.4 底圖拼接質量檢查
瑞得土地利用現狀資料庫管理系統 RDLUS 對數據的管理採用的是「市—縣—鄉—村」行政級管理模式,所以在進行底圖拼接質量的檢查時主要是看相鄰底圖的接邊情況是否良好,對於拼接誤差較大的圖幅要進行較整、處理。檢查底圖拼接一般誤差主要表現為以下兩種類型:
(1)兩端的內圖廓拼接較好,但圖幅中間的圖斑線拼接有誤差(如圖2a)。這種情況可採用對每幅圖分塊掃描拼接以減小圖幅間的拼接誤差。
(2)兩圖幅中公里格網線之間拼接良好,但地物拼接誤差較大(如圖2b)。這種情況僅通過對底圖進行較整以提高地物之間的接邊精度是行不通的,只能在矢量變更數據採集時通過「取中採集」的原則來減小地物拼界接差造成的不良影響。
圖2 底圖拼接誤差示意圖
4.1.5 階段性數據成果檢查
檢查階段性數據成果是否保存為最新最完整的數據,並進行異地備份。該階段數據處理過程中遇到的資料問題和重大的技術問題以及處理方法等是否進行了詳細的記載。
4.2 矢量變更數據採集階段
4.2.1 真實行政界線矢量變更數據檢查
核實真實有效的村權屬界線,嚴格核查原詳查接邊情況表,明確工作界線,達到全市無縫化是初始資料庫中最基礎環節,所有數據均按村為單位統計匯總。凡是掃描匯總後圖上村轄區總面積與村台賬的差值超過該村台賬面積1%的,必須有針對性地找出問題(村與村間不重合,多是原來所屬的行政區劃不同,接連存在爭議造成的,要求到實地核實後加以改正),並要求所有的村在列印圖上都有檢查人及審核人簽字,並蓋該鎮土管所公章認可。變更資料庫建設若不涉及行政界線調整,則可省略此步驟。
4.2.2 圖斑矢量變更數據檢查
(1)根據《技術規范》的要求,非行政區劃採集的絕對誤差必須小於0.3mm。圖斑矢量變更數據採集完成之後,要檢查其絕對誤差,對超過限差的變更數據應進行修正。因為變更藍曬圖有變形,與初始建庫所用的薄膜圖不能完全吻合,所以將2001年初始矢量數據引入到變更藍曬底圖上以後,部分矢量數據與變更藍曬底圖之間有偏差。針對該問題,在變更矢量數據採集時的處理原則是:①以2001年初始矢量數據線劃為准,盡量保持其不變,然後根據變更藍曬底圖進行矢量數據修改。②如果2001年初始矢量數據圖斑線劃與變更底圖圖斑線不吻合,則需要沿著變更圖斑線採集數據,應採用「平行位移的」辦法,數據採集時可以偏離變更底圖圖斑線,以保證變更圖斑面積盡量准確。
(2)以行政村為單位檢查圖斑與真實行政界線之間以及圖斑與圖斑之間的無縫化。①檢查變更圖斑矢量化數據的屬性是否與底圖上圖斑的屬性一致,主要是檢查變更圖斑的地類代碼輸入是否正確,圖斑編號是否與底圖一致,如果因為重號的問題改變了原來的圖斑編號,要查看是否按照作業規范的要求進行編號並做了記錄。②檢查變更過的線狀地物的分段是否與底圖一致且合理,線狀地物的寬度輸入是否正確。③檢查穿過變更圖斑的線狀地物的處理是否正確。A.道路遇到70大類的變更圖斑時一般應截斷處理,遇到其他地類一般應保留;B.溝渠遇到70大類的變更圖斑時一般應保留,遇到50類一般應截斷處理,遇到其他地類一般予以保留。
4.2.3 背景界線矢量數據檢查
因變更資料庫建設不涉及行政界線調整,故不需檢查。
4.2.4 地物矢量數據檢查
(1)根據《技術規范》的要求,非行政區劃採集的絕對誤差必須小於0.3mm,檢查時對超過限差的數據進行修改。
(2)要檢查變更地物矢量化是否有丟漏。
4.2.5 階段性數據成果檢查
(1)檢查階段性數據成果是否保存為最新最完整的數據,且進行異地備份。
(2)該階段數據處理過程中遇到的資料問題和重大的技術問題以及處理方法等是否進行了詳細的記載。
4.3 矢量變更數據入庫階段
4.3.1 矢量數據拓撲檢查
該步工作由瑞得土地利用現狀資料庫管理系統 RDLUS 自動完成。如果拓撲檢查有錯誤,返回進行修改,直到拓撲檢查沒有錯誤為止。
4.3.2 資料庫正確性檢查
(1)檢查變更資料庫中的權屬目錄、轄區目錄、圖斑地類、系統分類設置是否符合《技術規范》要求和荊州市實際情況。變更後的圖件首先列印出圖幅接合表,將89 幅圖幅落實到每個檢查人員,並在接合表上標明責任人後,由責任人著重檢查以下幾項內容:①本圖幅與周邊圖幅的接邊情況:圖幅每邊都由本圖幅檢查人與相鄰邊檢查人進行圖幅接邊檢查,經過核對無誤後由雙方簽字認可;②真實行政界線是否正確:根據村界處的現狀地物和背景村界的調繪情況判斷真實行政界線的位置,並檢查背景村界是否正確;③線狀地物是否丟漏:檢查是否有丟掉線狀地物完全沒有進行矢量化和線狀地物少做一段不完整現象;④線狀地物屬性錯誤:檢查農路、公路與溝渠屬性是否賦反;⑤圖斑無明顯界線的劃分是否符合現狀;⑥圖斑號與地類號是否與薄膜圖一致,圖斑的權屬單位、權屬性質是否正確;⑦兩圖核對是否有明顯跑線超標的情況等並以圖幅為單位做好記錄。檢查過程中發現變更圖紙容易出現以下四類問題:①掉漏應變更圖斑;②變更圖斑中應保留的島狀圖斑未予以保留;③應進行變更的圖斑未合並入新圖斑;④線狀地物取捨有差異。
(2)檢查資料庫運行是否正常,各種圖件是否能正常查詢出來,主要有以下圖件:①89 標准分幅圖;②320 幅村土地利用現狀圖;③19 幅鄉土地利用現狀圖;④19 幅鄉或村行政邊界圖;⑤全市行政邊界及分幅信息結合圖。
(3)按照《技術規范》所要求的各類統計報表是否能正常統計並列印出來:①2005年土地利用現狀統計台賬;②2005年土地利用現狀鄉統計簿一、二、三;③外單位面積統計表;④本村集體面積統計表;⑤村轄區面積表;⑥鄉單位面積匯總表;⑦年度變更平衡表。
(4)從資料庫中查詢出土地利用現狀標准分幅圖並輸出進行疊加檢查,檢查其是否與建庫資料標准分幅圖一致,如果有錯、漏,返回「矢量變更數據採集」階段進行數據修正,然後重新入庫。
4.3.3 計算機量算面積與變更調查量算面積的對比檢查
通過該項檢查工作,分析造成面積差異的可能原因(包括建庫資料中存在的問題和數據採集過程中存在的問題)。
(1)按照 《技術規范》 13.2.9 的要求 原始調查轄區總面積與計算機量算面積的誤差控制在1%以內;計算機圖幅量算面積與理論面積的相對誤差控制在0.1%以內。
(2)按照 《技術規范》 14.3.2.8 的要求 原始調查全轄區一級地類面積與計算機量算面積相對誤差超過2.5%或者詳查轄區總面積與計算機量算面積的相對誤差超過1%時,應提交補充說明。
(3)計算機量算面積與調查量算面積存在一定的差異,是由於兩者在面積量算方法和量算匯總的過程上都存在很大的不同。但不能排除數據採集過程中產生的錯誤或者誤差造成的面積差異。因此,為了查找出面積問題的真正原因所在,應將面積對比分析細化到以行政村為單位進行。
4.3.4 階段性數據成果檢查
(1)檢查輸出的鄉土地利用現狀圖和標准分幅土地利用現狀圖,看圖幅上的要素和圖面的整飾是否符合《技術規范》的要求。
(2)檢查提交的各種統計報表是否符合《技術規范》的要求。
(3)階段性數據成果是否保存為最新最完整的數據,且進行異地備份。
(4)該階段數據處理過程中遇到的資料問題和重大的技術問題以及處理方法等是否進行了詳細的記載。
5 檢查方法與程序
5.1 檢查程序
檢查流程圖如圖3所示:
圖3 變更資料庫檢查流程
5.2 檢查方法
目前,在「3 S」技術(遙感技術 RS、全球定位系統技術 GPS、地理信息系統技術GIS)未能全面推廣應用的條件下,通過以下所述手工比對和數據檢驗手段的方法能解決單純航片轉繪無法確定村級行政界線等實際問題,更能准確描述圖、數、地的現狀,確保資料庫質量。
須建立完善的質量控制體系,即三檢一驗制度。每道工序作業員首先進行自檢和互檢,然後提交專業檢查人員,關鍵環節交由國土資源局檢查,三檢合格後,方可進入下一環節。從而保證質量,避免出現較大的返工現象。
5.2.1 作業過程中的自檢和互檢
按照建庫作業流程,對於每一個數據單位的數據成果,都要按照《技術規范》的要求經過作業員自檢、項目組長檢查、數據檢查員三次檢查,無誤後才能保存為階段性數據成果,提交技術人員檢查。
5.2.2 列印、輸出相關圖形數據進行圖形套合檢查
通過矢量數據採集階段對數據的檢查修正處理,矢量數據與變更資料的一致性已經基本得到保證,但是並不能保證在數據採集過程中無任何錯誤或者誤差,應列印輸出標准分幅圖進行疊加檢查,進一步排查錯誤。
(1)資料庫建立完成後,查詢出每一個村、鄉土地利用現狀圖、標准分幅現狀圖疊加變更底圖進行檢查。
(2)列印出標准分幅土地利用現狀圖,與用於建庫的變更藍曬圖進行重疊檢查。
檢查方法是:用透明的硫酸紙列印出89幅標准分幅圖,套合變更藍曬標准分幅圖檢查,檢查方案如下:①村界檢查。全面核實村界與相鄰單位的位置,確保村界的准確性;每個鄉鎮針對村界若有變化或台賬面積與計算機量算面積相差較大的情況須做出相應的說明。②圖斑檢查。嚴格依據台賬、2005年變更藍曬工作底圖與列印出的檢查圖對照檢查。注意圖斑號是否相符、地類代碼是否正確;圖斑變更是否無錯誤無遺漏;按新的地類代碼進行轉換的情況等,特別涉及原50地類的圖斑。③線狀地物檢查。對照2005年變更圖查看有無漏繪或寬度未標注等情況。特別是針對發生變更的圖斑,各鄉鎮了解實地情況的檢查人員要注意變更後圖斑內的線狀地物情況,是否該線狀地物仍然存在,另外要在圖面上交代清楚線狀地物的地類、寬度等。④檢查發現的其他有關問題及處理意見。對發現的錯誤首先要在列印的檢查圖上以村為單位編號並註明是什麼樣的錯誤,並簽字確認;其次要將所有錯誤以村為單位匯總後認真填寫在鄉鎮變更檢查錯誤匯總表上,存檔備查。
要求以鄉鎮為單位,每個村說明檢查責任人和檢查情況,並對所發現的問題提出修改意見。如實填報內容,由區(分)局負責人簽字確認。
5.2.3 通過面積對比分析進行檢查
將資料庫管理系統RDLUS統計得到的面積成果與建庫資料中的面積成果進行對比、分析,盡可能從中找出引起面積差異的問題所在。通過這種方式,可有效地檢查出諸如權屬性質錄入、權屬單位錄入、地類輸入等錯誤。
(1)對每個行政村的2005年詳查面積與計算機統計面積進行對比分析,面積差異較大的,排查原因。
(2)2005年詳查統計的國有/集體面積與計算機統計的國有/集體面積不吻合的,對照台賬資料,對矢量數據進行修正,盡量保持矢量數據與原始數據的一致性。
6 檢查結論和成果
6.1 資料庫圖形部分
(1)建成資料庫的圖形部分覆蓋了整個荊州市轄區,共89 幅標准分幅圖,應無遺漏,數據完整。
(2)標准分幅土地利用現狀圖與矢量化底圖疊加檢查,數據採集應無遺漏、無嚴重跑線現象,符合《技術規范》的限差要求。
(3)輸出的標准分幅圖圖面要素應符合《技術規范》的要求。
(4)鄉、村土地利用現狀圖圖面要素和整飾應符合《技術規范》的要求。
(5)圖斑變更應正確,無遺漏。
6.2 資料庫屬性部分
(1)資料庫中各圖形要素的屬性應輸入完整。
(2)各項計算機統計面積與2005年變更調查面積的差異應在《技術規范》要求的限差范圍以內。
(3)系統應能正確輸出要求的各項統計報表。
(4)資料庫文件在土地利用現狀資料庫管理系統 RDLUS 中應運行正常。
6.3 檢查成果資料
(1)89幅標准分幅圖的圖例簿及其補充材料。
(2)變更圖斑矢量化記錄表。
(3)各種台賬面積與計算機匯總面積對比分析表(市區兩級轄區匯總面積對比、地類面積對比、變更圖斑台賬面積與計算機面積對比)。
(4)兩套標准分幅檢查圖。
7 成果應用
檢查成果所形成的數字、圖表和有關資料對土地數量、質量、分布、權屬和利用狀況及動態變化,進行了全面記載、整理和分析,可直接實現土地行政管理中最基礎的土地統計功能。
其具體的應用可通過在土地更新調查中常見的建設用地增加而耕地只減少的成因實例予以說明:
(1)耕地面積更新調查數比年度變更數減少 原因在於違法用地及歷年變更調查遺漏的建設用地因未在年度變更調查中統計,而仍視同為耕地,但在更新調查數據檢查工作中按建設用地進行調查統計予以糾正。
(2)建設用地更新調查數比年度變更數增加 原因在於歷年違法用地及歷年積累的變更調查漏查的建設用地未在年度變更調查進行變更統計,而在更新調查數據檢查工作中均進行調查統計予以更正。
其應用技術還可廣泛應用土地利用總體規劃修編、土地動態監察等土地宏觀調控管理工作。
應用資料庫檢查技術進行更新調查是目前較科學且可行的技術手段,可提高土地利用總體規劃修編基數的准確性和確保土地利用現狀的現勢性。
資料庫檢查技術為國土資源管理,特別是地籍管理等基礎業務性工作創造了新的發展機遇,促使國土管理技術發生質的飛躍,以往傳統的技術手段正逐步被新興的信息系統技術所代替。特別是現狀庫與規劃庫之間的同步互動在土地更新調查與管理上的應用,已成為國土資源管理手段上的新熱點,將更大程度地提高工作效率,更好地服務於經濟建設。
❸ 求一篇基於web的資料庫設計社會實踐調查報告
《基於web的資料庫設計實踐》
The Database Design Based On WEB Used In Remote Concurrent Design
Abstract: the paper analyses the database characteristics used in the remote concurrent proct design system based on Internet, deeply researches the database structure, interface and the method of the data safety.
Keywords: Internet, remote concurrent design, database based on Web
近年來,隨著Web技術的蓬勃發展,人們已不滿足於只在瀏覽器上獲取靜態的信息,想要通過它發表意見、查詢數據。隨著電子商務的普及人們開始參與一些網路商務活動,這就迫切需要實現Web與資料庫的互連[1]。產品異地並行設計對數據的要求有一定的特殊性,主要有(1)產品數據多種多樣。產品設計,特別是機械產品設計常常是大型而又復雜,在異地通過不同的設計小組,按不同的分工設計同一產品,所要管理和通訊的數據類型隨著分工的不同而有不同的表現形式,如常規的數字組成的數據集,以圖形、圖象形式表達的產品模型數據,以文字形式描述設計的文檔,還有圖表、公式等形式,復雜多樣。(2)產品數據交換頻繁,流量大。產品設計是一個協同工作的創造性集體智慧凝聚的過程,要使設計順利進行,分布在異地的不同設計小組之間就要經常性地進行數據交換,並且有些形式表達的產品數據是較大的文件。(3)產品數據的一致性要求高。分工合作的不同設計小組之間的設計任務是彼此關聯,互相依賴的。如果其中一個數據改變了,相關聯的數據必須跟著改變,在Web資料庫設計時必須考慮數據的一致性問題。(4)產品數據的並發性訪問頻繁。由於異地產品設計的特殊屬性,數據的並發性訪問非常頻繁。所以,進行基於Internet的產品異地並行設計的Web資料庫設計與一般的電子商務不同,要充分考慮以上屬性。本文結合我們近期開發的機械產品異地並行設計系統(RCDS, Remote Concurrent Design System),綜合比較了多種當今流行的網路數據存取技術,設計出可靠安全的資料庫系統。
1 Web資料庫連接方案
1.1資料庫連接方案選擇
RDO、DAO和ADO是比較常見的Web資料庫訪問技術。
DAO (Data Access Objects) 數據訪問對象是第一個面向對象的介面,它含有 Microsoft Jet 資料庫引擎(由 Microsoft Access 所使用),並允許 Visual Basic 開發者通過 ODBC 象連接到其他資料庫一樣,直接訪問到 Access 表。DAO 最適用於單系統應用程序或小范圍本地分布使用,對大范圍的異地並行設計顯得功能不夠強大。
RDO (Remote Data Objects) 遠程數據對象是一個到 ODBC 的、面向對象的數據訪問介面,它同易於使用的 DAO style組合在一起,提供了一個介面,形式上展示出所有 ODBC 的底層功能和靈活性。RDO 在訪問 Jet 或 ISAM 資料庫方面有一定的限制,而且它只能通過現存的 ODBC 驅動程序來訪問關系資料庫。但是,RDO 已被證明是許多 SQL Server、Oracle
以及其他大型關系資料庫開發者經常選用的最佳介面。RDO 提供了用來訪問存儲過程和復雜結果集的更多和更復雜的對象、屬性,以及方法。對異地並行設計Web資料庫來說也不是十分理想。
ADO(ActiveX Data Objects)為ActiveX組件中資料庫訪問組件,ASP就是通過它實現對資料庫的訪問。ADO 是 DAO、RDO 的後繼產物。ADO 2.0在功能上與 RDO 更相似,而且一般來說,在這兩種模型之間有一種相似的映射關系。ADO 「擴展」了 DAO 和 RDO 所使用的對象模型,這意味著它包含較少的對象、更多的屬性、方法(和參數),以及事件。例如,ADO 沒有與 rdoEngine 和 rdoEnvironment 對象相等同的對象,可以包含 ODBC 驅動程序管理器和 hEnv 介面。盡管事實上介面可能是通過 ODBC OLE DB 服務提供程序實現的,但目前也不能從 ADO 中創建 ODBC 數據源。ADO 是為 Microsoft最新和最強大的數據訪問範例 OLE DB 而設計的,是一個便於使用的應用程序層介面。OLE DB 為任何數據源提供了高性能的訪問,這些數據源包括關系和非關系資料庫、電子郵件和文件系統、文本和圖形、自定義業務對象等等。ADO 在關鍵的 Internet 方案中使用最少的網路流量,並且在前端和數據源之間使用最少的層數,所有這些都是為了提供輕量、高性能的介面。同時 ADO 使用了與 DAO和 RDO相似的約定和特性,簡化的語義使它更易於學習。
ADO最早是在IIS中引入的,主要用於ASP,用ADO可以使伺服器端的腳本通過ODBC存取和操縱資料庫伺服器的數據。使用ADO的對象可以建立和管理資料庫的連接,從資料庫伺服器請求和獲取數據,執行更新、刪除、添加數據、獲取ODBC的錯誤信息等。ADO是ASP方案中最具吸引力的資料庫連接控制項,它為用戶提供了連接任何兼容ODBC的資料庫以及創建全功能資料庫應用程序的能力。
ADO具有簡單易用、高速、佔用資源少等的優點。不同於DAO和RDO,ADO有著更高的執行效率。ADO 對象模型如圖1a所示。每個 Connection、Command、Recordset 和 Field 對象都有 Properties 集合,如圖1b所示。
a) b)
圖1 ADO對象模型及屬性
應該說,ADO是微軟的下一代資料庫連接技術,用來全面取代RDO和DAO的數據訪問工具。從發展趨勢來看,ADO今後將逐步替代老的DAO特別是RDO數據訪問介面,成為新的遠程數據訪問方法。所以,選擇ADO作為產品異地並行設計的Web資料庫介面技術是合適的。
1.2 ADO應用分析
ADO 並不是自動和現存的數據訪問應用程序代碼兼容的。當 ADO 封裝 DAO 和 RDO 的功能性的時候,必須將許多語言要素轉換為 ADO 語法。在某些情況下,這將意味著要對現存代碼的某些功能做一個簡單轉換。在其他情況下,最佳的做法可能是用 ADO 的新功能重寫該應用程序。
包含在 DAO 和 RDO 模型中的許多功能被合並為單個對象,這樣就生成了一個簡單得多的對象模型。然而,由於這個原因,起初可能會覺得找到合適的 ADO 對象、集合、屬性、方法,或事件非常困難。與 DAO 和 RDO不同的是,盡管 ADO 對象是分層結構的,但在分層結構范圍之外也是可以創建的。同時,也應當注意,ADO 當前並不支持 DAO 的所有功能。ADO 主要包括 RDO 風格的功能性,以便和 OLE DB 數據源交互,另外還包括遠程和 DHTML 技術。
一般說來,在 ADO 的演化過程中,馬上把大多數 DAO 應用程序(except possibly是那些使用 ODBCDirect 的應用程序)移植到 ADO 上為時太早,因為當前的 ADO 並不支持數據定義 (DDL)、用戶、組等等。不過,如果只將 DAO 用於客戶—伺服器應用程序,並不依賴於 Jet 資料庫引擎或不使用 DDL,那麼就可能移植到 ADO。最終,Microsoft 將提供一個 ADO DDL 組件來幫助進行 DAO 到 ADO 的移植,並為 OLE DB 供應商提供一般的 DDL 支持。
在ASP中使用ADO技術來訪問Web資料庫,其應用前景是無可估量的。原理圖如下:
圖2 ADO在ASP程序中的應用
2 Web資料庫管理系統
常見的資料庫類型有面向對象的資料庫(OODB)和關系型資料庫。OODB對主流資料庫應用開發來說是相當新穎的,使用OODB使應用程序中的數據對象與現實世界中的對象一一對應,面向對象資料庫擴充了對象模型。一個常用的對象模型是由對象資料庫管理組(ODMG)開發出來,具有比傳統的關系資料庫更優越的性能,但畢竟在目前還是一種探索階段,暫時還未有相應的技術普及。
關系資料庫已經是資料庫體系的世界標准。當開發一個數據驅動應用程序時,大多數情況下用戶需要訪問網路(如Internet、Intranet等)上的數據信息,就RCDS就是建立在網路的信息通訊之上,是完全的客戶機/伺服器應用程序。
SQL Server是一個可縮放、高性能的關系型資料庫管理系統(RDBMS),它的設計是為了滿足分布式客戶/伺服器計算的需要,允許客戶應用程序使用幾個特定的工具和技術控制從伺服器檢索的數據。這些包括觸發器、存儲過程和規則的選項。因此,系統採用MS SQL Server7.0作為後台資料庫。
3 Web資料庫結構
數據模型通常有層次模型、網狀模型、關系模型及OO(面向對象)模型等。其中關系模型是建立在數學概念基礎之上的一種模型,由若干個關系框架組成的集合,它也是到目前為止最為成熟的一種資料庫類型。本文RCDS採用MS SQL Server作為後台資料庫,根據資料庫工具和資料庫特點,開發出一套可靠健壯的數據存儲方案。
整個資料庫共有AdminData、ChatNames、DesignUnits、Message、OnlineUnits、Procts、RqtTasks、RqtTaskUnits、RqtDesignUnits、ShareData、Tasks、TaskUnits和UploadFiles等表格。在建立數據模型的時候首先考慮是要避免重復數據,也就是建立規范化資料庫。規范化資料庫可以通過被稱為範式水平的指標來衡量,級別有第一範式、第二範式和第三範式,通常第三範式就是要達到的目標,因為它提供了數據冗餘和開發簡易性之間的最好折衷。
RCDS資料庫正是按照第三範式標准來設計的,它保證了模型的精簡和表格的緊湊性。而第三範式標准也最大發揮了關系資料庫的優勢,圖3是部分表格的視圖鏈接情況。
圖3 關系表格視圖
4.1 並發控制的處理
在多個用戶同時訪問一個資料庫時就產生並發問題,特別是在其中一些用戶對資料庫有添加或刪除修改等操作時,那麼其他所獲得的數據可能是一塌糊塗,甚至造成整個數據訪問的沖突、終止,從而使系統發生混亂以至崩潰。RCDS採用的解決辦法是鎖定技術,總體上分為共享鎖定和排它鎖定兩種類型(如圖4)。前者是指同時有幾個過程共享一個鎖定,比如一個用戶(或客戶)正在讀取一個數據,雖然在這之前他已經對該數據設置了鎖(LOCK),但其他用戶同樣可以(也只能是)讀取它。而排他鎖定一般應用於對數據進行修改或更新(包括添加刪除等)操作,即是用戶在修改一個數據之前設置了鎖定,在一定的時間里其他用戶是不能訪問到該數據的,只有等待鎖定解除(UNLOCK)才能進行訪問到它,當然在計算機處理的時候,其他的用戶一般是感覺不到有這個等待時間的。通過這樣的處理,就保證了數據的一致性。
a) 共享鎖定
b) 排它鎖定
圖4 安全鎖定類型
在ADO進行資料庫操作時,它的鎖定類型相對來說復雜一些。打開記錄集時,可以指定鎖定類型。鎖定類型決定了當不止一個用戶同時試圖改變一個記錄時,資料庫應如何處理。ADO中的鎖定主要有以下四種類型:
l AdLockReadOnly 指定你不能修改記錄集中的記錄
l AdLockPessimistic 指定在編輯一個記錄時,立即鎖定它
l AdLockOptimstic 指定只有調用記錄集的Update方法時,才鎖定記錄
l AdLockBatchOptimstic 指定記錄只能成批地更新
在預設情況下,記錄集使用只讀鎖定。要指定不同的鎖定類型,可以在打開記錄集時包含這些鎖定常量之一。部分代碼如下:
… …
Set MyConn=Sever.CreateObject(「ADODB.Connection」)
//定義資料庫連接MyConn
Set RS=Sever.CreateObject(「ADODB.RecordSet」)
//定義返回數據記錄集
MyConn.Open 「ByktDB.dsn」//建立應用程序與數據源的連接
RS.Open 「SELECT * FROM Mytable」, MyConn, adOpenDynamic, adLockPessimistic
//進行資料庫操作,並且設置鎖定
RS.Close
MyConn.Close
… …
4.2產品數據一致性處理
數據的安全因素除了前面所提到的並行控制之外,還要考慮事務處理。網路資料庫有其不同的地方,例如:假設某個時間有一個設計人員在你的站點上索取一些設計信息,有關的設計信息存儲在兩個表中。一個表用來保存該設計者的信息,另一個表包含了要索取的設計信息。該設計人員的信息已經輸入了第一個表中。但是,就在這時,發生了意外情況,一道閃電擊中了你的伺服器,使第二個表沒有被更新。在這種情況下,一個健壯的系統就必須保證最後的結果是兩個表都沒有被更新過。這時候事務處理就發揮了重要的功效。
使用事務處理,你可以防止第二個表沒有被更新而第一個表被更新的情況出現:當一組語句構成一個事務處理時,如果一個語句沒有執行成功,則所有的語句都不成功。不管是針對多個表,還是進行表內多個記錄的操作,它們所需要的安全保證是一樣的。事務處理的實現代碼如下:
… …
Set MyConn=Sever.CreateObject(「ADODB.Connection」)
MyConn.Open 「ByktDB.dsn」
MyConn.BeginTrans //事務處理開始
MyConn.Execute 「INSERT DataTable(Num) Values(『3628』)」
MyConn.Execute 「INSERT Shipping (Address) VALUES(『Paris,France』)」
MyConn.CommitTrans //事務處理結束
MyConn.Close
… …
在上面這段代碼中,用BeginTrans方法和CommitTrans方法來標記事務處理的開始和結束。在BeginTrans方法被調用之後,CommitTRans方法被調用之前,不管出現什麼錯誤,兩個表都不會被更新,在這個過程中所有處理的數據都保持了完全可靠的一致性。
❹ 海洋油氣資源調查與評價資料庫系統的設計與實現
王剛龍李紹榮陳泓君曾繁彩
(廣州海洋地質調查局,廣州,510760)
第一作者簡介:王剛龍,男,1971年生,物探工程師,1995年畢業於長春地質學院電子儀器系電子儀器與測量專業,主要從事信息管理及信息研究工作。
摘要「海洋油氣資源調查與評價資料庫」是以海洋油氣資源調查工作為基礎,匯集大量海洋地質調查和油氣資源評價成果資料,綜合利用計算機、地理信息系統(GIS)、資料庫及網上發布等技術建設而成的,是一個為國家海洋礦產資源戰略決策、為海洋經濟建設、為今後的海洋地質調查和科研項目及可持續發展提供全面、准確基礎資料和決策依據的專業化信息管理系統。文中重點介紹了系統資料庫的建設及系統功能的開發的思路。
關鍵詞油氣資源GIS海洋勘查資料庫網上發布
1意義
我國海域蘊藏著豐富的油氣資源。數十年來,我國在海域油氣資源調查方面,取得了大量的海洋地質調查成果資料和油氣資源評價資料,這些資料凝結著廣大科技工作者的勞動結晶。以尋找海洋油氣資源為目的的海洋地質調查工作投入高昂,從海上資料和數據採集到陸上資料處理、解釋、研究,直至編寫成果報告、編製成果圖件,各個環節都要投入大量人力、物力、設備和資金。應用先進的信息技術建立海上油氣地質調查資料與資源評價資料庫系統,將會提高我國的海洋地質調查資料管理和服務水平,使海洋地質調查和資源評價資料更好地為國家海洋礦產資源戰略決策、為國家經濟建設、為今後的海洋地質調查和科研項目服務。
2系統設計
本系統的目標是應用資料庫技術、網路技術、地理信息系統技術開發一套技術上較先進的資料庫應用系統,將油氣資源及評價相關的數據和調查資料進行管理,綜合應用多項技術,實現資料全文、電子圖件、各種媒體資料的網上瀏覽、查詢和統計分析。滿足海洋油氣地質調查資料和資源評價數據管理的需要和從事海洋油氣地質調查和科研人員利用資料的需要。
2.1資料庫設計及建設
針對海洋油氣地質調查成果的資料形式,建立一個適用於海洋地質資料管理和利用的資料庫系統。建庫工作包括資料庫設計、資料檔案目錄數據、成果報告全文電子文件、成果報告附圖掃描圖片電子文件、資源評價數據的整理、錄入。
2.2應用軟體開發
要實現的系統基本功能包括:資料目錄數據和全文內容電子文件的錄入、編輯修改、資料歸檔管理、資料借閱管理、資料目錄報表輸出、目錄輸出、圖像顯示和輸出、電子版圖件和文字資料下載、遠程資料查詢和傳送、網路環境下客戶端瀏覽器的電子地圖、全文、聲像文件的顯示/播放和操作、資料庫文件備份等。
軟體開發工作包括三套應用軟體:①「地質資料管理系統」,使用者為資料管理人員;②「資源評價數據管理系統」,使用者為油氣資源評價數據收集和錄入人員;③「地質資料查詢系統」,供普通科技人員通過Intranet/Internet網瀏覽查詢資料全文、電子圖件和目錄數據內容。以上三個應用系統均使用同一個資料庫系統,前二者對數據維護,後者從資料庫讀取數據。
2.3系統集成工作
實現伺服器和客戶機的連接和組網;後台資料庫伺服器與客戶端的連接;原有資料目錄數據導入處理;新數據錄入載入;WEB站點的建立;MapGis-IMS互聯網地圖伺服器的安裝建立和矢量圖形數據的整理載入,信息系統開發的三個應用軟體與上述各系統的整合。
3系統總體結構
從邏輯上看,整個系統由「地質資料管理系統」、「資源評價數據管理系統」、「地質資料查詢系統」三個應用系統和後台的資料庫系統4個部分組成(圖1),其中「地質資料查詢系統」又由WEB伺服器、MapGis-IMS互聯網地圖服務伺服器、伺服器端腳本程序以及0040資料庫介面、ODBC資料庫介面、MapGis資料庫引擎等多個軟體部件組成。
3.1C/S結構應用軟體
「地質資料管理系統」和「資源評價數據管理系統」,僅限於資料管理員和數據維護人員使用,為提高系統安全,採用C/S結構。選用Power Builder集成開發環境作為C/S應用軟體的開發工具。Power Builder是專用於開發資料庫應用軟體的工具,具備支持ORACLE等大型資料庫平台的介面,提供特色的數據窗口控制項,把常用的資料庫操作封裝在數據窗口控制項中,提供開發語言Power Script,是開發資料庫應用軟體的高產開發工具。
3.2B/S結構應用軟體
「地質資料查詢系統」面向所有普通用戶,要求不需要學習就能讓用戶使用,因此該應用軟體結構採用B/S結構。「地質資料查詢系統」涉及幾項工作,分別選用的如下:
(1)微軟公司的IIS5.0(Internet Information Server),在WEB伺服器上建立網站。
(2)WEB應用軟體,由於WEB應用軟體的開發工具非常多,在應用軟體開發中使用了多種技術和方法,包括:①語言:HTML、ASP、VB Script、Jscript、Action Script等;②數據介面:()DBC介面,004()介面;③開發工具:InterDev、Flash等。
(3)我國中地公司的MapGis-IMS互聯網地圖伺服器實現電子地圖瀏覽。
圖1系統總體結構
Fig.1System construction chart
4系統資料庫設計
本系統的數據主要是地質資料,包括地勘項目或科研項目完成後以成果報告和圖件形式提交的資料,及在項目進行中產生的各種文件材料以及與資料或檔案材料內容一致的電子文件。
4.1從應用系統的數據管理來看,三個應用系統分別管理三類數據
(1)地質資料數據
由「地質資料管理系統」維護的資料目錄、報告全文以及各種多媒體的電子文件數據。
1)目錄數據:成果報告、檔案、圖件等實體的目錄數據,是描述這些實體屬性特徵的數據。例如成果報告的名稱、編者、提交單位等。
2)文字材料的全文:成果報告、審核類文字材料(如評審意見書)的內容,在計算機中以電子文件形式存儲,按照「國土資源部成果地質資料電子文件匯交格式(SZ1999002-2001)」的規定,要以WORD軟體的.DOC文件格式存儲。
3)多媒體資料的電子文件:包括聲音、圖像、視頻、動畫、幻燈片等電子文件。
(2)油氣資源評價數據
與油氣資源評價相關事物的屬性數據,包括調查活動、構造、油氣田、油氣探井等。
(3)電子圖件數據
由MapGis-IMS軟體維護的矢量型圖形數據,分別屬於「成果地質資料電子文件匯交格式(SZ1999002-2001)」標准規定的第一類附圖和第二類附圖的電子文件格式,可由「地質資料查詢系統」讀取顯示在瀏覽器中的數據。其在資料庫中存儲結構是MapGis-IMS開發者設計的。
4.2地質資料各實體關系
本信息系統工作重點是地質資料的管理和查詢服務,主要是對地質資料資料庫設計和資料庫集成和應用開發。
地質資料各實體關系如圖2。
圖2地質資料數據E-R模型
Fig.2Geological data structure E-R model chart
需要說明的是,一份成果報告,有多個全文電子文件。一份報告的全文按照報告章節分成多個電子文件,是一對多的關系,而不是一對一。這是考慮避免用戶在網上閱讀報告全文時,每次都要從資料庫取出整個報告的全文內容傳送到本地瀏覽器中,從而增加網路數據傳輸量和資料庫伺服器的負擔,造成等待而使用戶感覺應用軟體運行速度過慢。
根據資料數據模型、現行的資料管理辦法和資料著錄標准,確定各資料庫結構及定義,共設計了3類17個數據表組成系統的資料庫。電子地圖數據表則由商品化軟體設計管理。
(1)地質資料資料庫表
包括報告基本信息表、報告附圖信息表、檔案總目錄信息表、檔案明細信息表、圖件資料信息表、資料電子文件信息表等。
(2)資料管理事務庫表
包括成果資料移交信息表、成果資料報送信息表、資料借還信息表、資料訪問日誌信息表、用戶基本信息表等。
(3)油氣評價資料庫表
包括局部構造信息表、圈閉信息表、調查工作量信息表、油氣田信息表、油氣資源評價信息表、油氣探井信息表等。
在資料庫管理系統伺服器端,用PL/SQL語言編寫建立庫數據表、表空間、序列、觸發器等的命令代碼文件,可在ORACLE的SQL-PLUS環境下自動執行完成相應對象的建立。
4.3伺服器端的後台資料庫系統
採用ORACLE資料庫管理系統,用PL/SQL語言編寫命令文件,在SQL-PLUS環境中執行,完成各種建庫和維護操作,使建庫、建立序列、建立觸發器、數據導入程序化執行。直接利用DBA STUDIO可視化資料庫管理工具,進行資料庫表、用戶賬號密碼、各種許可權、序列、觸發器等的維護和管理。用ORACLE提供的BLOB二進制大對象數據塊欄位類型,實現成果報告全文、圖件資料的縮略圖等電子文件的入庫管理。
5系統功能實現
「地質資料管理系統」(GDMS)和「資源評價數據管理系統」,開發採用Power Builder軟體的Power Script語言開發,與後台資料庫連接採用Power Builder提供的ORACLE專用介面實現。軟體結構採用客戶機/伺服器(C/S)結構。
5.1地質資料管理系統
根據用戶對地質資料檔案管理過程的需求,該系統需基本具備對數據的輸入、維護、查詢、統計、借閱、輸出、備份等模塊。為了保證數據的安全性,增加了憑密碼、賬號登錄功能及用戶管理,設置了系統管理員、資料管理員和普通用戶三種許可權,防止非法用戶訪問資料。普通用戶只能對資料進行查詢,不能對資料進行添加或修改等操作,資料管理員有權對資料進行添加、修改、查詢等操作,而系統管理員則許可權最大,增加了對用戶管理表和系統日誌信息表進行維護的許可權。為了使用戶更好地掌握本系統,還必須建立聯機幫助模塊。本系統各個主要模塊之間的關系如圖3所示。
圖3地質資料管理系統主要模塊關系示意圖
Fig.3Geological data management system mole chart
5.2資源評價數據管理系統
「資源評價數據管理系統」管理對象是與油氣資源評價有關的構造、油氣資源、油氣田、油氣探井、資源評價數據的信息,功能上主要側重於油氣評價數據的維護。如錄入新數據、數據查詢與修改、數據備份/恢復和在線幫助。數據的安全性採用與地質資料管理系統相同的安全機制。考慮到PowerBuilder程序編制的特點,採用如圖4所示的系統功能模塊圖。
5.3地質資料查詢系統
「地質資料查詢系統」實際是一個WEB應用軟體系統,由網頁組成的,這與傳統的結構化應用程序不同,也與可視化集成環境下開發的窗體應用軟體結構不同。傳統的應用程序,結構明顯,由各模塊組成,模塊之間通過參數傳遞實現模塊間的聯系,模塊通過調用執行。可視化集成環境下開發的窗體應用軟體,是由各種窗體、表單、模塊、各種對象組成,代碼執行是通過消息和事件驅動的。「地質資料查詢系統」則由許多網頁組成,網頁中嵌入了可執行的腳本程序、Java小程序、控制項等,必須在WEB伺服器上建立網站運行,與WEB伺服器上的各種應用服務一起實現特定的應用功能。
圖4系統功能模塊圖
Fig.4Evaluation data management System mole chart
WEB伺服器採用的是微軟公司的IIS5.0(Internet Information Server),實現網站建立和管理。圖件資料電子地圖的發布查詢瀏覽功能採用中地公司的MapGis-IMS互聯網地圖伺服器,電子地圖的圖形數據文件存放在伺服器上的資料庫中或磁碟上,應用程序可通過資料庫引擎讀取圖形數據,電子地圖的目錄數據則放在ORACLE資料庫中。對ORACLE資料庫中的以BLOB二進制大對象數據塊存儲的成果報告全文和圖件縮略圖等電子文件的讀取,是通過ORACLE提供的0040數據介面實現。應用程序編程語言包括ASP、HTML、VB Script、Jscript、Action Script等,在Visual InterDev6.0集成開發平台完成開發工作。
圖5的系統結構圖中列出了地質資料查詢系統的菜單和網頁功能及其調用順序。
6結束語
項目開發的系統是一個網路化的信息系統,分成前台應用軟體和後台資料庫系統兩部分。本系統採取的技術路線是:採用商用大型資料庫管理系統軟體在後台對數據管理和維護,前台應用軟體採用針對資料庫應用軟體開發的可視化集成開發環境(工具)進行開發工作。這樣,資料庫的物理結構設計及實現、數據維護管理、資料庫網路連接介面等問題交由後台的商用資料庫管理系統去完成,減少了系統開發難度,提高系統的穩定性和可靠性。
本系統的資料庫應用實例已完成開發和在工作中運行,建成的系統具有如下特點:①實用性強;②系統的用戶群體廣;③系統功能滿足了日常工作中的資料管理和資料查閱的需求,系統建成後能夠繼續得到日常維護;④系統提供的資料內容多樣化,有全文資料和電子地圖;⑤實現Intranet/Internet網路化服務,系統易使用和操作,適用於地質資料的社會化服務;⑥與當前國家關於地質資料信息化要求及相關標准相吻合。
圖5地質資料查詢系統功能結構圖
Fig.5Geological data retrieval system mole chart
參考文獻及資料
地礦部北京計算中心和石油地質研究所,1990.油氣資源普查勘探資料庫系統研製報告(地礦部科技發展項目86166)
胡存生.2001.Powerbuilder 7.0高級開發實例與技巧.北京:電子工業出版社
王慶瑞.1998.數據結構,北京出版社
武漢中地信息工程有限公司.MAPGIS Internet Map Server開發手冊
張文新.1999.Internet程序設計java&HTML.哈爾濱:哈爾濱工程大學出版社
Kevin Loney.2000.Oracle 8i DBA Handbook.北京:機械工業出版社
Designing and Implememtation of Petroleum and Gas Resources Survey&Evaluation DBMS of Ocean
Wang Ganglong Li Shaorong Chen Hongjun Zeng Fancai
(Guangzhou Marine Geology Survey,Guangzhou,510760)
Abstract:Based on the data from petroleum and gas resources survey,as well as from marine geological survey,evaluation and material,petroleum and gas resources survey&evalu-ation DBMS(Pgrs&eDBMS)is formed by using computer,GIS,database and WEB development technology.Pgrs&eDBMS is a professional information management system for providing comprehensive and actual data as well as dicision-making basis for marine mineral resources survey,marine economic construction,science research and sustainable marine development.This paper focuses on introcing the establishment of database of Pgrs&eDBMS and the development of its function.
Key Word:Petroleum resourcesGISMarine surveyDatabaseOnline distribution.
❺ 請問問卷調查系統的資料庫應該如何設計
好好利用網路,上面好多
❻ 如果要建立一個教務管理信息系統,那麼對應的資料庫在需求分析階段應該調查哪
系統目標,系統功能描述,建立數據流圖和數據字典。就是要確認這個系統要實現什麼功能,然後決定實體,分析他們的關系,一對多還是多對一,再畫er圖,然後轉成關系模型。