當前位置:首頁 » 服務存儲 » 信息資料的存儲
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

信息資料的存儲

發布時間: 2022-09-21 01:57:47

A. 如何對信息文件資料進行存儲謝謝了,大神幫忙啊

1.登記 (1)登記的含義:登記即建立信息的完整記錄 (2)登記分為兩種類型,分別是總括登記,即對存儲信息按批分類登記;個別登記,即按信息存儲順序逐件登記 (3)登記的形式有兩種:卡片式登記、簿冊式登記 2.編碼 (1)編碼要求:編碼結構應表示出信息的組成方式及關系 (2)編碼步驟:分析所有預編信息;選擇最佳的編碼方法;確定數碼的位數。 (3)編碼的兩種方法:順序編碼法及按信息發生的先後順序或統一標准編碼;分組編碼法即利用十進位阿拉伯數字按後續數字來分別信息的大、小類

B. 信息怎麼儲存

計算機通過存儲系統來完成信息的保存和提取。

存儲系統是指計算機中由存放程序和數據的各種存儲設備、控制部件及管理信息調度的設備(硬體)和演算法(軟體)所組成的系統。計算機的主存儲器不能同時滿足存取速度快、存儲容量大和成本低的要求,在計算機中必須有速度由慢到快、容量由大到小的多級層次存儲器,以最優的控制調度演算法和合理的成本,構成具有性能可接受的存儲系統。

在計算機系統中存儲層次可分為高速緩沖存儲器、主存儲器、輔助存儲器三級。高速緩沖存儲器用來改善主存儲器與中央處理器的速度匹配問題。輔助存儲器用於擴大存儲空間。

信息存取過程中,存儲系統必須完成邏輯地址空間和物理地址空間之間的變換,並且合理地管理存儲系統資源。邏輯地址是指程序員編制的程序地址,由它構成邏輯地址空間。程序主存儲器中的實際地址稱為物理地址,由它構成物理地址空間。存儲映像基本上分為兩種情況:一種是邏輯地址空間小於物理地址空間,映像要求可以訪問所有的物理存儲器;另一種是邏輯地址空間大於物理地址空間,映像要確定每個邏輯地址實際所對應的物理地址。

最後補充下「靜態內存」和「動態內存「的區別:

1.靜態內存是指在程序開始運行時由編譯器分配的內存,它的分配是在程序開始編譯時完成的,不佔用CPU資源。程序中的各種變數,在編譯時系統已經為其分配了所需的內存空間,當該變數在作用域內使用完畢時,系統會自動釋放所佔用的內存空間。變數的分配與釋放,都無須程序員自行考慮。如:基本類型,數組。

2.動態內存:用戶無法確定空間大小,或者空間太大,棧上無法分配時,會採用動態內存分配。

3.二者區別:

a) 靜態內存分配在編譯時完成,不佔用CPU資源; 動態內存分配在運行時,分配與釋放都佔用CPU資源。

b) 靜態內存在棧(stack)上分配; 動態內存在堆(heap)上分配。

c) 動態內存分配需要指針和引用類型支持,靜態不需要。

d) 靜態內存分配是按計劃分配,由編譯器負責; 動態內存分配是按需分配,由程序員負責。

C. 古代和現代信息存儲的方法和工具有什麼區別

1、信息載體

最早,數手指頭、結繩記事、石頭代替法、在洞穴岩壁上繪畫; 之後竹簡、木簡、金屬容器表面、帛、絲綢、蔡倫造紙、闊葉植物的葉子(熱帶地區)、動物皮、紙張等。

如今,紙張是人們較為廣泛使用的信息載體,而且磁性存儲介質、電子信息存貯介質,光學存儲介質等也已滲入你我的生活。

未來,人們會探索儲存密度更大,存儲狀態更穩定的信息載體。如生物存儲——用DNA存儲信息。

2、記錄方法

最早,「以物記物」或「借物記物」,即用更易於攜帶的事物代替所要記錄的事物,但此時所有的「物」都是現實意義上的物。 之後,人類懂得了用更加簡練的符號代替事物。從「象形文字」到後來不斷發展更新的的「現代文字」。

而且,隨著計算機的發展,人們利用二進制數字的簡潔特點,將二進制數字與信息通過公式轉換進行關系對應,從而能利用上面所說的磁性存儲介質(磁碟)光學存儲介質(光碟)或電子信息存貯介質(內存、U盤)進行記錄。

3、信息處理工具
手稿演算,算盤,計算器等.

(3)信息資料的存儲擴展閱讀:

信息儲存是將獲得的或加工後的信息保存起來,以備將來應用。信息儲存和數據儲存應用的設備是相同的,但信息儲存搶跳儲存的思路,為什麼要儲存這些數據,以什麼方式儲存這些數據、存在什麼介質上,將來有什麼用處,對決策可能產生的效果是什麼等。只有正確的舍棄信息,才能正確使用信息。

信息儲存和數據儲存應用的設備市相同的,但信息儲存強調儲存的思路,即為什麼要儲存這些數據,以什麼方式儲存這些數據,存在什麼介質上,將來有什麼用處,對決策可能產生的效果是什麼等。

參考資料:信息存儲—網路

D. 文本信息的存儲格式有哪些

1、HTML

HTML作為一種編程語言,有指定的語法規則。超文本傳輸協議規定了瀏覽器在運行HTML文檔時所遵循的規則和進行的操作。協議的制定使瀏覽器在運行超文本時有了統一的規則和標准。

2、PDF

PDF具有良好的加密特性,一般很多企業單位在辦公時候都會有一些比較重要的文件,考慮到因素都會對文檔進行加密保護,從而有效地避免PDF文檔被人列印、修改。

3、JPEG

JPEG它可以把文件容量壓縮到最小的格式。JPG支持不同程度的壓縮比,您可以視情況調整壓縮倍率,壓縮比越大,品質就越低;相反地,壓縮比越小,品質就越好。不過要注意的一點是,這種壓縮法屬於失真型壓縮,文件的壓縮會使得圖形品質下降。

4、GIF

GIF採用LZW壓縮演算法來存儲圖像數據,並採用了可變長度等壓縮演算法。GIF的圖像深度從1 bit到8 bit,也即GIF最多支持256種顏色的圖像。

GIF格式的另一個特點是其在一個GIF文件中可以存多幅彩色圖像,如果把存於一個文件中的多幅圖像數據逐幅讀出並顯示到屏幕上,就可構成一種最簡單的動畫。

5、PSD

PSD其實是Photoshop進行平面設計的一張"草稿圖",這種格式包含了圖形中的圖層、通道、遮罩、選取區等Photoshop可以處理的屬性,這樣全方位的儲存如果運用得當的話,幾乎可以將您創作的過程留下完整的紀錄,以便於下次打開文件時可以修改上一次的設計。

E. 計算機中所有信息的存儲都採用

二進制。

二進制(binary)在數學和數字電路中指以2為基數的記數系統,以2為基數代表系統是二進位制的。這一系統中,通常用兩個不同的符號0(代表零)和1(代表一)來表示。

數字電子電路中,邏輯門的實現直接應用了二進制,因此現代的計算機和依賴計算機的設備里都用到二進制。

(5)信息資料的存儲擴展閱讀

二進位計數制僅用兩個數碼。0和1,所以,任何具有二個不同穩定狀態的元件都可用來表示數的某一位。而在實際上具有兩種明顯穩定狀態的元件很多。例如,氖燈的"亮"和"熄";開關的」開「和」關「。

電壓的」高「和」低「、」正「和」負「;紙帶上的」有孔「和「無孔」,電路中的」有信號「和」無信號「, 磁性材料的南極和北極等等,不勝枚舉。

利用這些截然不同的狀態來代表數字,是很容易實現的。不僅如此,更重要的是兩種截然不同的狀態不單有量上的差別,而且是有質上的不同。這樣就能大大提高機器的抗干擾能力,提高可靠性。

F. 計算機中的信息都是以什麼形式存放的

計算機中所有信息都是以二進制的形式存儲在電腦內部的。

二進制(binary)在數學和數字電路中指以2為基數的記數系統,以2為基數代表系統是二進位制的。這一系統中,通常用兩個不同的符號0(代表零)和1(代表一)來表示。

數字電子電路中,邏輯門的實現直接應用了二進制,因此現代的計算機和依賴計算機的設備里都用到二進制。每個數字稱為一個比特(Bit,Binary digit的縮寫)。



(6)信息資料的存儲擴展閱讀:

計算機採用二進制原因

1、二進位計數制僅用兩個數碼。0和1,所以,任何具有二個不同穩定狀態的元件都可用來表示數的某一位。而在實際上具有兩種明顯穩定狀態的元件很多。

2、二進位計數制的四則運算規則十分簡單。而且四則運算最後都可歸結為加法運算和移位,這樣,電子計算機中的運算器線路也變得十分簡單了。不僅如此,線路簡化了,速度也就可以提高。這也是十進位計數制所不能相比的。

3、在電子計算機中採用二進製表示數可以節省設備。可 以從理論上證明,用三進位制最省設備,其次就是二進位制。但由於二進位制有包括三進位制在內的其他進位制所沒有的優點,所以大多數電子計算機還是採用二進制。


G. 儲存信息的原理

U盤是晶元.
硬碟是碟片.
u盤是半導體材料製作的,記錄的加電的信號
硬碟是磁碟,就象磁帶一樣的東西,不過它有扇區,柱面,磁軌,磁頭==

一、U盤基本工作原理
U盤是採用Flash晶元存儲的,Flash晶元屬於電擦寫電門。在通電以後改變狀態,不通電就固定狀態。所以斷電以後資料能夠保存。
Flash晶元的擦寫次數在10萬次以上,而且你要是沒有用到後面的空間,後面的就不會通電

通用串列匯流排(Universal serial Bus)是一種快速靈活的介面,

當一個USB設備插入主機時,由於USB設備硬體本身的原因,它會使USB匯流排的數據信號線的電平發生變化,而主機會經常掃描USB匯流排。當發現電平有變化時,它即知道有設備插入。

當USB設備剛插入主機時,USB設備它本身會初始化,並認為地址是0。也就是沒有分配地址,這有點象剛進校的大學生沒有學號一樣。

正如有一個陌生人闖入時我們會問「你是什麼人」一樣,當一個USB設備插入主機時,,它也會問:「你是什麼設備」。並接著會問,你使用什麼通信協議等等。當這一些信息都被主機知道後,主機與USB設備之間就可以根據它們之間的約定進行通信。

USB的這些信息是通過描述符實現的,USB描述符主要包括:設備描述符,配置描述符,

介面描述符,端點描述符等。當一個U盤括入主機時,你立即會發現你的資源管理器里多了一個可移動磁碟,在Win2000下你還可以進一步從主機上知道它是愛國者或是朗科的。這里就有兩個問題,首先主機為什麼知道插入的是移動磁碟,而不是鍵盤或列印機等等呢?另外在Win2000下為什麼還知道是哪個公司生產的呢?其實這很簡單,當USB設備插入主機時,主機首先就會要求對方把它的設備描述符傳回來,這些設備描述符中就包含了設備類型及製造商信息。又如傳輸所採用的協議是由介面描述符確定,而傳輸的方式則包含在端點描述符中。

USB設備分很多類:顯示類,通信設備類,音頻設備類,人機介面類,海量存儲類.特定類的設備又可分為若乾子類,每一個設備可以有一個或多個配置,配置用於定義設備的功能。配置是介面的集合,介面是指設備中哪些硬體與USB交換信息。每個與USB交換信息的硬體是一個端點。因些,介面是端點的集合。

U盤應屬於海量存儲類。

USB海量存儲設備又包括通用海量存儲子類,CDROM,Tape等,U盤實際上屬於海量存儲類中通用海量存儲子類。通用海量存儲設備實現上是基於塊/扇區存儲的設備。

USB組織定義了海量存儲設備類的規范,這個類規范包括4個獨立的子類規范。主要是指USB匯流排上的傳輸方法與存儲介質的操作命令。

海量存儲設備只支持一個介面,即數據介面,此介面有三個端點Bulk input ,Bulk output,中斷端點

這種設備的介面採用SCSI-2的直接存取設備協議,USB設備上的介質使用與SCSI-2以相同的邏輯塊方式定址

二、 Bulk-Only傳輸協議

當一個U盤插入主機以後,主機會要求USB設備傳回它們的描述符,當主機得到這些描述符後,即完成了設備的配置。識別出USB設備是一個支持Bulk-Only傳輸協議的海量存儲設備。這時應可進行Bulk-Only傳輸方式。在此方式下USB與設備之間的數據傳輸都是通過Bulk-In和Bulk-Out來實現的。

硬碟,英文名稱是 Hard disk,發明於1950年。開始的時候,它的直徑長達20英寸;並且只能容納幾MB(兆位元組)的信息。最初的時候它並不稱為Hard disk ,而是叫做「fixed disk"或者"Winchester"(IBM產品流行的代碼名稱);如果在某些文獻里提到這些名詞,我們知道它們是硬碟就可以了。隨後,為了把 硬碟的名稱與"floppy disk"(軟盤)區分開來,它的名稱就演變成了"hard disk"。硬碟的內部有磁碟,作為保存信息的磁介質;而磁帶和軟盤裡面則使用柔韌的塑料薄膜作為磁介質。

在簡單的標准上,硬碟與盒式磁帶並沒有太大的區別。所有的硬碟和盒式磁帶都使用相同的磁性技術錄制信息,這點將在「磁帶錄音機是怎麼工作的有介紹」,但這已經不是屬於IT硬體的范疇了。硬碟和磁帶錄音機都從磁存儲技術獲得最大的效益--磁介質可以輕易地進行擦除和復寫,並且信息將記錄在磁軌里,儲存 的信息可以永久保存。
想明白硬碟工作原理的最好途徑是看清楚它的內部結構。注意:打開硬碟會損壞硬體,因此朋友們不要自己嘗試,當然你有一個損壞的硬碟就另當別論了。
硬碟使用了鋁片把表面給密封了起來,而另外的一邊則布滿了控制用的電子元件。電子控制器控制硬碟的讀/寫機制,還有轉動碟片的馬達。電子元件還把硬碟磁區域的信息匯編成byte(讀),並把bytes轉化為磁區域(寫)。這些電子元件被裝配在與硬碟碟片分開的小電路板上。
在電路板下面是連接碟片的馬達,還有採用了高度過濾的通風孔,以便維持硬碟內部和外部的空氣壓力平衡。
移開了硬碟的頂蓋之後,展現在大家眼前的是非常簡單但卻精密的內部結構。
碟片--當硬碟在工作的時候,它可以轉動5,400或者72,00 rpm(通常的情況下,當然最快也有10,000rpm,SCSI硬碟甚至達到了15,000rpm)。這些碟片製造的時候有驚人的精確度,並且表面如鏡子般光滑。(你甚至還在碟片里看到了作者的肖像)
臂--位於左上角,是用來保持磁頭的讀/寫 控制機制,能夠把磁頭從碟片的中心移動到硬碟的邊緣。臂和它的移動機制相當的輕,並且速度飛快。普通的硬碟每秒可以在碟片中心和邊緣之間來會移動50次,如果用肉眼看的話,速度真的是非常驚人。
為了增加硬碟儲存的信息量,很多硬碟都使用了多碟片的設計。我們打開的硬碟有三個碟片和6個讀/寫的磁頭。
硬碟裡面保持臂的移動速度和精確度都達到了不可置信的地步,它使用了高速的線性馬達。
很多硬碟使用了音圈(Voice coil)的方法來移動臂部--與你的立體聲系統中揚聲器使用的技術類似。

數據的儲存
數據儲存在碟片表面的扇區(Sector)和磁軌(track)里,磁軌是一系列的同心圓,而扇區則是磁軌組成的圓狀表面,如下:
上圖黃色部分展示的就是典型的磁軌,而藍色部分則是扇區。扇區包括了固定數量的byte---例如,256或者512byte。無論是在硬碟還是在操作系統水平,扇區都通常組成群集(cluster)。
硬碟的低級格式化過程在碟片上建立了扇區和磁軌,每個扇區的開始和結束部分都被寫到了碟片上,這個處理使硬碟准備開始以byte的形式保持數據。高級格式化則寫入文件儲存的結構,例如把文件分配表寫入到扇區,這個過程使硬碟准備保持文件。

H. 在一家公司上了兩天班自離了,資料信息能保存多久

在許多中小型企業,自身管理不完善,根本沒有HR單位,惹人呀,合同書呀,全是辦公室人員做兼職的,在這種情況下,不管老總對外開放吹噓的企業經營管理有多完善,在HR信息管理方法這一款,員工辭職後,信息很難得到合理儲存的,有些乃至針對職工信息,都滯留在手機通訊錄的層面上,日趨完善的正規公司,以紙制為主導的,很有可能儲存1-3年,針對一些出示經營規模的企業,擁有專業的資料管理員,那樣在管理體繫上,便會確立的要求各種材料的保留周期時間,到期的檔案及其材料,會按時消毀,一般不是很關鍵的材料文檔,如個人簡介等,儲存周期時間以1-3年比較多,有在線系統的大企業,信息有可能是永久的

換句話說,自員工在用人公司工作中的第一天,即彼此建立勞動關系之日起,用人公司就應當為員工繳納社會保險費。用人公司理應在消除或是勞動合同解除時開具消除或是勞動合同解除的證實,請在十五日內為員工辦理檔案和社保的關系遷移辦理手續。員工理應按照彼此承諾,申請辦理交接工作。用人公司按照此方法有關規定理應向職工付款經濟補償金的,在受理交接工作時付款。用人公司對已消除或是停止的勞動合同書的文字,最少儲存二年備查簿。

I. 在計算機內部,信息的存儲、處理、傳送都是採用()。

二進制。

計算機採用二進制原因

首先,二進位計數制僅用兩個數碼。0和1,所以,任何具有二個不同穩定狀態的元件都可用來表示數的某一位。而在實際上具有兩種明顯穩定狀態的元件很多。

例如,氖燈的"亮"和"熄";開關的」開「和」關「; 電壓的」高「和」低「、」正「和」負「;紙帶上的」有孔「和「無孔」,電路中的」有信號「和」無信號「, 磁性材料的南極和北極等等,不勝枚舉。 利用這些截然不同的狀態來代表數字,是很容易實現的。

不僅如此,更重要的是兩種截然不同的狀態不單有量上的差別,而且是有質上的不同。這樣就能大大提高機器的抗干擾能力,提高可靠性。而要找出一個能表示多於二種狀態而且簡單可靠的器件,就困難得多了。

其次,二進位計數制的四則運算規則十分簡單。而且四則運算最後都可歸結為加法運算和移位,這樣,電子計算機中的運算器線路也變得十分簡單了。不僅如此,線路簡化了,速度也就可以提高。這也是十進位計數制所不能相比的。

第三,在電子計算機中採用二進製表示數可以節省設備。可 以從理論上證明,用三進位制最省設備,其次就是二進位制。

但由於二進位制有包括三進位制在內的其他進位制所沒有的優點,所以大多數電子計算機還是採用二進制。此外,由於二進制中只用二個符號 「 0」 和「1」,因而可用布爾代數來分析和綜合機器中的邏輯線路。 這為設計電子計算機線路提供了一個很有用的工具 。

第四,二進制的符號「1」和「0」恰好與邏輯運算中的「對」(true)與「錯」(false)對應,便於計算機進行邏輯運算。

(9)信息資料的存儲擴展閱讀:

一、十進數轉成二進數

整數部分,把十進制轉成二進制一直分解至商數為0。讀余數從下讀到上,即是二進制的整數部分數字。 小數部分,則用其乘2,取其整數部分的結果,再用計算後的小數部分依此重復計算,算到小數部分全為0為止,之後讀所有計算後整數部分的數字,從上讀到下。

二、二進制化為八進制

把二進制化為八進制也很容易,因為八進制以8為基數,8是2的冪(8=23),因此八進制的一位恰好需要三個二進制位來表示。八進制與二進制數之間的對應就是上面表格中十六進制的前八個數。二進制數000就是八進制數0,二進制數111就是八進制數7,以此類推。

J. 大數據下的地質資料信息存儲架構設計

頡貴琴 胡曉琴

(甘肅省國土資源信息中心)

摘要 為推進我國地質資料信息服務集群化產業化工作,更大更好地發揮地質資料信息的價值,本文針對我國現有的地質資料信息集群化共享服務平台存在的缺陷和問題,基於現有系統的存儲架構,設計了一種大數據下的地質資料信息存儲架構,以便於我國地質資料信息服務集群化產業化工作能夠適應大數據時代的數據存儲。

關鍵詞 大數據 地質資料 存儲 NoSQL 雙資料庫

0 引言

新中國成立60多年來,我國形成了海量的地質資料信息,為國民經濟和社會發展提供了重要支撐。但在地質資料管理方面長期存在資料信息分散、綜合研究不夠、數字化信息化程度不高、服務渠道不暢、服務能力不強等問題,使地質資料信息的巨大潛在價值未能得到充分發揮。為進一步提高地質工作服務國民經濟和社會發展的能力,充分發揮地質資料信息的服務功能,擴大服務領域,國土資源部根據國內外地質工作的先進經驗,做出了全面推進地質資料信息服務集群化產業化工作的部署。

目前,全國各省地質資料館都在有條不紊地對本省成果、原始和實物地質資料進行清理,並對其中重要地質資料進行數字化和存儲工作。然而,由於我國地質資源豐富,經過幾十年的積累,已經形成了海量的地質資料,數據量早已經超過了幾百太位元組(TB)。在進行地質資料信息服務集群化工作中,隨著共享數據量的不斷增大,傳統的數據存儲方式和管理系統必然會展現出存儲和檢索方面的不足以及系統管理方面的缺陷。為了解決該問題,需要設計更加先進的數據存儲架構來實現海量地質資料的存儲。

而大數據(Big Data)作為近年來在雲計算領域中出現的一種新型數據,科技工作者在不斷的研究中,設計了適合大數據存儲管理的非關系型資料庫NoSQL進行大數據的存儲和管理。本文將針對我國現有的地質資料信息集群化共享服務平台存在的缺陷和問題,利用大數據存儲管理模式的思想,提出一種海量地質資料存儲架構,改進現有系統存儲架構,以便於我國全面推進地質資料信息服務集群化產業化工作。

1 工作現狀

1.1 國內外地質資料信息的存儲現狀

在美國,主要有兩大地質資料公共服務平台,分別是地球科學信息中心(ESIC)、地球資源觀測和科學中心(EROS),其目的是通過為社會和政府提供更加便利、快速的地質信息服務。20世紀90年代初,澳大利亞出台了國家地球科學填圖協議,採用先進的科學方法和技術進行數據存儲,從而形成了第二代澳大利亞陸地地質圖。

目前,我國地質資料信息服務集群化產業化工作剛剛起步,雖然國土資源部信息中心已經開發了地質資料信息集群化共享服務平台,並倡導各地方用戶使用該系統。但由於各個地方早期的工作背景不一致,因此各地方所使用的存儲系統也不盡相同,主要有Access、SQL Server、Oracle、MySQL等系統。本文以國土資源部信息中心開發的地質資料信息集群化共享服務平台的存儲系統MySQL為例說明。該系統是基於關系資料庫管理系統MySQL的一套分布式存儲檢索系統。該系統的部署使得我國地質資料信息服務集群化產業化工作取得了重大進展,同時也為我國建立標准統一的地質資料信息共享服務平台和互聯互通的網路服務體系奠定了堅實的基礎。然而,該系統的研發並沒有考慮到地質資料信息進一步集群化以及在未來地質資料信息進入大數據時代的信息共享和存儲管理問題,也沒有給出明確的解決方案。

1.2 大數據的存儲架構介紹

大數據是近年在雲計算領域中出現的一種新型數據,具有數據量大、數據結構不固定、類型多樣、查詢分析復雜等特點。傳統關系型資料庫管理系統在數據存儲規模、檢索效率等方面已不再適合大數據存儲。NoSQL(Not Only SQL)是與關系資料庫相對的一類資料庫的總稱。這些資料庫放棄了對關系資料庫的支持,轉而採用靈活的、分布式的數據存儲方式管理數據,從而可以滿足大數據存儲和處理的需求。NoSQL基於非關系型數據存儲的設計理念,以鍵值對進行存儲,採用的數據字的結構不固定,每一個元組可以有不一樣的欄位,且每個元組可以根據自己的需要增加一些自己的鍵值對,可以減少一些檢索時間和存儲空間。目前,應用廣泛的 NoSQL 資料庫有 Google BigTable、HBase、MongoDB、Neo4 j、Infinite Graph等。

2 大數據下的地質資料信息存儲架構設計

根據國土資源部做出的全面推進地質資料信息服務集群化產業化工作的部署,國土資源部倡導全國地質資料館使用國土資源部信息中心開發的地質資料信息集群化共享服務平台,實現地質資料信息的存儲和共享。該系統採用了資料庫管理系統MySQL作為數據存儲系統。

為了與現有系統和現有的工作進行對接,並為將來地質資料進入大數據時代後的存儲工作做准備,本文設計了一種能用於海量地質資料信息存儲並且兼容MySQL的分布式的數據存儲架構(圖1)。

整個系統可以根據不同的用戶等級分為不同的用戶管理層,由於圖幅限制,在圖1 中僅僅展示了3級:國家級管理層(即共享服務平台用戶層)、省級管理層以及市級管理層(可根據實際需要延伸至縣級)。

每級管理層的每個用戶可以單獨管理一個伺服器。如國土資源部信息中心可以單獨管理一個伺服器;甘肅省國土資源信息中心可以單獨管理一個伺服器,陝西省國土資源信息中心可以單獨管理一個伺服器;甘肅的若干個市級國土資源局可以根據需要分別管理各自的伺服器。

在伺服器上分別安裝兩套資料庫管理系統,一套是原有的MySQL資料庫管理系統,另一套是為大數據存儲而配備的NoSQL型資料庫管理系統。在伺服器上還專門開發一個資料庫管理器中間件,用於進行用戶層和資料庫的通信以及兩套資料庫之間的通信。

由於各個管理層都各自維護自己的資料庫和數據。當用戶需要進行數據存儲時,他所影響的資料庫僅僅是本地資料庫,存儲效率較高;當用戶需要從多個資料庫讀取數據時,頂層的共享服務平台會根據用戶需求進行任務分解,將任務分發給下層的管理層進行資料庫讀取,由於各個資料庫並行讀取,從而提高了資料庫讀取效率。

圖1 大數據下的地質資料信息存儲架構框圖

2.1 用戶管理層

用戶管理層根據許可權范圍,分為多層(本文以3層為例)。

位於頂層的國家級管理層(共享服務平台用戶層)負責用戶訪問許可權的分配、與其直接關聯的資料庫的訪問、下級管理層任務的分配等工作。

用戶訪問許可權的分配是指為訪問本共享服務平台的個人用戶和單位用戶分配數據的使用許可權、安全性的設計等。

與其直接關聯的資料庫訪問是指直接存儲在其本地資料庫上的數據的訪問。在該資料庫中不僅要存儲所需要的地質資料,還要存儲注冊用戶信息等數據。

下級管理層任務分配是指如果用戶需要訪問多個下層資料庫,用戶只需要輸入查詢這幾個下層資料庫的命令,而如何查找下層資料庫則由該功能來完成。例如某用戶要查找甘肅、陝西、上海、北京的鐵礦分布圖,則用戶只需要輸入這幾個地方及鐵礦等查詢條件,系統將自動把各個省的資料庫查詢任務分派到下級管理層。

同理,位於下層的省級管理層和市級管理層除了沒有用戶訪問許可權功能外,其餘功能與國家級管理層是相同的。各層之間的資料庫通過互聯網相互連接成分布式的資料庫系統。

2.2 MySQL和NoSQL的融合

MySQL是關系型資料庫,它支持SQL查詢語言,而NoSQL是非關系型資料庫,它不支持SQL查詢語言。用戶要想透明地訪問這兩套資料庫,必須要設計資料庫管理器中間件,作為用戶訪問資料庫的統一入口和兩套資料庫管理系統的通信平台。本文所設計的資料庫管理器簡單模型如圖2所示。

圖2 資料庫管理器模型

伺服器管理器通過用戶程序介面與應用程序進行通訊,通過MySQL資料庫介面與MySQL伺服器通訊,通過NoSQL資料庫介面與NoSQL資料庫介面通訊。當應用程序介面接收到一條資料庫訪問命令之後,交由資料庫訪問命令解析器進行命令解析,從而形成MySQL訪問命令或者NoSQL訪問命令,通過相應的資料庫介面訪問資料庫;資料庫返回訪問結果後經過匯總,由應用程序介面返回給應用程序。

兩套資料庫可以通過雙資料庫通信協議進行相互的通信和互訪。此通信協議的建立便於地質工作人員將已經存入MySQL資料庫的不適合結構化存儲的數據轉存到NoSQL資料庫中,從而便於系統的升級和優化。

2.3 系統的存儲和檢索模式

在本存儲框架設計中,系統採用分布式網路存儲模式,即採用可擴展的存儲結構,利用分散在全國各地的多台獨立的伺服器進行數據存儲。這種方式不僅分擔了伺服器的存儲壓力,提高了系統的可靠性和可用性,還易於進行系統擴展。另外,由於地質資料信息存儲的特殊性,各地方用戶的數據存儲工作基本都是在本地伺服器進行,很少通過網路進行遠程存儲,所以數據存儲效率較高。

在一台資料庫伺服器上安裝有MySQL和NoSQL型兩套資料庫管理系統,分別用於存儲地質資料信息中的結構化數據和非結構化數據。其中,NoSQL型資料庫作為主資料庫,用於存儲一部分結構化數據和全部的非結構化數據;而MySQL資料庫作為輔助資料庫,用於存儲一部分結構化的數據,以及舊系統中已經存儲的數據。使用兩套資料庫不僅可以存儲結構化數據而且還可以適用於大數據時代地質資料信息的存儲,因此系統具有很好的適應性和靈活性。

2.4 安全性設計

地質資料信息是國家的機密,地質工作人員必須要保證它的安全。地質資料信息進入數字化時代之後,地質資料常常在計算機以及網路上進行傳輸,地質資料信息的安全傳輸和保存更是地質工作人員必須關注和解決的問題。在本存儲架構的設計中設計的安全問題主要有資料庫存儲安全、數據傳輸安全、數據訪問安全等問題。

資料庫設計時採用多邊安全模型和多級安全模型阻止資料庫中信息和數據的泄露來提高資料庫的安全性能,以保障地質信息在資料庫中的存儲安全;當用戶登錄系統訪問資料庫時,必須進行用戶甄別和實名認證,這主要是對用戶的身份進行有效的識別,防止非法用戶訪問資料庫;在對地質資料進行網路傳輸時,應該首先將數據進行加密,然後再進行網路傳輸,以防止地質信息在傳輸過程中被竊取。

3 結語

提高地質資料數字化信息化水平,是國外地質工作強國的普遍做法。為推進我國地質資料信息服務集群化產業化工作,本文針對我國現有的地質資料信息集群化共享服務平台存在的缺陷和問題,利用大數據存儲管理模式的思想,基於現有系統的存儲架構,設計了一種大數據下的地質資料信息存儲架構,以便於我國地質資料信息服務集群化產業化工作能夠適應大數據時代的數據存儲。該存儲架構的設計只涉及了簡單模型的構建,具體詳細復雜的功能設計和軟體實現還需要在進一步的研究工作中完成。

參考文獻

[1]吳金朋.一種大數據存儲模型的研究與應用[D].北京:北京郵電大學計算機學院,2012.

[2]吳廣君,王樹鵬,陳明,等.海量結構化數據存儲檢索系統[J].計算機研究與發展,2012,49(Suppl):1~5.

[3]黃

,易曉東,李姍姍,等.面向高性能計算機的海量數據處理平台實現與評測[J].計算機研究與發展,2012,49(Suppl):357~361.