當前位置:首頁 » 數據倉庫 » 資料庫建模實戰
擴展閱讀
web圖片處理 2022-06-24 18:07:51
家庭網路硬碟 2022-06-24 18:07:40
零一腳本 2022-06-24 18:04:41

資料庫建模實戰

發布時間: 2022-06-24 13:35:26

資料庫建模的介紹

在設計資料庫時,對現實世界進行分析、抽象、並從中找出內在聯系,進而確定資料庫的結構,這一過程就稱為資料庫建模。它主要包括兩部分內容:確定最基本的數據結構;對約束建模。

❷ Python3數據分析與挖掘建模實戰

❸ 數據建模的如何進行

概念建模
數據建模大致分為三個階段,概念建模階段,邏輯建模階段和物理建模階段。其中概念建模和邏輯建模階段與資料庫廠商毫無關系,換言之,與MySQL,SQL Server,Oracle沒有關系。物理建模階段和資料庫廠商存在很大的聯系,因為不同廠商對同一功能的支持方式不同,如高可用性,讀寫分離,甚至是索引,分區等。
概念建模階段
實際工作中,在概念建模階段,主要做三件事:
1. 客戶交流
2. 理解需求
3. 形成實體
這也是一個迭代,如果先有需求,盡量去理解需求,明白當前項目或者軟體需要完成什麼,不明白或者不確定的地方和客戶及時交流,和客戶double confirm過的需求,落實到實體(Package);但是好多時候我們需要通過先和客戶交流,進而將交流結果落實到需求,之後進一步具體到實體;本文可能會涉及到一些來自於EA(Enterprise Architect 7.1)建模術語,(EA中將每個實體視為一個Package)。這里並不對各種建模工具進行比較,如Visio,EA,PowerDesigner, ERWin等;其實作為員工的我們選擇性很少,公司有哪個產品的Licence,我們就用哪個吧。
舉例說明:在一個B2C電子商務網站中,這樣的需求再普通不過了:客戶可以在該網站上自由進行購物!我們就以這個簡單例子,對其進行細分,來講解整個數據建模的過程,通過上面這句話,我們可以得出三個實體:客戶,網站,商品;就像Scrum(敏捷開發框架的一種)中倡導的一樣每個Sprint,都要產出確確實實的東西,OK,概念建模階段,我們就要產出實體。客戶和商品(我們將網站這個實體扔掉,不需要它。)
在創建這兩個實體(Package)的時候,我們記得要講對需求的理解,以及業務規則,作為Notes添加到Package中,這些信息將來會成為數據字典中非常重要的一部分,也就是所謂的元數據。BTW,EA或者其他建模工具應該都可以自動生成數據字典,只不過最終生成的格式可能不太一樣。如在Customer這個Package的Notes上,我們可以這樣寫,用戶都要通過填寫個人基本信息以及一個郵箱來注冊賬戶,之後使用這個郵箱作為登錄帳號登錄系統進行交易。
在概念建模階段,我們只需要關注實體即可,不用關注任何實現細節。很多人都希望在這個階段把具體表結構,索引,約束,甚至是存儲過程都想好,沒必要!!因為這些東西使我們在物理建模階段需要考慮的東西,這個時候考慮還為時尚早。可能有的人在這個階段擔心會不會丟掉或者漏掉一些實體?也不用擔心,2013年好多公司都在採用Scrum的開發模式,只要你當前抽象出來的實體滿足當前的User Story,或者當前的User Story裡面的實體,你都抽象出來了,就可以了!如果你再說,我們User Story太大,實體太多,不容易抽象,那就真沒辦法了,建議你們的團隊重新開Sprint 計劃會議。
邏輯建模
邏輯建模階段
對實體進行細化,細化成具體的表,同時豐富表結構。這個階段的產物是,可以在資料庫中生成的具體表及其他資料庫對象(包括,主鍵,外鍵,屬性列,索引,約束甚至是視圖以及存儲過程)。我在實際項目中,除了主外鍵之外,其他的資料庫對象我都實在物理建模階段建立,因為其他資料庫對象更貼近於開發,需要結合開發一起進行。如約束,我們可以在web page上做JavaScript約束,也可以在業務邏輯層做,也可以在資料庫中做,在哪裡做,要結合實際需求,性能以及安全性而定。
針對Customer這個實體以及我們對需求的理解,我們可以得出以下幾個表的結構,用戶基本信息表(User),登錄賬戶表(Account),評論表(Commnets,用戶可能會對產品進行評價),當然這個案例中我們還會有更多的表,如用戶需要自己上傳頭像(圖片),我們要有Picture表。
針對產品實體,我們需要構建產品基本信息表(Proct),通常情況下,我們產品會有自己的產品大類(ProctCategory)甚至產品小類(ProctSubCategory),某些產品會因為節假日等原因進行打折,因為為了得到更好的Performance我們會創建相應ProctDiscount表,一個產品會有多張圖片,因此產品圖片表(ProctPicture)以及產品圖片關系表(ProctPictureRelationship),(當然我們也可以只設計一張Picture表,用來存放所有圖片,用戶,產品以及其他)有人說產品和圖片是一對多的關系,不需要創建一個關系表啊?是的,我認為只要不是一對一的關系,我都希望創建一個關系表來關聯兩個實體。這樣帶來的好處,一是可讀性更好,實現了實體和表一一對應的關系,二是易於維護,我們只需要維護一個關系表即可,只有兩列(ProctID和PictureID),而不是去維護一個Picture表。
客戶進行交易,即要和商品發生關系,我們需要Transaction表,一個客戶會買一個或者多個商品,因為一筆Transaction會涉及一個或多個Procts,因此一個Transaction和ProctDiscount之間的關系(ProctDiscount和Proct是一一對應的關系)需要創建,我們稱其為Item表,裡面保存TransactionID以及這筆涉及到的ProctDiscountID(s),這里插一句,好多系統都需要有審計功能,如某個產品歷年來的打折情況以及與之對應的銷售情況,我們這里暫不考慮審計方面的東西。
就這樣,我們根據需求我們確定下來具體需要哪些表,進一步豐富每一個表屬性(Column),當然這裡面會涉及主鍵的選取,或者是使用代理鍵(Surrogate Key),外鍵的關聯,約束的設置等細節,這里筆者認為只要能把每個實體屬性(Column)落實下來就是很不錯了,因為隨著項目的開展,很多表的Column都會有相應的改動。至於其他細節,不同資料庫廠商,具體實現細節不盡相同。關於主鍵的選取多說一句,有的人喜歡所有的表都用自增長ID作為主鍵,而有的人希望找到唯一能標識當前記錄的一個屬性或者多個屬性作為主鍵;自增長ID作為代理主鍵,對於將來以多個類似當前Transaction System作為數據源,構建數據倉庫的時候,這些自增長ID主鍵會是一個麻煩(多個系統中,相同表存在大量主鍵重復);使用一個屬性或多個屬性作為作為主鍵,不管主鍵是可編輯的,讀寫效率是我們必須考慮得。所以並沒有一個放之四海而皆準的原則,筆者只是給大家推薦一些考慮的因素。
物理建模
物理建模階段
EA可以將在邏輯建模階段創建的各種資料庫對象生成為相應的SQL代碼,運行來創建相應具體資料庫對象(大多數建模工具都可以自動生成DDL SQL代碼)。但是這個階段我們不僅僅創建資料庫對象,針對業務需求,我們也可能做如數據拆分(水平或垂直拆分),如B2B網站,我們可以將商家和一般用戶放在同一張表中,但是針對PERFORMANCE考慮,我們可以將其分為兩張表;隨業務量的上升,Transaction表越來越大,整個系統越來越慢,這個時候我們可以考慮數據拆分,甚至是讀寫分離(即實現MASTER-SLAVE模式,MYSQL/SQLSERVER可以使用Replication,當然不同存儲引擎採用不同的方案),這個階段也會涉及到集群的事情,如果你是架構師或者數據建模師,這個時候你可以跟DBA說,Alright,I am done with it,now is your show time.
相信大家都知道範式,更有好多人把3NF奉為經典,3NF確實很好,但是3NF是幾十年前提出來的,那個時候的數據量以及訪問頻率和2012年完全不是一個數量級的;因此我們絕對不能一味地遵守3NF;在整個數據建模過程中,在保證數據結構清晰的前提下,盡量提高性能才是我們關注的要點,因此筆者大力倡導數據適當冗餘!
上面筆者是結合一些實際例子表達自己對數據建模的觀點,希望對讀著有用。在數據建模過程中,不要希望一步到位將資料庫設計完整,筆者不管是針對data warehouse還是Transactional Database設計,從來沒有過一次成功的經歷。隨著項目的進行,客戶和開發團隊對業務知識與日增長,因此原來的設計也在不斷完善中。畢竟,數據建模或者設計資料庫不是我們的最終目的,我們需要的是一個健壯,性能優越,易擴展,易使用的軟體!

❹ 如何進行數據建模

如何進行數據建模
正確完成建模

在過去的幾十年裡,數據建模的努力通常集中在關系數據建模或可擴展標記語言(XML)的建模上。只要數據存儲在關系資料庫中,關系數據建模就會很好,但除此之外,它很少會有其他的用途。而且XML也不能被可靠地稱為建模語言。XML是序列化數據的規范--即定義了如何將數據寫入文件。XML為構造數據的序列化提供了一種格式,但它不是一個真正的模型。

我所說的「模型」指的是以數學為基礎的形式規范。實際上,這意味著是可以使用形式化方法進行驗證的東西。通俗地說,這意味著我們可以用數學運算來證明它是正確的,並且我們可以使驗證過程自動化。而在XML模式中捕獲數據不符合此定義下的模型。但可以肯定的是,我們可以使用軟體來驗證該XML格式是否良好,是否符合一些XML模式的文檔。但這還不足以真正地對數據進行建模。

無論是計算機還是人,如果不同時理解數據的語法(結構)和語義(含義),就無法理解數據。XML可以捕獲語法,但它不能天生捕獲語義。語義可以用XML格式編寫,但是這些語義必須首先在一些更正式的建模方案中被捕獲。換句話說,企業需要一個正式的本體。這種建模方案大多基於形式邏輯,通常是公共邏輯或描述邏輯。

迄今為止,最常用的語義建模語言是基於描述邏輯的網路本體語言(OWL)。這意味著我們不僅可以正式驗證模型及其包含的數據,還可以通過對數據的推理來推斷新的事實,並且我們可以證明這些推斷的正確性。因為OWL是本體建模的事實上的標准,所以我將把剩下的內容限制在OWL上。

但是等等!所有這些都不意味著你需要將你的數據存儲為OWL。在你過於擔心如何將存儲格式強加給不情願的開發人員之前,先聽我說完。

❺ 什麼是資料庫建模,為什麼要資料庫建模,有什麼好處

你說的答案不對,我們經理說資料庫建模是指把實際業務邏輯抽離出來,從而變成與資料庫表對應的表結構!所以不能給你分,我自己拿回來了。

❻ 資料庫建模是做些什麼能舉便說明下方法和步聚嗎

資料庫分為模式、外模式和內模式三級
一般建模指概念模型(如E-R圖方式建立)
邏輯模型(一般指存儲表設計、關系模型的建立)
物理模型(一般指存儲設計、索引等。)

❼ 數據倉庫數據建模的幾種思路

數據倉庫數據建模的幾種思路主要分為一下幾種

1. 星型模式

星形模式(Star Schema)是最常用的維度建模方式。星型模式是以事實表為中心,所有的維度表直接連接在事實表上,像星星一樣。星形模式的維度建模由一個事實表和一組維表成,且具有以下特點:a. 維表只和事實表關聯,維表之間沒有關聯;b. 每個維表主鍵為單列,且該主鍵放置在事實表中,作為兩邊連接的外鍵;c. 以事實表為核心,維表圍繞核心呈星形分布;

星座模型

❽ 數據分析建模步驟有哪些

1、分類和聚類


分類演算法是極其常用的數據挖掘方法之一,其核心思想是找出目標數據項的共同特徵,並按照分類規則將數據項劃分為不同的類別。聚類演算法則是把一組數據按照相似性和差異性分為若干類別,使得同一類別數據間的相似性盡可能大,不同類別數據的相似性盡可能小。分類和聚類的目的都是將數據項進行歸類,但二者具有顯著的區別。分類是有監督的學習,即這些類別是已知的,通過對已知分類的數據進行訓練和學習,找到這些不同類的特徵,再對未分類的數據進行分類。而聚類則是無監督的學習,不需要對數據進行訓練和學習。常見的分類演算法有決策樹分類演算法、貝葉斯分類演算法等;聚類演算法則包括系統聚類,K-means均值聚類等。


2、回歸分析


回歸分析是確定兩種或兩種以上變數間相互依賴的定量關系的一種統計分析方法,其主要研究的問題包括數據序列的趨勢特徵、數據序列的預測以及數據間的相關關系等。按照模型自變數的多少,回歸演算法可以分為一元回歸分析和多元回歸分析;按照自變數和因變數間的關系,又可分為線性回歸和非線性回歸分析。


3、神經網路


神經網路演算法是在現代神經生物學研究的基礎上發展起來的一種模擬人腦信息處理機制的網路系統,不但具備一般計算能力,還具有處理知識的思維、學習和記憶能力。它是一種基於導師的學習演算法,可以模擬復雜系統的輸入和輸出,同時具有非常強的非線性映射能力。基於神經網路的挖掘過程由數據准備、規則提取、規則應用和預測評估四個階段組成,在數據挖掘中,經常利用神經網路演算法進行預測工作。


4、關聯分析


關聯分析是在交易數據、關系數據或其他信息載體中,查找存在於項目集合或對象集合之間的關聯、相關性或因果結構,即描述資料庫中不同數據項之間所存在關系的規則。例如,一項數據發生變化,另一項也跟隨發生變化,則這兩個數據項之間可能存在某種關聯。關聯分析是一個很有用的數據挖掘模型,能夠幫助企業輸出很多有用的產品組合推薦、優惠促銷組合,能夠找到的潛在客戶,真正的把數據挖掘落到實處。4市場營銷大數據挖掘在精準營銷領域的應用可分為兩大類,包括離線應用和在線應用。其中,離線應用主要是基於客戶畫像進行數據挖掘,進行不同目的針對性營銷活動,包括潛在客戶挖掘、流失客戶挽留、制定精細化營銷媒介等。而在線應用則是基於實時數據挖掘結果,進行精準化的廣告推送和市場營銷,具體包括DMP,DSP和程序化購買等應用。

❾ 資料庫建模的過程和應該注意事項

資料庫各級模式的形成過程 1.需求分析階段:綜合各個用戶的應用需求 2.概念設計階段:形成獨立於機器特點,獨立於各個DBMS產品的概念模式(E-R圖) 3.邏輯設計階段:首先將E-R圖轉換成具體的資料庫產品支持的數據模型,如關系模型,形成資料庫邏輯模式;然後根據用戶處理的要求、安全性的考慮,在基本表的基礎上再建立必要的視圖(View),形成數據的外模式 4.物理設計階段:根據DBMS特點和處理的需要,進行物理存儲安排,建立索引,形成資料庫內模式 。 資料庫設計技巧 1. 設計資料庫之前(需求分析階段) 1) 理解客戶需求,詢問用戶如何看待未來需求變化。讓客戶解釋其需求,而且隨著開發的繼續,還要經常詢問客戶保證其需求仍然在開發的目的之中。 2) 了解企業業務可以在以後的開發階段節約大量的時間。 3) 重視輸入輸出。 在定義資料庫表和欄位需求(輸入)時,首先應檢查現有的或者已經設計出的報表、查詢和視圖(輸出)以決定為了支持這些輸出哪些是必要的表和欄位。

❿ 誰能告訴我SQL資料庫如何建模

先建概念模型,可用ER或者EER表達,
再建立邏輯模型,是ER或者EER的衍生,(概念模型和邏輯模型有時可以一步到位)
最後再用軟體轉為物理模型,然後資料庫就自動生成了。