『壹』 數據倉庫與數據挖掘的內容簡介
《數據倉庫與數據挖掘》主要介紹數據倉庫和數據挖掘技術的基本原理和應用方法,全書共分為12章,主要內容包括數據倉庫的概念和體系結構、數據倉庫的數據存儲和處理、數據倉庫系統的設計與開發、關聯規則、數據分類、數據聚類、貝葉斯網路、粗糙集、神經網路、遺傳演算法、統計分析、文本和Web挖掘。《數據倉庫與數據挖掘》既重視理論知識的講解,又強調應用技能的培養。每章首先介紹演算法的主要思想和理論基礎,之後利用演算法去解決實例中給出的任務,而且對於數據倉庫的組建方法和多數章節中的數據挖掘演算法,《數據倉庫與數據挖掘》都使用Microsoft sql Server 2005進行了操作實現。《數據倉庫與數據挖掘》通過對具體實例的學習和實踐,使讀者掌握數據倉庫和數據挖掘中必要的知識點,達到學以致用的目的。
『貳』 求推薦資料庫商業智能方面的書籍。
我也想學,也想問你的這些問題啊。
『叄』 會pl/sql,想學MySQL,什麼書適合
Oracle816開發指南
Oracle816系統安全與網路管理指南
Orcale816應用系統使用指南
《ORACLE8 PL/SQL程序設計》
《Oracle8資料庫Web開發指南》
《 數據倉庫 》
《Oracle資料庫系統應用實例集錦與編程技巧》
『肆』 《SQL基礎教程》pdf下載在線閱讀,求百度網盤雲資源
《SQL基礎教程》(MICK)電子書網盤下載免費在線閱讀
資源鏈接:
鏈接:
書名:SQL基礎教程
作者:MICK
譯者:孫淼
豆瓣評分:9.0
出版社:人民郵電出版社
出版年份:2013-8-1
頁數:294
內容簡介:本書介紹了關系資料庫以及用來操作關系資料庫的SQL語言的使用方法,提供了大量的示常式序和詳實的操作步驟說明,讀者可以親自動手解決具體問題,循序漸進地掌握SQL的基礎知識和技巧,切實提高自身的編程能力。在每章結尾備有習題,用來檢驗讀者對該章內容的理解程度。另外本書還將重要知識點總結為「法則」,方便大家隨時查閱。
本書適合完全沒有或者具備較少編程和系統開發經驗的初學者,也可以作為大中專院校的教材及企業新人的培訓用書。
作者簡介:MICK
日本資深資料庫工程師,致力於商業智能和數據倉庫的開發。為日本著名的IT雜志WEB+PRESS撰寫專欄。著作有《達人SQL完全指南》、《達人SQL設計終極指南》,譯著有《SQL謎題》、《SQL權威指南》等。
譯者簡介:
孫淼
專業從事對日軟體設計和研發工作,曾於2007年至2009年赴日學習工作。精通J2EE和資料庫開發,熱衷於品嘗和製作美食。
羅勇
專業從事對日軟體設計和研發工作,曾於2007年至2009年赴日學習工作。精通J2EE和資料庫開發。譯有《NoSQL資料庫入門》、《明解C語言》等。
『伍』 資料庫系統及應用的圖書目錄
第1章 資料庫系統概論
1.1 資料庫的基本概念和相關術語
1.1.1 數據、數據管理與數據處理
1.1.2 資料庫基本概念
1.1.3 關系列表和關系資料庫
1.2 資料庫技術的產生與發展
1.2.1 數據管理的發展
1.2.2 數據和數據管理技術
1.2.3 數據管理技術的3個發展階段
1.3 資料庫系統的一般構成
1.3.1 資料庫系統的一般構成
1.3.2 資料庫系統的模式構成
1.3.3 資料庫系統的物理組成
1.3.4 資料庫管理系統的功能
第2章 關系數據模型
2.1 數據模型
2.1.1 概述
2.1.2 數據模型的基本要素
2.1.3 數據模型的發展
2.2 關系數據模型
2.2.1 基本概念
2.2.2 關系數據模型的數據結構
2.2.3 數據操作
2.2.4 數據約束
2.2.5 關系數據模型的優缺點
2.3 關系
2.3.1 域、笛卡兒積和關系
2.3.2 關系的性質
2.3.3 關系模式
2.3.4 關系完整性
2.4 關系代數
2.4.1 集合運算
2.4.2 關系演算
第3章 結構化查詢語言SQL基礎
3.1 SQL簡介
3.1.1 SQL的歷史
3.1.2 SQL的優點
3.2 資料庫的操作
3.2.1 資料庫的創建
3.2.2 資料庫的修改
3.2.3 資料庫的刪除
3.3 數據表的操作
3.3.1 數據類型
3.3.2 表的創建
3.3.3 表結構的修改
3.3.4 表的刪除
3.4 表中數據的操作
3.4.1 SQL語方的基本查詢
3.4.2 多表間的連接查詢
3.4.3 嵌套查詢
3.4.4 聯合查詢
3.4.5 數據插入
3.4.6 數據修改
3.4.7 數據刪除
3.5 視圖
3.5.1 視圖的基本概念
3.5.2 創建視圖
3.5.3 刪除視圖
3.5.4 更新視圖
3.6 索引
3.6.1 索引的概念
3.6.2 索引的分類
3.6.3 建立索引的原則
3.6.4 創建索引
3.6.5 刪除索引
第4章 資料庫完整性
4.1 資料庫完整性概述
4.2 完整性約束的分類
4.3 完整性約束的定義
4.3.1 Primary Key約束
4.3.2 UNIQUE 約束
4.3.3 NOT NULL 約束
……
第5章資料庫安全
第6章資料庫恢復技術
第7章並發控制
第8章資料庫設計理論
第9章資料庫應用設計方法
第10章 資料庫開技術
第11章 數據倉庫技術
第12章 數據挖掘技術
第13章 地理信息系統和空間資料庫
第14章 主流資料庫產品介紹
附錄A HIS案例
參才文獻
『陸』 有哪些數據倉庫相關的經典書籍或論文
可以去參考一下sql 2005/2008數據倉庫中的數據立方體的構建。先了解怎麼構建後,再開發會好一點,MS也提供了很多介面可以用的,我們的畢業論文的實現部分就用到,希望能幫到你
『柒』 108如何從優化sQL人手提高數據倉庫的ETL效率
目前,國內的大中型企業基本都具有四年以上計算機信息系統應用經驗,積累了大量可分析的業務數據,這些信息系統中的數據需要通過搭建數據倉庫平台才能得到科學的分析,這也是近幾年數據倉庫系統建設成為IT領域熱門話題的原因。
數據倉庫ETL過程的主要特點是:面對海量的數據進行抽取;分時段對大批量數據進行刪除、更新和插入操作;面對異常的數據進行規則化的清洗;大量的分析模型重算工作;有特定的過程處理時間規律性,一般整個ETL過程需要在每天的零點開始到6點之前完成。所以,針對ETL過程的優化主要是結合數據倉庫自身的特點,抓住需要優化的主要方面,針對不同的情況從如何採用高效的SQL入手來進行。
目前數據倉庫建設中的後台資料庫大部分採用Oracle,以下的SQL採用Oracle的語法來說明,所有的測試在Oracle9i環境中通過,但其優化的方法和原理同樣適合除Oracle之外的其他資料庫。
在海量數據表中,基本每個表都有一個或多個的索引來保證高效的查詢,在ETL過程中的索引需要遵循以下使用原則:
(1) 當插入的數據為數據表中的記錄數量10%以上時, 首先需要刪除該表的索引來提高數據的插入效率,當數據全部插入後再建立索引。
(2) 避免在索引列上使用函數或計算,在WHERE子句中,如果索引列是函數的一部分,優化器將不使用索引而使用全表掃描。舉例:
低效: SELECT * ROM DEPT WHERE SAL * 12 > 25000;
高效: SELECT * FROM DEPT WHERE SAL > 25000/12;
(4) 索引列上用>=替代>
高效: SELECT * FROM EMP WHERE DEPTNO >=4
低效: SELECT * FROM EMP WHERE DEPTNO >3
兩者的區別在於, 前者DBMS將直接跳到第一個DEPT等於4的記錄而後者將首先定位到DEPTNO=3的記錄並且向前掃描到第一個DEPT大於3的記錄。
(5) 函數的列啟用索引方法,如果一定要對使用函數的列啟用索引,Oracle9i以上版本新的功能:基於函數的索引
(Function-Based Index)是一個較好的方案,但該類型索引的缺點是只能針對某個函數來建立和使用該函數。
CREATE INDEX EMP_I ON EMP (UPPER( ENAME)); /*建立基於函數的索引*/
SELECT * FROM EMP WHERE UPPER(ENAME) = 『BLACKSNAIL』; /*將使用索引*/
當在海量數據表中進行數據的刪除、更新和插入操作時,用游標處理的效率是最慢的方式,但它在ETL過程中的使用又必不可少,而且使用有著及其重要的地位,所以游標的正確使用尤為重要。
對數據倉庫維表的數據進行維護時,因為需要保證維表ID的一致性,所以採用游標的是數據維護完整性的最好方式。由於它的效率低,如果按照普通的方式將無法處理大數據量的維表數據維護(一般是指10萬條記錄以上的維表),以下是處理這種情況的有效方式:
(1) 在數據抽取的源表中使用時間戳,這樣每天的維表數據維護只針對更新日期為最新時間的數據來進行,大大減少需要維護的數據記錄數。
『捌』 新手SQL資料庫管理員,在沒人帶的情況下應該怎麼做。
嚴格地說,資料庫是「按照數據結構來組織、存儲和管理數據的倉庫」。在經濟管理的日常工作中,常常需要把某些相關的數據放進這樣的「倉庫」,並根據管理的需要進行相應的處理。例如,企業或事業單位的人事部門常常要把本單位職工的基本情況(職工號、姓名、年齡、性別、籍貫、工資、簡歷等)存放在表中,這張表就可以看成是一個資料庫。有了這個"數據倉庫"我們就可以根據需要隨時查詢某職工的基本情況,也可以查詢工資在某個范圍內的職工人數等等。這些工作如果都能在計算機上自動進行,那我們的人事管理就可以達到極高的水平。此外,在財務管理、倉庫管理、生產管理中也需要建立眾多的這種"資料庫",使其可以利用計算機實現財務、倉庫、生產的自動化管理。J.Martin給資料庫下了一個比較完整的定義:資料庫是存儲在一起的相關數據的集合,這些數據是結構化的,無有害的或不必要的冗餘,並為多種應用服務;數據的存儲獨立於使用它的程序;對資料庫插入新數據,修改和檢索原有數據均能按一種公用的和可控制的方式進行。當某個系統中存在結構上完全分開的若干個資料庫時,則該系統包含一個「資料庫集合」。
資料庫系統階段60年代後,隨著計算機在數據管理領域的普遍應用,人們對數據管理技術提出了更高的要求:希望面向企業或部門,以數據為中心組織數據,減少數據的冗餘,提供更高的數據共享能力,同時要求程序和數據具有較高的獨立性,當數據的邏輯結構改變時,不涉及數據的物理結構,也不影響應用程序,以降低應用程序研製與維護的費用。資料庫技術正是在這樣一個應用需求的基礎上發展起來的。資料庫技術有如下特點:* 面向企業或部門,以數據為中心組織數據,形成綜合性的資料庫,為各應用共享。* 採用一定的數據模型。數據模型不僅要描述數據本身的特點,而且要描述數據之間的聯系。* 數據冗餘小,易修改、易擴充。不同的應用程序根據處理要求,從資料庫中獲取需要的數據,這樣就減少了數據的重復存儲,也便於增加新的數據結構,便於維護數據的一致性。* 程序和數據有較高的獨立性。* 具有良好的擁護介面,用戶可方便地開發和使用資料庫。* 對數據進行統一管理和控制,提供了數據的安全性、完整性、以及並發控制。資料庫日常維護(參考) 資料庫日常維護工作是系統管理員的重要職責。其內容主要包括以下幾個部分:一、備份系統數據SYBASE 系統的備份與恢復機制保證了在系統失敗時重新獲取數據的可能性。SQL Server 提供了兩種不同類型的恢復機制:一類是系統自動完成的恢復,這種措施在每次系統啟動時都自動進行,保證了在系統癱瘓前完成的事務都寫到資料庫設備上,而未完成的事務都被回退;另一類是人工完成的恢復,這是通過 DUMP 和 LOAD 命令來執行人工備份和恢復工作。因此定期備份事務日誌和資料庫是一項十分重要的日常維護工作。1、備份資料庫每一個資料庫都應在創建之後卸出,從而提供一個裝入基點。在此之後按排定的時間周期表卸出。比如每周五卸出資料庫。對一般資料庫系統卸出資料庫周期建議為每周一次。除了按計劃周期卸出資料庫之外,還需在每次運行沒有日誌的操作後卸出資料庫。例如:·每次強制地運行了 DUMP TRAN WITH NO_LOG (因為資料庫的磁碟空溢出);·每次用 sp_dboption 允許 select into/bulk 做快速拷貝,或用 SELECT INTO 命令創建一個永久性的表,或使用了 WRITETEXT 命令。卸出資料庫的命令為:DUMP DATABASE database_nameTO mp_devicedatabase_name 是要卸出的資料庫名稱,mp_device 是卸出設備的名稱。用系統過程 sp_helpdevice 可以獲得設備的信息。下面一條命令用來卸出資料庫 my_db :DUMP DATABASE my_dbTO db_bk_dev2、備份事務日誌如果事務日誌與資料庫放在同一個設備上,則事務日誌不應與資料庫分開備份。master 資料庫和小於 4M 的用戶資料庫就是這種情況。一般資料庫系統的資料庫和日誌分別放在不同的設備上,因此,可以用 DUMP TRAN 命令單獨備份日誌。備份事務日誌的周期直接影響數據的恢復程度,因此建議每天備份。備份事務日誌的命令格式為:DUMP TRANsaction database_name[TO mp_device][WITH TRUNCATE_ONLY|WITH NO_LOG|WITH NO_TRUNCATE]其中 database_name 是要備份事務的資料庫名稱,mp_device 是備份設備名稱,僅當包含了 WITH TRUNCATE_ONLY 或 WITH NO_LOG 子句時,才可以備份到設備。注意:如果總是用 DUMP DATEBASE (備份資料庫及其日誌),而不用 DUMP TRAN ,事務日誌將不會刷新,而變得非常龐大。對於 master 資料庫和小型資料庫每次運行 DUMP DATEBASE 之後應當運行 DUMP TRANsaction 命令刷新日誌 。下面一條命令備份資料庫 db160 的事務日誌到備份設備上:DUMP TRANsaction db160TO db_log_bk_devWITH TRUNCATE_ONLY3、備份資料庫及其日誌間的相互作用在至少卸出一次資料庫前,卸出事務日誌是毫無意義的。下圖顯示了備份資料庫及其日誌間的關系如果在星期二下午5:01出現非硬體故障,需要做的所有工作是裝入磁帶5(參見下一節:數據恢復),由於磁帶5是下午5:00剛備份的,因此只有備份和裝入之間的一分鍾內的數據損失。但是,如果在星期二下午4:49失效會怎麼樣呢?在這種情況下,要裝入磁帶1(在星期五下午5:00的卸出)。然後,依次裝入磁帶2,3以及4。這樣,系統將恢復到星期二上午10:00點的狀態,星期二的大部分工作丟失了。此例顯示了經常卸出事務的重要性。二、萬一系統失敗時恢復資料庫系統如果用戶資料庫存儲的設備失效,從而資料庫被破壞或不可存取,通過裝入最新的資料庫備份以及後來的事務日誌備份可以恢復資料庫。假設當前的事務日誌存在於一個並沒有毀壞的設備上,帶著 WITH NO_TRUNCATE 選項的 DUMP TRANsaction 命令卸出它。要恢復資料庫按如下步驟去做:1、如果日誌存在於一個分離的設備上,用帶著 NO_TRUNCATE 選項的 DUMP TRANsaction 命令卸出被毀壞的或者不可存取的用戶資料庫事務日誌。2、用下面的查詢檢查設備分配已毀壞資料庫的設備使用情況。必須為同一目的賦同樣的空間塊。下面的查詢顯示了分配給資料庫 mydb 設備使用和尺寸情況:SELECT segmap,size FROM sysusagesWHERE dbid = ( SELECT dbid FROM sysdatabases WHERE name = 「mydb」)3、檢查查詢的輸出。在 segmap 列的 『3』代表數據分配,『4』代表日誌分配。size 列代表 2K 數據塊的數目。注意此信息的次序、使用和尺寸部分。例如,輸出為:segmapSize--------------------310240//實際尺寸為:20M35120//實際尺寸為:10M45120//實際尺寸為:10M31024//實際尺寸為:2M42048//實際尺寸為:4M4、用 DROP DATABASE 命令刪除毀壞設備上的資料庫。如果系統報錯,用DBCC DBREPAIR 命令的 DROPDB 選項。5、刪除資料庫後,用 sp_dropdevice 刪除毀壞了的設備。6、用 DISK INIT 初始化新的資料庫設備。7、重建資料庫。用 CREATE DATABASE 命令從老的 sysusages 表拷貝所有的行,並包含第一邏輯設備。對上例,命令為:CREATE DATABASE mydb ON datadev1=20,datadev2=10LOG ON logdev1=108、用 ALTER DATABASE 命令重建其餘入口。在此例中,在datadev1上分配更多的空間,命令為:ALTER DATABASE mydb ON datadev1=2[page]9、用 LOAD DATABASE 重新裝入資料庫,然後用 LOAD TRAN 裝入前面卸出的日誌。LOAD DATABASE 命令語法是:LOAD DATABASE database_nameFROM mp_deviceLOAD TRANsaction 命令的語法是:LOAD TRANsaction database_nameFROM mp_device卸出資料庫和事務日誌的預設許可權歸資料庫所有者,且可以傳遞給其他用戶;裝載資料庫和事務的許可權也歸資料庫所有者,但不能傳遞。二、產生用戶信息表,並為信息表授權;系統維護人員的另一個日常事務是為用戶創建新的信息表,並為之授權。創建表以及為表授權的方法已經在講過,在此只將有關命令語法寫出來。·創建表的命令為:CREATE TABLE table_name( column_1 datatype [NULL | NOT NULL | IDENTITY], column_2 ……)goALTER TABLE table_nameADD PRIMARY KEY (column_list)go·刪除表的命令格式為:DROP TABLE table_namego·為表授權的命令格式為:GRANT {ALL|permission_list}ON table_name TO user_namego ·收回許可權的命令格式為REVOKE {ALL|permission_list}ON table_name FROM user_namego 三、監視系統運行狀況,及時處理系統錯誤;系統管理員的另一項日常工作是監視系統運行情況。主要有以下幾個方面:1、監視當前用戶以及進程的信息使用系統過程:sp_who說明:該命令顯示當前系統所有注冊用戶及進程信息,如下表是某系統的信息。--------------------------------------------------------------- SLEEP從左向右依次顯示:進程號、當前狀態、注冊用戶名、主機名、佔用塊數、資料庫名以及當前命令。如果監視時發現進程總數接近最大連接數(用系統過程:sp_configure 「user conn」 查看)時,應下掉不活動或無關進程,以保證系統正常運做;另外亦可監視非法用戶或用戶使用不屬於自己使用范圍的資料庫等情況。2、監視目標佔用空間情況使用系統過程:sp_spaceused說明:該過程顯示行數、數據頁數以及當前資料庫中由某個目標或所有目標所佔用的空間。如下表是某資料庫日誌表的信息:NameRow_totalreserveddataIndex_sizeunused------------------------------------------------------------SyslogsNot avail32KB32KB0KBNot avail日常要監視的主要目標有:用戶資料庫、資料庫日誌表(syslogs)以及計費原始數據表等。如果發現佔用空間過大,對日誌表要進行轉儲;對其他目標則應擴充空間或清楚垃圾數據。3、監視 SQL Server 統計數字使用系統過程:sp_monitor說明:sp_monitor 顯示SQL Server 的歷史統計數字,下表是某系統的統計數字:Last_runCurrent_runSeconds---------------------------------------------------------------May 13 2000 1:27PMMay 13 2000 3:01PM5678CPU_busyIO_busyIdle---------------------------------------------------------------16(6)-0%0(0)-0%5727(5672)-99%Packets_receivedPackets_sentPacket_errors---------------------------------------------------------------21(17)100(97)0(0)Total_readTotal_writeTotal_errorsConnections--------------------------------------------------------785(366)311(113)0(0)3(2)上表依次給出該系統本次運行統計的上一次時間、本次時間、間隔秒數、CPU佔用、IO佔用、收發包情況、系統讀入寫出情況等信息四、保證系統數據安全,周期更改用戶口令;為保證系統數據的安全,系統管理員必須依據系統的實際情況,執行一系列的安全保障措施。其中,周期性的更改用戶口令是比較常用且十分有效的措施。更改用戶口令是通過調用系統過程sp_password 來實現的。Sp_password 的語法為:sp_password caller_password,new_password [,loginame]其中caller_password 是登錄口令(老口令),new_password是新口令,loginame是登錄名稱。 在網路搜索:資料庫日常維護(參考) 相 關 文 章 Sybase存儲過程的建立和使用SYBASE dbcc電信企業參與競爭的利器-數據倉庫和數據挖掘SCOUNIX下磁帶機的安裝與備份StoredProcere(存儲過程)編寫經驗和優化措施細說SYBASE資料庫日誌常見資料庫系統之比較 - SYBASE 和 SQL SERVERSYBASE ASE FOR LINUX安裝及perl連接SYBASESybase資料庫應用(一)安裝Sybase ASE
『玖』 數據倉庫 哪本書好
比爾.恩門<建立數據倉庫>