Ⅰ 什麼樣的sql引擎能挑戰運營,報表,分析三位一體化
運營型任務流數據量很大,高並發,要求響應時間在一秒之內,而分析型任務流的響應時間在秒到分鍾級,並發度相對低,需要訪問運營、歷史和第三方數據。要支
持運營型、批量報表或分析型任務流的任一種,已經相當困難了,比如NonStop SQL/MX擅長OLTP或運營型任務流, Teradata 和
HP Neoview擅長BI和數據倉庫, Vertica, Aster Data, Netezza, Greenplum等以分析為主。要用一個查
詢引擎來服務所有這些任務流意味著需要滿足一大堆需求。
Ⅱ 1.SQL Server 2005資料庫引擎(Database Engine) 2.SQL Server 2005分析服務(Analysis Services)
1、Integration Service
SQL Server 2005帶來了一個全新的企業級數據整合平台。此平台具有出色的ETL和整合能力,使得組織機構能更加容易地管理來自於不同的關系型和非關系型數據源的數據。通過SQL Server Integration Services(SSIS),組織機構能以整體的視角去考察它們的商業運營情況,從而能具有競爭優勢。
企業級數據整合平台
SQL Server Integration Services取代了SQL Server 2000中一個非常受歡迎的功能模塊——數據轉換服務(DTS)。但SSIS並不是DTS的簡單升級,它是SQL Server 2005中的一個全新的組件,它提供了構建企業級ETL應用程序所需的功能和性能。SSIS是可編程的、可嵌入的和可擴展的,這些特性使其成為理想的ETL平台。
傳統 ETL 之外的
SQL Server 2005 支持非傳統的數據(Web Service,XML):
SSIS 可對不持續的數據進行分析
在數據流中的數據挖掘和文本挖掘
數據流中的數據挖掘和分析可用於數據質量和數據清洗
2、Analysis Service
在SQL Server 2005中,分析服務(Analysis Services)第一次提供了一個統一和集成的商業數據視圖,可被用做所有傳統報表、OLAP分析(online analytical processing)、關鍵績效指標(KPI)記分卡和數據挖掘的基礎。
統一空間模型Unified Dimensional Model
通過結合傳統OLAP分析和關系型報表中的最佳點,Analysis Services 2005提供了一個元數據模型用於滿足不同需求。Analysis Services 2005中的所有多維數據集和維度定義都可從統一空間模型UDM中查閱。UDM是一個中心元資料庫,其中定義了業務實體、業務邏輯、計算和metrics,可被作為所有報表、電子表格、OLAP瀏覽器、KPI和分析應用程序的源來使用。
通過使用新的、功能強大的數據源視圖特性、UDM可被映射成後台異構數據源宿主,這樣便可無需考慮數據的位置。
利用UDM中對業務實體的友好描述、等級導航、多視角、自動平滑翻譯為本機語言這些功能,最終用戶將會發現瀏覽公司業務數據是一件容易的事情。
數據挖掘
Microsoft SQL Server 2005 Data Mining(數據挖掘)屬於商務智能技術,它可幫助您構建復雜的分析模型,並使其與您的業務操作相集成。Microsoft SQL Server 2005分析服務中構建了新的數據挖掘平台——一個易於使用的、容易擴展的、方便訪問的、非常靈活的平台。對於以前從未考慮過採用數據挖掘的組織機構,這無疑是個非常容易接受的解決方案。
企業級產品的架構,與SQL Server產品家族商業智能功能的緊密集成,豐富的工具、API和演算法,這一切使得我們能基於SQL Server創建新型的商業智能應用程序。通過它所提供的針對各種商業問題的自定義的數據驅動解決方案,能達到提高生產力、增加利潤和減少支出的目的。
3、Reporting Service
SQL Server 2005 Reporting Services擴展了微軟商業智能(BI)平台,以迎合那些需要訪問商業數據的信息工作者。Reporting Services是一個基於伺服器的企業級報表環境,可藉助web services進行管理。報表可以用不同的格式發布,並可帶多種交互和列印選項。通過把報表作為更進一步的商業智能的數據源來分發,復雜的分析可被更多的用戶所用。
作為SQL Server 2005 的一個集成組件,Reporting Services提供了:
一個高性能引擎用來處理和格式化報表。
一個完整的工具集用來創建、管理和查看報表。
一個可擴展架構和開放式介面可將報表嵌入或集成報表解決方案到不同的IT環境中。
關系型和OLAP報表
在關系型數據上創建報表固然有用,但如能增加更多的分析能力就十分強大了。Reporting Services允許你在關系型和OLAP上創建報表,單獨的、或結合的。SQL Server 2005 支持關系型和OLAP數據,其分別提供了SQL Query Editor 和 MDX Query Editor。
報表生成器Report Builder
作為微軟SQL SERVER 2005 Reporting Services的一個新組件,Report Builder允許商業用戶使用界面友好的數據模型來創建他們自己的報表。報表生成器使Reporting Services平台能夠為所有最終用戶創建即席查詢(ad hoc)報表。用戶可以使用報表生成器客戶端來創建和編輯報表。報表生成器用戶界面是構建在大家熟知的微軟office產品之上的,如Excel和PowerPoint。
報表生成器是一種由瀏覽器來部署的ClickOnce應用程序。用戶可以通過選擇報表布局模板來開始創建報表,這些模板包含預定義的數據區,如:表格、矩陣表和圖表。接著用戶可以從模型中拖放報表項到設計界面,並可設置約束來過濾數據。報表生成器自動生成源查詢和檢索請求數據所需要的所有信息都包含在這個模型中。報表生成器還允許用戶:
向報表增加文本和格式
使用模型創建新的欄位和計算定義
預覽、列印和發布報表
把報表數據導出為如Excel之類的格式
Ⅲ 如何查看mysql資料庫的引擎
一般情況下,mysql會默認提供多種存儲引擎,你可以通過下面的查看:
看你的mysql現在已提供什麼存儲引擎:
mysql> show engines;
看你的mysql當前默認的存儲引擎:
mysql> show variables like '%storage_engine%';
你要看某個表用了什麼引擎(在顯示結果里參數engine後面的就表示該表當前用的存儲引擎):
mysql> show create table 表名;
MySQL資料庫引擎詳解
作為Java程序員,MySQL資料庫大家平時應該都沒少使用吧,對MySQL資料庫的引擎應該也有所了解,這篇文章就讓我詳細的說說MySQL資料庫的Innodb和MyIASM兩種引擎以及其索引結構。也來鞏固一下自己對這塊知識的掌握。
Innodb引擎
Innodb引擎提供了對資料庫ACID事務的支持,並且實現了SQL標準的四種隔離級別,關於資料庫事務與其隔離級別的內容請見資料庫事務與其隔
離級別這篇文章。該引擎還提供了行級鎖和外鍵約束,它的設計目標是處理大容量資料庫系統,它本身其實就是基於MySQL後台的完整資料庫系統,MySQL
運行時Innodb會在內存中建立緩沖池,用於緩沖數據和索引。但是該引擎不支持FULLTEXT類型的索引,而且它沒有保存表的行數,當SELECT
COUNT(*) FROM
TABLE時需要掃描全表。當需要使用資料庫事務時,該引擎當然是首選。由於鎖的粒度更小,寫操作不會鎖定全表,所以在並發較高時,使用Innodb引擎
會提升效率。但是使用行級鎖也不是絕對的,如果在執行一個SQL語句時MySQL不能確定要掃描的范圍,InnoDB表同樣會鎖全表。
MyIASM引擎
MyIASM是MySQL默認的引擎,但是它沒有提供對資料庫事務的支持,也不支持行級鎖和外鍵,因此當INSERT(插入)或UPDATE(更
新)數據時即寫操作需要鎖定整個表,效率便會低一些。不過和Innodb不同,MyIASM中存儲了表的行數,於是SELECT COUNT(*)
FROM
TABLE時只需要直接讀取已經保存好的值而不需要進行全表掃描。如果表的讀操作遠遠多於寫操作且不需要資料庫事務的支持,那麼MyIASM也是很好的選
擇。
兩種引擎的選擇
大尺寸的數據集趨向於選擇InnoDB引擎,因為它支持事務處理和故障恢復。資料庫的大小決定了故障恢復的時間長短,InnoDB可以利用事務日誌
進行數據恢復,這會比較快。主鍵查詢在InnoDB引擎下也會相當快,不過需要注意的是如果主鍵太長也會導致性能問題,關於這個問題我會在下文中講到。大
批的INSERT語句(在每個INSERT語句中寫入多行,批量插入)在MyISAM下會快一些,但是UPDATE語句在InnoDB下則會更快一些,尤
其是在並發量大的時候。
Index——索引
索引(Index)是幫助MySQL高效獲取數據的數據結構。MyIASM和Innodb都使用了樹這種數據結構做為索引,關於樹我也曾經寫過一篇文章樹是一種偉大的數據結構,只是自己的理解,有興趣的朋友可以去閱讀。下面我接著講這兩種引擎使用的索引結構,講到這里,首先應該談一下B-Tree和B+Tree。
B-Tree和B+Tree
B+Tree是B-Tree的變種,那麼我就先講B-Tree吧,相信大家都知道紅黑樹,這是我前段時間學《演算法》一書時,實現的一顆紅黑樹,大家
可以參考。其實紅黑樹類似2,3-查找樹,這種樹既有2叉結點又有3叉結點。B-Tree也與之類似,它的每個結點做多可以有d個分支(叉),d稱為B-
Tree的度,如下圖所示,它的每個結點可以有4個元素,5個分支,於是它的度為5。B-Tree中的元素是有序的,比如圖中元素7左邊的指針指向的結點
中的元素都小於7,而元素7和16之間的指針指向的結點中的元素都處於7和16之間,正是滿足這樣的關系,才能高效的查找:首先從根節點進行二分查找,找
到就返回對應的值,否則就進入相應的區間結點遞歸的查找,直到找到對應的元素或找到null指針,找到null指針則表示查找失敗。這個查找是十分高效
的,其時間復雜度為O(logN)(以d為底,當d很大時,樹的高度就很低),因為每次檢索最多隻需要檢索樹高h個結點。
接下來就該講B+Tree了,它是B-Tree的變種,如下面兩張圖所示:
vcHLx/i85LLp0a/Qp8LKoaM8L3A+DQo8aDMgaWQ9"myisam引擎的索引結構">MyISAM引擎的索引結構
MyISAM引擎的索引結構為B+Tree,其中B+Tree的數據域存儲的內容為實際數據的地址,也就是說它的索引和實際的數據是分開的,只不過是用索引指向了實際的數據,這種索引就是所謂的非聚集索引。
Innodb引擎的索引結構
MyISAM引擎的索引結構同樣也是B+Tree,但是Innodb的索引文件本身就是數據文件,即B+Tree的數據域存儲的就是實際的數據,這種索引就是聚集索引。這個索引的key就是數據表的主鍵,因此InnoDB表數據文件本身就是主索引。
因為InnoDB的數據文件本身要按主鍵聚集,所以InnoDB要求表必須有主鍵(MyISAM可以沒有),如果沒有顯式指定,則MySQL系統會自動選擇一個可以唯一標識數據記錄的列作為主鍵,如果不存在這種列,則MySQL自動為InnoDB表生成一個隱含欄位作為主鍵,這個欄位長度為6個位元組,類型為長整形。
並且和MyISAM不同,InnoDB的輔助索引數據域存儲的也是相應記錄主鍵的值而不是地址,所以當以輔助索引查找時,會先根據輔助索引找到主
鍵,再根據主鍵索引找到實際的數據。所以Innodb不建議使用過長的主鍵,否則會使輔助索引變得過大。建議使用自增的欄位作為主鍵,這樣B+Tree的
每一個結點都會被順序的填滿,而不會頻繁的分裂調整,會有效的提升插入數據的效率。
Ⅳ 中國有哪些數據分析公司
目前,數據分析公司主要涉及金融服務、零售、醫療衛生/生命科學、執法、電信、能源與公共事業、數字媒體/精準營銷、交通運輸等行業。
國內的數據分析公司包括:艾瑞咨詢、IDC、國家統計局、易觀、賽迪顧問等,如下圖。
Ⅳ 如何用mysql語句查看當前資料庫的引擎
mysql>showvariableslike'%storage_engine%';
Ⅵ 如何選擇基於Hadoop的SQL引擎
在Hadoop和NoSQL技術中,人們逐漸把焦點轉移到了Hadoop上的SQL引擎。今天,可選擇的引擎越來越多,反倒讓組織陷入了選擇困境。本文將羅列幾點選擇引擎時需要考量的因素,供您參考。
基於Hadoop的SQL技術一大優勢在於可以使用熟悉的SQL語言,訪問存儲在Hadoop中的大數據集。
用戶幾乎可以應用任何報表或工具來分析和研究數據。在Hadoop上還不能應用SQL的時候,要訪問Hadoop中的大數據集,需要十分了解Hadoop
的技術應用程序界面,比如HDFS、MapRece或HBase。現在有了基於Hadoop的SQL引擎,每個人都可以使用他喜歡的工具了。對企業而
言,相當於Hadoop開放了更大的窗口,有更多的企業可以應用Hadoop處理大數據。
有哪些技術可以選擇
第一個基於Hadoop的SQL引擎是Apache Hive,不過過去一年裡,有很多新產品出現,包括CitusDB、Cloudera
Impala、Concurrent Lingual、Hadapt、InfiniDB、 JethroData、MammothDB、Apache
Drill、MemSQL、Pivotal HawQ、Progress DataDirect、ScleraDB、Simba和Splice
Machine。
除了上述引擎之外,數據虛擬化伺服器也應在此列,因為它們對Hadoop數據實現了SQL訪問。虛擬化伺服器可以訪問所有數據源,包括Hadoop,不同的數據源都可以集成。數據虛擬化伺服器有很多,包括Cirro Data Hub、Cisco/Composite
當然,還有一些SQL資料庫管理系統也支持多種數據源。它們在自己的SQL資料庫或Hadoop中存儲數據,提供對Hadoop數據的SQL訪問。比如
EMC/Greenplum UAP、 HP Vertica (on MapR)、Microsoft PolyBase、Actian
ParAccel 和Teradata Aster Database (via SQL-H)。
這么多基於Hadoop的SQL工具可以使用,可以說是讓組織眼花繚亂。那麼該如何選擇呢?它們彼此的差別又在哪呢?
事實上,不同的技術之間差別很大,比如說,CitusDB知道數據存儲在哪裡,可以更快地訪問數據;JethroData存儲索引,可以直接訪問數據;Splice Machine提供交易型SQL界面。
要選擇正確的技術,需要比對細節。以下是具體的考慮因素:
SQL語言
支持的SQL語言越多,能使用的應用程序也就越多。並且,支持的語言越豐富,Hadoop能運行的查詢程序就越多,應用和報表工具要做的就越少。
節點連接
在大表上快速有效地執行節點連接並不容易,尤其是在SQL引擎不知道數據存儲在哪的情況下。效率低下的連接過程會導致大量的I/O,以及不同節點之間巨大的數據傳輸,最終影響處理速度。
非結構化數據
SQL是為結構化數據設
計的。表中的每一條記錄都位於同一列,每一列都有同樣的屬性。但在大數據時代,並不是所有的數據都是結構化的。Hadoop文件中可能包含嵌套的數據、可
變的數據(具有層級結構)、無模式的數據和自我描述的數據。基於Hadoop的SQL引擎必須能夠把所有數據都轉換為關系數據,並優化這些數據之間的查
詢。
存儲模式
Hadoop支持一些標准存儲格式,比如Parquet、Avro和ORCFile。基於Hadoop的SQL技術使用的格式越多,其他引擎和技術能夠讀取的格式也就越多。這極大地減少了復制數據的工作。
用戶定義函數
要在SQL上執行復雜的分析函數,比如高斯判別分析和購物籃分析等,很重要的前提是SQL對該函數的支持。這樣的函數被稱為用戶定義函數(UDF)。基於Hadoop的SQL引擎需要能夠在多節點上分部執行用戶定義函數。
多用戶工作負載
還需要考量的一個因素是,引擎應該如何在不同的查詢和不同類型的查詢之間劃分資源。比如,不同應用程序的查詢有不同的處理優先順序;需要運行較長時間的查詢
應該讓位於需要立即處理的查詢;如果計劃外的或資源密集型的查詢佔用很多資源的話,應該被取消或暫停查詢。基於Hadoop的SQL技術需要更加智能的工
作負載管理。
數據聯合
並不是所有的數據都存儲在Hadoop中。大部分企業數據還存儲在其他數據源中,比如SQL資料庫。基於Hadoop的SQL引擎需要支持存儲在不同類型數據源中的數據的連接。換言之,它必須支持數據聯合。
應用Hadoop的企業部署SQL引擎是大勢所趨。企業在選擇不同技術的時候,希望能考慮到上述因素。
Ⅶ 有關SQL Server 資料庫引擎
1,如果在電腦上安裝有SQL server,那麼SQL Server資料庫引擎是所安裝的SQL下哪個工具呢?是不是企業查詢器呢?
答:企業查詢器是sql server的應用程序,不是資料庫引擎。資料庫引擎從「開始」-》「管理工具」-》「服務」里可以看到,根據 版本不同名稱不同,但基本都帶關鍵字「SQL SERVER」,這個是你所說的引擎。
2,我們用應用程序進行連接SQL,則跟數據引擎有什麼關系?如果有,從哪裡可以看得出來?
答:當然有,這個不是從哪裡看出來。你連基本概念都沒弄清楚,c/s,b/s是什麼??? 那個s(server)就是你應用程序所連接的資料庫引擎。即資料庫引擎提供了資料庫的服務。你連sql,目的就是使用其提供的服務!
3,書裡面的說資料庫引擎里,有什麼默認實例,還有命名實例,但書裡面講得太理論化了,誰能用一個實例表達一下?
答:默認實例????你說的比書上還理論話啊。什麼意思?「實例」這個詞你在這里指什麼?你吧問題搞的太復雜了。
Ⅷ SQL 的資料庫引擎,Analysis Services ,Reporting Services ,Integration Service 有什麼區別
Analysis Services:
Analysis Services 提供了一組豐富的數據挖掘演算法,業務用戶可使用這組演算法挖掘其數據以查找特定的模式和走向。這些數據挖掘演算法可用於通過 UDM 或直接基於物理數據存儲區對數據進行分析。
Microsoft SQL Server 2005 Analysis Services (SSAS) 為商業智能解決方案提供聯機分析處理 (OLAP) 和數據挖掘功能。在使用 Analysis Services 設計商業智能解決方案之前,您應當熟悉成功的解決方案所必需的 OLAP 和數據挖掘概念。Analysis Services 通過允許開發人員在一個或多個物理數據源中定義一個稱為統一維度模型 (UDM) 的數據模型,從而很好的組合了傳統的基於 OLAP 分析和基於關系報表的各個最佳方面。基於 OLAP、報表以及自定義 BI 應用程序的所有最終用戶查詢都將通過 UDM(可提供一個此關系數據的業務視圖)訪問基礎數據源中的數據。
Reporting Services:
Microsoft SQL Server Reporting Services 是一種基於伺服器的新型報表平台,可用於創建和管理包含來自關系數據源和多維數據源的數據的表格報表、矩陣報表、圖形報表和自由格式報表。可以通過基於 Web 的連接來查看和管理您創建的報表。
Integration Service:
是微軟的一個智能解決方案,通俗點和ASP.NET程序差不多,它也設計了很多的類似控制項的東西,不過叫任務,這些任務的主要功能是將數據從數據源轉到數據目的,中間也會有查詢,聚合等等更加具體的任務。
Ⅸ 誰有SQL server2012的產品密鑰謝謝!
SQL server2012的產品密鑰:
MICROSOFT SQL SERVER 2012 DEVELOPER 版(開發版)。
序列號:YQWTX-G8T4R-QW4XX-BVH62-GP68Y。MICROSOFT SQL SERVER 2012 ENTERPRISE SERVER/CAL EDITION 版(伺服器/ CAL版)。
序列號:748RB-X4T6B-MRM7V-RTVFF-CHC8H。MICROSOFT SQL SERVER 2012 STANDARD 版(標准版)。
序列號:YFC4R-BRRWB-TVP9Y-6WJQ9-MCJQ7。MICROSOFT SQL SERVER 2012 WEB 版(WEB 版)。
序列號:FB3W8-YRXDP-G8F8F-C46KG-Q998F。MICROSOFT SQL SERVER 2012 ENTERPRISE CORE 版(企業版)。
序列號:FH666-Y346V-7XFQ3-V69JM-RHW28。MICROSOFT SQL SERVER 2012 BUSINESS INTELLIGENCE 版(企業版)。
序列號:HRV7T-DVTM4-V6XG8-P36T4-MRYT6。
(9)自助分析sql引擎擴展閱讀:
作為新一代的數據平台產品,SQL Server 2012 不僅延續現有數據平台的強大能力,全面支持雲技術與平台,並且能夠快速構建相應的解決方案實現私有雲與公有雲之間數據的擴展與應用的遷移。SQL Server 2012 提供對企業基礎架構最高級別的支持—專門針對關鍵業務應用的多種功能與解決方案可以提供最高級別的可用性及性能。
在業界領先的商業智能領領域,SQL Server 2012 提供了更多更全面的功能以滿足不同人群對數據以及信息的需求,包括支持來自於不同網路環境的數據的交互,全面的自助分析等創新功能。針對大數據以及數據倉庫,SQL Server 2012 提供從數 TB 到數百 TB 全面端到端的解決方案。做為微軟的信息平台解決方案,SQL Server 2012 的發布,可以幫助數以千計的企業用戶突破性地快速實現各種數據體驗,完全釋放對企業的洞察力。
SQL Server 2012包含企業版(Enterprise)、標准版(Standard),另外新增了商業智能版(Business Intelligence)。微軟表示,SQL Server 2012發布時還將包括Web版、開發者版本以及精簡版。
Ⅹ 運營,報表,分析三位一體化,什麼樣的SQL引擎能經得住挑戰
結合內存型資料庫,一體化引擎的前景相當激發想像力。Oracle, SAP Hana, Vertica統治的金融、電信IT架構,已經逐漸被新技術替
代。前文提到的內存式Apache Geode商業版Gemfire常用於證券交易系統,經過10多年,在事務處理上已經相當成熟,能確保高並發交易處
理、合規監察、交割保障等,並被中國12306鐵路票務系統所採納。 結合Trafodion這樣的一體化資料庫引擎,能享受到Hadoop便宜的拓展
性,並確保持久化的安全、高可用、異地雙活,全程ACID保障等特點。僅用一個SQL引擎,操作同一套內存和Hadoop系統,無需移動數據和多套系統,
即能滿足監管、合規、交割安全、個股分析,批量報表、BI等各種監管和創新。