Ⅰ 什么样的sql引擎能挑战运营,报表,分析三位一体化
运营型任务流数据量很大,高并发,要求响应时间在一秒之内,而分析型任务流的响应时间在秒到分钟级,并发度相对低,需要访问运营、历史和第三方数据。要支
持运营型、批量报表或分析型任务流的任一种,已经相当困难了,比如NonStop SQL/MX擅长OLTP或运营型任务流, Teradata 和
HP Neoview擅长BI和数据仓库, Vertica, Aster Data, Netezza, Greenplum等以分析为主。要用一个查
询引擎来服务所有这些任务流意味着需要满足一大堆需求。
Ⅱ 1.SQL Server 2005数据库引擎(Database Engine) 2.SQL Server 2005分析服务(Analysis Services)
1、Integration Service
SQL Server 2005带来了一个全新的企业级数据整合平台。此平台具有出色的ETL和整合能力,使得组织机构能更加容易地管理来自于不同的关系型和非关系型数据源的数据。通过SQL Server Integration Services(SSIS),组织机构能以整体的视角去考察它们的商业运营情况,从而能具有竞争优势。
企业级数据整合平台
SQL Server Integration Services取代了SQL Server 2000中一个非常受欢迎的功能模块——数据转换服务(DTS)。但SSIS并不是DTS的简单升级,它是SQL Server 2005中的一个全新的组件,它提供了构建企业级ETL应用程序所需的功能和性能。SSIS是可编程的、可嵌入的和可扩展的,这些特性使其成为理想的ETL平台。
传统 ETL 之外的
SQL Server 2005 支持非传统的数据(Web Service,XML):
SSIS 可对不持续的数据进行分析
在数据流中的数据挖掘和文本挖掘
数据流中的数据挖掘和分析可用于数据质量和数据清洗
2、Analysis Service
在SQL Server 2005中,分析服务(Analysis Services)第一次提供了一个统一和集成的商业数据视图,可被用做所有传统报表、OLAP分析(online analytical processing)、关键绩效指标(KPI)记分卡和数据挖掘的基础。
统一空间模型Unified Dimensional Model
通过结合传统OLAP分析和关系型报表中的最佳点,Analysis Services 2005提供了一个元数据模型用于满足不同需求。Analysis Services 2005中的所有多维数据集和维度定义都可从统一空间模型UDM中查阅。UDM是一个中心元数据库,其中定义了业务实体、业务逻辑、计算和metrics,可被作为所有报表、电子表格、OLAP浏览器、KPI和分析应用程序的源来使用。
通过使用新的、功能强大的数据源视图特性、UDM可被映射成后台异构数据源宿主,这样便可无需考虑数据的位置。
利用UDM中对业务实体的友好描述、等级导航、多视角、自动平滑翻译为本机语言这些功能,最终用户将会发现浏览公司业务数据是一件容易的事情。
数据挖掘
Microsoft SQL Server 2005 Data Mining(数据挖掘)属于商务智能技术,它可帮助您构建复杂的分析模型,并使其与您的业务操作相集成。Microsoft SQL Server 2005分析服务中构建了新的数据挖掘平台——一个易于使用的、容易扩展的、方便访问的、非常灵活的平台。对于以前从未考虑过采用数据挖掘的组织机构,这无疑是个非常容易接受的解决方案。
企业级产品的架构,与SQL Server产品家族商业智能功能的紧密集成,丰富的工具、API和算法,这一切使得我们能基于SQL Server创建新型的商业智能应用程序。通过它所提供的针对各种商业问题的自定义的数据驱动解决方案,能达到提高生产力、增加利润和减少支出的目的。
3、Reporting Service
SQL Server 2005 Reporting Services扩展了微软商业智能(BI)平台,以迎合那些需要访问商业数据的信息工作者。Reporting Services是一个基于服务器的企业级报表环境,可借助web services进行管理。报表可以用不同的格式发布,并可带多种交互和打印选项。通过把报表作为更进一步的商业智能的数据源来分发,复杂的分析可被更多的用户所用。
作为SQL Server 2005 的一个集成组件,Reporting Services提供了:
一个高性能引擎用来处理和格式化报表。
一个完整的工具集用来创建、管理和查看报表。
一个可扩展架构和开放式接口可将报表嵌入或集成报表解决方案到不同的IT环境中。
关系型和OLAP报表
在关系型数据上创建报表固然有用,但如能增加更多的分析能力就十分强大了。Reporting Services允许你在关系型和OLAP上创建报表,单独的、或结合的。SQL Server 2005 支持关系型和OLAP数据,其分别提供了SQL Query Editor 和 MDX Query Editor。
报表生成器Report Builder
作为微软SQL SERVER 2005 Reporting Services的一个新组件,Report Builder允许商业用户使用界面友好的数据模型来创建他们自己的报表。报表生成器使Reporting Services平台能够为所有最终用户创建即席查询(ad hoc)报表。用户可以使用报表生成器客户端来创建和编辑报表。报表生成器用户界面是构建在大家熟知的微软office产品之上的,如Excel和PowerPoint。
报表生成器是一种由浏览器来部署的ClickOnce应用程序。用户可以通过选择报表布局模板来开始创建报表,这些模板包含预定义的数据区,如:表格、矩阵表和图表。接着用户可以从模型中拖放报表项到设计界面,并可设置约束来过滤数据。报表生成器自动生成源查询和检索请求数据所需要的所有信息都包含在这个模型中。报表生成器还允许用户:
向报表增加文本和格式
使用模型创建新的字段和计算定义
预览、打印和发布报表
把报表数据导出为如Excel之类的格式
Ⅲ 如何查看mysql数据库的引擎
一般情况下,mysql会默认提供多种存储引擎,你可以通过下面的查看:
看你的mysql现在已提供什么存储引擎:
mysql> show engines;
看你的mysql当前默认的存储引擎:
mysql> show variables like '%storage_engine%';
你要看某个表用了什么引擎(在显示结果里参数engine后面的就表示该表当前用的存储引擎):
mysql> show create table 表名;
MySQL数据库引擎详解
作为Java程序员,MySQL数据库大家平时应该都没少使用吧,对MySQL数据库的引擎应该也有所了解,这篇文章就让我详细的说说MySQL数据库的Innodb和MyIASM两种引擎以及其索引结构。也来巩固一下自己对这块知识的掌握。
Innodb引擎
Innodb引擎提供了对数据库ACID事务的支持,并且实现了SQL标准的四种隔离级别,关于数据库事务与其隔离级别的内容请见数据库事务与其隔
离级别这篇文章。该引擎还提供了行级锁和外键约束,它的设计目标是处理大容量数据库系统,它本身其实就是基于MySQL后台的完整数据库系统,MySQL
运行时Innodb会在内存中建立缓冲池,用于缓冲数据和索引。但是该引擎不支持FULLTEXT类型的索引,而且它没有保存表的行数,当SELECT
COUNT(*) FROM
TABLE时需要扫描全表。当需要使用数据库事务时,该引擎当然是首选。由于锁的粒度更小,写操作不会锁定全表,所以在并发较高时,使用Innodb引擎
会提升效率。但是使用行级锁也不是绝对的,如果在执行一个SQL语句时MySQL不能确定要扫描的范围,InnoDB表同样会锁全表。
MyIASM引擎
MyIASM是MySQL默认的引擎,但是它没有提供对数据库事务的支持,也不支持行级锁和外键,因此当INSERT(插入)或UPDATE(更
新)数据时即写操作需要锁定整个表,效率便会低一些。不过和Innodb不同,MyIASM中存储了表的行数,于是SELECT COUNT(*)
FROM
TABLE时只需要直接读取已经保存好的值而不需要进行全表扫描。如果表的读操作远远多于写操作且不需要数据库事务的支持,那么MyIASM也是很好的选
择。
两种引擎的选择
大尺寸的数据集趋向于选择InnoDB引擎,因为它支持事务处理和故障恢复。数据库的大小决定了故障恢复的时间长短,InnoDB可以利用事务日志
进行数据恢复,这会比较快。主键查询在InnoDB引擎下也会相当快,不过需要注意的是如果主键太长也会导致性能问题,关于这个问题我会在下文中讲到。大
批的INSERT语句(在每个INSERT语句中写入多行,批量插入)在MyISAM下会快一些,但是UPDATE语句在InnoDB下则会更快一些,尤
其是在并发量大的时候。
Index——索引
索引(Index)是帮助MySQL高效获取数据的数据结构。MyIASM和Innodb都使用了树这种数据结构做为索引,关于树我也曾经写过一篇文章树是一种伟大的数据结构,只是自己的理解,有兴趣的朋友可以去阅读。下面我接着讲这两种引擎使用的索引结构,讲到这里,首先应该谈一下B-Tree和B+Tree。
B-Tree和B+Tree
B+Tree是B-Tree的变种,那么我就先讲B-Tree吧,相信大家都知道红黑树,这是我前段时间学《算法》一书时,实现的一颗红黑树,大家
可以参考。其实红黑树类似2,3-查找树,这种树既有2叉结点又有3叉结点。B-Tree也与之类似,它的每个结点做多可以有d个分支(叉),d称为B-
Tree的度,如下图所示,它的每个结点可以有4个元素,5个分支,于是它的度为5。B-Tree中的元素是有序的,比如图中元素7左边的指针指向的结点
中的元素都小于7,而元素7和16之间的指针指向的结点中的元素都处于7和16之间,正是满足这样的关系,才能高效的查找:首先从根节点进行二分查找,找
到就返回对应的值,否则就进入相应的区间结点递归的查找,直到找到对应的元素或找到null指针,找到null指针则表示查找失败。这个查找是十分高效
的,其时间复杂度为O(logN)(以d为底,当d很大时,树的高度就很低),因为每次检索最多只需要检索树高h个结点。
接下来就该讲B+Tree了,它是B-Tree的变种,如下面两张图所示:
vcHLx/i85LLp0a/Qp8LKoaM8L3A+DQo8aDMgaWQ9"myisam引擎的索引结构">MyISAM引擎的索引结构
MyISAM引擎的索引结构为B+Tree,其中B+Tree的数据域存储的内容为实际数据的地址,也就是说它的索引和实际的数据是分开的,只不过是用索引指向了实际的数据,这种索引就是所谓的非聚集索引。
Innodb引擎的索引结构
MyISAM引擎的索引结构同样也是B+Tree,但是Innodb的索引文件本身就是数据文件,即B+Tree的数据域存储的就是实际的数据,这种索引就是聚集索引。这个索引的key就是数据表的主键,因此InnoDB表数据文件本身就是主索引。
因为InnoDB的数据文件本身要按主键聚集,所以InnoDB要求表必须有主键(MyISAM可以没有),如果没有显式指定,则MySQL系统会自动选择一个可以唯一标识数据记录的列作为主键,如果不存在这种列,则MySQL自动为InnoDB表生成一个隐含字段作为主键,这个字段长度为6个字节,类型为长整形。
并且和MyISAM不同,InnoDB的辅助索引数据域存储的也是相应记录主键的值而不是地址,所以当以辅助索引查找时,会先根据辅助索引找到主
键,再根据主键索引找到实际的数据。所以Innodb不建议使用过长的主键,否则会使辅助索引变得过大。建议使用自增的字段作为主键,这样B+Tree的
每一个结点都会被顺序的填满,而不会频繁的分裂调整,会有效的提升插入数据的效率。
Ⅳ 中国有哪些数据分析公司
目前,数据分析公司主要涉及金融服务、零售、医疗卫生/生命科学、执法、电信、能源与公共事业、数字媒体/精准营销、交通运输等行业。
国内的数据分析公司包括:艾瑞咨询、IDC、国家统计局、易观、赛迪顾问等,如下图。
Ⅳ 如何用mysql语句查看当前数据库的引擎
mysql>showvariableslike'%storage_engine%';
Ⅵ 如何选择基于Hadoop的SQL引擎
在Hadoop和NoSQL技术中,人们逐渐把焦点转移到了Hadoop上的SQL引擎。今天,可选择的引擎越来越多,反倒让组织陷入了选择困境。本文将罗列几点选择引擎时需要考量的因素,供您参考。
基于Hadoop的SQL技术一大优势在于可以使用熟悉的SQL语言,访问存储在Hadoop中的大数据集。
用户几乎可以应用任何报表或工具来分析和研究数据。在Hadoop上还不能应用SQL的时候,要访问Hadoop中的大数据集,需要十分了解Hadoop
的技术应用程序界面,比如HDFS、MapRece或HBase。现在有了基于Hadoop的SQL引擎,每个人都可以使用他喜欢的工具了。对企业而
言,相当于Hadoop开放了更大的窗口,有更多的企业可以应用Hadoop处理大数据。
有哪些技术可以选择
第一个基于Hadoop的SQL引擎是Apache Hive,不过过去一年里,有很多新产品出现,包括CitusDB、Cloudera
Impala、Concurrent Lingual、Hadapt、InfiniDB、 JethroData、MammothDB、Apache
Drill、MemSQL、Pivotal HawQ、Progress DataDirect、ScleraDB、Simba和Splice
Machine。
除了上述引擎之外,数据虚拟化服务器也应在此列,因为它们对Hadoop数据实现了SQL访问。虚拟化服务器可以访问所有数据源,包括Hadoop,不同的数据源都可以集成。数据虚拟化服务器有很多,包括Cirro Data Hub、Cisco/Composite
当然,还有一些SQL数据库管理系统也支持多种数据源。它们在自己的SQL数据库或Hadoop中存储数据,提供对Hadoop数据的SQL访问。比如
EMC/Greenplum UAP、 HP Vertica (on MapR)、Microsoft PolyBase、Actian
ParAccel 和Teradata Aster Database (via SQL-H)。
这么多基于Hadoop的SQL工具可以使用,可以说是让组织眼花缭乱。那么该如何选择呢?它们彼此的差别又在哪呢?
事实上,不同的技术之间差别很大,比如说,CitusDB知道数据存储在哪里,可以更快地访问数据;JethroData存储索引,可以直接访问数据;Splice Machine提供交易型SQL界面。
要选择正确的技术,需要比对细节。以下是具体的考虑因素:
SQL语言
支持的SQL语言越多,能使用的应用程序也就越多。并且,支持的语言越丰富,Hadoop能运行的查询程序就越多,应用和报表工具要做的就越少。
节点连接
在大表上快速有效地执行节点连接并不容易,尤其是在SQL引擎不知道数据存储在哪的情况下。效率低下的连接过程会导致大量的I/O,以及不同节点之间巨大的数据传输,最终影响处理速度。
非结构化数据
SQL是为结构化数据设
计的。表中的每一条记录都位于同一列,每一列都有同样的属性。但在大数据时代,并不是所有的数据都是结构化的。Hadoop文件中可能包含嵌套的数据、可
变的数据(具有层级结构)、无模式的数据和自我描述的数据。基于Hadoop的SQL引擎必须能够把所有数据都转换为关系数据,并优化这些数据之间的查
询。
存储模式
Hadoop支持一些标准存储格式,比如Parquet、Avro和ORCFile。基于Hadoop的SQL技术使用的格式越多,其他引擎和技术能够读取的格式也就越多。这极大地减少了复制数据的工作。
用户定义函数
要在SQL上执行复杂的分析函数,比如高斯判别分析和购物篮分析等,很重要的前提是SQL对该函数的支持。这样的函数被称为用户定义函数(UDF)。基于Hadoop的SQL引擎需要能够在多节点上分部执行用户定义函数。
多用户工作负载
还需要考量的一个因素是,引擎应该如何在不同的查询和不同类型的查询之间划分资源。比如,不同应用程序的查询有不同的处理优先级;需要运行较长时间的查询
应该让位于需要立即处理的查询;如果计划外的或资源密集型的查询占用很多资源的话,应该被取消或暂停查询。基于Hadoop的SQL技术需要更加智能的工
作负载管理。
数据联合
并不是所有的数据都存储在Hadoop中。大部分企业数据还存储在其他数据源中,比如SQL数据库。基于Hadoop的SQL引擎需要支持存储在不同类型数据源中的数据的连接。换言之,它必须支持数据联合。
应用Hadoop的企业部署SQL引擎是大势所趋。企业在选择不同技术的时候,希望能考虑到上述因素。
Ⅶ 有关SQL Server 数据库引擎
1,如果在电脑上安装有SQL server,那么SQL Server数据库引擎是所安装的SQL下哪个工具呢?是不是企业查询器呢?
答:企业查询器是sql server的应用程序,不是数据库引擎。数据库引擎从“开始”-》“管理工具”-》“服务”里可以看到,根据 版本不同名称不同,但基本都带关键字“SQL SERVER”,这个是你所说的引擎。
2,我们用应用程序进行连接SQL,则跟数据引擎有什么关系?如果有,从哪里可以看得出来?
答:当然有,这个不是从哪里看出来。你连基本概念都没弄清楚,c/s,b/s是什么??? 那个s(server)就是你应用程序所连接的数据库引擎。即数据库引擎提供了数据库的服务。你连sql,目的就是使用其提供的服务!
3,书里面的说数据库引擎里,有什么默认实例,还有命名实例,但书里面讲得太理论化了,谁能用一个实例表达一下?
答:默认实例????你说的比书上还理论话啊。什么意思?“实例”这个词你在这里指什么?你吧问题搞的太复杂了。
Ⅷ SQL 的数据库引擎,Analysis Services ,Reporting Services ,Integration Service 有什么区别
Analysis Services:
Analysis Services 提供了一组丰富的数据挖掘算法,业务用户可使用这组算法挖掘其数据以查找特定的模式和走向。这些数据挖掘算法可用于通过 UDM 或直接基于物理数据存储区对数据进行分析。
Microsoft SQL Server 2005 Analysis Services (SSAS) 为商业智能解决方案提供联机分析处理 (OLAP) 和数据挖掘功能。在使用 Analysis Services 设计商业智能解决方案之前,您应当熟悉成功的解决方案所必需的 OLAP 和数据挖掘概念。Analysis Services 通过允许开发人员在一个或多个物理数据源中定义一个称为统一维度模型 (UDM) 的数据模型,从而很好的组合了传统的基于 OLAP 分析和基于关系报表的各个最佳方面。基于 OLAP、报表以及自定义 BI 应用程序的所有最终用户查询都将通过 UDM(可提供一个此关系数据的业务视图)访问基础数据源中的数据。
Reporting Services:
Microsoft SQL Server Reporting Services 是一种基于服务器的新型报表平台,可用于创建和管理包含来自关系数据源和多维数据源的数据的表格报表、矩阵报表、图形报表和自由格式报表。可以通过基于 Web 的连接来查看和管理您创建的报表。
Integration Service:
是微软的一个智能解决方案,通俗点和ASP.NET程序差不多,它也设计了很多的类似控件的东西,不过叫任务,这些任务的主要功能是将数据从数据源转到数据目的,中间也会有查询,聚合等等更加具体的任务。
Ⅸ 谁有SQL server2012的产品密钥谢谢!
SQL server2012的产品密钥:
MICROSOFT SQL SERVER 2012 DEVELOPER 版(开发版)。
序列号:YQWTX-G8T4R-QW4XX-BVH62-GP68Y。MICROSOFT SQL SERVER 2012 ENTERPRISE SERVER/CAL EDITION 版(服务器/ CAL版)。
序列号:748RB-X4T6B-MRM7V-RTVFF-CHC8H。MICROSOFT SQL SERVER 2012 STANDARD 版(标准版)。
序列号:YFC4R-BRRWB-TVP9Y-6WJQ9-MCJQ7。MICROSOFT SQL SERVER 2012 WEB 版(WEB 版)。
序列号:FB3W8-YRXDP-G8F8F-C46KG-Q998F。MICROSOFT SQL SERVER 2012 ENTERPRISE CORE 版(企业版)。
序列号:FH666-Y346V-7XFQ3-V69JM-RHW28。MICROSOFT SQL SERVER 2012 BUSINESS INTELLIGENCE 版(企业版)。
序列号:HRV7T-DVTM4-V6XG8-P36T4-MRYT6。
(9)自助分析sql引擎扩展阅读:
作为新一代的数据平台产品,SQL Server 2012 不仅延续现有数据平台的强大能力,全面支持云技术与平台,并且能够快速构建相应的解决方案实现私有云与公有云之间数据的扩展与应用的迁移。SQL Server 2012 提供对企业基础架构最高级别的支持—专门针对关键业务应用的多种功能与解决方案可以提供最高级别的可用性及性能。
在业界领先的商业智能领领域,SQL Server 2012 提供了更多更全面的功能以满足不同人群对数据以及信息的需求,包括支持来自于不同网络环境的数据的交互,全面的自助分析等创新功能。针对大数据以及数据仓库,SQL Server 2012 提供从数 TB 到数百 TB 全面端到端的解决方案。做为微软的信息平台解决方案,SQL Server 2012 的发布,可以帮助数以千计的企业用户突破性地快速实现各种数据体验,完全释放对企业的洞察力。
SQL Server 2012包含企业版(Enterprise)、标准版(Standard),另外新增了商业智能版(Business Intelligence)。微软表示,SQL Server 2012发布时还将包括Web版、开发者版本以及精简版。
Ⅹ 运营,报表,分析三位一体化,什么样的SQL引擎能经得住挑战
结合内存型数据库,一体化引擎的前景相当激发想象力。Oracle, SAP Hana, Vertica统治的金融、电信IT架构,已经逐渐被新技术替
代。前文提到的内存式Apache Geode商业版Gemfire常用于证券交易系统,经过10多年,在事务处理上已经相当成熟,能确保高并发交易处
理、合规监察、交割保障等,并被中国12306铁路票务系统所采纳。 结合Trafodion这样的一体化数据库引擎,能享受到Hadoop便宜的拓展
性,并确保持久化的安全、高可用、异地双活,全程ACID保障等特点。仅用一个SQL引擎,操作同一套内存和Hadoop系统,无需移动数据和多套系统,
即能满足监管、合规、交割安全、个股分析,批量报表、BI等各种监管和创新。