① 企业数据库如何快速搭建
1、会进行需求剖析，然后做工作流规划，比如这个使命是什么时分跑的、依靠于哪些事务。工作流规划完成后进行数据采集和数据同步。
2、数据开发，咱们供给了WEB-IDE，支撑sql、MR、SHELL和
PYTHON等。然后咱们供给了冒烟测验的场景，测验完成后发布到线上，让它每天守时进行主动调度，并进行数据质量监控。以上步骤都完成后，就能把咱们的数据环流到事务系统库，或者用QuickBI、DataV这些东西进行页面展示。
3、咱们规划的使命是离线的，每天会在12点的时分把规划的使命变成一个实例快照。目前咱们的使命依靠在业内也是最先进的。
现在最常见的需求就是每天有日报，每周要写周报，每月要写月报。为了节省资源，就可以运用日报的数据直接转成周报或月报。
② 搭建大数据平台的具体步骤是什么
1、操作体系的挑选
操作体系一般使用开源版的RedHat、Centos或许Debian作为底层的构建渠道，要根据大数据渠道所要建立的数据剖析东西能够支撑的体系，正确的挑选操作体系的版本。
2、建立Hadoop集群
Hadoop作为一个开发和运行处理大规模数据的软件渠道，实现了在大量的廉价计算机组成的集群中对海量数据进行分布式计算。Hadoop结构中最核心的规划是HDFS和MapRece，HDFS是一个高度容错性的体系，合适布置在廉价的机器上，能够供给高吞吐量的数据访问，适用于那些有着超大数据集的应用程序;MapRece是一套能够从海量的数据中提取数据最终回来成果集的编程模型。在生产实践应用中，Hadoop非常合适应用于大数据存储和大数据的剖析应用，合适服务于几千台到几万台大的服务器的集群运行，支撑PB级别的存储容量。
3、挑选数据接入和预处理东西
面临各种来源的数据，数据接入便是将这些零散的数据整合在一起，归纳起来进行剖析。数据接入首要包括文件日志的接入、数据库日志的接入、关系型数据库的接入和应用程序等的接入，数据接入常用的东西有Flume，Logstash，NDC(网易数据运河体系)，sqoop等。
4、数据存储
除了Hadoop中已广泛应用于数据存储的HDFS，常用的还有分布式、面向列的开源数据库Hbase，HBase是一种key/value体系，布置在HDFS上，与Hadoop一样，HBase的目标首要是依靠横向扩展，通过不断的添加廉价的商用服务器，添加计算和存储才能。同时hadoop的资源管理器Yarn，能够为上层应用供给统一的资源管理和调度，为集群在利用率、资源统一等方面带来巨大的优点。
5、挑选数据挖掘东西
Hive能够将结构化的数据映射为一张数据库表，并供给HQL的查询功能，它是建立在Hadoop之上的数据仓库根底架构，是为了削减MapRece编写工作的批处理体系，它的出现能够让那些通晓SQL技术、可是不熟悉MapRece、编程才能较弱和不擅长Java的用户能够在HDFS大规模数据集上很好的利用SQL言语查询、汇总、剖析数据。
6、数据的可视化以及输出API
关于处理得到的数据能够对接主流的BI体系，比如国外的Tableau、Qlikview、PowrerBI等，国内的SmallBI和新兴的网易有数(可免费试用)等，将成果进行可视化，用于决策剖析;或许回流到线上，支撑线上业务的开展。
③ 怎样搭建平台
亲身参与，作为主力完成了一个信息大数据分析平台。中间经历了很多问题，算是有些经验，因而作答。
整体而言，大数据平台从平台部署和数据分析过程可分为如下几步：
1、linux系统安装
一般使用开源版的Redhat系统--CentOS作为底层平台。为了提供稳定的硬件基础，在给硬盘做RAID和挂载数据存储节点的时，需要按情况配置。例如，可以选择给HDFS的namenode做RAID2以提高其稳定性，将数据存储与操作系统分别放置在不同硬盘上，以确保操作系统的正常运行。
2、分布式计算平台/组件安装
目前国内外的分布式系统的大多使用的是Hadoop系列开源系统。Hadoop的核心是HDFS，一个分布式的文件系统。在其基础上常用的组件有Yarn、Zookeeper、Hive、Hbase、Sqoop、Impala、ElasticSearch、Spark等。
先说下使用开源组件的优点：1）使用者众多，很多bug可以在网上找的答案（这往往是开发中最耗时的地方）。2）开源组件一般免费，学习和维护相对方便。3）开源组件一般会持续更新，提供必要的更新服务‘当然还需要手动做更新操作’。4）因为代码开源，若出bug可自由对源码作修改维护。
再简略讲讲各组件的功能。分布式集群的资源管理器一般用Yarn，‘全名是Yet Another Resource Negotiator’。常用的分布式数据数据‘仓’库有Hive、Hbase。Hive可以用SQL查询‘但效率略低’，Hbase可以快速‘近实时’读取行。外部数据库导入导出需要用到Sqoop。Sqoop将数据从Oracle、MySQL等传统数据库导入Hive或Hbase。Zookeeper是提供数据同步服务，Yarn和Hbase需要它的支持。Impala是对hive的一个补充，可以实现高效的SQL查询。ElasticSearch是一个分布式的搜索引擎。针对分析，目前最火的是Spark‘此处忽略其他，如基础的MapRece 和 Flink’。Spark在core上面有ML lib，Spark Streaming、Spark QL和GraphX等库，可以满足几乎所有常见数据分析需求。
值得一提的是，上面提到的组件，如何将其有机结合起来，完成某个任务，不是一个简单的工作，可能会非常耗时。
3、数据导入
前面提到，数据导入的工具是Sqoop。用它可以将数据从文件或者传统数据库导入到分布式平台‘一般主要导入到Hive，也可将数据导入到Hbase’。
4、数据分析
数据分析一般包括两个阶段：数据预处理和数据建模分析。
数据预处理是为后面的建模分析做准备，主要工作时从海量数据中提取可用特征，建立大宽表。这个过程可能会用到Hive SQL，Spark QL和Impala。
数据建模分析是针对预处理提取的特征/数据建模，得到想要的结果。如前面所提到的，这一块最好用的是Spark。常用的机器学习算法，如朴素贝叶斯、逻辑回归、决策树、神经网络、TFIDF、协同过滤等，都已经在ML lib里面，调用比较方便。
5、结果可视化及输出API
可视化一般式对结果或部分原始数据做展示。一般有两种情况，行数据展示，和列查找展示。在这里，要基于大数据平台做展示，会需要用到ElasticSearch和Hbase。Hbase提供快速‘ms级别’的行查找。 ElasticSearch可以实现列索引，提供快速列查找。
平台搭建主要问题：
1、稳定性 Stability
理论上来说，稳定性是分布式系统最大的优势，因为它可以通过多台机器做数据及程序运行备份以确保系统稳定。但也由于大数据平台部署于多台机器上，配置不合适，也可能成为最大的问题。 曾经遇到的一个问题是Hbase经常挂掉，主要原因是采购的硬盘质量较差。硬盘损坏有时会到导致Hbase同步出现问题，因而导致Hbase服务停止。由于硬盘质量较差，隔三差五会出现服务停止现象，耗费大量时间。结论：大数据平台相对于超算确实廉价，但是配置还是必须高于家用电脑的。
2、可扩展性 Scalability
如何快速扩展已有大数据平台，在其基础上扩充新的机器是云计算等领域应用的关键问题。在实际2B的应用中，有时需要增减机器来满足新的需求。如何在保留原有功能的情况下，快速扩充平台是实际应用中的常见问题。
上述是自己项目实践的总结。整个平台搭建过程耗时耗力，非一两个人可以完成。一个小团队要真正做到这些也需要耗费很长时间。
目前国内和国际上已有多家公司提供大数据平台搭建服务，国外有名的公司有Cloudera，Hortonworks，MapR等，国内也有华为、明略数据、星环等。另外有些公司如明略数据等还提供一体化的解决方案，寻求这些公司合作对 于入门级的大数据企业或没有大数据分析能力的企业来说是最好的解决途径。
对于一些本身体量较小或者目前数据量积累较少的公司，个人认为没有必要搭建这一套系统，暂时先租用AWS和阿里云就够了。对于数据量大，但数据分析需求较简单的公司，可以直接买Tableau，Splunk，HP Vertica，或者IBM DB2等软件或服务即可。
以上是我从事大数据以来的一些认识。管见所及，可能有所疏漏，欢迎补充。
④ 关于搭建独立的数据库服务器平台
如果你要考虑到SQL 2005 那就只有走 WINDOWS SERVER了 现在比较稳定的 用的多的 大部分还是 WINDOWS SERVER 2008 R2 这样MSSQL 和 MYSQL 以及 ORACLE都可以安装
至于你说的数据库切换，一般需要你应用支持，ORM这个中间件来支持，比如JAVA的hibernate 以及.NET平台的 Entity Framework
数据库主要在于根据业务的设计和优化，MYSQL和MSSQL 照样能处理超大数据，当你数据存储量大的时候就 涉及到横向分库 纵向分区了，并发太大就要设计到数据群集了，这些都是在数据架构后面的事情了
⑤ 怎么搭建大数据分析平台
数据分析平台就是将公司所有的数据进行进行收集整理，包括系统数据、业务数据等，在统一的数据框架下实现对数据的挖掘和分析，最后通过可视化的手段进行数据展示。1、通常来说，企业内部的运营和业务系统每天会积累下大量历史数据，一些企业最多是对一些零散的数据进行浅层次的分析，真正的海量数据其实并没有得到真正有效的分析利用。
2、同时，随着系统的不断增加和积累，沉淀在系统深处的数据也更加难以提取和整合，后期的报表展示和可视化分析也就成了空壳应用。
3、一方面它可以汇通企业的各个业务系统，从源头打通数据资源，另一方面也可以实现从数据提取、集成到数据清洗、加工、可视化的一站式分析，帮助企业真正从数据中提取价值，提高企业的经营能力。
搭建大数据分析平台可以到思迈特软件Smartbi了解一下，它在金融行业，全球财富500强的10家国内银行中，有8家选用了思迈特软件Smartbi；国内12家股份制银行，已覆盖8家；国内六大银行，已签约4家；国内排名前十的保险公司已经覆盖6家；国内排名前十的证券公司已经覆盖5家。
数据分析平台靠不靠谱，来试试Smartbi,思迈特软件Smartbi经过多年持续自主研发，凝聚大量商业智能最佳实践经验，整合了各行业的数据分析和决策支持的功能需求。满足最终用户在企业级报表、数据可视化分析、自助探索分析、数据挖掘建模、AI智能分析等大数据分析需求。
思迈特软件Smartbi个人用户全功能模块长期免费试用
马上免费体验:Smartbi一站式大数据分析平台
⑥ 如何搭建数据库平台管理多用户
a．对于内置2块磁盘（146GB）的系统，/目录20GB，SWAP与内存大小相当（8GB以下内存机器SWAP配置8GB），/boot 100MB。如果作为应用服务器，那么其余空间建立/apps文件系统，mke2fs –j 命令；如果作为数据库平台，那么建立/dba文件系统20GB,其余建立/u01文件系统。
b．对于内置4-6块磁盘的系统，/目录60GB，SWAP与内存大小相当（8GB以下内存机器SWAP配置8GB），/boot 100MB。如果作为应用服务器，那么其余空间建立/apps文件系统，mke2fs –j 命令；如果作为数据库平台，那么建立/dba文件系统40GB,其余建立/u01文件系统。
⑦ 如何搭建公司内部的数据平台
公司的内部数据平台，主要作用是提供给公司内部所有部门人员使用，使公司内部的所有业务能够通过数据来驱动和决策。简单点讲就是通过数据平台来驱动公司内部的数据化运营。
设计一款好用的数据产品：
1.数据产品经理本身就是一个合格的数据分析师，所以数据产品经理需要深刻的了解业务，需要知道业务部门想要看什么数据，这些数据现在是否能够获取到，业务方通过这些数据分析，是如何推进和改善业务的。
2.数据产品要根据使用方的特点设计出符合使用方需要的内容，产品要有层级和结构，如果设计的一张数据报表既要满足管理层又要满足一线业务人员的需要，那么这样的数据产品很大可能是体验比较差的，因为老板和一线人员看数据的视角不一样，老板们一般是把握业务的大方向，主要看一些关键性的指标，并希望知道这些关键指标出问题后背后的原因是什么。所以给老板设计的报表需要结构简单易懂，并能够基于这些关键指标的异常给予问题定位。一线人员主要是偏执行层面，他们看数据的粒度一般都很细。
3.数据产品一定要注意数据质量、规范、统一，因为公司的数据平台是面向所有部门的，怎么保证公司的所有部门人员对于数据的理解是一致的，这点特别难，首先公司的各个生产系统就是千差万别，由于各种客观因素，导致生产系统的数据质量和结构也会千差万别，这样数据仓库的数据建设就显得尤为重要，数据平台的数据质量依赖于数据仓库底层的数据模型，所以一个好的数据仓库很大程度上决定了数据平台的数据质量
下面就从实战的角度来加以阐述，A公司是一家电商公司，那么A公司的各个部门需要看哪些数据？他们平常看数据的场景主要是哪些呢？首先应该知道这些部门的KPI是什么，如果对负责支持的部门的KPI都不了解，怎么能设计出来好的数据报表。例如采购部门的kpi基本就是销售额用户数销售毛利采购成本，运营部门的kpi就是用户复购用户流失转化率，市场部门的kpi就是流量、新客。
那么知道各个部门的核心KPI后，主要从使用场景入手，拿采购部门来说，是怎么样看数据：
每日：
早上9：00来到公司，希望知道昨天我负责的业务这块做的怎么样了，这个时候应该设计一张基础数据报表，这张数据报表应该具有以下内容：
1. 能够查看昨天的数据，而且能够选择时间段，这样如果昨天的数据有问题，希望拉取过去一段时间的数据，看看业务趋势上是不是出了问题。
2. 指标越丰富越好，如果交易额下降了，需要看看订单数是不是下降了，如果订单数没下降了，那不是单均价出了什么问题，发现单均价降低了，那我要看看是商品结构的原因还是因为活动门槛调整导致的？
3. 数据粒度要越细越好，比如数据粒度可以从全国下钻到省份，从省份下钻到城市，这样交易额下降了我就能知道是哪个省哪个城市出了问题，这样就能针对性的解决。
早上10：00-下午18：00，业绩高峰来临，这个时候需要提一张实时监控的数据报表，通过实时监控，能够尽早的发现业务的一些异常情况，这样就能够帮助业务人员尽快的做出调整。
每周一或者月初：
部门内有周会/月会，老板可能会过工作业绩，所以我准备准备。
首先看下上周的绩效情况，这个时候需要一张关于绩效的报表数据，通过这张绩效报表：
能够知道我做的绩效完成的怎么样，排名是提升了还是下降了，了解哪些人排名高
其次对于上周出现的业务问题，通过一些分析报表定位和发现问题，比如发现用户的复购率下降了，是因为老用户的复购降低了还是最近新客的质量降低。
如果发现是老用户的复购降低了，那要进一步分析，是因为竞争对手产品活动力度大，还是因为商品的曝光不够亦或是产品本身对于用户失去了吸引力，这样就能够及时做出调整，如果是竞争对手产品活动力度大，那需要重点关注竞争对手的情况及时调整产品营销活动力度如果是商品的曝光度不够，可以从以下几个层面入手优化：
1. 优化商品的主标题和副标题，增加用户的搜索触达率。
2. 站内广告位多多增加产品的曝光或是和其他的品类商品做联合促销。
3.优化商品的导购属性信息，帮助用户跟精准的触达。如果是产品本身的问题那可能就需要引进新品（例如从国产到进口、从低端到高端）。
⑧ 数据库和平台是什么关系平台如何搭建
数据库是后台，平台是前台显示。所有数据库的操作依靠前台实现，数据库的执行过程是看不到的。数据库有acess,mssql,mysql,oracle等等，平台有java,asp,php。平台的搭建需要安装支持该开发语言的软件。仁易轩分享经验。
⑨ 大数据时代如何构建高性能数据库平台
在数据爆炸的时代，给众多IT从业人员带来了相当大的困扰—伴随着大数据分析，商业智能的发展，数据量呈现指数增长，传统数据处理系统已不堪重负。在这样的背景下，“数据库平台的构建”逐渐成为一个备受关注的话题。
对于数据库系统而言，绝大多数情况下影响数据库性能的三个要素是：数据运算能力、数据读写时延和数据吞吐带宽，简称计算、时延、吞吐。计算指的是CPU的运算能力，时延是数据从存储介质跑到CPU所需的时间长短，吞吐则是数据从存储介质到CPU的道路宽度。一般情况下，关注计算和时延是比较多的，但是在数据量越来越多的情况下，吞吐也成为影响数据库性能的重要因素。如果吞吐带宽不够，会造成计算等待队列的增加，CPU占用率虚高不下。这种情况下，即使增加再多的计算资源也于事无补，相当于千军万马挤独木桥，马再好也是枉然。一个高性能的数据库平台，一定是计算、时延、吞吐三方面的能力齐头并进，相互匹配。
计算能力由CPU主频和核数决定，实践中看CPU占用率就能够大致确定CPU配置是否合适。时延的指标很简单，时间是衡量时延的唯一指标。吞吐量则是通过每秒在I/O流中传输的数据总量来衡量的。
以上由物联传媒转载，如有侵权联系删除
⑩ 如何搭建一个数据库服务器平台
要提升数据库操作和维护经验，亲手搭建一个数据库平台是非常有效的方法，可以让你对数据库有一个直观深入的了解。下面就来总结一下如何的来搭建一个数据库平台。主要从参数和一些特性的配置上来说明。本文中所采用的参数设置也不一定很合理，每个DBA心中对重要的参数都有一个标准，这也是经验的价值。