① 企業資料庫如何快速搭建
1、會進行需求剖析，然後做工作流規劃，比如這個使命是什麼時分跑的、依靠於哪些事務。工作流規劃完成後進行數據採集和數據同步。
2、數據開發，咱們供給了WEB-IDE，支撐sql、MR、SHELL和
PYTHON等。然後咱們供給了冒煙測驗的場景，測驗完成後發布到線上，讓它每天守時進行主動調度，並進行數據質量監控。以上步驟都完成後，就能把咱們的數據環流到事務系統庫，或者用QuickBI、DataV這些東西進行頁面展示。
3、咱們規劃的使命是離線的，每天會在12點的時分把規劃的使命變成一個實例快照。目前咱們的使命依靠在業內也是最先進的。
現在最常見的需求就是每天有日報，每周要寫周報，每月要寫月報。為了節省資源，就可以運用日報的數據直接轉成周報或月報。
② 搭建大數據平台的具體步驟是什麼
1、操作體系的挑選
操作體系一般使用開源版的RedHat、Centos或許Debian作為底層的構建渠道，要根據大數據渠道所要建立的數據剖析東西能夠支撐的體系，正確的挑選操作體系的版本。
2、建立Hadoop集群
Hadoop作為一個開發和運行處理大規模數據的軟體渠道，實現了在大量的廉價計算機組成的集群中對海量數據進行分布式計算。Hadoop結構中最核心的規劃是HDFS和MapRece，HDFS是一個高度容錯性的體系，合適布置在廉價的機器上，能夠供給高吞吐量的數據訪問，適用於那些有著超大數據集的應用程序;MapRece是一套能夠從海量的數據中提取數據最終回來成果集的編程模型。在生產實踐應用中，Hadoop非常合適應用於大數據存儲和大數據的剖析應用，合適服務於幾千台到幾萬台大的伺服器的集群運行，支撐PB級別的存儲容量。
3、挑選數據接入和預處理東西
面臨各種來源的數據，數據接入便是將這些零散的數據整合在一起，歸納起來進行剖析。數據接入首要包括文件日誌的接入、資料庫日誌的接入、關系型資料庫的接入和應用程序等的接入，數據接入常用的東西有Flume，Logstash，NDC(網易數據運河體系)，sqoop等。
4、數據存儲
除了Hadoop中已廣泛應用於數據存儲的HDFS，常用的還有分布式、面向列的開源資料庫Hbase，HBase是一種key/value體系，布置在HDFS上，與Hadoop一樣，HBase的目標首要是依靠橫向擴展，通過不斷的添加廉價的商用伺服器，添加計算和存儲才能。同時hadoop的資源管理器Yarn，能夠為上層應用供給統一的資源管理和調度，為集群在利用率、資源統一等方面帶來巨大的優點。
5、挑選數據挖掘東西
Hive能夠將結構化的數據映射為一張資料庫表，並供給HQL的查詢功能，它是建立在Hadoop之上的數據倉庫根底架構，是為了削減MapRece編寫工作的批處理體系，它的出現能夠讓那些通曉SQL技術、可是不熟悉MapRece、編程才能較弱和不擅長Java的用戶能夠在HDFS大規模數據集上很好的利用SQL言語查詢、匯總、剖析數據。
6、數據的可視化以及輸出API
關於處理得到的數據能夠對接主流的BI體系，比如國外的Tableau、Qlikview、PowrerBI等，國內的SmallBI和新興的網易有數(可免費試用)等，將成果進行可視化，用於決策剖析;或許迴流到線上，支撐線上業務的開展。
③ 怎樣搭建平台
親身參與，作為主力完成了一個信息大數據分析平台。中間經歷了很多問題，算是有些經驗，因而作答。
整體而言，大數據平台從平台部署和數據分析過程可分為如下幾步：
1、linux系統安裝
一般使用開源版的Redhat系統--CentOS作為底層平台。為了提供穩定的硬體基礎，在給硬碟做RAID和掛載數據存儲節點的時，需要按情況配置。例如，可以選擇給HDFS的namenode做RAID2以提高其穩定性，將數據存儲與操作系統分別放置在不同硬碟上，以確保操作系統的正常運行。
2、分布式計算平台/組件安裝
目前國內外的分布式系統的大多使用的是Hadoop系列開源系統。Hadoop的核心是HDFS，一個分布式的文件系統。在其基礎上常用的組件有Yarn、Zookeeper、Hive、Hbase、Sqoop、Impala、ElasticSearch、Spark等。
先說下使用開源組件的優點：1）使用者眾多，很多bug可以在網上找的答案（這往往是開發中最耗時的地方）。2）開源組件一般免費，學習和維護相對方便。3）開源組件一般會持續更新，提供必要的更新服務『當然還需要手動做更新操作』。4）因為代碼開源，若出bug可自由對源碼作修改維護。
再簡略講講各組件的功能。分布式集群的資源管理器一般用Yarn，『全名是Yet Another Resource Negotiator』。常用的分布式數據數據『倉』庫有Hive、Hbase。Hive可以用SQL查詢『但效率略低』，Hbase可以快速『近實時』讀取行。外部資料庫導入導出需要用到Sqoop。Sqoop將數據從Oracle、MySQL等傳統資料庫導入Hive或Hbase。Zookeeper是提供數據同步服務，Yarn和Hbase需要它的支持。Impala是對hive的一個補充，可以實現高效的SQL查詢。ElasticSearch是一個分布式的搜索引擎。針對分析，目前最火的是Spark『此處忽略其他，如基礎的MapRece 和 Flink』。Spark在core上面有ML lib，Spark Streaming、Spark QL和GraphX等庫，可以滿足幾乎所有常見數據分析需求。
值得一提的是，上面提到的組件，如何將其有機結合起來，完成某個任務，不是一個簡單的工作，可能會非常耗時。
3、數據導入
前面提到，數據導入的工具是Sqoop。用它可以將數據從文件或者傳統資料庫導入到分布式平台『一般主要導入到Hive，也可將數據導入到Hbase』。
4、數據分析
數據分析一般包括兩個階段：數據預處理和數據建模分析。
數據預處理是為後面的建模分析做准備，主要工作時從海量數據中提取可用特徵，建立大寬表。這個過程可能會用到Hive SQL，Spark QL和Impala。
數據建模分析是針對預處理提取的特徵/數據建模，得到想要的結果。如前面所提到的，這一塊最好用的是Spark。常用的機器學習演算法，如樸素貝葉斯、邏輯回歸、決策樹、神經網路、TFIDF、協同過濾等，都已經在ML lib裡面，調用比較方便。
5、結果可視化及輸出API
可視化一般式對結果或部分原始數據做展示。一般有兩種情況，行數據展示，和列查找展示。在這里，要基於大數據平台做展示，會需要用到ElasticSearch和Hbase。Hbase提供快速『ms級別』的行查找。 ElasticSearch可以實現列索引，提供快速列查找。
平台搭建主要問題：
1、穩定性 Stability
理論上來說，穩定性是分布式系統最大的優勢，因為它可以通過多台機器做數據及程序運行備份以確保系統穩定。但也由於大數據平台部署於多台機器上，配置不合適，也可能成為最大的問題。 曾經遇到的一個問題是Hbase經常掛掉，主要原因是采購的硬碟質量較差。硬碟損壞有時會到導致Hbase同步出現問題，因而導致Hbase服務停止。由於硬碟質量較差，隔三差五會出現服務停止現象，耗費大量時間。結論：大數據平台相對於超算確實廉價，但是配置還是必須高於家用電腦的。
2、可擴展性 Scalability
如何快速擴展已有大數據平台，在其基礎上擴充新的機器是雲計算等領域應用的關鍵問題。在實際2B的應用中，有時需要增減機器來滿足新的需求。如何在保留原有功能的情況下，快速擴充平台是實際應用中的常見問題。
上述是自己項目實踐的總結。整個平台搭建過程耗時耗力，非一兩個人可以完成。一個小團隊要真正做到這些也需要耗費很長時間。
目前國內和國際上已有多家公司提供大數據平台搭建服務，國外有名的公司有Cloudera，Hortonworks，MapR等，國內也有華為、明略數據、星環等。另外有些公司如明略數據等還提供一體化的解決方案，尋求這些公司合作對 於入門級的大數據企業或沒有大數據分析能力的企業來說是最好的解決途徑。
對於一些本身體量較小或者目前數據量積累較少的公司，個人認為沒有必要搭建這一套系統，暫時先租用AWS和阿里雲就夠了。對於數據量大，但數據分析需求較簡單的公司，可以直接買Tableau，Splunk，HP Vertica，或者IBM DB2等軟體或服務即可。
以上是我從事大數據以來的一些認識。管見所及，可能有所疏漏，歡迎補充。
④ 關於搭建獨立的資料庫伺服器平台
如果你要考慮到SQL 2005 那就只有走 WINDOWS SERVER了 現在比較穩定的 用的多的 大部分還是 WINDOWS SERVER 2008 R2 這樣MSSQL 和 MYSQL 以及 ORACLE都可以安裝
至於你說的資料庫切換，一般需要你應用支持，ORM這個中間件來支持，比如JAVA的hibernate 以及.NET平台的 Entity Framework
資料庫主要在於根據業務的設計和優化，MYSQL和MSSQL 照樣能處理超大數據，當你數據存儲量大的時候就 涉及到橫向分庫 縱向分區了，並發太大就要設計到數據群集了，這些都是在數據架構後面的事情了
⑤ 怎麼搭建大數據分析平台
數據分析平台就是將公司所有的數據進行進行收集整理，包括系統數據、業務數據等，在統一的數據框架下實現對數據的挖掘和分析，最後通過可視化的手段進行數據展示。1、通常來說，企業內部的運營和業務系統每天會積累下大量歷史數據，一些企業最多是對一些零散的數據進行淺層次的分析，真正的海量數據其實並沒有得到真正有效的分析利用。
2、同時，隨著系統的不斷增加和積累，沉澱在系統深處的數據也更加難以提取和整合，後期的報表展示和可視化分析也就成了空殼應用。
3、一方面它可以匯通企業的各個業務系統，從源頭打通數據資源，另一方面也可以實現從數據提取、集成到數據清洗、加工、可視化的一站式分析，幫助企業真正從數據中提取價值，提高企業的經營能力。
搭建大數據分析平台可以到思邁特軟體Smartbi了解一下，它在金融行業，全球財富500強的10家國內銀行中，有8家選用了思邁特軟體Smartbi；國內12家股份制銀行，已覆蓋8家；國內六大銀行，已簽約4家；國內排名前十的保險公司已經覆蓋6家；國內排名前十的證券公司已經覆蓋5家。
數據分析平台靠不靠譜，來試試Smartbi,思邁特軟體Smartbi經過多年持續自主研發，凝聚大量商業智能最佳實踐經驗，整合了各行業的數據分析和決策支持的功能需求。滿足最終用戶在企業級報表、數據可視化分析、自助探索分析、數據挖掘建模、AI智能分析等大數據分析需求。
思邁特軟體Smartbi個人用戶全功能模塊長期免費試用
馬上免費體驗:Smartbi一站式大數據分析平台
⑥ 如何搭建資料庫平台管理多用戶
a．對於內置2塊磁碟（146GB）的系統，/目錄20GB，SWAP與內存大小相當（8GB以下內存機器SWAP配置8GB），/boot 100MB。如果作為應用伺服器，那麼其餘空間建立/apps文件系統，mke2fs –j 命令；如果作為資料庫平台，那麼建立/dba文件系統20GB,其餘建立/u01文件系統。
b．對於內置4-6塊磁碟的系統，/目錄60GB，SWAP與內存大小相當（8GB以下內存機器SWAP配置8GB），/boot 100MB。如果作為應用伺服器，那麼其餘空間建立/apps文件系統，mke2fs –j 命令；如果作為資料庫平台，那麼建立/dba文件系統40GB,其餘建立/u01文件系統。
⑦ 如何搭建公司內部的數據平台
公司的內部數據平台，主要作用是提供給公司內部所有部門人員使用，使公司內部的所有業務能夠通過數據來驅動和決策。簡單點講就是通過數據平台來驅動公司內部的數據化運營。
設計一款好用的數據產品：
1.數據產品經理本身就是一個合格的數據分析師，所以數據產品經理需要深刻的了解業務，需要知道業務部門想要看什麼數據，這些數據現在是否能夠獲取到，業務方通過這些數據分析，是如何推進和改善業務的。
2.數據產品要根據使用方的特點設計出符合使用方需要的內容，產品要有層級和結構，如果設計的一張數據報表既要滿足管理層又要滿足一線業務人員的需要，那麼這樣的數據產品很大可能是體驗比較差的，因為老闆和一線人員看數據的視角不一樣，老闆們一般是把握業務的大方向，主要看一些關鍵性的指標，並希望知道這些關鍵指標出問題後背後的原因是什麼。所以給老闆設計的報表需要結構簡單易懂，並能夠基於這些關鍵指標的異常給予問題定位。一線人員主要是偏執行層面，他們看數據的粒度一般都很細。
3.數據產品一定要注意數據質量、規范、統一，因為公司的數據平台是面向所有部門的，怎麼保證公司的所有部門人員對於數據的理解是一致的，這點特別難，首先公司的各個生產系統就是千差萬別，由於各種客觀因素，導致生產系統的數據質量和結構也會千差萬別，這樣數據倉庫的數據建設就顯得尤為重要，數據平台的數據質量依賴於數據倉庫底層的數據模型，所以一個好的數據倉庫很大程度上決定了數據平台的數據質量
下面就從實戰的角度來加以闡述，A公司是一家電商公司，那麼A公司的各個部門需要看哪些數據？他們平常看數據的場景主要是哪些呢？首先應該知道這些部門的KPI是什麼，如果對負責支持的部門的KPI都不了解，怎麼能設計出來好的數據報表。例如采購部門的kpi基本就是銷售額用戶數銷售毛利采購成本，運營部門的kpi就是用戶復購用戶流失轉化率，市場部門的kpi就是流量、新客。
那麼知道各個部門的核心KPI後，主要從使用場景入手，拿采購部門來說，是怎麼樣看數據：
每日：
早上9：00來到公司，希望知道昨天我負責的業務這塊做的怎麼樣了，這個時候應該設計一張基礎數據報表，這張數據報表應該具有以下內容：
1. 能夠查看昨天的數據，而且能夠選擇時間段，這樣如果昨天的數據有問題，希望拉取過去一段時間的數據，看看業務趨勢上是不是出了問題。
2. 指標越豐富越好，如果交易額下降了，需要看看訂單數是不是下降了，如果訂單數沒下降了，那不是單均價出了什麼問題，發現單均價降低了，那我要看看是商品結構的原因還是因為活動門檻調整導致的？
3. 數據粒度要越細越好，比如數據粒度可以從全國下鑽到省份，從省份下鑽到城市，這樣交易額下降了我就能知道是哪個省哪個城市出了問題，這樣就能針對性的解決。
早上10：00-下午18：00，業績高峰來臨，這個時候需要提一張實時監控的數據報表，通過實時監控，能夠盡早的發現業務的一些異常情況，這樣就能夠幫助業務人員盡快的做出調整。
每周一或者月初：
部門內有周會/月會，老闆可能會過工作業績，所以我准備准備。
首先看下上周的績效情況，這個時候需要一張關於績效的報表數據，通過這張績效報表：
能夠知道我做的績效完成的怎麼樣，排名是提升了還是下降了，了解哪些人排名高
其次對於上周出現的業務問題，通過一些分析報表定位和發現問題，比如發現用戶的復購率下降了，是因為老用戶的復購降低了還是最近新客的質量降低。
如果發現是老用戶的復購降低了，那要進一步分析，是因為競爭對手產品活動力度大，還是因為商品的曝光不夠亦或是產品本身對於用戶失去了吸引力，這樣就能夠及時做出調整，如果是競爭對手產品活動力度大，那需要重點關注競爭對手的情況及時調整產品營銷活動力度如果是商品的曝光度不夠，可以從以下幾個層面入手優化：
1. 優化商品的主標題和副標題，增加用戶的搜索觸達率。
2. 站內廣告位多多增加產品的曝光或是和其他的品類商品做聯合促銷。
3.優化商品的導購屬性信息，幫助用戶跟精準的觸達。如果是產品本身的問題那可能就需要引進新品（例如從國產到進口、從低端到高端）。
⑧ 資料庫和平台是什麼關系平台如何搭建
資料庫是後台，平台是前台顯示。所有資料庫的操作依靠前台實現，資料庫的執行過程是看不到的。資料庫有acess,mssql,mysql,oracle等等，平台有java,asp,php。平台的搭建需要安裝支持該開發語言的軟體。仁易軒分享經驗。
⑨ 大數據時代如何構建高性能資料庫平台
在數據爆炸的時代，給眾多IT從業人員帶來了相當大的困擾—伴隨著大數據分析，商業智能的發展，數據量呈現指數增長，傳統數據處理系統已不堪重負。在這樣的背景下，「資料庫平台的構建」逐漸成為一個備受關注的話題。
對於資料庫系統而言，絕大多數情況下影響資料庫性能的三個要素是：數據運算能力、數據讀寫時延和數據吞吐帶寬，簡稱計算、時延、吞吐。計算指的是CPU的運算能力，時延是數據從存儲介質跑到CPU所需的時間長短，吞吐則是數據從存儲介質到CPU的道路寬度。一般情況下，關注計算和時延是比較多的，但是在數據量越來越多的情況下，吞吐也成為影響資料庫性能的重要因素。如果吞吐帶寬不夠，會造成計算等待隊列的增加，CPU佔用率虛高不下。這種情況下，即使增加再多的計算資源也於事無補，相當於千軍萬馬擠獨木橋，馬再好也是枉然。一個高性能的資料庫平台，一定是計算、時延、吞吐三方面的能力齊頭並進，相互匹配。
計算能力由CPU主頻和核數決定，實踐中看CPU佔用率就能夠大致確定CPU配置是否合適。時延的指標很簡單，時間是衡量時延的唯一指標。吞吐量則是通過每秒在I/O流中傳輸的數據總量來衡量的。
以上由物聯傳媒轉載，如有侵權聯系刪除
⑩ 如何搭建一個資料庫伺服器平台
要提升資料庫操作和維護經驗，親手搭建一個資料庫平台是非常有效的方法，可以讓你對資料庫有一個直觀深入的了解。下面就來總結一下如何的來搭建一個資料庫平台。主要從參數和一些特性的配置上來說明。本文中所採用的參數設置也不一定很合理，每個DBA心中對重要的參數都有一個標准，這也是經驗的價值。