㈠ 大數據技術有哪些
隨著大數據分析市場迅速擴展，哪些技術是最有需求和最有增長潛力的呢？在Forrester Research的一份最新研究報告中，評估了22種技術在整個數據生命周期中的成熟度和軌跡。這些技術都對大數據的實時、預測和綜合洞察有著巨大的貢獻。
1. 預測分析技術
這也是大數據的主要功能之一。預測分析允許公司通過分析大數據源來發現、評估、優化和部署預測模型，從而提高業務性能或降低風險。同時，大數據的預測分析也與我們的生活息息相關。淘寶會預測你每次購物可能還想買什麼，愛奇藝正在預測你可能想看什麼，百合網和其他約會網站甚至試圖預測你會愛上誰……
2. NoSQL資料庫
NoSQL，Not Only SQL，意思是「不僅僅是SQL」，泛指非關系型資料庫。NoSQL資料庫提供了比關系資料庫更靈活、可伸縮和更便宜的替代方案，打破了傳統資料庫市場一統江山的格局。並且，NoSQL資料庫能夠更好地處理大數據應用的需求。常見的NoSQL資料庫有HBase、Redis、MongoDB、Couchbase、LevelDB等。
3. 搜索和知識發現
支持來自於多種數據源(如文件系統、資料庫、流、api和其他平台和應用程序)中的大型非結構化和結構化數據存儲庫中自助提取信息的工具和技術。如，數據挖掘技術和各種大數據平台。
4. 大數據流計算引擎
能夠過濾、聚合、豐富和分析來自多個完全不同的活動數據源的數據的高吞吐量的框架，可以採用任何數據格式。現今流行的流式計算引擎有Spark Streaming和Flink。
5. 內存數據結構
通過在分布式計算機系統中動態隨機訪問內存(DRAM)、快閃記憶體或SSD上分布數據，提供低延遲的訪問和處理大量數據。
6. 分布式文件存儲
為了保證文件的可靠性和存取性能，數據通常以副本的方式存儲在多個節點上的計算機網路。常見的分布式文件系統有GFS、HDFS、Lustre 、Ceph等。
7. 數據虛擬化
數據虛擬化是一種數據管理方法，它允許應用程序檢索和操作數據，而不需要關心有關數據的技術細節，比如數據在源文件中是何種格式，或者數據存儲的物理位置，並且可以提供單個客戶用戶視圖。
8. 數據集成
用於跨解決方案進行數據編排的工具，如Amazon Elastic MapRece (EMR)、Apache Hive、Apache Pig、Apache Spark、MapRece、Couchbase、Hadoop和MongoDB等。
9. 數據准備
減輕采購、成形、清理和共享各種雜亂數據集的負擔的軟體，以加速數據對分析的有用性。
10. 數據質量
使用分布式數據存儲和資料庫上的並行操作，對大型高速數據集進行數據清理和充實的產品。
㈡ 資料庫有哪些新技術
SQLServer是大眾化的吧
超大型資料庫orical用的比較多
小型免費mySQL最多
還有DB2等
新技術接觸不多，給你個鏈接你看下網頁鏈接
㈢ 大數據方面核心技術有哪些
非常多的，問答不能發link，不然我給你link了。有譬如Hadoop等開源大數據項目的，編程語言的，以下就大數據底層技術說下。
簡單以永洪科技的技術說下，有四方面，其實也代表了部分通用大數據底層技術：
Z-Suite具有高性能的大數據分析能力，她完全摒棄了向上升級(Scale-Up)，全面支持橫向擴展(Scale-Out)。Z-Suite主要通過以下核心技術來支撐PB級的大數據：
跨粒度計算(In-DatabaseComputing)
Z-Suite支持各種常見的匯總，還支持幾乎全部的專業統計函數。得益於跨粒度計算技術，Z-Suite數據分析引擎將找尋出最優化的計算方案，繼而把所有開銷較大的、昂貴的計算都移動到數據存儲的地方直接計算，我們稱之為庫內計算(In-Database)。這一技術大大減少了數據移動，降低了通訊負擔，保證了高性能數據分析。
並行計算(MPP Computing)
Z-Suite是基於MPP架構的商業智能平台，她能夠把計算分布到多個計算節點，再在指定節點將計算結果匯總輸出。Z-Suite能夠充分利用各種計算和存儲資源，不管是伺服器還是普通的PC，她對網路條件也沒有嚴苛的要求。作為橫向擴展的大數據平台，Z-Suite能夠充分發揮各個節點的計算能力，輕松實現針對TB/PB級數據分析的秒級響應。
列存儲 (Column-Based)
Z-Suite是列存儲的。基於列存儲的數據集市，不讀取無關數據，能降低讀寫開銷，同時提高I/O 的效率，從而大大提高查詢性能。另外，列存儲能夠更好地壓縮數據，一般壓縮比在5 -10倍之間，這樣一來，數據佔有空間降低到傳統存儲的1/5到1/10 。良好的數據壓縮技術，節省了存儲設備和內存的開銷，卻大大了提升計算性能。
內存計算
得益於列存儲技術和並行計算技術，Z-Suite能夠大大壓縮數據，並同時利用多個節點的計算能力和內存容量。一般地，內存訪問速度比磁碟訪問速度要快幾百倍甚至上千倍。通過內存計算，CPU直接從內存而非磁碟上讀取數據並對數據進行計算。內存
㈣ 資料庫技術的應用領域有哪些
資料庫的基本概念和應用領域
簡單地說，可以把資料庫定義為數據的集合，或者說資料庫就是為了實現一定的目的而按某種規則組織起來的數據的集合。資料庫管理系統就是管理資料庫的系統，即對資料庫執行一定的管理操作。目前使用的資料庫一般都是關系資料庫管理系統（RDBMS）。它可以從下面3個方面來定義。
● 關系（R）：它表示一種特殊種類的資料庫管理系統，即通過尋找相互之間的共同元素使存放在一個表中的信息關聯到存放在另一個表中的信息。
● 管理系統（MS）：是允許通過插入、檢索、修改或刪除記錄來使用數據的軟體。
● 資料庫：資料庫管理系統由一個互相關聯的數據集合和一組用以訪問這些數據的程序組成，這個數據集合通常被稱為資料庫（DataBase）。
資料庫是存儲信息的倉庫，以一種簡單、規則的方式進行組織。它具有以下4個特點：
● 資料庫中的數據集組織為表。
● 每個表由行和列組成。
● 表中每行為一個記錄。
● 記錄可包含幾段信息，表中每一列對應這些信息中的一段。
資料庫的應用領域非常廣泛，不管是家庭、公司或大型企業，還是政府部門，都需要使用資料庫來存儲數據信息。傳統資料庫中的很大一部分用於商務領域，如證券行業、銀行、銷售部門、醫院、公司或企業單位，以及國家政府部門、國防軍工領域、科技發展領域等。
隨著信息時代的發展，資料庫也相應產生了一些新的應用領域。主要表現在下面6個方面。
1．多媒體資料庫
這類資料庫主要存儲與多媒體相關的數據，如聲音、圖像和視頻等數據。多媒體數據最大的特點是數據連續，而且數據量比較大，存儲需要的空間較大。
2．移動資料庫
該類資料庫是在移動計算機系統上發展起來的，如筆記本電腦、掌上計算機等。該資料庫最大的特點是通過無線數字通信網路傳輸的。移動資料庫可以隨時隨地地獲取和訪問數據，為一些商務應用和一些緊急情況帶來了很大的便利。
3．空間資料庫
這類資料庫目前發展比較迅速。它主要包括地理信息資料庫（又稱為地理信息系統，即GIS）和計算機輔助設計（CAD）資料庫。其中地理信息資料庫一般存儲與地圖相關的信息數據；計算機輔助設計資料庫一般存儲設計信息的空間資料庫，如機械、集成電路以及電子設備設計圖等。
4．信息檢索系統
信息檢索就是根據用戶輸入的信息，從資料庫中查找相關的文檔或信息，並把查找的信息反饋給用戶。信息檢索領域和資料庫是同步發展的，它是一種典型的聯機文檔管理系統或者聯機圖書目錄。
5．分布式信息檢索
這類資料庫是隨著Internet的發展而產生的資料庫。它一般用於網際網路及遠距離計算機網路系統中。特別是隨著電子商務的發展，這類資料庫發展更加迅猛。許多網路用戶（如個人、公司或企業等）在自己的計算機中存儲信息，同時希望通過網路使用發送電子郵件、文件傳輸、遠程登錄方式和別人共享這些信息。分布式信息檢索滿足了這一要求。
6．專家決策系統
專家決策系統也是資料庫應用的一部分。由於越來越多的數據可以聯機獲取，特別是企業通過這些數據可以對企業的發展作出更好的決策，以使企業更好地運行。由於人工智慧的發展，使得專家決策系統的應用更加廣泛。
㈤ 資料庫技術的應用領域有哪些
1、多媒體資料庫
這類資料庫主要存儲與多媒體相關的數據，如聲音、圖像和視頻等數據。多媒體數據最大的特點是數據連續，而且數據量比較大，存儲需要的空間較大。
2、移動資料庫
該類資料庫是在移動計算機系統上發展起來的，如筆記本電腦、掌上計算機等。該資料庫最大的特點是通過無線數字通信網路傳輸的。移動資料庫可以隨時隨地地獲取和訪問數據，為一些商務應用和一些緊急情況帶來了很大的便利。
3、資料庫技術在多媒體技術方面的應用。
相對比傳統的資料庫技術，這種結合了多媒體技術的資料庫，以多媒體技術的優勢使得數據界面的豐富化並對於兩者結合所可能帶來的相關技術問題給予了充分解決，相關資料庫方面的安全性得到了很好的提高。
多媒體資料庫設計中有很多問題需要解決：用戶介面支持方面、資料庫組織與存儲方面、媒體種類增加方面信息的分布影響方面。
4、信息檢索系統
信息檢索就是根據用戶輸入的信息，從資料庫中查找相關的文檔或信息，並把查找的信息反饋給用戶。信息檢索領域和資料庫是同步發展的，它是一種典型的聯機文檔管理系統或者聯機圖書目錄。
5、分布式信息檢索
這類資料庫是隨著Internet的發展而產生的資料庫。它一般用於網際網路及遠距離計算機網路系統中。特別是隨著電子商務的發展，這類資料庫發展更加迅猛。
許多網路用戶（如個人、公司或企業等）在自己的計算機中存儲信息，同時希望通過網路使用發送電子郵件、文件傳輸、遠程登錄方式和別人共享這些信息。分布式信息檢索滿足了這一要求。
㈥ 資料庫尖端技術有哪些
1、 【定義】 是指高技術領域中具有前瞻性、先導性和探索性的重大技術，是未來高技術更新換代和新興產業發展的重要基礎，是國家高技術創新能力的綜合體現。 2、 【選擇前沿技術的主要原則】 一是代表世界高技術前沿的發展方向。二是對國家未來新興產業的形成和發展具有引領作用。三是有利於產業技術的更新換代，實現跨越發展。四是具備較好的人才隊伍和研究開發基礎。根據以上原則，要超前部署一批前沿技術，發揮科技引領未來發展的先導作用，提高我國高技術的研究開發能力和產業的國際競爭力。世界知識產權組織2015年11月11日發布《2015年世界知識產權報告：突破式創新與經濟增長》，分析了3D列印、納米技術和機器人工程學等擁有促進未來經濟增長潛力的新技術，並指出中國是在這3項最尖端前沿技術創新方面惟一向先進工業化國家靠近的新興市場國家。
㈦ 3、你了解資料庫嗎,在日常生活中有哪些應用
了解資料庫，各種電子產品中都存在資料庫的應用，在日常生活、工作、學習、還有就醫、娛樂等等各個方面！例如：電腦、電視、手機、廣播、各種軟體等等！
資料庫是存放數據的倉庫。它的存儲空間很大，可以存放百萬條、千萬條、上億條數據。但是資料庫並不是隨意地將數據進行存放，是有一定的規則的，否則查詢的效率會很低。當今世界是一個充滿著數據的互聯網世界，充斥著大量的數據。
即這個互聯網世界就是數據世界。數據的來源有很多，比如出行記錄、消費記錄、瀏覽的網頁、發送的消息等等。除了文本類型的數據，圖像、音樂、聲音都是數據。
分布式資料庫相關延伸：
所謂的分布式資料庫技術，就是結合了資料庫技術與分布式技術的一種結合。具體指的是把那些在地理意義上分散開的各個資料庫節點，但在計算機系統邏輯上又是屬於同一個系統的數據結合起來的一種資料庫技術。
既有著資料庫間的協調性也有著數據的分布性。這個系統並不注重系統的集中控制，而是注重每個資料庫節點的自治性，此外為了讓程序員能夠在編寫程序時可以減輕工作量以及系統出錯的可能性，一般都是完全不考慮數據的分布情況，這樣的結果就使得系統數據的分布情況一直保持著透明性。
數據獨立性概念在分布式資料庫管理系統中同樣是十分重要的一環，但是不僅如此，分布式數據管理系統還增加了一個叫分布式透明性的新概念。這個新概念的作用是讓數據進行轉移時使程序正確性不受影響，就像數據並沒有在編寫程序時被分布一樣。
在分布式資料庫里，數據冗雜是一種被需要的特性，這點和一般的集中式資料庫系統不一樣。第一點是為了提高局部的應用性而要在那些被需要的資料庫節點復制數據。第二點是因為如果某個資料庫節點出現系統錯誤，在修復好之前，可以通過操作其他的資料庫節點里復制好的數據來讓系統能夠繼續使用，提高系統的有效性。
㈧ 在我們的日常生活中 ,有哪些方面涉及到資料庫技術
去打的超市買東西，收銀機是連在資料庫上的、去銀行存錢，是要連資料庫的、打電話，通話記錄是存在資料庫里的、話費計算也是要用資料庫的、其他的水電煤氣費都是這樣、去大一點的醫院，從掛號開始，都是要連資料庫的。
資料庫(Database)是按照數據結構來組織、存儲和管理數據的倉庫，它產生於距今六十多年前，隨著信息技術和市場的發展，特別是二十世紀九十年代以後，數據管理不再僅僅是存儲和管理數據，而轉變成用戶所需要的各種數據管理的方式。
資料庫有很多種類型，從最簡單的存儲有各種數據的表格到能夠進行海量數據存儲的大型資料庫系統都在各個方面得到了廣泛的應用。
在信息化社會，充分有效地管理和利用各類信息資源，是進行科學研究和決策管理的前提條件。資料庫技術是管理信息系統、辦公自動化系統、決策支持系統等各類信息系統的核心部分，是進行科學研究和決策管理的重要技術手段。
資料庫，簡單來說是本身可視為電子化的文件櫃--存儲電子文件的處所，用戶可以對文件中的數據進行新增、截取、更新、刪除等操作。
資料庫指的是以一定方式儲存在一起、能為多個用戶共享、具有盡可能小的冗餘度的特點、是與應用程序彼此獨立的數據集合。
在經濟管理的日常工作中，常常需要把某些相關的數據放進這樣的"倉庫"，並根據管理的需要進行相應的處理。
例如，企業或事業單位的人事部門常常要把本單位職工的基本情況(職工號、姓名、年齡、性別、籍貫、工資、簡歷等)存放在表中，這張表就可以看成是一個資料庫。
有了這個"數據倉庫"我們就可以根據需要隨時查詢某職工的基本情況，也可以查詢工資在某個范圍內的職工人數等等。這些工作如果都能在計算機上自動進行，那我們的人事管理就可以達到極高的水平。
此外，在財務管理、倉庫管理、生產管理中也需要建立眾多的這種"資料庫"，使其可以利用計算機實現財務、倉庫、生產的自動化管理。
㈨ 大數據方面核心技術有哪些
簡單來說，從大數據的生命周期來看，無外乎四個方面：大數據採集、大數據預處理、大數據存儲、大數據分析，共同組成了大數據生命周期里最核心的技術，下面分開來說：
大數據採集
資料庫採集：流行的有Sqoop和ETL，傳統的關系型資料庫MySQL和Oracle 也依然充當著許多企業的數據存儲方式。當然了，目前對於開源的Kettle和Talend本身，也集成了大數據集成內容，可實現hdfs，hbase和主流Nosq資料庫之間的數據同步和集成。
網路數據採集：一種藉助網路爬蟲或網站公開API，從網頁獲取非結構化或半結構化數據，並將其統一結構化為本地數據的數據採集方式。
文件採集：包括實時文件採集和處理技術flume、基於ELK的日誌採集和增量採集等等。
大數據預處理
數據清理：指利用ETL等清洗工具，對有遺漏數據(缺少感興趣的屬性)、噪音數據(數據中存在著錯誤、或偏離期望值的數據)、不一致數據進行處理。
數據集成：是指將不同數據源中的數據，合並存放到統一資料庫的，存儲方法，著重解決三個問題：模式匹配、數據冗餘、數據值沖突檢測與處理。
數據轉換：是指對所抽取出來的數據中存在的不一致，進行處理的過程。它同時包含了數據清洗的工作，即根據業務規則對異常數據進行清洗，以保證後續分析結果准確性。
數據規約：是指在最大限度保持數據原貌的基礎上，最大限度精簡數據量，以得到較小數據集的操作，包括：數據方聚集、維規約、數據壓縮、數值規約、概念分層等。
大數據存儲，指用存儲器，以資料庫的形式，存儲採集到的數據的過程，包含三種典型路線：
大數據採集，即對各種來源的結構化和非結構化海量數據，所進行的採集。
大數據預處理，指的是在進行數據分析之前，先對採集到的原始數據所進行的諸如「清洗、填補、平滑、合並、規格化、一致性檢驗」等一系列操作，旨在提高數據質量，為後期分析工作奠定基礎。數據預處理主要包括四個部分：數據清理、數據集成、數據轉換、數據規約。
1、基於MPP架構的新型資料庫集群
採用Shared Nothing架構，結合MPP架構的高效分布式計算模式，通過列存儲、粗粒度索引等多項大數據處理技術，重點面向行業大數據所展開的數據存儲方式。具有低成本、高性能、高擴展性等特點，在企業分析類應用領域有著廣泛的應用。
較之傳統資料庫，其基於MPP產品的PB級數據分析能力，有著顯著的優越性。自然，MPP資料庫，也成為了企業新一代數據倉庫的最佳選擇。
2、基於Hadoop的技術擴展和封裝
基於Hadoop的技術擴展和封裝，是針對傳統關系型資料庫難以處理的數據和場景（針對非結構化數據的存儲和計算等），利用Hadoop開源優勢及相關特性（善於處理非結構、半結構化數據、復雜的ETL流程、復雜的數據挖掘和計算模型等），衍生出相關大數據技術的過程。
伴隨著技術進步，其應用場景也將逐步擴大，目前最為典型的應用場景：通過擴展和封裝 Hadoop來實現對互聯網大數據存儲、分析的支撐，其中涉及了幾十種NoSQL技術。
3、大數據一體機
這是一種專為大數據的分析處理而設計的軟、硬體結合的產品。它由一組集成的伺服器、存儲設備、操作系統、資料庫管理系統，以及為數據查詢、處理、分析而預安裝和優化的軟體組成，具有良好的穩定性和縱向擴展性。
四、大數據分析挖掘
從可視化分析、數據挖掘演算法、預測性分析、語義引擎、數據質量管理等方面，對雜亂無章的數據，進行萃取、提煉和分析的過程。
1、可視化分析
可視化分析，指藉助圖形化手段，清晰並有效傳達與溝通信息的分析手段。主要應用於海量數據關聯分析，即藉助可視化數據分析平台，對分散異構數據進行關聯分析，並做出完整分析圖表的過程。
具有簡單明了、清晰直觀、易於接受的特點。
2、數據挖掘演算法
數據挖掘演算法，即通過創建數據挖掘模型，而對數據進行試探和計算的，數據分析手段。它是大數據分析的理論核心。
數據挖掘演算法多種多樣，且不同演算法因基於不同的數據類型和格式，會呈現出不同的數據特點。但一般來講，創建模型的過程卻是相似的，即首先分析用戶提供的數據，然後針對特定類型的模式和趨勢進行查找，並用分析結果定義創建挖掘模型的最佳參數，並將這些參數應用於整個數據集，以提取可行模式和詳細統計信息。
3、預測性分析
預測性分析，是大數據分析最重要的應用領域之一，通過結合多種高級分析功能（特別統計分析、預測建模、數據挖掘、文本分析、實體分析、優化、實時評分、機器學習等），達到預測不確定事件的目的。
幫助分用戶析結構化和非結構化數據中的趨勢、模式和關系，並運用這些指標來預測將來事件，為採取措施提供依據。
4、語義引擎
語義引擎，指通過為已有數據添加語義的操作，提高用戶互聯網搜索體驗。
5、數據質量管理
指對數據全生命周期的每個階段（計劃、獲取、存儲、共享、維護、應用、消亡等）中可能引發的各類數據質量問題，進行識別、度量、監控、預警等操作，以提高數據質量的一系列管理活動。
以上是從大的方面來講，具體來說大數據的框架技術有很多，這里列舉其中一些：
文件存儲：Hadoop HDFS、Tachyon、KFS
離線計算：Hadoop MapRece、Spark
流式、實時計算：Storm、Spark Streaming、S4、Heron
K-V、NOSQL資料庫：HBase、Redis、MongoDB
資源管理：YARN、Mesos
日誌收集：Flume、Scribe、Logstash、Kibana
消息系統：Kafka、StormMQ、ZeroMQ、RabbitMQ
查詢分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid
分布式協調服務：Zookeeper
集群管理與監控：Ambari、Ganglia、Nagios、Cloudera Manager
數據挖掘、機器學習：Mahout、Spark MLLib
數據同步：Sqoop
任務調度：Oozie