當前位置:首頁 » 數據倉庫 » 實時歷史資料庫開源
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

實時歷史資料庫開源

發布時間: 2023-02-18 08:02:22

1. 開源的資料庫有哪些

四大開源資料庫是哪些
開源世界中的那幾個免費資料庫

發布時間:2011-11-22 09:34:30 來源:CSDN 評論:0 點擊:1476 次 【字型大小:大 中 小】

QQ空間 新浪微博 騰訊微博 人人網 豆瓣網 網路空間 網路搜藏 開心網 復制 更多 0

開源資料庫MysqlMySQL是一個開放源碼的小型關聯式資料庫管理系統,開發者為瑞典MySQL AB公司。目前MySQL被廣泛地應用在Internet上的中小型網站中。由於其體積小、速度快、總體擁有成本低,尤其是開放源...

開源資料庫MySQL

MySQL是一個開放源碼的小型關聯式資料庫管理系統,開發者為瑞典MySQL AB公司。目前MySQL被廣泛地應用在Internet上的中小型網站中。由於其體積小、速度快、總體擁有成本低,尤其是開放源碼這一特點,許多中小型網站為了降低網站總體擁有成本而選擇了MySQL作為網站資料庫。

盤點:開源社區那些免費的資料庫軟體

MySQL為多種編程語言提供了API,包括C、C++、C#、Delphi、Eiffel、Java、Perl、PHP、Python、Ruby和Tcl等。而其自身是採用C和C++編寫的,使用了多種編譯器進行測試,所以,MySQL能夠保證源代碼具有很強的可移植性。這樣的一款資料庫,自然能夠支持幾乎所有的操作系統,從Unix、Linux到Windows,具體包括AIX、BSDi、FreeBSD、HP-UX、Linux、Mac OS、Novell Netware、NetBSD、OpenBSD、OS/2 Wrap、Solaris、SunOS、Windows等多種操作系統。最重要的是,它是一個可以處理擁有上千萬條記錄的大型資料庫。

與此同時,MySQL也產生了很多分支版本的資料庫也非常值得推薦。

首先是MariaDB,它是一個採用Maria存儲引擎的MySQL分支版本,是由原來MySQL的作者 Michael Widenius創辦的公司所開發的免費開源的資料庫伺服器。與MySQL相比較,MariaDB更強的地方在於它擁有更多的引擎,包括Maria存儲引擎、PBXT存儲引擎、XtraDB存儲引擎、FederatedX存儲引擎,它能夠更快的復制查詢處理、運行的速度更快、更好的功能測試以及支持對Unicode的排序等。

其次是rcona,它為MySQL資料庫伺服器進行了改進,在功能和性能上較MySQL有著很顯著的提升。該版本提升了在高負載情況下的InnoDB的性能,同時,它還為DBA提供一些非常有用的性能診斷工具,並且提供很多參數和命令來控制伺服器行為。

第三是Percona Server,它使用了諸如google-mysql-tools、Proven Scaling和 Open Query對MySQL進行改造。並且,它只包含MySQL的伺服器版,並沒有提供相應對 MySQL的Connector和GUI工具進行改進。

非關系型資料庫NoSQL

從NoSQL的字面上理解,NoSQL就是Not Only SQL,被業界認為是一項全新的資料庫革命性運動,早期就有人提出,發展至2009年趨勢越發高漲。NoSQL的擁護者們提倡運用非關系型的數據存儲,相對於目前鋪天蓋地的關系型資料庫運用,這一概念無疑是一種全新的思維的注入。

盤點:開源社區那些免費的資料庫軟體

當然,NoSQL也是隨著互聯網Web2.0網站的興起才能取得長足的進步。關鍵的需求在於,傳統的關系資料庫在應付Web2.0網站,特......>>
該選擇哪個開源資料庫
如果打算為項目選擇一款免費、開源的資料庫,那麼你可能會在MySQL與PostgreSQL之間猶豫不定。MySQL與PostgreSQL都是免費、開源、強大、且功能豐富的資料庫。你主要的問題可能是:哪一個才是最好的開源資料庫,MySQL還是PostgreSQL呢?該選擇哪一個開源資料庫呢?

在選擇資料庫時,你所做的是個長期的決策,因為後面如果再改變決定將是非常困難且代價高昂的。你希望一開始就選擇正確。兩個流行的開源資料庫MySQL與PostgreSQL常常成為最後要選擇的產品。對這兩個開源資料庫的高層次概覽將會有助於你選擇最適合自己需要的。

MySQL

MySQL相對來說比較年輕,首度出現在1994年。它聲稱自己是最流行的開源資料庫。MySQL就是LAMP(用於Web開發的軟體包,包括Linux、Apache及Perl/PHP/Python)中的M。構建在LAMP棧之上的大多數應用都會使用MySQL,包括那些知名的應用,如WordPress、Drupal、Zend及phpBB等。

一開始,MySQL的設計目標是成為一個快速的Web伺服器後端,使用快速的索引序列訪問方法(ISAM),不支持ACID。經過早期快速的發展之後,MySQL開始支持更多的存儲引擎,並通過InnoDB引擎實現了ACID。MySQL還支持其他存儲引擎,提供了臨時表的功能(使用MEMORY存儲引擎),通過MyISAM引擎實現了高速讀的資料庫,此外還有其他的核心存儲引擎與第三方引擎。

MySQL的文檔非常豐富,有很多質量不錯的免費參考手冊、圖書與在線文檔,還有來自於Oracle和第三方廠商的培訓與支持。

MySQL近幾年經歷了所有權的變更和一些頗具戲劇性的事件。它最初是由MySQL AB開發的,然後在2008年以10億美金的價格賣給了Sun公司,Sun公司又在2010年被Oracle收購。Oracle支持MySQL的多個版本:Standard、Enterprise、Classic、Cluster、Embedded與munity。其中有一些是免費下載的,另外一些則是收費的。其核心代碼基於GPL許可,對於那些不想使用GPL許可的開發者與廠商來說還有商業許可可供使用。

現在,基於最初的MySQL代碼還有更多的資料庫可供選擇,因為幾個核心的MySQL開發者已經發布了MySQL分支。最初的MySQL創建者之一Michael "Monty" Widenius貌似後悔將MySQL賣給了Sun公司,於是又開發了他自己的MySQL分支MariaDB,它是免費的,基於GPL許可。知名的MySQL開發者Brian Aker所創建的分支Drizzle對其進行了大量的改寫,特別針對多CPU、雲、網路應用與高並發進行了優化。

PostgreSQL

PostgreSQL標榜自己是世界上最先進的開源資料庫。PostgreSQL的一些粉絲說它能與Oracle相媲美,而且沒有那麼昂貴的價格和傲慢的客服。它擁有很長的歷史,最初是1985年在加利福尼亞大學伯克利分校開發的,作為Ingres資料庫的後繼。

PostgreSQL是完全由社區驅動的開源項目,由全世界超過1000名貢獻者所維護。它提供了單個完整功能的版本,而不像MySQL那樣提供了多個不同的社區版、商業版與企業版。PostgreSQL基於自由的BSD/MIT許可,組織可以使用、復制、修改和重新分發代碼,只需要提供一個版權聲明即可。

可靠性是PostgreSQL的最高優先順序。它以堅如磐石的品質和......>>
該選擇哪個開源資料庫?哪一個更好
Access是一種桌面資料庫,只適合數據量少的應用,在處理少量數據和單機訪問的資料庫時是很好的,效率也很高。但是它的同時訪問客戶端不能多於4個。Microsoft Access資料庫有一定的極限,如果數據達到100M左右,很容易造成伺服器iis假死,或者消耗掉伺服器的內存導致伺服器崩潰,表現為英文「Service Unavailable」。

MS SQL Server是基於伺服器端的中型的資料庫,可以適合大容量數據的應用,在功能上管理上也要比Microsoft Access要強得多。在處理海量數據的效率,後台開發的靈活性,可擴展性等方面強大。因為現在資料庫都使用標準的SQL語言對資料庫進行管理,所以如果是標准SQL語言,兩者基本上都可以通用的。Microsoft SQL Server還有更多的擴展,可以用存儲過程,資料庫大小無極限限制。

MySql短小精悍,像access一樣的文件型資料庫,但比access強百倍,是真正多用戶多任務的資料庫系統,從Linux上移植過來的,安全性非常好,不過大部分操作是在dos下進行,雖然也有第三方開發的圖形界面但並不好用。MySQL是跨多平台的資料庫管理軟體,可運行於LINUX、NT、UNIX等系統,可支持命令和圖形化管理,對於一般的資料庫足以應付了,佔用系統資源較少,速度較快,而且是開源的。

Oracle各方面都比較成熟,但對硬體要求高,用於數據完整性、安全性要求較高的場合,能在所有主流平台上運行,完全支持所有的工業標准,採用完全開放策略。可以使客戶選擇最適合的解決方案,對開發商全力支持。平行伺服器通過使一組結點共享同一簇中的工作來擴展伺服器的能力,提供高可用性和高伸縮性的簇的解決方案,獲得最高認證級別的iso標准認證,多層次網路計算,支持多種工業標准,可以用odbc,jdbc,oci等網路客戶連接,較復雜,同時提供gui和命令行,在windows和unix下操作相同,如果windows不能滿足需要,用戶可以把資料庫移到unix中。其操作和設置比較復雜,適用於有一定操作經驗的用戶。

db2 能在所有主流平台上運行(包括windows)。最適於海量數據。DB2在企業級的應用最為廣泛, 在全球的500家最大的企業中,幾乎85%以上用DB2資料庫伺服器,而國內到97年約佔5%。

總之,各個主流資料庫各有優勢與側重,對於初學者而言,建議從MS SQL Server 著手學習,眾所周知,微軟的東西么,簡單易懂。
該選擇哪個開源資料庫
如果打算為項目選擇一款免費、開源的資料庫,那麼你可能會在MySQL與PostgreSQL之間猶豫不定。MySQL與PostgreSQL都是免

費、開源、強大、且功能豐富的資料庫。你主要的問題可能是:哪一個才是最好的開源資料庫,MySQL還是PostgreSQL呢?該選擇哪一個開源資料庫

呢?

在選擇資料庫時,你所做的是個長期的決策,因為後面如果再改變決定將是非常困難且代價高昂的。你希望一開始就選擇正確。兩個流行

的開源資料庫MySQL與PostgreSQL常常成為最後要選擇的產品。對這兩個開源資料庫的高層次概覽將會有助於你選擇最適合自己需要的。

MySQL

MySQL相對來說比較年輕,首度出現在1994年。它聲稱自己是最流行的開源資料庫。MySQL就是LAMP(用於Web開發的軟體包,包括

Linux、Apache及Perl/PHP/Python)中的M。構建在LAMP棧之上的大多數應用都會使用MySQL,包括那些知名的應用,如

WordPress、Drupal、Zend及phpBB等。

一開始,MySQL的設計目標是成為一個快速的Web伺服器後端,使用

快速的索引序列訪問方法(ISAM),不支持ACID。經過早期快速的發展之後,MySQL開始支持更多的存儲引擎,並通過InnoDB引擎實現了

ACID。MySQL還支持其他存儲引擎,提供了臨時表的功能(使用MEMORY存儲引擎),通過MyISAM引擎實現了高速讀的資料庫,此外還有其他的

核心存儲引擎與第三方引擎。

MySQL的文檔非常豐富,有很多質量不錯的免費參考手冊、圖書與在線文檔,還有來自於Oracle和第三方廠商的培訓與支持。

MySQL近幾年經歷了所有權的變更和一些頗具戲劇性的事件。它最初是由MySQL

AB開發的,然後在2008年以10億美金的價格賣給了Sun公司,Sun公司又在2010年被Oracle收購。Oracle支持MySQL的多個版

本:Standard、Enterprise、Classic、Cluster、Embedded與munity。其中有一些是免費下載的,另外一

些則是收費的。其核心代碼基於GPL許可,對於那些不想使用GPL許可的開發者與廠商來說還有商業許可可供使用。

現在,基於最初的

MySQL代碼還有更多的資料庫可供選擇,因為幾個核心的MySQL開發者已經發布了MySQL分支。最初的MySQL創建者之一Michael

"Monty"

Widenius貌似後悔將MySQL賣給了Sun公司,於是又開發了他自己的MySQL分支MariaDB,它是免費的,基於GPL許可。知名的

MySQL開發者Brian Aker所創建的分支Drizzle對其進行了大量的改寫,特別針對多CPU、雲、網路應用與高並發進行了優化。

PostgreSQL

PostgreSQL標榜自己是世界上最先進的開源資料庫。PostgreSQL的一些粉絲說它能與Oracle相媲美,而且沒有那麼昂貴的價格和傲慢的客服。它擁有很長的歷史,最初是1985年在加利福尼亞大學伯克利分校開發的,作為Ingres資料庫的後繼。

PostgreSQL是完全由社區驅動的開源項目,由全世界超過1000名貢獻者所維護。它提供了單個完整功能的版本,而不像MySQL那樣提供了多個

不同的社區版、商業版與企業版。PostgreSQL基於自由的BSD/MIT許可,組織可以使用、復制、修改和重新分發代碼,只需要提供一......>>
現在的開源圖形資料庫有哪些
首先是MariaDB,它是一個採用Maria存儲引擎的MySQL分支版本,是由原來MySQL的作者 Michael Widenius創辦的公司所開發的免費開源的資料庫伺服器。與MySQL相比較,MariaDB更強的地方在於它擁有更多的引擎,包括Maria存儲引擎、PBXT存儲引擎、XtraDB存儲引擎、FederatedX存儲引擎,它能夠更快的復制查詢處理、運行的速度更快、更好的功能測試以及支持對Unicode的排序等。

其次是rcona,它為MySQL資料庫伺服器進行了改進,在功能和性能上較MySQL有著很顯著的提升。該版本提升了在高負載情況下的InnoDB的性能,同時,它還為DBA提供一些非常有用的性能診斷工具,並且提供很多參數和命令來控制伺服器行為。

第三是Percona Server,它使用了諸如google-mysql-tools、Proven Scaling和 Open Query對MySQL進行改造。並且,它只包含MySQL的伺服器版,並沒有提供相應對 MySQL的Connector和GUI工具進行改進。
什麼是開源資料庫
開源意思是開放源代碼,沒有加密

開源資料庫,說明這個資料庫沒有加密的,代碼就是開放的

資料庫作用都是用於動態語言開發的網站
有哪些開源的 POI 資料庫
這個多了去了 ,apache 絕對是 開源裡面的領頭羊 for example: 分類 項目名 說明開發語言 伺服器 (共20) Apache HTTP Server全球第一HTTP伺服器C/C++ TomcatJava的Web伺服器Java James郵件伺服器Java SpamAssassin反垃圾郵件C/C++ PerlApache的...
介紹幾個比較好的面向對象資料庫,最好是開源的。
db4o
Java連接多個資料庫有什麼開源實現嗎
1. 如果是 MySQL 中的多個數據據實例的話,操作資料庫時,使用 schema.table 就可以了

2. 如果是 MySQL 資料庫和其他資料庫同時使用的話,需要在 Spring 中配置多個 datasource,(ITJOB)
該選擇哪個開源資料庫?哪一個更好
1.MySQL 5

作為當今最流行的開放源碼資料庫之一,MySQL資料庫為用戶提供了一個相對簡單的 解決方案,適用於廣泛的應用程序部署,能夠降低用戶的TCO。MySQL是一個多線程、結構化查詢語言(SQL)資料庫伺服器。MySQL的執行性能高, 運行速度快,容易使用。

MySQL包括以下幾個關鍵優勢:

◆ 可靠的性能和服務MySQL向公眾提供所有資料庫伺服器軟體的早期版本,都是利用開放源碼進行為期幾個月的測試之後才發布作為生產之用。

◆ 易於使用和部署MySQL的結構體系易於定製,運行速度快,其獨特的多存儲引擎結構為企業客戶提供了靈活性, 為資料庫管理系統帶來緊致性和穩定性,易於部署。

◆ 自由獲得源碼可以隨時訪問MySQL源代碼,其策略確保了自由性,避免鎖定某家公司或平台。

◆ 跨平台支持MySQL可用於20多種不同平台,包括主要的Linux系統、Mac OS X、Unix和Windows

◆ 可信賴的開發力量MySQL擁有大量的用戶基礎,也擁有高素質、有經驗的開發團隊。

◆ 滿足企業需求MySQL結構體系簡單易用,運行速度極快,能夠處理企業資料庫絕大多數的應用需求。

2008年12月8日,Sun Microsystems公司宣布,正式對外提供MySQL 5.1軟體 —— 這是全球最受歡迎的開源資料庫MySQL的一個極其重要的新版本。MySQL 5.1 GA版現通過以下三種模式提供,以滿足不同用戶的各種特殊需求:

◆MySQL munity Server —— Sun的MySQL 資料庫的免費開源版。這一GPL許可的全功能軟體的目標用戶是個人技術用戶,他不需要商業支持或是享有優惠的機上服務。

◆MySQL Enterprise Server —— 它作為MySQL Enterprise訂購的一部分來提供,它最可靠、最安全,提供的是MySQL資料庫的最新版本,其目標用戶是有法人的IT用戶。該模式的訂戶每月可收 到快速軟體升級服務,每個季度可收到帶有最新補丁程序的「服務包」 —— 還能訪問僅供預覽的監測工具,享受全天候7*24的生產技術支持。

◆MySQL Embedded Server —— 這是MySQL軟體的商業許可模式,讓ISV和OEM將一個高速的、佔用空間很小的資料庫嵌入或打包到他們自己的產品中,而不需要免費的GPL許可。

2. PostgreSQL

PostgreSQL是一個功能齊全、開放源碼的對象一關系性資料庫管理系統 (ORDBMS)。目前,PostgreSQL的穩定版本為8.4版,具有豐富的特性和商業級資料庫管理系統的特質。這是一次向高質量大型資料庫管理系統 方向的飛躍。PostgreSQL是很富特色的開源資料庫管理系統,其特性覆蓋SQL-2/SQL-92和SQL-3/SQL-99。

◆ 豐富的數據類型PostgreSQL包括了豐富的數據類型支持,其中有些數據類型連商業資料庫都不具備,比如IP類型和幾何類型等。

◆ 功能全面PostgreSQL是全功能的開源軟體資料庫,全面支持事務、子查詢、多版本並行控制系統和數據完整性檢查等特性。

◆ 活躍的開發隊伍PostgreSQL擁有一支活躍的開發隊伍,在他們的努力下,PostgreSQL的質量日益提高,增強了人們使用PostgreSQL 的信心。

◆ 豐富的介面PostgreSQL支持幾乎所有類型的資料庫客戶端介面。

◆ 支持多種平台PostgreSQL是目前支持平台最多的資料庫管理系統之一,所支持的平台多達十幾種,包括不同的系統和不同的硬體體系。

◆ 滿足商用需求......>>

2. 開源內存資料庫有哪些

問題一:內存資料庫主流的有哪些,並給出各自特點! 這里介紹一些大型的市場佔有率比較高的內存資料庫,也是業界響當當的―SAP HANA、Oracle Exalytics、Orale TimesTen、IBM SolidDB,可以說他們之間沒有說是哪個最好,主要還是看使用的場景和具體的需求,各自特點如下:
SAP HANA(High-Performance Analytic Appliance)是 SAP 公司於 2011 年推出的基於 內存計算技術,面向企業分析性應用的產品。左圖 的系統架構示意圖中可以看出, HANA 產品主要包括內存計算引擎和 HANA 建模工具兩部分。它支持從 SAP 商務套件中 同步更新業務數據,或者從 SAP BW(SAP 商務智能產品)和其他第三方數據源中批量導 入數據,在 HANA 中進行運算後,提供給 SAP BI 客戶端或者其他第三方展現工具進行分 析和展現。
Oracle Exalytics 內存分析一體機是面向分析的集成設計系統,可以無限制提供最佳可 視化分析和更智能的分析應用程序。 如圖 所示, Oracle Exalytics 內存分析一體機的產品架構包括 3 個部分: 內容分析 硬體、內存分析軟體和經過優化的 Oracle 商務智能基礎套件(Oracle BI Foundation)。內存分析硬體部分是一台為基於內存計算的商務智能而特別優化的伺服器,具有提供 強勁計算能力的 40 核中央處理器,高達 1TB 的內存以及快速的網路. 內存分析軟體部分的核心是 Oracle TimesTen 內存資料庫。它是為 Exalytics 平台而特 別優化的內存分析資料庫,包括了很多 Oracle Exalytics 平台特有的功能。Oracle 商務智能基礎套件部分受益於 Oracle Exalytics 內存分析一體機的大容量內存、 處理器、並發處理能力、存儲、網路、操作系統、內核和系統配置等,可以提供明顯優於傳統軟體的查詢響應性、用戶可用性和 TCO。
Oracle 內存資料庫TimesTen 是一個基於內存計算的關系資料庫, 提供了響應時間極 短且吞吐量極高的應用程序,可滿足各行業應用程序的需求。 TimesTen 是一個可嵌入到應用程序中的資料庫, 通過消除進程間通信和網路 開銷,進一步提高資料庫操作的性能。Oracle 內 存 數 據 庫 TimesTen 使 用 行 級 鎖 定 和 提 交 後 讀 取 (mitted-read) 隔離,通過事務日誌記錄與資料庫檢查點相結合實現了基於磁碟的持久 性和可恢復性。TimesTen 通常與多用戶和多線程應用程序一起部署,應用程序直接通過 JDBC、 ODBC、 Oracle 調用介面、 Pro*C/C++ 和Oracle PL/SQL 編程介面, 使用標准SQL 訪問TimesTen 資料庫。若運行在不同伺服器上的多個應用程序共享一個資料庫時,則使 用常規的客戶端/伺服器訪問方式。
IBM solidDB 是一個內存資料庫,專為獲取極高的速度和可用性而進行優化。如圖 所示,IBM solidDB 既可以單獨部署作為獨立的資料庫支持應用程序,也可 以部署為其他關系型資料庫的加速緩存以提高應用程序性能。solidDB Universal Cache 功能將這些資料庫中存儲的性能關鍵型數據 緩存到solidDB Universal Cache 中,加快領先關系資料庫的速度。solidDB Universal Cache 功能使用檢查點和事務日誌將數據持久保存在 磁碟上......>>

問題二:開源的內存資料庫都有哪些 1.最簡單的方法:
public static String reverse1(String str)
{
return new StringBuffer(str).reverse().toString();
}
2.最常用的方法:
public static String reverse3(String s)
{
char[] array = s.toCharArray();
String reverse = ; 注意這是空串,不是null
for (int i = array.length - 1; i >= 0; i--)
reverse += array[i];
return reverse;
}

問題三:開源內存資料庫有幾種啊? 常見的有FastDB、SQLite、Berkeley DB、GigaBASE,H2等

問題四:幾種常用的開源內存資料庫性能比較 本人理解:orcal速度快但是維護不方便嗎,費錢。mysql速度可以,維護方便,交orcal來說易上手。db2:大

問題五:開源的內存資料庫有哪些支持SQL基準 選擇資料庫實例―右鍵屬性―選擇【內存】選擇頁―修改內存―確定

問題六:C/C++開發的開源的分布式內存資料庫有哪些 1.最簡單的方法:
public static String reverse1(String str)
{
return new StringBuffer(str).reverse().toString();
}
2.最常用的方法:
public static String reverse3(String s)
{
char[] array = s.toCharArray();
String reverse = ; 注意這是空串,不是null
for (int i = array.length - 1; i >= 0; i--)
reverse += array[i];
return reverse;
}

問題七:哪位達人用過關系型的內存資料庫而且是開源的 關系型資料庫以行和列的形式存儲數據,以便於用戶理解。這一系列的行和列被稱為表,一組表組成了資料庫。表與表之間的數據記錄有關系。用戶用查詢(Query)來檢索資料庫中的數據。一個Query是一個用於指定資料庫中行和列的SELECT語句。關系型資料庫通常包含下列組件: 客戶端應用程序(Client) 資料庫伺服器(Server) Structured Query Language(SQL)Client端和Server端的橋梁,Client用SQL來向Server端發送請求,Server返回Client端要求的結果。現在流行的大型關系型資料庫有IBM DB2、Oracle、SQL Server、SyBase、Informix、access、foxpro等。

問題八:C/C++開發的開源的分布式內存資料庫有哪些 1.最簡單的方法:public static String reverse1(String str){ return new StringBuffer(str).reverse().toString();}2.最常用的方法:public static String reverse3(String s) { char[] array = s.toCharArray(); String reverse = ; 注意這是空串,不是null for (int i = array.length - 1; i >= 0; i--) reverse += array[i]; return reverse; } 3.常用方法的變形: public static String reverse2(String s){ int length = s.length(); String reverse = ; 注意這是空串,不是null for (int i = 0; i 問題九:要求實時數據需要存儲到內存庫 有開源內存資料庫嗎 朋友您好,很高興為您解答問題
請把問題補充完整
大家才能給你提供完善的建議
相信您在知道這個平台
一定會有滿意的收獲
真誠希望能夠幫助您,如果滿意請採納,祝您好運常伴。

問題十:什麼情況下用內存資料庫 相對於磁碟,內存的數據讀寫速度要高出幾個數量級,將數據保存在內存中相比從磁碟 *** 問能夠極大地提高應用的性能。同時,內存資料庫拋棄了磁碟數據管理的傳統方式,基於全部數據都在內存中重新設計了體系結構,並且在數據緩存、快速演算法、並行操作方面也進行了相應的改進,所以數據處理速度比傳統資料庫的數據處理速度要快很多,一般都在10倍以上。內存資料庫的最大特點是其主拷貝或工作版本 常駐內存,即活動事務只與實時內存資料庫的內存拷貝打交道。顯然,它要求較大的內存量,但並非任何時刻整個資料庫都存放在內存,即內存資料庫系統還是要處理I/O。
內存資料庫是以犧牲內存資源為代價換取數據處理實時性的,內存資料庫和磁碟資料庫都是當今信息社會里每個企業所必須的關系型資料庫產品,磁碟資料庫解決的是大容量存儲和數據分析問題,而內存資料庫解決的是實時處理和高並發問題。兩者的存在是相輔相成的,內存資料庫的事務實時處理性能要遠強於磁碟資料庫。但是相對的,他的數據安全方面還沒有達到磁碟資料庫比肩的地步。
內存資料庫將物理內存作為數據的第一存儲介質,而將磁碟作為備份。隨著電信業務的發展,系統對實時性的要求和對業務靈活修改的要求非常高,在此種情況下對於內存資料庫的需求也越來越高。磁碟資料庫的做法是將數據存入內存中進行處理,這種方式的可管理性及數據安全可靠性都沒有保障。而內存資料庫正是針對這一弱點進行了改進。
實際上,內存資料庫並不是一項時髦技術,其出現於上世紀60年代末,但由於市場的需求原因在90年代後期才開始發展。作為新一代資料庫,Altibase產品已經走向混合型資料庫,其版本Altibase 4.0已經有一套自帶的磁碟資料庫,用戶一旦購買了Altibase的內存資料庫,就無須再購買磁碟資料庫。它把熱數據(經常被使用的、訪問比較高的、經常要運算的數據)放在內存資料庫里,而把歷史性數據放在磁碟資料庫里,可為用戶進一步減少投資。
對於內存資料庫而言,可以將同樣資料庫的部分內容存放於磁碟上,而另一部分存放於內存中。用戶可以選擇將數據存儲在內存表中以提供即時的數據訪問。若訪問時間不緊急或數據存於內存中所佔空間過大時,用戶可將這些數據存入磁碟表中。
比如,在手機用戶開始拔打電話時,如果應用基於內存資料庫技術的混合數據管理引擎,就通過內存表檢索其服務選項並立即驗證用戶身份,而將通話清單和計費清單歸檔到磁碟表中。從而,達到了速度與資源使用的平衡。
內存資料庫的技術,一個很重要的特點,是可以對內存中的數據實現全事務處理,這是僅僅把數據以數組等形式放在內存中完全不同的。並且,內存資料庫是與應用無關的,顯然這種體系結構具有其合理性。內存引擎可以實現查詢與存檔功能使用的是完全相同的資料庫,同時內存表與磁碟表也使用的是完全相同的存取方法。存儲的選擇,對於應用開發者而言是完全透明的。
對於內存資料庫而言,實現了數據在內存中的管理,而不僅僅是作為資料庫的緩存。不像其它將磁碟數據塊緩存到主存中的資料庫,內存資料庫的內存引擎使用了為隨機訪問內存而特別設計的數據結構和演算法,這種設計使其避免了因使用排序命令而經常破壞緩存資料庫性能的問題。通過內存資料庫,減少了磁碟I/O,能夠達到了以磁碟I/O 為主的傳統資料庫無法與其相比擬的處理速度。
因此,內存資料庫技術的應用,可以大大提高資料庫的速度,這對於需要高速反應的資料庫應用,如電信、金融等提供了有力支撐。
由於把大多數數據都放在內存中進行操作,使得內存資料庫有著比磁碟資料庫高得多的性能表現,這一......>>

3. 2019數據架構選型必讀:1月資料庫產品技術解析

本期目錄

DB-Engines資料庫排行榜

新聞快訊

一、RDBMS家族

二、NoSQL家族

三、NewSQL家族

四、時間序列

五、大數據生態圈

六、國產資料庫概覽

七、雲資料庫

八、推出dbaplus Newsletter的想法

九、感謝名單

為方便閱讀、重點呈現,本期Newsletter(2019年1月)將對各個板塊的內容進行精簡。需要閱讀全文的同學可點擊文末 【閱讀原文】 或登錄https://pan..com/s/13BgipbaHeMfvm0YPtiYviA

進行下載。

DB-Engines資料庫排行榜

以下取自2019年1月的數據,具體信息可以參考http://db-engines.com/en/ranking/,數據僅供參考。

DB-Engines排名的數據依據5個不同的因素:

新聞快訊

1、2018年9月24日,微軟公布了SQL Server2019預覽版,SQL Server 2019將結合Spark創建統一數據平台。

2、2018年10月5日,ElasticSearch在美國紐約證券交易所上市。

3、亞馬遜放棄甲骨文資料庫軟體,導致最大倉庫之一在黃金時段宕機。受此消息影響,亞馬遜盤前股價小幅跳水,跌超2%。

4、2018年10月31日,Percona發布了Percona Server 8.0 RC版本,發布對MongoDB 4.0的支持,發布對XtraBackup測試第二個版本。

5、2018年10月31日,Gartner陸續發布了2018年的資料庫系列報告,包括《資料庫魔力象限》、《資料庫核心能力》以及《資料庫推薦報告》。

今年的總上榜資料庫產品達到了5家,分別來自:阿里雲,華為,巨杉資料庫,騰訊雲,星環 科技 。其中阿里雲和巨杉資料庫已經連續兩年入選。

6、2018年11月初,Neo4j宣布完成E輪8000萬美元融資。11月15日,Neo4j宣布企業版徹底閉源:

7、2019年1月8日,阿里巴巴以1.033億美元(9000萬歐元)的價格收購了Apache Flink商業公司DataArtisans。

8、2019年1月11日早間消息,亞馬遜宣布推出雲資料庫軟體,亞馬遜和MongoDB將會直接競爭。

RDBMS家族

Oracle 發布18.3版本

2018年7月,Oracle Database 18.3通用版開始提供下載。我們可以將Oracle Database 18c視為採用之前發布模式的Oracle Database 12c第2版的第一個補丁集。未來,客戶將不再需要等待多年才能用上最新版Oracle資料庫,而是每年都可以期待新資料庫特性和增強。Database 19c將於2019年Q1率先在Oracle cloud上發布雲版本。

Oracle Database 18c及19c部分關鍵功能:

1、性能

2、多租戶,大量功能增強及改進,大幅節省成本和提高敏捷性

3、高可用

4、數據倉庫和大數據

MySQL發布8.0.13版本

1、賬戶管理

經過配置,修改密碼時,必須帶上原密碼。在之前的版本,用戶登錄之後,就可以修改自己的密碼。這種方式存在一定安全風險。比如用戶登錄上資料庫後,中途離開一段時間,那麼非法用戶可能會修改密碼。由參數password_require_current控制。

2、配置

Innodb表必須有主鍵。在用戶沒有指定主鍵時,系統會生成一個默認的主鍵。但是在主從復制的場景下,默認的主鍵,會對叢庫應用速度帶來致命的影響。如果設置sql_require_primary_key,那麼資料庫會強制用戶在創建表、修改表時,加上主鍵。

3、欄位默認值

BLOB、TEXT、GEOMETRY和JSON欄位可以指定默認值了。

4、優化器

1)Skip Scan

非前綴索引也可以用了。

之前的版本,任何沒有帶上f1欄位的查詢,都沒法使用索引。在新的版本中,它可以忽略前面的欄位,讓這個查詢使用到索引。其實現原理就是把(f1 = 1 AND f2 > 40) 和(f1 = 2 AND f2 > 40)的查詢結果合並。

2)函數索引

之前版本只能基於某個列或者多個列加索引,但是不允許在上面做計算,如今這個限制消除了。

5、SQL語法

GROUP BY ASC和GROUP BY DESC語法已經被廢棄,要想達到類似的效果,請使用GROUP BY ORDER BY ASC和GROUP BY ORDER BY DESC。

6、功能變化

1)設置用戶變數,請使用SET語句

如下類型語句將要被廢棄SELECT @var, @var:=@var+1。

2)新增innodb_fsync_threshold

該變數是控制文件刷新到磁碟的速率,防止磁碟在短時間內飽和。

3)新增會話級臨時表空間

在以往的版本中,當執行SQL時,產生的臨時表都在全局表空間ibtmp1中,及時執行結束,臨時表被釋放,空間不會被回收。新版本中,會為session從臨時表空間池中分配一個臨時表空間,當連接斷開時,臨時表空間的磁碟空間被回收。

4)在線切換Group Replication的狀態

5)新增了group_replication_member_expel_timeout

之前,如果某個節點被懷疑有問題,在5秒檢測期結束之後,那麼就直接被驅逐出這個集群。即使該節點恢復正常時,也不會再被加入集群。那麼,瞬時的故障,會把某些節點驅逐出集群。

group_replication_member_expel_timeout讓管理員能更好的依據自身的場景,做出最合適的配置(建議配置時間小於一個小時)。

MariaDB 10.3版本功能展示

1、MariaDB 10.3支持update多表ORDER BY and LIMIT

1)update連表更新,limit語句

update t1 join t2 on t1.id=t2.id set t1.name='hechunyang' limit 3;

MySQL 8.0直接報錯

MariaDB 10.3更新成功

2)update連表更新,ORDER BY and LIMIT語句

update t1 join t2 on t1.id=t2.id set t1.name='HEchunyang' order by t1.id DESC limit 3;

MySQL 8.0直接報錯

MariaDB 10.3更新成功

參考:

https://jira.mariadb.org/browse/MDEV-13911

2、MariaDB10.3增補AliSQL補丁——安全執行Online DDL

Online DDL從名字上看很容易誤導新手,以為不論什麼情況,修改表結構都不會鎖表,理想很豐滿,現實很骨感,注意這個坑!

有以下兩種情況執行DDL操作會鎖表的,Waiting for table metadata lock(元數據表鎖):

針對第二種情況,MariaDB10.3增補AliSQL補丁-DDL FAST FAIL,讓其DDL操作快速失敗。

例:

如果線上有某個慢SQL對該表進行操作,可以使用WAIT n(以秒為單位設置等待)或NOWAIT在語句中顯式設置鎖等待超時,在這種情況下,如果無法獲取鎖,語句將立即失敗。 WAIT 0相當於NOWAIT。

參考:

https://jira.mariadb.org/browse/MDEV-11388

3、MariaDB Window Functions窗口函數分組取TOP N記錄

窗口函數在MariaDB10.2版本里實現,其簡化了復雜SQL的撰寫,提高了可讀性。

參考:

https://mariadb.com/kb/en/library/window-functions-overview/

Percona Server發布8.0 GA版本

2018年12月21日,Percona發布了Percona Server 8.0 GA版本。

在支持MySQL8.0社區的基礎版上,Percona Server for MySQL 8.0版本中帶來了許多新功能:

1、安全性和合規性

2、性能和可擴展性

3、可觀察性和可用性

Percona Server for MySQL 8.0中將要被廢用功能:

Percona Server for MySQL 8.0中刪除的功能:

RocksDB發布V5.17.2版本

2018年10月24日,RocksDB發布V5.17.2版本。

RocksDB是Facebook在LevelDB基礎上用C++寫的高效內嵌式K/V存儲引擎。相比LevelDB,RocksDB提供了Column-Family,TTL,Transaction,Merge等方面的支持。目前MyRocks,TiKV等底層的存儲都是基於RocksDB來構建。

PostgreSQL發布11版本

2018年10月18日,PostgreSQL 11發布。

1、PostgreSQL 11的重大增強

2、PostgreSQL 插件動態

1)分布式插件citus發布 8.1

citus是PostgreSQL的一款sharding插件,目前國內蘇寧、鐵總、探探有較大量使用案例。

https://github.com/citusdata/citus

2)地理信息插件postgis發布2.5.1

PostGIS是專業的時空資料庫插件,在測繪、航天、氣象、地震、國土資源、地圖等時空專業領域應用廣泛。同時在互聯網行業也得到了對GIS有性能、功能深度要求的客戶青睞,比如共享出行、外賣等客戶。

http://postgis.net/

3)時序插件timescale發布1.1.1

timescale是PostgreSQL的一款時序資料庫插件,在IoT行業中有非常好的應用。github star數目前有5000多,是一個非常火爆的插件。

https://github.com/timescale/timescaledb

4)流計算插件 pipelinedb 正式插件化

Pipelinedb是PostgreSQL的一款流計算插件,使用這個創建可以對高速寫入的數據進行實時根據定義的聚合規則進行聚合(支持概率計算),實時根據定義的規則觸發事件(支持事件處理函數的自定義)。可用於IoT,監控,FEED實時計算等場景。

https://github.com/pipelinedb/pipelinedb

3、PostgreSQL衍生開源產品動態

1)agensgraph發布 2.0.0版本

agensgraph是兼容PostgreSQL、opencypher的專業圖資料庫,適合圖式關系的管理。

https://github.com/bitnine-oss/agensgraph

2)gpdb發布5.15

gpdb是兼容PostgreSQL的mpp資料庫,適合OLAP場景。近兩年,gpdb一直在追趕PostgreSQL的社區版本,預計很快會追上10的PostgreSQL,在TP方面的性能也會得到顯著提升。

https://github.com/greenplum-db/gpdb

3)antdb發布3.2

antdb是以Postgres-XC為基礎開發的一款PostgreSQL sharding資料庫,亞信主導開發,開源,目前主要服務於亞信自有客戶。

https://github.com/ADBSQL/AntDB

4)遷移工具MTK發布52版本

MTK是EDB提供的可以將Oracle、PostgreSQL、MySQL、MSSQL、Sybase資料庫遷移到PostgreSQL, PPAS的產品,遷移速度可以達到100萬行/s以上。

https://github.com/digoal/blog/blob/master/201812/20181226_01.md

DB2發布 11.1.4.4版本

DB2最新發布Mod Pack 4 and Fix Pack 4,包含以下幾方面的改動及增強:

1、性能

2、高可用

3、管理視圖

4、應用開發方面

5、聯邦功能

6、pureScale

NoSQL家族

Redis發布5.0.3版本

MongoDB升級更新MongoDB Mobile和MongoDB Stitch

2018年11月21日,MongoDB升級更新MongoDB Mobile和MongoDB Stitch,助力開發人員提升工作效率。

MongoDB 公司日前發布了多項新產品功能,旨在更好地幫助開發人員在世界各地管理數據。通過利用存儲在移動設備和後台資料庫的數據之間的實時、自動的同步特性,MongoDB Mobile通用版本助力開發人員構建更快捷、反應更迅速的應用程序。此前,這只能通過在移動應用內部安裝一個可供選擇或限定功能的資料庫來實現。

MongoDB Mobile在為客戶提供隨處運行的自由度方面更進了一步。用戶在iOS和安卓終端設備上可擁有MongoDB所有功能,將網路邊界擴展到其物聯網資產范疇。應用系統還可以使用MongoDB Stitch的軟體開發包訪問移動客戶端或後台數據,幫助開發人員通過他們希望的任意方式查詢移動終端數據和物聯網數據,包括本地讀寫、本地JSON存儲、索引和聚合。通過Stitch移動同步功能(現可提供beta版),用戶可以自動對保存在本地的數據以及後台資料庫的數據進行同步。

本期新秀:Cassandra發布3.11.3版本

2018年8月11日,Cassandra發布正式版3.11.3。

Apache Cassandra是一款開源分布式NoSQL資料庫系統,使用了基於Google BigTable的數據模型,與面向行(row)的傳統關系型資料庫或鍵值存儲key-value資料庫不同,Cassandra使用的是寬列存儲模型(Wide Column Stores)。與BigTable和其模仿者HBase不同,數據並不存儲在分布式文件系統如GFS或HDFS中,而是直接存於本地。

Cassandra的系統架構與Amazon DynamoDB類似,是基於一致性哈希的完全P2P架構,每行數據通過哈希來決定應該存在哪個或哪些節點中。集群沒有master的概念,所有節點都是同樣的角色,徹底避免了整個系統的單點問題導致的不穩定性,集群間的狀態同步通過Gossip協議來進行P2P的通信。

3.11.3版本的一些bug fix和改進:

NewSQL家族

TiDB 發布2.1.2版本

2018 年 12 月 22 日,TiDB 發布 2.1.2 版,TiDB-Ansible 相應發布 2.1.2 版本。該版本在 2.1.1 版的基礎上,對系統兼容性、穩定性做出了改進。

TiDB 是一款定位於在線事務處理/在線分析處理( HTAP: Hybrid Transactional/Analytical Processing)的融合型資料庫產品。除了底層的 RocksDB 存儲引擎之外,分布式SQL層、分布式KV存儲引擎(TiKV)完全自主設計和研發。

TiDB 完全開源,兼容MySQL協議和語法,可以簡單理解為一個可以無限水平擴展的MySQL,並且提供分布式事務、跨節點 JOIN、吞吐和存儲容量水平擴展、故障自恢復、高可用等優異的特性;對業務沒有任何侵入性,簡化開發,利於維護和平滑遷移。

TiDB:

PD:

TiKV:

Tools:

1)TiDB-Lightning

2)TiDB-Binlog

EsgynDB發布R2.5版本

2018年12月22日,EsgynDB R2.5版本正式發布。

作為企業級產品,EsgynDB 2.5向前邁進了一大步,它擁有以下功能和改進:

CockroachDB發布2.1版本

2018年10月30日,CockroachDB正式發布2.1版本,其新增特性如下:

新增企業級特性:

新增SQL特性:

新增內核特性:

Admin UI增強:

時間序列

本期新秀:TimescaleDB發布1.0版本

10月底,TimescaleDB 1.0宣布正式推出,官方表示該版本已可用於生產環境,支持完整SQL和擴展。

TimescaleDB是基於PostgreSQL資料庫開發的一款時序資料庫,以插件化的形式打包提供,隨著PostgreSQL的版本升級而升級,不會因為另立分支帶來麻煩。

TimescaleDB架構:

數據自動按時間和空間分片(chunk)

更新亮點:

https://github.com/timescale/timescaledb/releases/tag/1.0.0

大數據生態圈

Hadoop發布2.9.2版本

2018年11月中旬,Hadoop在2.9分支上發布了新的2.9.2版本,該版本進行了204個大大小小的變更,主要變更如下:

Greenplum 發布5.15版本

Greenplum最新的5.15版本中發布了流式數據載入工具。

該版本中的Greenplum Streem Server組件已經集成了Kafka流式載入功能,並通過了Confluent官方的集成認證,其支持的主要功能如下:

國產資料庫概覽

K-DB發布資料庫一體機版

2018年11月7日,K-DB發布了資料庫一體機版。該版本更新情況如下:

OceanBase遷移服務發布1.0版本

1月4日,OceanBase 正式發布OMS遷移服務1.0版本。

以下內容包含 OceanBase 遷移服務的重要特性和功能:

SequoiaDB發布3.0.1新版本

1、架構

1)完整計算存儲分離架構,兼容MySQL協議、語法

計算存儲分離體系以松耦合的方式將計算與存儲層分別部署,通過標准介面或插件對各個模塊和組件進行無縫替換,在計算層與存儲層均可實現自由的彈性伸縮。

SequoiaDB巨杉資料庫「計算-存儲分離」架構詳細示意

用戶可以根據自身業務特徵選擇面向交易的SQL解析器(例如MySQL或PGSQL)或面向統計分析的執行引擎(例如SparkSQL)。眾所周知,使用不同的SQL優化與執行方式,資料庫的訪問性能可能會存在上千上萬倍的差距。計算存儲分離的核心思想便是在數據存儲層面進行一體化存儲,在計算層面則利用每種執行引擎的特點針對不同業務場景進行選擇和優化,用戶可以在存儲層進行邏輯與物理的隔離,將面向高頻交易的前端業務與面向高吞吐量的統計分析使用不同的硬體進行存儲,確保在多類型數據訪問時互不幹擾,以真正達到生產環境可用的多租戶與HTAP能力。

2、其他更新信息

1)介面變更:

2)主要特性:

雲資料庫

本期新秀:騰訊發布資料庫CynosDB,開啟公測

1、News

1)騰訊雲資料庫MySQL2018年重大更新:

2)騰訊雲資料庫MongoDB2018年重大更新:

3)騰訊雲資料庫Redis/CKV+2018年重大更新:

4)騰訊雲資料庫CTSDB2018年重大更新:

2、Redis 4.0集群版商業化上線

2018年10月,騰訊雲資料庫Redis 4.0集群版完成邀測、公測、商業化三個迭代,在廣州、上海、北京正式全量商業化上線。

產品特性:

使用場景:

官網文檔:

https://cloud.tencent.com/document/proct/239/18336

3、騰訊自研資料庫CynosDB發布,開啟公測

2018年11月22日,騰訊雲召開新一代自研資料庫CynosDB發布會,業界第一款全面兼容市面上兩大最主流的開源資料庫MySQL和PostgreSQL的高性能企業級分布式雲資料庫。

本期新秀:京東雲DRDS發布1.0版本

12月24日,京東雲分布式關系型資料庫DRDS正式發布1.0版本。

DRDS是京東雲精心自研的資料庫中間件產品,獲得了2018年 」可信雲技術創新獎」。DRDS可實現海量數據下的自動分庫分表,具有高性能,分布式,彈性升級,兼容MySQL等優點,適用於高並發、大規模數據的在線交易, 歷史 數據查詢,自動數據分片等業務場景,歷經多次618,雙十一的考驗,已經在京東集團內大規模使用。

京東雲DRDS產品有以下主要特性

1)自動分庫分表

通過簡單的定義即可自動實現分庫分表,將數據實際存放在多個MySQL實例的資料庫中,但呈現給應用程序的依舊是一張表,對業務透明,應用程序幾乎無需改動,實現了對資料庫存儲和處理能力的水平擴展。

2)分布式架構

基於分布式架構的集群方案,多個對等節點同時對外提供服務,不但可有效規避服務的單點故障,而且更加容易擴展。

3)超強性能

具有極高的處理能力,雙節點即可支持數萬QPS,滿足用戶超大規模處理能力的需求。

4)兼容MySQL

兼容絕大部分MySQL語法,包括MySQL語法、數據類型、索引、常用函數、排序、關聯等DDL,DML語句,使用成本低。

參考鏈接:

https://www.jdcloud.com/cn/procts/drds

RadonDB發布1.0.3版本

2018年12月26日,MyNewSQL領域的RadonDB雲資料庫發布1.0.3版本。

推出dbaplus Newsletter的想法

dbaplus Newsletter旨在向廣大技術愛好者提供資料庫行業的最新技術發展趨勢,為社區的技術發展提供一個統一的發聲平台。為此,我們策劃了RDBMS、NoSQL、NewSQL、時間序列、大數據生態圈、國產資料庫、雲資料庫等幾個版塊。

我們不以商業宣傳為目的,不接受任何商業廣告宣傳,嚴格審查信息源的可信度和准確性,力爭為大家提供一個純凈的技術學習環境,歡迎大家監督指正。

至於Newsletter發布的周期,目前計劃是每三個月左右會做一次跟進, 下期計劃時間是2019年4月14日~4月25日, 如果有相關的信息提供請發送至郵箱:[email protected]

感謝名單

最後要感謝那些提供寶貴信息和建議的專家朋友,排名不分先後。

往期回顧:

↓↓別忘了點這里下載 2019年1月 完整版Newsletter 哦~

4. 怎麼找電子版七上歷史大數據

怎麼找電子版七上歷史大數據
資料搜集是個相當繁瑣與累的工作,也是投資入門的基本,良好的信息資料搜集能力有利於我們快速了解投資主體的基本情況,為後續的調研及一手資料的獲得打下較好的基礎。

一、搜索引擎(重點掌握)

搜索引擎是我們信息資料搜集的最重要的渠道之一,用搜索引擎查找信息資料需要使用恰當的關鍵詞和一些搜索技巧。目前國內主要的搜集引擎有如下10個,近期還有較多行業型搜索冒出來,需找專業型行業資料可以使用行業型搜索引擎。

由於每個搜索引擎都有一定的局限性,可以把要搜索的關鍵詞在多個搜索引擎試一下,可能會搜出你意想不到的結果。

大家對國內的引擎基本都很熟悉,尤其是網路和google,需要搜索同一主題的資料,不同的人所搜出來的結果可能就天差地別了,主要原因在於如下兩點:

1、搜索關鍵字的選擇

舉例說明,假如我們要搜索大數據行業發展相關資料,如果我們就在網路上搜索「大數據」,結果非常多,無法進行篩選,可以對關鍵詞進一步界定,如「大數據行業」、「大數據市場規模」、「中國大數據產業」、「大數據技術」、「大數據企業」等等,需要不停地變換搜索關鍵詞,直到查到滿意的搜索結果,在查找的過程中可以根據查找結果內容再進行對關鍵詞進行修正,修正有些名稱專業表達方式,因為最開始搜索我們表達的不一定準確。

2、搜索技巧

主要是針對網路、google等搜索引擎一些高級搜索技巧。常用技巧主要有如下幾個方面:

(1)文件類型搜索:使用filetype,如在網路或google中鍵入「filetype:pdf 大數據」搜索出有關大數據內容pdf內容,而且這些文檔基本都是可直接下載。還可以變換為其他的如「filetype:doc」、「filetype:ppt」、「filetype:xls」等等,注意其中的冒號為英文的冒號,一定要變換為英文冒號。

(2)定位於哪個網站上搜索:使用site,如在網路或google中鍵入「大數據空格site:sina.com」,則在http://sina.com搜索有關大數據的一些資料信息,這個特別適用針對某些信息可能在哪些網站上出現的一個快速搜索方法,注意冒號也是英文的,網站名稱也不用加www。

(3)精確匹配搜索:使用「」,如在網路中鍵入「大數據行業」,表示搜索「大數據行業」五個必須聯在一起的,如果不加「」,搜到的為大數據及行業兩個詞並列顯示結果,沒有這么精確匹配。

(4)限制性的網頁搜索:使用intitle,如在網路鍵入「intitie:大數據」,限定於搜索標題中含有「大數據」網頁,如果輸入「intitie:大數據市場規模」限定於搜索標題中含有「大數據」和「市場規模」的網頁。

3、搜索引擎推薦

1)http://scholar.google.com/ 雖然還是Beta版,但個人已覺得現在已經是很好很強大了,Google學術搜索濾掉了普通搜索結果中大量的垃圾信息,排列出文章的不同版本以及被其它文章的引用次數。略顯不足的是,它搜索出來的結果沒有按照權威度(譬如影響因子、引用次數)依次排列,在中國搜索出來的,前幾頁可能大部分為中文的一些期刊的文章。

2)http://www.scirus.com Scirus 是目前互聯網上最全面、綜合性最強的科技文獻搜索引擎之一,由Elsevier科學出版社開發,用於搜索期刊和專利,效果很不錯!Scirus覆蓋的學科 范圍包括:農業與生物學,天文學,生物科學,化學與化工,計算機科學,地球與行星科學,經濟、金融與管理科學,工程、能源與技術,環境科學,語言學,法 學,生命科學,材料科學,數學,醫學,神經系統科學,葯理學,物理學,心理學,社會與行為科學,社會學等。

3)http://www.base-search.net/ BASE是德國比勒費爾德(Bielefeld)大學圖書館開發的一個多學科的學術搜索引擎,提供對全球異構學術資源的集成檢索服務。它整合了德國比勒費爾德大學圖書館的圖書館目錄和大約160個開放資源(超過200 萬個文檔)的數據。

4)http://www.vascoda.de/ Vascoda是一個交叉學科門戶網站的原型,它注重特定主題的聚合,集成了圖書館的收藏、文獻資料庫和附加的學術內容。

5)http://www.goole.com/ 與google比較了一下發現,能搜索到一些google搜索不到的好東東 。它界面簡潔,功能強大,速度快,YAHOO、網易都採用了它的搜索技術。各位可以一試。

6)http://www.a9.com Google在同一水平的搜索引擎。是Amazon.com推出的,Webresult部分是基於Google的,所以保證和Google在同一水平,另外增加了Amazon的在書本內搜索的功能和個性化功能:主要是可以記錄你的搜索歷史。現在還是Beta,不過試用後感覺很好,向大家推薦一試 ,不過缺憾是現在書本內搜索沒有中文內容。

7)http://www.ixquick.com 嚴格意義上講不是搜索引擎,是連接搜索引擎和網路用戶的信息立交橋。新一代的搜索引擎應運而生,Ixquick meta-search正是目前最具光芒的新星。但是對於大多數國內用戶來說,Ixquick還很陌生。Ixquick眾多獨特的功能我不一一介紹了,只介紹我們最關心的,搜索資料庫密碼。使用方法:先進入Ixquick,以「Proquest」資料庫為例。填入Proquest Username Password History Online後點擊search,看看出來的結果,第一頁中第6個,proquest的username和password赫然在目,別急,再看第4個結 果「HB Thompson Subscription Online Databases」,即http://homework.syosset.k12.ny.us/onlinedbs/HBTDatabases/,進入 後發現這是一個密碼頁,選擇Magazines& Journals欄,就有 EBSCO、Electric Library Elementary、Electric LibraryElementary、ProQuest Platinum (in school)、ProQuest Platinum(remote)等眾多資料庫的密碼,都有uesrname和password,隨便試一下EBSCO,OK,成功登陸。

8)http://vivisimo.com/ cmu的作品,對搜索的內容進行分類,這樣可以有效地做出選擇,比較有特色。可實現分類檢索,檢索速度也很好,如EBSCO 密碼幾分鍾就可找一大堆 .http://search.epnet.com/,User ID:mountain,Password: ridge,這個密碼可以試試。

9)http://www.findarticles.com/ 一個檢索免費paper的好工具。進入網頁以後,可以看到他有三個功能,driectory web article,其中article對我們很有幫助,你可以嘗試輸入你要找的文章,會有很多發現的!

10)http://www.chmoogle.com 現點擊後或跳轉到http://www.emolecules.com ,在此搜索引擎里可以搜索到超過千萬種化學品信息或相應的供應商,與Chemblink有點相似,但提供的化學品理化信息沒有Chemblink詳細,與其不同的是該搜索引擎可提供化學品結構式搜索(主頁上有在線繪制化學結構式的搜索框)。

11)http://www.ojose.com/ OJOSE (Online JournalSearch Engine,在線期刊搜索引擎)是一個強大的免費科學搜索引擎,通過OJOSE,你能查找、下載或購買到近60個資料庫的資源。但是感覺操作比較復雜。

12)http://citeseer.ist.psu.e/ 一個關於計算機和信息科學的搜索引擎。

13)http://hpsearch.uni-trier.de/ 專家個人主頁搜索引擎。

14)www.aol.com 裡面的搜索引擎功能由google提供,搜索結果與google一樣,如果google無法登陸,可以用這個網站代替。

二、資料庫

資料庫是研究人員重要的數據來源之一,目前券商、基金研究研究機構都購買有商業資料庫,目前研究用的資料庫主要分為兩大類,一是商業資料庫,二是學術資料庫。

1、商業資料庫

商業資料庫大多為金融投資所用,主要分為國內與國外資料庫兩大類。1)國內商業資料庫國內資料庫主要有如萬德、恆生聚源、銳思資料庫、CSMAR資料庫、巨潮資料庫等。目前萬德資料庫主要定位於國內高端客戶,市場佔有率較高,80%左右,當然其售價較高。恆生聚源也定位為機構客戶,性價比較高,售價要比萬德便宜的多。CSMAR資料庫定位於學術與高校,其中金融數據比較全,強大。銳思資料庫定位於學術,質量一般。巨潮資料庫為深交所旗下資料庫,有一定的特殊優勢。

2)國外商業資料庫

國外資料庫主要有彭博、路透社、CEIC、OECD、Haver Database、Thomson Financial One Banker等,國外資料庫中彭博是比較全也大的,在國內銷售也較好,但是售價奇貴。一般不做國際市場研究,大多用不到國外資料庫,畢竟國外資料庫公司對國內的行業數據及公司數據不如本土資料庫公司的做得好。

2、學術資料庫

學術資料庫基本為高校、研究機構所用,也分為國內與國外兩大類,學術資料庫中一些學術論文、行業數據、統計年鑒還是有用的,缺點就是其中有些數據的相對較舊,無法做到實時更新。

1)國內學術資料庫

中國知網:國內最大學術資料庫,包括期刊、學位論文、統計年鑒等。

萬方數據:僅次於中國知網,包括期刊、學位論文等。

人大復印資料:期刊、論文等。

維普:期刊、論文等。

中經網:有較多行業研究報告,宏觀數據較全。

國研網:數據較為權威,有些報告可以一看。

上海公共研發平台:可以注冊,人工審核,內包含較多資料庫。

2)國外學術資料庫

EBSCO:較全的一個資料庫,內包含較多的商業數據,好用

Elsevier:學術文章全,更新速度快。

以上大致介紹了國內的商業及學術資料庫,但這些資料庫都是通過收費或學校賬號才能使用,對於平時臨時研究用的一些人,沒有必要去購買,下面介紹一些免費可用的資料庫。

3)免費可用的資料庫

數據匯:http://www.shujuhui.com/database/ 國內的宏觀數據,國外的也有一部分,可以導出來,免費好用。

數據圈:http://www.shujuquan.com.cn/ 免費共享平台,行業研究報告,統計年鑒等

5. PostgreSQL開源免費企業級資料庫用著比較爽的地方有哪些

1),PostgreSQL是通用型資料庫。

PG有著豐富的數據類型(數值、字元、時間、布爾、貨幣、枚舉、網路地址、JSONB等等)和索引類型( B-tree、Hash、GiST、SP-GiST 、GIN 和 BRIN等 )。可以存儲和計算大多數場景的業務數據,如 ERP、交易系統、財務系統涉及資金、客戶等信息,數據不能丟失且業務邏輯復雜,選擇 PostgreSQL 作為數據底層存儲,一是可以幫助您在數據一致性前提下提供高可用性,二是可以用簡單的編程實現復雜的業務邏輯 。適合各種OLTP和部分OLAP場景。

2),PostgreSQL資料庫包含許多第三方插件。

如PostGIS等可以直接在資料庫里進行地理位置相關的gis類存儲和運算(LBS地理位置相關業務等O2O場景),其他的插件如Pg_stat_statements、uuid-ossp、pg_trgm、btree-gist插件、 pgcrypto加密等插件 。

3),中小型企業快速搭建 數據倉庫和數據分析平台(TB級別)

PostgreSQL 提供豐富的數據類型和強大的計算能力,能夠幫助您更簡單搭建資料庫倉庫或大數據分析平台,為企業運營加分。

4),冷熱分離

針對流水類的大表,PG可以使用分區表,線上保留熱數據, 歷史 數據存放在分區表裡或者OSS等冷數據平台,冷熱分離。

5),公有雲支持度高如阿里雲、騰訊雲、華為雲等公有雲都有對應的RDS-PG產品,開箱即用,並提供技術支持。

OLTP:事務處理是PostgreSQL的本行

OLAP:ANSI SQL兼容,窗口函數,CTE,CUBE等高級分析功能,任意語言寫UDF,citus分布式插件

流處理:PipelineDB擴展,Notify-Listen,物化視圖,規則系統,靈活的存儲過程與函數編寫

時序數據:timescaledb時序資料庫插件,分區表,BRIN索引

空間數據:PostGIS擴展(殺手鐧),內建的幾何類型支持,GiST索引。

搜索索引:全文搜索索引足以應對簡單場景;豐富的索引類型,支持函數索引,條件索引

NoSQL:JSON,JSONB,XML,HStore原生支持,至NoSQL資料庫的外部數據包裝器

數據倉庫:能平滑遷移至同屬Pg生態的GreenPlum,DeepGreen,HAWK等,使用FDW進行ETL

6. 數據挖掘什麼軟體簡單

數據挖掘用什麼軟體
1.R是用於統計分析和圖形化的計算機語言及分析工具;

2.Weka可能是名氣最大的開源機器學習和數據挖掘軟體,但用起來並不方便,界面也簡單了點;

3.Tanagra 是使用圖形界面的數據挖掘軟體;4.RapidMiner現在流行的勢頭在上升,但它的操作方式和商用軟體差別較大,不支持分析流程圖的方式,當包含的運算符比較多的時候就不容易查看了;

5.KNIME和Orange看起來都不錯,Orange界面看上去很清爽,但我發現它不支持中 文。推薦KNIME,同時安裝Weka和R擴展包。

對於普通用戶可以選 用界面友好易於使用的軟體,對於希望從事演算法開發的用戶則可以根據軟體開發工具不同(Java、R、C++、Python等)來選擇相應的軟體。
求推薦簡單好用的數據挖掘軟體 10分
那肯定是SPSS啊,網上自學教程也一堆,如果你不追求特別專業的,只是想數據可視化的基礎上有意思數據挖掘的功能,也可以用watson *** ytics,它還支持自然語言呢
常用的數據挖掘工具有哪些
RapidMiner、R、Weka、KNIME、GGobi、Orange,都是優秀的挖掘工具,可以依據自己的需要選擇。
常用數據挖掘工具有哪些
EXCEL MATLAB Origin 等等

當前流行的圖形可視化和數據分析軟體有Matlab,Mathmatica和Maple等。這些軟體功能強大,可滿足科技工作中的許多需要,但使用這些軟體需要一定的計算機編程知識和矩陣知識,並熟悉其中大量的函數和命令。而使用Origin就像使用Excel和Word那樣簡單,只需點擊滑鼠,選擇菜單命令就可以完成大部分工作,獲得滿意的結果。 但它又比excel要強大些。一般日常的話可以用Excel,然後載入宏,裡面有一些分析工具,不過有時需要資料庫軟體支持
學習數據挖掘一般要學哪些軟體和工具
1、WEKA

WEKA 原生的非 Java 版本主要是為了分析農業領域數據而開發的。該工具基於 Java 版本,是非常復雜的,並且應用在許多不同的應用中,包括數據分析以及預測建模的可視化和演算法。與 RapidMiner 相比優勢在於,它在 GNU 通用公共許可證下是免費的,因為用戶可以按照自己的喜好選擇自定義。

WEKA 支持多種標准數據挖掘任務,包括數據預處理、收集、分類、回歸分析、可視化和特徵選取。添加序列建模後,WEKA 將會變得更強大,但目前不包括在內。

2、RapidMiner

該工具是用 Java 語言編寫的,通過基於模板的框架提供先進的分析技術。該款工具最大的好處就是,用戶無需寫任何代碼。它是作為一個服務提供,而不是一款本地軟體。值得一提的是,該工具在數據挖掘工具榜上位列榜首。另外,除了數據挖掘,RapidMiner 還提供如數據預處理和可視化、預測分析和統計建模、評估和部署等功能。更厲害的是它還提供來自 WEKA(一種智能分析環境)和 R 腳本的學習方案、模型和演算法。

RapidMiner 分布在 AGPL 開源許可下,可以從 SourceForge 上下載。SourceForge 是一個開發者進行開發管理的集中式場所,大量開源項目在此落戶,其中就包括 *** 使用的 MediaWiki。

3、NLTK

當涉及到語言處理任務,沒有什麼可以打敗 NLTK。NLTK 提供了一個語言處理工具,包括數據挖掘、機器學習、數據抓取、情感分析等各種語言處理任務。

而您需要做的只是安裝 NLTK,然後將一個包拖拽到您最喜愛的任務中,您就可以去做其他事了。因為它是用 Python 語言編寫的,你可以在上面建立應用,還可以自定義它的小任務。

4、Orange

Python 之所以受歡迎,是因為它簡單易學並且功能強大。如果你是一個 Python 開發者,當涉及到需要找一個工作用的工具時,那麼沒有比 Orange 更合適的了。它是一個基於 Python 語言,功能強大的開源工具,並且對初學者和專家級的大神均適用。

此外,你肯定會愛上這個工具的可視化編程和 Python 腳本。它不僅有機器學習的組件,還附加有生物信息和文本挖掘,可以說是充滿了數據分析的各種功能。

5、KNIME

數據處理主要有三個部分:提取、轉換和載入。 而這三者 KNIME 都可以做到。 KNIME 為您提供了一個圖形化的用戶界面,以便對數據節點進行處理。它是一個開源的數據分析、報告和綜合平台,同時還通過其模塊化數據的流水型概念,集成了各種機 器學習的組件和數據挖掘,並引起了商業智能和財務數據分析的注意。

KNIME 是基於 Eclipse,用 Java 編寫的,並且易於擴展和補充插件。其附加功能可隨時添加,並且其大量的數據集成模塊已包含在核心版本中。

6、R-Programming

如果我告訴你R項目,一個 GNU 項目,是由 R(R-programming簡稱,以下統稱R)自身編寫的,你會怎麼想?它主要是由 C 語言和 FORTRAN 語言編寫的,並且很多模塊都是由 R 編寫的,這是一款針對編程語言和軟體環境進行統計計算和制圖的免費軟體。

R語言被廣泛應用於數據挖掘,以及開發統計軟體和數據分析中。近年來,易用性和可擴展性也大大提高了 R 的知名度。除了數據,它還提供統計和制圖技術,包括線性和非線性建模,經典的統計測試,時間序列分析、分類、收......
學習數據挖掘一般要學哪些軟體和工具
1、WEKA

WEKA 原生的非 Java 版本主要是為了分析農業領域數據而開發的。該工具基於 Java 版本,是非常復雜的,並且應用在許多不同的應用中,包括數據分析以及預測建模的可視化和演算法。與 RapidMiner 相比優勢在於,它在 GNU 通用公共許可證下是免費的,因為用戶可以按照自己的喜好選擇自定義。

WEKA 支持多種標准數據挖掘任務,包括數據預處理、收集、分類、回歸分析、可視化和特徵選取。添加序列建模後,WEKA 將會變得更強大,但目前不包括在內。

2、RapidMiner

該工具是用 Java 語言編寫的,通過基於模板的框架提供先進的分析技術。該款工具最大的好處就是,用戶無需寫任何代碼。它是作為一個服務提供,而不是一款本地軟體。值得一提的是,該工具在數據挖掘工具榜上位列榜首。另外,除了數據挖掘,RapidMiner 還提供如數據預處理和可視化、預測分析和統計建模、評估和部署等功能。更厲害的是它還提供來自 WEKA(一種智能分析環境)和 R 腳本的學習方案、模型和演算法。

RapidMiner 分布在 AGPL 開源許可下,可以從 SourceForge 上下載。SourceForge 是一個開發者進行開發管理的集中式場所,大量開源項目在此落戶,其中就包括 *** 使用的 MediaWiki。

3、NLTK

當涉及到語言處理任務,沒有什麼可以打敗 NLTK。NLTK 提供了一個語言處理工具,包括數據挖掘、機器學習、數據抓取、情感分析等各種語言處理任務。

而您需要做的只是安裝 NLTK,然後將一個包拖拽到您最喜愛的任務中,您就可以去做其他事了。因為它是用 Python 語言編寫的,你可以在上面建立應用,還可以自定義它的小任務。
目前業界常用的數據挖掘分析工具有哪些
數據分析的概念太寬泛了,做需要的是側重於數據展示、數據挖掘、還是數據存儲的?是個人用還是企業、部門用呢?應用的場景是製作簡單的個人圖表,還是要做銷售、財務還是供應鏈的分析?

那就說說應用最廣的BI吧,企業級應用,其實功能上已經涵蓋了我上面所述的部分,主要用於數據整合,構建分析,展示數據供決策分析的,譬如FineBI,是能夠」智能」分析數據的工具了。
哪個軟體建立資料庫比較簡單好用
隨著數據大數據的發展,數據安全已經上升到一個很高的高度。隨著國家對數據安全的重視,國產資料庫開始走進中國個大企業,其中不乏 *** 、國企。

實時資料庫系統是開發實時控制系統、數據採集系統、CIMS系統等的支撐軟體。在流程行業中,大量使用實時資料庫系統進行控制系統監控,系統先進控制和優化控制,並為企業的生產管理和調度、數據分析、決策支持及遠程在線瀏覽提供實時數據服務和多種數據管理功能。實時資料庫已經成為企業信息化的基礎數據平台,可直接實時採集、獲取企業運行過程中的各種數據,並將其轉化為對各類業務有效的公共信息,滿足企業生產管理、企業過程監控、企業經營管理之間對實時信息完整性、一致性、安全共享的需求,可為企業自動化系統與管理信息系統間建立起信息溝通的橋梁。幫助企業的各專業管理部門利用這些關鍵的實時信息,提高生產銷售的營運效率。如果你想定製這款國產資料庫 可以打 前面是 一三六 中間是 六一二零 末尾是 四一四七

北京開運聯合信息技術股份有限公司-實時性工業資料庫軟體(CreatRun Database )

實時性工業資料庫軟體(CreatRun Database )是什麼?

1、實時性工業資料庫軟體(CreatRun Database ) 是開運聯合公司針對行業應用,獨立研發的,擁有全部自主知識產權的企業級實時/歷史資料庫平台。為企業監控生產情況、計算性能指標、進行事故分析和對設備啟停分析診斷、故障預防等提供重要的數據保障。

2、實時性工業資料庫軟體(CreatRun Database ) 可廣泛用於工業控制自動化數據的高速採集和存儲,提供高速、海量數據存儲和基礎分析能力。

3、實時性工業資料庫軟體(CreatRun Database ) 可隨時觀察以及在線分析生產過程。長期保存的歷史數據不僅可以重現歷史生產情況,也使大規模數據挖掘成為可能。 提供企業生產信息管理解決方案,可以有效應對「從小到大」 「由近及遠」 的各種企業級數據應用。

4、CreatRun Database 可在線按照時間序列以毫秒級精度自動採集企業的各類過程自動化系統中的生產數據,高效壓縮並存儲。同時可向用戶和應用程序提供實時和歷史數據,使得用戶可隨時觀察以及在線分析生產過程。長期保存的歷史數據不僅可以重現歷史生產情況,也使大規模數據挖掘成為可能。

【工業軟體開發】實時性工業資料庫軟體(CreatRun Database )系統主要技術指標:

支持數據類型:digital、int16、int32、float16、float32、float64、String等類型

標簽容量:200,000 Tag

數據容量:TB級

客戶端並發用戶數:500 個

生產過程數據採集時間響應速度:<500 毫秒

時間戳解析度:毫秒

存儲速度:>100,000 輸入值/秒存檔數據回取事務吞吐量:>2,000,000 輸出值/秒

實時性工業資料庫軟體(CreatRun Database )系統特性——高可用性:

1、高效的數據存儲策略及壓縮演算法「死區例外+可變斜率壓縮演算法 」,精確到每個Tag的壓縮配置,有效提高了歷史數據存儲性能,節約磁碟空間.

2、高速的數據緩存機制,使並行訪問鎖域粒度精確到「Block(1KBytes)」,實現了並行訪問能力的最大化。使歷史數據訪問路由復雜度「最小化、均衡化,扁平化」,不界定「冷熱」數據,所有數據訪問時間成本一致,同時提供均衡訪問特性和最大遠程數據訪問友好度。

3、Creat RUN ......
數據挖掘工具一般都有哪些
數據挖掘工具有國外的Qlik,國內的有永洪,收費是肯定的,你可以先去找些可以免費試用的挖掘工具,國內的ETHINK平台好像可以
數據挖掘工具有哪些?
SQL Server是資料庫,但內建數據挖掘功能,若提到工具的話,大概有SAS, SPSS, Statistica(Dell), R, Revolution R...