㈠ NetworkX和Graphscope哪個運算速度更快
近年來，全球大數據進入加速發展時期，數據量呈現指數級爆發式增長，而這些大量數據中不同個體間交互產生的數據以圖的形式表現，如何高效地處理這些圖數據成為了業界及其關心的問題。很過用普通關系數據無法跑出來的結果，用圖數據進行關聯分析會顯得異常高效。
提到處理圖數據，我們首先想到NetworkX，這是網路計算上常用的Python包，可提供靈活的圖構建、分析功能。但是我們使用NetworkX跑大規模圖數據時，不僅經常碰到內存不足的問題，而且分析速度很慢，究其原因，是NetworkX只支持單機運行。通過網上搜索，新發現了一個名為GraphScope的系統不僅號稱兼容NetworkX的API，而且支持分布式部署運行，性能更優。針對GraphScope和NetworkX的處理能力，我們參考圖計算中常用的測試框架LDBC，通過一組實驗來對比下二者的性能。
一、實驗介紹
為了比較兩者的計算效率，先用阿里雲拉起了配置為8核CPU，32GB內存的四台ECS，設計了三組比較實驗，分別是NetworkX單機下的計算性能，GraphScope單機多worker的計算性能以及GraphScope分布式多機多worer的計算性能。
數據上，我們選取了SNAP開源的圖數據集twitter，來自 LDBC數據集的datagen-7_5-fb,datagen-7_7-zf和datagen-8_0-fb作為實驗數據，以下是數據集的基本信息：
· Twitter: 81,307個頂點，1,768,135條邊
· Datagen-7_5-fb： 633,432個頂點，34,185,747條邊，稠密圖
· Datagen-7_7-zf： 13,180,508個頂點，32,791,267條邊，稀疏圖
· Datagen-8_0-fb： 1,706,561個頂點，107,507,376條邊，這個數據集主要測試兩個系統可處理的圖規模能力
實驗設計上我選擇常用的SSSP、BFS、PageRank、WCC演算法，以及較高復雜度的All Pair shortest Path length演算法，以載圖時間，內存佔用和計算時間這三個指標為依據，對兩個系統進行計算性能的比較。
NetworkX是一個單機系統，在實驗中只考慮NetworkX在單機環境下的運行時間；GraphScope支持分布式運行，故進行兩個配置，一個是單機4worker，另外一個配置是4台機器，每台機器4個worker。
二、實驗結果
首先，GraphScope的載圖速度比NetworkX顯著提升。
在前三個圖數據集中，無論是GraphScope的單機多worker模式，還是GraphScope的分布式模式，載圖速度都比NetworkX快：
GraphScope單機模式載圖速度平均比NetworkX快5倍，最高紀錄——在datagen-7_5-fb上比NetworkX快了6倍。
分布式模式下GraphScope的載圖時間比NetworkX平均快了27倍，最高紀錄——在datagen-7_7-zf數據集上比NetworkX快了63倍。
在datagen-8_0-fb數據集上，NetworkX因內存溢出無法載圖，GraphScope單機多worker和GraphScope分布式載圖時間分別為142秒和13.6秒。
表一：載圖時間對比
載圖時間
NetworkX
GraphScope單機
GraphScope分布式
twitter
11.2
3.1
1.8
datagen-7_5-fb
256
45.6
36.6
datagen-7_7-zf
316
71.3
50
datagen-8_0-fb
OOM
142
13.6
其次，GraphScope的內存使用效率比NetworkX顯著提升。
在datagen-8_0-fb數據集上，NetworkX在32G的內存上無法載完圖，而GraphScope僅需要24G的內存即可載入在datagen-8_0-fb數據集。
表二：內存佔用對比
內存佔用
NetworkX
GraphScope
datagen-7_5-fb
14G
6G
datagen-7_7-zf
28G
18G
datagen-8_0-fb
OOM
24G
再次，GraphScope的計算速度比NetworkX顯著提升。
SSSP演算法上，GraphScope單機多worker模式平均要比NetworkX快22倍，最快在datagen-7_7-zf數據集上快了32倍。GraphScope分布式模式下平均要比NetworkX快103倍，最快datagen-7_5-fb數據集上快了182倍。
表三： SSSP計算時間對比（單位：秒）
SSSP
NetworkX
GraphScope單機
GraphScope分布式
twitter
2.45
1.32
0.28
datagen-7_5-fb
37.9
1.21
0.31
datagen-7_7-zf
5.84
0.18
0.03
datagen-8_0-fb
OOM
2.76
0.82
BFS演算法上，GraphScope單機多worker模式平均要比NetworkX快13倍，最快datagen-7_5-fb數據集上快了22倍。GraphScope分布式模式下平均要比NetworkX快16倍，最快在datagen-7_5-fb數據集上快了28倍。
表四： BFS計算時間對比（單位：秒）
BFS
NetworkX
GraphScope單機
GraphScope分布式
twitter
1.53
0.16
0.17
datagen-7_5-fb
44.68
2.52
1.56
datagen-7_7-zf
7.98
0.75
0.72
datagen-8_0-fb
OOM
11.02
5.73
PageRank演算法上，GraphScope單機多worker模式平均要比NetworkX快62倍，最快twitter數據集上快了80倍。GraphScope分布式模式下平均要比NetworkX快65倍，最快在twitter數據集上快了71倍。
另外，PageRank計算過程中，NetworkX在datagen-7_7-zf上內存溢出，沒有完成計算，GraphScope單機多worker模式和分布式模式計算時間分別為25秒和22秒；
表五：PageRank計算時間對比（單位：秒）
PageRank
NetworkX
GraphScope單機
GraphScope分布式
twitter
24.01
0.37
0.33
datagen-7_5-fb
300
6.73
5.17
datagen-7_7-zf
OOM
19.31
7.79
datagen-8_0-fb
OOM
24.96
21.88
WCC演算法上，GraphScope單機多worker模式平均要比NetworkX快44倍，最快在datagen-7_7-zf數據集上快了104倍。GraphScope分布式模式下平均要比NetworkX快76倍，最快datagen-7_5-fb數據集上快了194倍。
表六： WCC計算時間對比（單位：秒）
WCC
NetworkX
GraphScope單機
GraphScope分布式
twitter
0.6392
0.0296
0.0233
datagen-7_5-fb
26.03
0.25
0.13
datagen-7_7-zf
83.19
14.57
12.98
datagen-8_0-fb
OOM
0.34
0.4991
在復雜度極高的All pair shortest path length演算法上，NetworkX在twitter圖上即內存溢出，無法計算。GraphScope在分布式模式下完成了twitter圖的All pair shortest path length計算，耗時76分鍾。
表七： All Pair Shortest Path Length（單位：秒）
APSP
NetworkX
GraphScope單機
GraphScope分布式
twitter
OOM
OOM
4575.87
三、總結
從實驗結果可以看到，在同等條件下，無論在載圖時間、內存佔用和計算時間上，GraphScope都要大大優於NetworkX，性能優化可以達到幾十倍甚至上百倍。
6979阿強
關注
0
0
0
@網路演算法工具 networkX igraph 的性能問題
alston_ethannical的博客
24
@網路演算法工具 networkX igraph 的性能問題 問題的提出 當我用 50萬數據去跑 networkX 開發出來的演算法時，遇到了一個計算性能的問題,這個問題時很慢。 尋找答案 發現 networkX再性能方面比較差。當節點上萬，邊上十萬的時候，新能慢的問題就會顯現出來 為了解決圖演算法問題，該怎麼辦呢 遇到問題，首先定義問題的邊界。也就是 先找到限制問題的條件。然後縮小問題范圍。我要解決的問題是：在解決圖演算法相關的問題時，如何能夠快速計算出結果。但是目前的演算法時用networks實現的。問題的根源是
開源！一文了解阿里一站式圖計算平台GraphScope
阿里雲開發者
2767
簡介：隨著大數據的爆發，圖數據的應用規模不斷增長，現有的圖計算系統仍然存在一定的局限。阿里巴巴擁有全球最大的商品知識圖譜，在豐富的圖場景和真實應用的驅動下，阿里巴巴達摩院智能計算實驗室研發並開源了全球首個一站式超大規模分布式圖計算平台GraphScope，並入選中國科學技術協會「科創中國」平台。本文詳解圖計算的原理和應用及GraphScope的架構設計。一 什麼是圖計算圖數據對一組對象（頂點）及其關系（邊）進行建模，可以直觀、自然地表示現實世界中各種實體對象以及它們之間的關系。在大數據場景下，社交網路、交
一文了解阿里一站式圖計算平台GraphScope_阿里雲雲棲號
10-2
GraphScope 提供了各類常用的分析演算法,包括連通性計算類、社區發現類和 PageRank、中心度等數值計算類的演算法,後續會不斷擴展演算法包,在超大規模圖上提供與 NetworkX 演算法庫兼容的分析能力。此外也提供了豐富的圖學習演算法包,內置支持 Graph...
5大典型模型測試單機訓練速度超對標框架,飛槳如何做到...
10-28
導讀:飛槳(PaddlePaddle)致力於讓深度學習技術的創新與應用更簡單。在單機訓練速度方面,通過高並行、低開銷的非同步執行策略和高效率的核心運算元,優化靜態圖訓練性能,在Paddle Fluid v1.5.0的基準測試中,在7個典型模型上進行了測試(圖像領域...
強化學習經典演算法筆記(六)：深度Q值網路 Deep Q Network
hhy_csdn的博客
9093
前期回顧 強化學習經典演算法筆記(零)：貝爾曼方程的推導 強化學習經典演算法筆記(一)：價值迭代演算法Value Iteration 強化學習經典演算法筆記(二)：策略迭代演算法Policy Iteration 強化學習經典演算法筆記(三)：蒙特卡羅方法Monte Calo Method 強化學習經典演算法筆記(四)：時間差分演算法Temporal Difference（Q-Learning演算法） 強化學習經典算...
GraphX和GraphFrame connectedComponent計算性能對比
高臭臭的博客
3046
測試文件：用Graph rmatGraph 1000000 2000000 去重後 494587個點，1997743個邊 運行環境：三台伺服器，246 GB，core 71. 測試三個運行例子1：Graph connectedComponents 2：GraphFrame connectedComponents 3：GraphFrame connectedComponents setAlgor
...network、偽代碼、演算法理解、代碼實現、tensorboard...
11-3
定義一個q_network函數來構建Q network,輸入游戲狀態Q network並得到對所有動作的Q值。 網路構成給為三個帶有池化的卷積層和一個全連接層。 tf.reset_default_graph()defq_network(X,name_scope):# Initialize layersinitializer=tf....
【讀書筆記】【機器學習實戰】第十一章：訓練深度神經網路
MJ_Lee的博客
612
閱讀書籍為《Hands-On Machine Learning with Scikit-Learn & TensorFlow》王靜源等翻譯的中文譯版《機器學習實戰，基於 Scikit-Learn 和 TensorFlow》,本文中所有圖片均來自於書籍相關部分截圖。 本章介紹了DNN訓練過程中三個常見問題，並依次給出解決方案。 章節的最後還給出當不知道如何DNN訓練時一些屬性可以選的比較好的...
Networkx 計算網路效率
tengqingyong的博客
5860
本人在計算網路效率的時候遇到了一個問題 networkx 提供了最短路徑函數shortest_path及shorest_path_length 我在計算網路效率構造了一個無向圖，但是我在計算點與點之間的最短路徑長度時總是提示我說點不存在圖中， 我在上面使用nx.average_shortest_path_length(UG)的時候可以得到網路平均最短路徑長度；這個說明我的點都...
Pandas/networkx圖分析簡單入門
weixin_34306676的博客
516
對於圖論而言，大家或多或少有些了解，數學專業或計算機相關專業的讀者可能對其更加清楚。圖論中的圖像是由若干給定的點及連接兩點的線所構成的圖形，這樣的圖像通常用來描述某些事物之間的某種特定關系，用點代表事物，用兩點之間的連接線表示二者具有的某種關系，在互聯網與通信行業中應用廣泛。圖論分析（Graph analysis）並不是數據科學領域中的新分...
networkx--四種網路模型
weixin_30764883的博客
380
NetworkX提供了4種常見網路的建模方法，分別是：規則圖，ER隨機圖，WS小世界網路和BA無標度網路。 一. 規則圖 規則圖差不多是最沒有復雜性的一類圖，random_graphs.random_regular_graph(d, n)方法可以生成一個含有n個節點，每個節點有d個鄰居節點的規則圖。 下面一段示例代碼，生成了包含20個節點、每個節點有3個鄰居的規則...
igraph/networkx學習筆記之…
nuoline的專欄
1萬+
原文地址：—— 數據結構">igraph/networkx學習筆記之一 —— 數據結構作者：zhengw789 首先，基本上所有的graph library都有其局限性，不同的數據結構有優點的同時必然有缺點，圖演算法對數據結構的依賴性構成另一個原因。所以如果是想用一個工具包解決所有的問題顯然是一種奢望，很多時候甚至必須要從頭寫自己的代碼。但是閱讀igraph和networkx這樣成型了的函數庫對熟悉
python下的復雜網路編程包networkx的使用（摘抄）
weixin_30631587的博客
2335
原文：http://blog.sciencenet.cn/home.php?mod=space&uid=404069&do=blog&classid=141080&view=me&from=space 復雜網路分析庫NetworkX學習筆記（1）：入門 NetworkX是一個用Python語言開發的圖論與復雜網路建模工具，內置了常用的圖與復雜網...
更快更簡單|飛槳PaddlePaddle單機訓練速度優化最佳實踐
PaddlePaddle
1672
導讀：飛槳（PaddlePaddle）致力於讓深度學習技術的創新與應用更簡單。在單機訓練速度方面，通過高並行、低開銷的非同步執行策略和高效率的核心運算元，優化靜態圖訓練性能，...
GraphX與GraphLab、Pregel的對比
yang灬仔
588
分布式批同步BSP Pregel、GraphLab、GraphX都是基於BSP（Bulk Synchronous Parallel）模式，即整體同步並行。一次計算過程由一系列全局超步組成，每一個超步由並發計算、通信和同步三個步驟組成。從垂直上看,一個程序由一系列串列的超步組成。從水平上看，在一個超步中，所有的進程並行執行局部計算。BSP最大的好處是編程簡單，但在某些情況下BSP運算的性能非常差，...
TensorFlow學習記錄：VGGNet卷積神經網路模型
weixin_41137655的博客
308
1.VGGNet模型結構簡介 VGGNet是由牛津大學計算機視覺幾何組（Visual Geomety Group,VGG）和Google Deepmind公司的研究員合作研發的深度卷積神經網路，VGG的成員Karen Simonyan和Andrew Zisserman在2014年撰寫的論文《Very Deep Convolutional Networks for Large-Scale Image...
11月編程語言排行冠軍揭曉，穩
熱門推薦
IT教育任姐姐的博客
4萬+
大家好 今天任姐姐要跟小夥伴們分享 2021年11月最新TIOBE指數 11月編程排行榜 Python繼續榜首 本月的幸運兒只有一個，那就是Python！ 繼上個月我們見證了Python奪冠這一歷史性的畫面之後，這個月Python仍舊穩坐榜首，看來Python這股大風還在繼續刮。 隨後分別是 C、Java、C++、C#，這些也都是我們的老朋友了。 PHP即將跌出前十 自20多年前TIOBE 指數開始發布以來，PHP 一直常駐在榜單前十，然而最近，該語言已經開始在前十
python能做什麼軟體？Python到底能幹嘛，一文看懂
小分享
6573
Python培訓有哪些內容?很多零基礎學員不知道Python軟體是干什麼用的?Python軟體是Python工程師編寫代碼時所需要的編輯工具,現在比較常用的Python軟體有Visu... 那麼在選擇Python培訓機構時學生尤為關注的就是培訓內容,從現在幾家大的機構可以看出,Python培訓主要學習第一階段Python核心編程(Pyth... 一文讀懂Python內置變數,函數,模塊在這里解釋下什麼是解釋性語言什麼是編譯性語言: 編譯性語言:如c++,c等,寫好的代碼要通過編譯器編譯成操作系統直接可
Django中超級用戶的創建和刪除操作
最新發布
Protinx的博客
91
創建超級用戶 這就很easy了，畢竟這是所有初學者都會的，操作如下： 打開Terminal，輸入： python manage.py createsuperuser 然後按照提示輸入相應的用戶名、郵箱和密碼就可以啦，如下： 創建超級用戶 可以看到上面我的密碼輸入了三次，還有不成功的提示，Django本身對於超級用戶的密碼要求還是很多的，大家定義密碼要注意啊，或者如果只是自己學習的話，也可在『Bypass password validation and create user an.
上海python培訓中心
weixin_63757190的博客
166
前幾天，有個讀者在後台留言，說： 「最近被論文折磨得快崩潰了，我現在是恨不得克隆十個自己，一個呆在科室值班，一個去寫月底要送審的稿子，一個去上百個網站翻數據..... 還有另外七個「我」，這邊六七篇論文還沒搞定。那邊又有新論文要開題了，加上最後一個「本我」，剛剛夠用，我可真是個數學天才！ 可現實是只有一個我，只能天天熬夜。 好傢伙，整得我都開始反問自己，是不是只有我的科研生活這么兵荒馬亂？」 其實他不是個例，成千上萬的科研人都要面對無盡的實驗分析、反復修改的論文。 難道就只有被虐的份嗎？
python裝飾器
Live&Learn的博客
1208
學習目標：一口氣把裝飾器描述清楚 弄清楚裝飾器前要理解三個東西： 函數對象、函數嵌套、函數構成閉包。 學習內容： 函數對象好說，python編程語言屬於動態語言，python中一切皆對象，所以函數也是對象。 函數對象用函數名稱表示（僅名稱，沒有括弧，也沒有參數）。 例如，定義了一個求和函數add，那麼此處的add就是個函數對象。 def add(username, a, b): print(f"{a}+{b}={a + b}") return a + b 函數嵌套或者嵌套函數，就是定
©️2021 CSDN 皮膚主題: 游動-白 設計師:白松林 返回首頁
關於我們
招賢納士
廣告服務
開發助手
400-660-0108
[email protected]
在線客服
工作時間 8:30-22:00
公安備案號11010502030143
京ICP備19004658號
京網文〔2020〕1039-165號
經營性網站備案信息
北京互聯網違法和不良信息舉報中心
網路110報警服務
中國互聯網舉報中心
家長監護
Chrome商店下載
©1999-2021北京創新樂知網路技術有限公司
版權與免責聲明
版權申訴
出版物許可證
營業執照
6979阿強
碼齡0年
暫無認證
11
原創
13萬+
周排名
12萬+
總排名
579
訪問
等級
132
積分
1
粉絲
1
獲贊
0
評論
1
收藏
私信
關注
熱門文章
GraphScope、Neo4j與TigerGraph單機環境下性能對比 146
NetworkX與GraphScope的性能對比 88
GraphScope、Gemini與GraphX的性能對比 60
分布式圖計算引擎 46
國足歷屆世界盃對戰圖關系 45
最新評論
圖分析入門
大家一起學編程（python）: 感謝博主的分享！
您願意向朋友推薦「博客詳情頁」嗎？
強烈不推薦
不推薦
一般般
推薦
強烈推薦
最新文章
2021-10-11
圖資料庫在社交方向上的應用
國足歷屆世界盃對戰圖關系
2021年11篇
你的瀏覽器目前處於縮放狀態，頁面可能會出現錯位現象，建議100%大小顯示。
舉報
————————————————
版權聲明：本文為CSDN博主「6979阿強」的原創文章，遵循CC 4.0 BY-SA版權協議，轉載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/tanekf6979/article/details/120067176
㈡ oracle真的支持分布式事務嗎
作為使用人數最多、功能最全面的資料庫，當然支持分布式事務；
具體的可參考如下：
http://blog.csdn.net/orion61/article/details/8684059
㈢ 資料庫技術的應用與發展
資料庫技術是現代信息科學與技術的重要組成部分，是計算機數據處理與信息管理系統的核心。資料庫技術研究和解決了計算機信息處理過程中大量數據有效地組織和存儲的問題，在資料庫系統中減少數據存儲冗餘、實現數據共享、保障數據安全以及高效地檢索數據和處理數據。
隨著計算機技術與網路通信技術的發展，資料庫技術已成為信息社會中對大量數據進行組織與管理的重要技術手段及軟體技術，是網路信息化管理系統的基礎。本章主要介紹資料庫技術的應用與發展、關系模型的基本概念、關系資料庫的設計理論及資料庫設計方法等內容，是學習和掌握現代資料庫技術的基礎。
1.1 資料庫技術的發展與應用
從20世紀60年代末期開始到現在，資料庫技術已經發展了30多年。在這30多年的歷程中，人們在資料庫技術的理論研究和系統開發上都取得了輝煌的成就，而且已經開始對新一代資料庫系統的深入研究。資料庫系統已經成為現代計算機系統的重要組成部分。
1.1.1 資料庫技術與信息技術
信息技術(Information Technology，IT)是當今使用頻率最高的名詞之一，它隨著計算機技術在工業、農業以及日常生活中的廣泛應用，已經被越來越多的個人和企業作為自己趕超世界潮流的標志之一。而資料庫技術則是信息技術中一個重要的支撐。沒有資料庫技術，人們在浩瀚的信息世界中將顯得手足無措。
資料庫技術是計算機科學技術的一個重要分支。從20世紀50年代中期開始，計算機應用從科學研究部門擴展到企業管理及政府行政部門，人們對數據處理的要求也越來越高。1968年，世界上誕生了第一個商品化的信息管理系統IMS(Information Management System)，從此，資料庫技術得到了迅猛發展。在互聯網日益被人們接受的今天，Internet又使資料庫技術、知識、技能的重要性得到了充分的放大。現在資料庫已經成為信息管理、辦公自動化、計算機輔助設計等應用的主要軟體工具之一，幫助人們處理各種各樣的信息數據。
1.1.2 資料庫技術的應用及特點
資料庫最初是在大公司或大機構中用作大規模事務處理的基礎。後來隨著個人計算機的普及，資料庫技術被移植到PC機(Personal Computer，個人計算機)上，供單用戶個人資料庫應用。接著，由於PC機在工作組內連成網，資料庫技術就移植到工作組級。現在，資料庫正在Internet和內聯網中廣泛使用。
20世紀60年代中期，資料庫技術是用來解決文件處理系統問題的。當時的資料庫處理技術還很脆弱，常常發生應用不能提交的情況。20世紀70年代關系模型的誕生為資料庫專家提供了構造和處理資料庫的標准方法，推動了關系資料庫的發展和應用。1979年，Ashton-Tate公司引入了微機產品dBase Ⅱ，並稱之為關系資料庫管理系統，從此資料庫技術移植到了個人計算機上。20世紀80年代中期到後期，終端用戶開始使用區域網技術將獨立的計算機連接成網路，終端之間共享資料庫，形成了一種新型的多用戶數據處理，稱為客戶機/伺服器資料庫結構。現在，資料庫技術正在被用來同Internet技術相結合，以便在機構內聯網、部門區域網甚至WWW上發布資料庫數據。
1.1.3 資料庫技術發展歷史
數據模型是資料庫技術的核心和基礎，因此，對資料庫系統發展階段的劃分應該以數據模型的發展演變作為主要依據和標志。按照數據模型的發展演變過程，資料庫技術從開始到現在短短的30年中，主要經歷了三個發展階段：第一代是網狀和層次資料庫系統，第二代是關系資料庫系統，第三代是以面向對象數據模型為主要特徵的資料庫系統。資料庫技術與網路通信技術、人工智慧技術、面向對象程序設計技術、並行計算技術等相互滲透、有機結合，成為當代資料庫技術發展的重要特徵。
1. 第一代資料庫系統
第一代資料庫系統是20世紀70年代研製的層次和網狀資料庫系統。層次資料庫系統的典型代表是1969年IBM公司研製出的層次模型的資料庫管理系統IMS。20世紀60年代末70年代初，美國資料庫系統語言協會CODASYL(Conference on Data System Language)下屬的資料庫任務組DBTG(Data Base Task Group)提出了若干報告，被稱為DBTG報告。DBTG報告確定並建立了網狀資料庫系統的許多概念、方法和技術，是網狀資料庫的典型代表。在DBTG思想和方法的指引下資料庫系統的實現技術不斷成熟，開發了許多商品化的資料庫系統，它們都是基於層次模型和網狀模型的。
可以說，層次資料庫是資料庫系統的先驅，而網狀資料庫則是資料庫概念、方法、技術的奠基者。
2. 第二代資料庫系統
第二代資料庫系統是關系資料庫系統。1970年IBM公司的San Jose研究試驗室的研究員Edgar F. Codd發表了題為《大型共享資料庫數據的關系模型》的論文，提出了關系數據模型，開創了關系資料庫方法和關系資料庫理論，為關系資料庫技術奠定了理論基礎。Edgar F. Codd於1981年被授予ACM圖靈獎，以表彰他在關系資料庫研究方面的傑出貢獻。
20世紀70年代是關系資料庫理論研究和原型開發的時代，其中以IBM公司的San Jose研究試驗室開發的System R和Berkeley大學研製的Ingres為典型代表。大量的理論成果和實踐經驗終於使關系資料庫從實驗室走向了社會，因此，人們把20世紀70年代稱為資料庫時代。20世紀80年代幾乎所有新開發的系統均是關系型的，其中涌現出了許多性能優良的商品化關系資料庫管理系統，如DB2、Ingres、Oracle、Informix、Sybase等。這些商用資料庫系統的應用使資料庫技術日益廣泛地應用到企業管理、情報檢索、輔助決策等方面，成為實現和優化信息系統的基本技術。
3. 第三代資料庫系統
從20世紀80年代以來，資料庫技術在商業上的巨大成功刺激了其他領域對資料庫技術需求的迅速增長。這些新的領域為資料庫應用開辟了新的天地，並在應用中提出了一些新的數據管理的需求，推動了資料庫技術的研究與發展。
1990年高級DBMS功能委員會發表了《第三代資料庫系統宣言》，提出了第三代資料庫管理系統應具有的三個基本特徵：
l 應支持數據管理、對象管理和知識管理。
l 必須保持或繼承第二代資料庫系統的技術。
l 必須對其他系統開放。
面向對象數據模型是第三代資料庫系統的主要特徵之一；資料庫技術與多學科技術的有機結合也是第三代資料庫技術的一個重要特徵。分布式資料庫、並行資料庫、工程資料庫、演繹資料庫、知識庫、多媒體庫、模糊資料庫等都是這方面的實例。
1.1.4 資料庫系統訪問技術
目前訪問資料庫伺服器的主流標准介面主要有ODBC、OLE DB和ADO。下面分別對這三種介面進行概要介紹。
1. 開放資料庫連接(ODBC)
開放資料庫連接(Open Database Connectivity，ODBC)是由Microsoft公司定義的一種資料庫訪問標准。使用ODBC應用程序不僅可以訪問存儲在本地計算機的桌面型資料庫中的數據，而且可以訪問異構平台上的資料庫，例如可以訪問sql Server、Oracle、Informix或DB2構建的資料庫等。
ODBC是一種重要的訪問資料庫的應用程序編程介面(Application Programming Interface，API)，基於標準的SQL語句，它的核心就是SQL語句，因此，為了通過ODBC訪問資料庫伺服器，資料庫伺服器必須支持SQL語句。
ODBC通過一組標準的函數(ODBC API)調用來實現資料庫的訪問，但是程序員不必理解這些ODBC，API就可以輕松開發基於ODBC的客戶機/伺服器應用程序。這是因為在很多流行的程序開發語言中，如Visual Basic、PowerBuilder、Visual C++等，都提供了封裝ODBC各種標准函數的代碼層，開發人員可以直接使用這些標准函數。
ODBC獲得了巨大成功並大大簡化了一些資料庫開發工作。但是它也存在嚴重的不足，因此Microsoft公司又開發了OLE DB。
2. OLE DB
OLE DB是Microsoft公司提供的關於資料庫系統級程序的介面(System-Level Programming Interface)，是Microsoft公司資料庫訪問的基礎。OLE DB實際上是Microsoft公司OLE對象標準的一個實現。OLE DB對象本身是COM(組件對象模型)對象並支持這種對象的所有必需的介面。
一般說來，OLE DB提供了兩種訪問資料庫的方法：一種是通過ODBC驅動器訪問支持SQL語言的資料庫伺服器；另一種是直接通過原始的OLE DB提供程序。因為ODBC只適用於支持SQL語言的資料庫，因此ODBC的使用范圍過於狹窄，目前Microsoft公司正在逐步用OLE DB來取代ODBC。
因為OLE DB是一個面向對象的介面，特別適合於面向對象語言。然而，許多資料庫應用開發者使用VBScript和JScript等腳本語言開發程序，所以Microsoft公司在OLE DB對象的基礎上定義了ADO。
3. 動態數據對象(ADO)
動態數據對象(Active Data Objects，ADO)是一種簡單的對象模型，可以被開發者用來處理任何OLE DB數據，可以由腳本語言或高級語言調用。ADO對資料庫提供了應用程序水平級的介面(Application-Level Programming Interface)，幾乎使用任何語言的程序員都能夠通過使用ADO來使用OLE DB的功能。Microsoft公司聲稱，ADO將替換其他的數據訪問方式，所以ADO對於任何使用Microsoft公司產品的資料庫應用是至關重要的。
1.1.5 網路資料庫系統編程技術
在當今網路盛行的年代，資料庫與Web技術的結合正在深刻改變著網路應用。有了資料庫的支持，擴展網頁功能、設計互動式頁面、構造功能強大的後台管理系統、更新網站和維護網站都將變得輕而易舉。隨著網路應用的深入，Web資料庫技術將日益顯示出其重要地位。在這里簡單介紹一下Web資料庫開發的相關技術。
1. 通用網關介面(CGI)編程
通用網關介面(Common Gateway Interface，CGI)是一種通信標准，它的任務是接受客戶端的請求，經過辨認和處理，生成HTML文檔並重新傳回到客戶端。這種交流過程的編程就叫做CGI編程。CGI可以運行在多種平台上，具有強大的功能，可以使用多種語言編程，如Visual Basic、Visual C++、Tcl、Perl、AppletScript等，比較常見的是用Perl語言編寫的CGI程序。但是CGI也有其致命的弱點，即速度慢和安全性差等。
2. 動態伺服器頁面(ASP)
動態伺服器頁面(Active Server Pages，ASP)是Microsoft公司推出的一種用以取代CGI的技術，是一種真正簡便易學、功能強大的伺服器編程技術。ASP實際上是Microsoft公司開發的一套伺服器端腳本運行環境，通過ASP可以建立動態的、交互的、高效的Web伺服器應用程序。用ASP編寫的程序都在伺服器端執行，程序執行完畢後，再將執行的結果返回給客戶端瀏覽器，這樣不僅減輕了客戶端瀏覽器的負擔，大大提高了交互速度，而且避免了ASP程序源代碼的外泄，提高了程序的安全性。
3. Java 伺服器頁面(JSP)
Java伺服器頁面(Java Server Pages，JSP)是Sun公司發布的Web應用程序開發技術，一經推出，就受到了人們的廣泛關注。JSP技術為創建高度動態的Web應用程序提供了一個獨特的開發環境，它能夠適用於市場上大多數的伺服器產品。
JSP使用Java語言編寫伺服器端程序，當客戶端向伺服器發出請求時，JSP源程序被編譯成Servlet並由Java虛擬機執行。這種編譯操作僅在對JSP頁面的第一次請求時發生。因此，JSP程序能夠提供更快的交互速度，其安全性和跨平台性也很優秀。
㈣ 「分布式」與「集群」的區別是什麼
簡單說，分布式是以縮短單個任務的執行時間來提升效率的，而集群則是通過提高單位時間內執行的任務數來提升效率。
例如：
如果一個任務由10個子任務組成，每個子任務單獨執行需1小時，則在一台伺服器上執行改任務需10小時。
採用分布式方案，提供10台伺服器，每台伺服器只負責處理一個子任務，不考慮子任務間的依賴關系，執行完這個任務只需一個小時。(這種工作模式的一個典型代表就是Hadoop的Map/Rece分布式計算模型）
而採用集群方案，同樣提供10台伺服器，每台伺服器都能獨立處理這個任務。假設有10個任務同時到達，10個伺服器將同時工作，10小後，10個任務同時完成，這樣，整身來看，還是1小時內完成一個任務！
以下是摘抄自網路文章：
一、集群概念
1. 兩大關鍵特性
集群是一組協同工作的服務實體，用以提供比單一服務實體更具擴展性與可用性的服務平台。在客戶端看來，一個集群就象是一個服務實體，但事實上集群由一組服務實體組成。與單一服務實體相比較，集群提供了以下兩個關鍵特性：
· 可擴展性－－集群的性能不限於單一的服務實體，新的服務實體可以動態地加入到集群，從而增強集群的性能。
· 高可用性－－集群通過服務實體冗餘使客戶端免於輕易遇到out of service的警告。在集群中，同樣的服務可以由多個服務實體提供。如果一個服務實體失敗了，另一個服務實體會接管失敗的服務實體。集群提供的從一個出 錯的服務實體恢復到另一個服務實體的功能增強了應用的可用性。
2. 兩大能力
為了具有可擴展性和高可用性特點，集群的必須具備以下兩大能力：
· 負載均衡－－負載均衡能把任務比較均衡地分布到集群環境下的計算和網路資源。
· 錯誤恢復－－由於某種原因，執行某個任務的資源出現故障，另一服務實體中執行同一任務的資源接著完成任務。這種由於一個實體中的資源不能工作，另一個實體中的資源透明的繼續完成任務的過程叫錯誤恢復。
負載均衡和錯誤恢復都要求各服務實體中有執行同一任務的資源存在，而且對於同一任務的各個資源來說，執行任務所需的信息視圖（信息上下文）必須是一樣的。
3. 兩大技術
實現集群務必要有以下兩大技術：
· 集群地址－－集群由多個服務實體組成，集群客戶端通過訪問集群的集群地址獲取集群內部各服務實體的功能。具有單一集群地址（也叫單一影像）是集群的一個基本特徵。維護集群地址的設置被稱為負載均衡器。負載均衡器內部負責管理各個服務實體的加入和退出，外部負責集群地址向內部服務實體地址的轉換。有的負載均衡器實現真正的負載均衡演算法，有的只支持任務的轉換。只實現任務轉換的負載均衡器適用於支持ACTIVE-STANDBY的集群環境，在那裡，集群中只有一個服務實體工作，當正在工作的服務實體發生故障時，負載均衡器把後來的任務轉向另外一個服務實體。
· 內部通信－－為了能協同工作、實現負載均衡和錯誤恢復，集群各實體間必須時常通信，比如負載均衡器對服務實體心跳測試信息、服務實體間任務執行上下文信息的通信。
具有同一個集群地址使得客戶端能訪問集群提供的計算服務，一個集群地址下隱藏了各個服務實體的內部地址，使得客戶要求的計算服務能在各個服務實體之間分布。內部通信是集群能正常運轉的基礎，它使得集群具有均衡負載和錯誤恢復的能力。
二、集群分類
Linux集群主要分成三大類(高可用集群， 負載均衡集群，科學計算集群)
高可用集群(High Availability Cluster)
負載均衡集群(Load Balance Cluster)
科學計算集群(High Performance Computing Cluster)
具體包括：
Linux High Availability 高可用集群
(普通兩節點雙機熱備，多節點HA集群，RAC, shared, share-nothing集群等)
Linux Load Balance 負載均衡集群
(LVS等....)
Linux High Performance Computing 高性能科學計算集群
(Beowulf 類集群....)
三、詳細介紹
1. 高可用集群(High Availability Cluster)
常見的就是2個節點做成的HA集群，有很多通俗的不科學的名稱，比如"雙機熱備"，"雙機互備"，"雙機"。
高可用集群解決的是保障用戶的應用程序持續對外提供服務的能力。 (請注意高可用集群既不是用來保護業務數據的，保護的是用戶的業務程序對外不間斷提供服務，把因軟體/硬體/人為造成的故障對業務的影響降低到最小程度)。
2. 負載均衡集群(Load Balance Cluster)
負載均衡系統：集群中所有的節點都處於活動狀態，它們分攤系統的工作負載。一般Web伺服器集群、資料庫集群和應用伺服器集群都屬於這種類型。
負載均衡集群一般用於相應網路請求的網頁伺服器，資料庫伺服器。這種集群可以在接到請求時，檢查接受請求較少，不繁忙的伺服器，並把請求轉到這些伺服器上。從檢查其他伺服器狀態這一點上看，負載均衡和容錯集群很接近，不同之處是數量上更多。
3. 科學計算集群(High Performance Computing Cluster)
高性能計算(High Perfermance Computing)集群，簡稱HPC集群。這類集群致力於提供單個計算機所不能提供的強大的計算能力。
3.1 高性能計算分類
3.1.1 高吞吐計算(High-throughput Computing)
有一類高性能計算，可以把它分成若干可以並行的子任務，而且各個子任務彼此間沒有什麼關聯。象在家搜尋外星人（ SETI@HOME -- Search for Extraterrestrial Intelligence at Home ）就是這一類型應用。這一項目是利用Internet上的閑置的計算資源來搜尋外星人。SETI項目的伺服器將一組數據和數據模式發給Internet上參加SETI的計算節點，計算節點在給定的數據上用給定的模式進行搜索，然後將搜索的結果發給伺服器。伺服器負責將從各個計算節點返回的數據匯集成完整的 數據。因為這種類型應用的一個共同特徵是在海量數據上搜索某些模式，所以把這類計算稱為高吞吐計算。所謂的Internet計算都屬於這一類。按照 Flynn的分類，高吞吐計算屬於SIMD（Single Instruction/Multiple Data）的范疇。
3.1.2 分布計算(Distributed Computing)
另一類計算剛好和高吞吐計算相反，它們雖然可以給分成若干並行的子任務，但是子任務間聯系很緊密，需要大量的數據交換。按照Flynn的分類，分布式的高性能計算屬於MIMD（Multiple Instruction/Multiple Data）的范疇。
四、分布式（集群）與集群的聯系與區別
分布式是指將不同的業務分布在不同的地方；而集群指的是將幾台伺服器集中在一起，實現同一業務。
分布式中的每一個節點，都可以做集群。 而集群並不一定就是分布式的。
舉例：就比如新浪網，訪問的人多了，他可以做一個群集，前面放一個響應伺服器，後面幾台伺服器完成同一業務，如果有業務訪問的時候，響應伺服器看哪台伺服器的負載不是很重，就將給哪一台去完成。
而分布式，從窄意上理解，也跟集群差不多， 但是它的組織比較鬆散，不像集群，有一個組織性，一台伺服器垮了，其它的伺服器可以頂上來。
分布式的每一個節點，都完成不同的業務，一個節點垮了，那這個業務就不可訪問了。
㈤ hbase虛擬分布式模式需要多少個節點
Copyright © 1999-2020, CSDN.NET, All Rights Reserved
登錄
HBase實戰+權威指南
《HBase實戰》是一本基於經驗提煉而成的指南，它教給讀者...在HBase中集成用於海量並行數據處理任務的Hadoop的MapRece框架；助你了解如何調節集群、設計模式、拷貝表、導入批量數據、刪除節點以及其他更多的任務等。
HBase
hbase權威指南
《HBase權威指南》探討了如何通過使用與...在HBase中集成MapRece框架；了解如何調節集群、設計模式、拷貝表、導入批量數據和刪除節點等。 《HBase權威指南》適合使用HBase進行資料庫開發的高級資料庫研發人員閱讀
hbase
淺談HBase的數據分布_weixin_34337381的博客-CSDN博客
本文從數據分布問題展開,介紹HBase基於Range的分布策略與region的調度問題,詳細討論了rowkey的比較規則及其應用,希望能夠加深用戶對HBase數據分布機制和rowkey的理解,...
Hbase 超詳細架構解析_weixin_33767813的博客-CSDN博客
注意:client訪問hbase上的數據時不需要Hmaster的參與,因為數據定址訪問zookeeper和HregionServer,而數據讀寫訪問HregionServer。Hmaster僅僅維護table和region的元數據信...
Apress - Pro Hadoop
這兩個函數由程序員提供給系統，下層設施把Map和Rece操作分布在集群上運行，並把結果存儲在GFS上。 3、BigTable。一個大型的分布式資料庫，這個資料庫不是關系式的資料庫。像它的名字一樣，就是一個巨大的表格...
Hadoop
分布式協調工具-ZooKeeper實現動態負載均衡
在分布式環境中，相同的業務應用分布在不同的機器上，有些業務邏輯（例如一些耗時的計算，網路I/O處理），往往只需要讓整個集群中的某一台機器進行執行，其餘機器可以共享這個結果，這樣可以大大減少重復勞動，提高...
Hbase概念詳解_fenglei0415的博客-CSDN博客
所以,HBase在表的設計上會有很嚴格的要求。架構上,HBase是分布式資料庫的典範,這點比較像MongoDB的sharding模式,能根據鍵值的大小,把數據分布到不同的存儲節點上...
面試題_HBase_qq_40822132的博客-CSDN博客
物理模型:整個hbase表會拆分成多個region,每個region記錄著行鍵的起始點保存在不同的節點上,查詢時就是對各個節點的並行查詢,當region很大時使用.META表存儲各個...
論文研究-文本挖掘中一種基於參數估計的語句分塊方案研究.pdf
該方法要求生成並存儲大量片語頻率數據，並在每次迭代時支持計算節點快速訪問數據。實驗評估表明，該方案顯著降低了遠程資料庫查詢次數，其端到端應用運行時間要比只基於HBase的原始分布式部署快出6倍。
數據集 參數估計 文本挖掘 冪律
2017最新大數據架構師精英課程
57_hadoop偽分布模式8 I/ e; `1 Y$ b+ p1 R5 ^ 58_編寫分發腳本-xcall-rsync1 X% G: Y' Q; }5 I$ [ 59_hadoop完全分布式-hdfs體驗 60_hadoop的架構原理圖 61_臨時文件 62_hadoop的簡單介紹, p5 P$ @+ O2 V. p } 63_...
Hbase史上最詳細原理總結_二十-CSDN博客
表在行的方向上分割為多個Region; Region是Hbase中分布式存儲和負載均衡的最小單元,不同Region分布到不同RegionServer上。 Region按大小分割的,隨著數據增多,Region...
分布式開源資料庫_HBase入門介紹_aa_maple的博客-CSDN博客
㈥ 國外十大免費伺服器和域名
一般域名使用注冊商提供的域名解析服務雖然方便，但功能大多有限，特別是目前國內還會針對某些DNS伺服器進行屏蔽，造成網站無法解析的情況出現，因此，使用第三方域名解析服務也是中國網站的必要選擇，這里就介紹一些常見的免費域名解析服務。
域名注冊商提供的免費服務
Godaddy：不在Godaddy注冊域名，也可以使用Godaddy的域名解析服務，使用方法很簡單，登錄Godaddy網站後，點擊「Add Off-site DNS」即可添加用戶的域名，之後將用戶域名的DNS設置為Godaddy指定的地址，域名DNS生效後，即可點擊添加的域名進行DNS解析設置。
NameCheap：知名的域名注冊商NameCheap也和Godaddy一樣，提供免費DNS域名解析，點擊「FreeDNS」後，即可添加用戶域名，用戶可以通過修改DNS或域名郵件來驗證自己的域名，NameCheap的解析服務支持的功能有：網址轉發（可隱藏原URL、支持301重定向）、郵件轉發、A記錄、CNAME別名記錄、MX郵件記錄、TXT文本記錄、NS記錄、AAAA記錄（IPV6）、動態域名解析等等。
國內免費域名解析服務
DNSPod：DNSPod是國內運營較久的免費DNS解析服務，除了免費服務外，還提供多項收費服務。DNSPod的功能較多，支持電信、網通、教育網雙線或者三線智能DNS解析，在中國國內解析速度較快，但對於國外的Google爬蟲來說經常出現無法訪問的情況。
DNS.La：也是類似DNSPod的免費DNS解析服務，可以為同時有電信、聯通、教育網伺服器的網站提供免費智能DNS的解析。
EDNS：易名中國提供的免費域名解析服務，非易名中國用戶也可使用。
國外免費域名解析服務
ZoneEdit：美國著名的老牌免費域名DNS解析服務，成立於1999年。免費帳戶最多可添加5個域名。解析類型：A記錄、AAAA記錄、 TXT文本記錄、LOC記錄、PTR記錄、CNAME別名記錄、MX郵件記錄、網址轉發、郵件轉發等。界面超級簡潔，速度快，穩定。
http://HE.NET：是美國老牌IDC，成立於1994年，在技術領域比較強，尤其是IPV6應用。這個免費DNS解析服務最多可以添加50個域名，可以設置A記錄、AAAA記錄、CNAME別名記錄、MX郵件記錄、NS記錄、TXT記錄、SRV記錄。
FreeDNS：一家美國免費域名DNS解析服務網站，界面簡潔，注冊簡單，支持添加任何後綴的域名，支持Google Apps服務。免費域名DNS解析服務有三種模式：簡單模式可直接設置IP指向、轉發模式可設置301永久重定向和302臨時重定向、高級模式可設置A記錄、AAAA記錄、CNAME記錄、MX記錄、PTR記錄、TXT記錄。
afraid：美國一家免費域名解析服務，運營了相當長的時間了，值得提醒的是按照官方規定六個月賬號必須有一次登錄，否則賬號會被鎖定 。
CDN服務自帶域名解析
CloudFlare：雖然它的主營業務是CDN（Anycast），但絲毫不影響它作為免費DNS的聲譽，況且這個免費DNS是真的全球分布（12個節點），且使用了CDN技術。
網路加速樂：加速樂也主要是CDN業務，順帶提供DNS域名解析，提供抗CC***、免費DNS解析、免費分省解析、防******、黑鏈暗鏈防護、頁面篡改防護服務。
原文鏈接：http://blog.51cto.com/magee/2424433
文章知識點與官方知識檔案匹配
雲原生入門技能樹服務網格(istio)ServiceMesh介紹
6082 人正在系統學習中
點擊閱讀全文
打開CSDN，閱讀體驗更佳
參與評論 請先 登錄 後發表或查看評論
域名解析服務-DNS服務詳解
本課程主要帶領大家基於linux平台部署DHCP、DNS、文件伺服器、web伺服器、雙機熱備、日誌伺服器等相關服務，讓大家快速上手linux伺服器部署，並能根據公司業務環境部署自己的生產環境伺服器。<br /><br /> 本課程無課件，給您帶來的不便，非常抱歉<br />
繼續訪問
免費永久域名
MyServer是一款能夠讓你的計算機變成伺服器、讓你能在本地調試微信代碼的神器 你可以直接在自己pc上發布網站、本地調試微信代碼再也不需要伺服器了，這一切都是免費的
免費申請國外免費域名超詳細教程
1.首先申請免費域名網站：https://my.freenom.com/domains.php 2.填入域名，這里我們以xcflag為列（盡量選擇復雜一點的或者五個字母以上的域名，因為簡單的有些域名是需要收費的）,點擊檢查可用性。 3.可以看到很多免費的域名（用的谷歌翻譯插件，翻譯有時候不是很准確，free翻譯過來應該是免費而不是自由，之後會寫一些關於谷歌插件的筆記，詳細講解） 4.我們選擇xcflag.tk點擊立即獲取，稍等一會點擊購物車查看綠色按鈕 5.默認三個月試用，這里下拉框我們選擇十二個月
繼續訪問
12個國外免費DNS服務
12個國外免費DNS服務
繼續訪問
國外常用的免費DNS域名解析伺服器
在國內注冊的域名默認使用的是國內域名注冊商提供的DNS伺服器，國內的DNS伺服器可能受政策的影響停止解析域名，網路上傳說以後沒有BeiAn的域名國內將不給解析。 為了避免國內的這些政策，建議使用國外的域名服務： 如果您還沒有注冊域名，請不要在國內注冊域名。 如果您已經在國內注冊了域名，但由於國內注冊商賴皮，不給您轉移密碼，您還可以使用國外的免費DNS伺服器。 國外免費DNS
繼續訪問
十大免費域名排行榜-免費頂級域名,免費二級域名申請使用總結
免費域名主要是指可以DNS域名解析的免費頂級域名和免費二級域名，不少的免費空間在注冊空間時會提供一個二級域名，因為這樣的二級域名不支持自定義DNS解析，因此這類域名不能稱之為免費域名。免費頂級域名則和我們平常使用的.COM、.NET一樣可用於建站。 免費頂級域名申請難度大，且域名資源少，免費二級域名比較多，但是能夠持續長久使用的免費二級域名也會比較少，還會面臨著域名被刪除的風險。本篇文章就對部落
繼續訪問
二級域名 免費+免備案
今天給大家推薦一個免備案的免費二級域名注冊平台。 DYUNS域名網 - 永久免費域名_免備案域名 只需要一個郵箱，就能注冊到自己的二級域名，非常方便。 提供"icu.ltd"等超短域名注冊服務，非常有利於用戶訪問與記憶。 平台還提供了免費的 CDN+防禦+免備案 服務，這是其他平台都沒有的，也是我選擇它的理由之一。 管理也非常方便，後台一鍵就能完成自助刪改解析等操作。 官方客服的服務也是十分的到位，體驗很好。 大家也可以自行注冊體驗哦！ ...
繼續訪問
免費域名解析服務
一般域名使用注冊商提供的域名解析服務雖然方便，但功能大多有限，特別是目前國內還會針對某些DNS伺服器進行屏蔽，造成網站無法解析的情況出現，因此，使用第三方域名解析服務也是中國網站的必要選擇，這里就介紹一些常見的免費域名解析服務。域名注冊商提供的免費服務Godaddy：不在Godaddy注冊域名，也可以使用Godaddy的域名解析服務，使用方法很簡單，登錄Godaddy網站後，...
繼續訪問
[Internet]12個國外免費DNS服務
原文地址：http://www.cnhacker.org/articles/1406.html 昨天晚上收集整理了「4個國內免費DNS服務商」，有國內的當然也應該有國外的才夠完美。早上就分享整理12個國外的DNS服務。 1、Godaddy（www.godadd
繼續訪問
國外常用的免費DNS域名解析伺服器（轉）
在國內注冊的域名默認使用的是國內域名注冊商提供的DNS伺服器，國內的DNS伺服器可能受政策的影響停止解析域名，網路上傳說以後沒有備案的域名國內將不給解析。 為了避免國內的這些政策，建議使用國外的域名服務：如果您還沒有注冊域名，請不要在國內注冊域名，我們直接代理enom.com 的域名，使用enom分布在全球各地的DNS伺服器，推薦各位使用。如果您已經在國內注冊了域名，建議把您的...
繼續訪問
國內外12個免費域名解析服務網站推薦
一般域名使用注冊商提供的域名解析服務雖然方便，但功能大多有限，特別是目前國內還會針對某些DNS伺服器進行屏蔽，造成網站無法解析的情況出現，因此，使用第三方域名解析服務也是中國網站的必要選擇，這里就介紹一些常見的免費域名解析服務。 域名注冊商提供的免費服務 Godaddy ：不在Godaddy注冊域名，也可以使用Godaddy的域名解析服務，使用方法很簡單，登錄Godaddy網站後，點擊「Add...
繼續訪問
10個精選國外免費空間
最近想申請一個免費空間，發現國內基本沒有。。。。唉。 =-============================= 10個精選國外免費空間推薦2011-09-29 11:45如果你正在尋找免費空間建立你自己的小洞，可以試試以下免費空間。 以下國外免費空間均有本人親自測試過，所以推薦，不太好的就沒有推薦。但本人是在日本測試，以下網站申請無需代理，都可以正常...
繼續訪問
全球免費公共 DNS 解析伺服器 IP 地址列表推薦 (解決無法上網/加速/防劫持)
全球免費公共 DNS 解析伺服器 IP 地址列表推薦 基本上接觸過網路相關知識的人應該多少都會聽過DNS這個名詞。因為 DNS 它非常重要，在我們上網的過程中扮演著重要的角色——「將網址/域名解析成 IP 地址」。 如果配置了不合理的DNS伺服器，可能會導致網速緩慢、打不開網站；一些惡意的 DNS 還會讓你電腦出現彈窗廣告、網站被劫持修改 (中間人攻擊)、監聽等等一系列的安...
繼續訪問
12個國外免費DNS
1、Godaddy（www.godaddy.com）Godaddy這個名字我相信大家應該都比較熟悉，可能有些人購買其域名或者網站空間，有些人不曉得其中還有DNS服務。請看「如何使用godaddy免費DNS解析域名」告訴你如何利用godaddyDNS服務，值得推薦。2、DNSPARK（www.dnspark.net）DNSPARK成立於2002年，算是一家比較老的免費DNS服務...
繼續訪問
推薦6款好用、免費的遠程式控制制軟體【遠程管理工具】
遠程辦公就需要遠程連接的工具，當然，你說你用VPN那也是沒有毛病的。遠程桌面工具也極大的方便了我們進行遠程技術支持、遠程辦公的便利性，但是呢，很多時候，有些工具不支持電腦或者手機操作。今天給大家推薦幾款工具，即可以支持電腦操作，又支持手機操作，有國內的工具、也有國外的工具，功能非常強大、好用，最重要的是符合國人的口味：免費、免費、免費。 1、Teamviewer 產地：德國 支持語言：多國語言，有中文版 地址:http://www.teamviewer.com TeamViewer是用於實..
繼續訪問
熱門推薦 五分鍾免費獲得自己的永久域名，免費！永久！
一分鍾教你免費獲得自己的域名，由於是免費的，所以可能過程較慢。 過程很簡單，如果有什麼步驟不會可以聯系我哦：[email protected] 一、首先進入到Ngrok官網 點擊右上角的注冊，獲得賬號後登錄到該網站進去。 二、進入左側功能欄的隧道管理->開通隧道，選擇一個免費的伺服器點擊購買即可。 三、填寫基本信息 填完基本信息之後點擊確定添加，頁面跳轉之後點擊確定開通。 四、開通成功之後點擊隧道管理就可以看到自己注冊的域名了。 五、再次進入到Ngrok官網首頁，點擊客戶端下載(選擇自己的系統的對
繼續訪問
最新發布 DNS域名解析服務
一、DNS基礎1、DNS是什麼？DNS域名系統（DomainNameSystem縮寫為DNS）是網際網路的一項核心服務，它作為可以將域名和IP地址相互映射的一個分布式資料庫，能夠使人更加方便的訪問互聯網，而不用去記住能夠被機器直接讀取的IP數串。DNS的作用正向解析根據域名查找對應的IP地址（A記錄）反向解析根據IP地址查找對應的域名（反垃圾郵件的驗證）（P記錄）分離解析同一個dns伺服器，同一個域名情況下，不同網段進行訪問會解析出不同的IP地址。注意根域。...
繼續訪問
詳解域名解析服務
域名解析詳解
繼續訪問
域名內網解析和外網解析
域名內網解析和外網解析 1、有時候我們通過cmd中的nslookup去解析相同的域名，得到的IP為不同值，這個原因很大可能是你公司有內網DNS和外網DNS，當你設置本地機器為內網DNS時，解析到的是內網的地址，設置為外網DNS時，解析到的是外網的地址。 比如 192.168.4.251為你的內網DNS，則通過 nslookup去解析域名的時候會得到內網解析地址 去掉內網地址，再通過 nslook...
繼續訪問
推薦12個國外免費自助建站網站
1. DevHub DevHub是國外一家新興的免費自助建站服務網站，這家網站提供免費二級域名，也可選擇綁定自己的域名 ，DevHub會根據你設置的關鍵字自動匹配相關廣告(而且也可以放置自己的廣告，如Google Adsense)，讓你獲得收入，網賺界稱其為建英文垃圾站賺美元的首選!當網站收入達到100美元即可通過PayPal支付給你。用DevHub建站，你不需要有很高超的網頁設計水平，只要有
繼續訪問
運維
爬蟲
寫評論
評論
收藏
點贊
踩
分享
APP內打開
㈦ 資料庫集群 還有分布式都是什麼 csdn
說說資料庫集群吧
集群主要分成三大類 （高可用集群， 負載均衡集群，科學計算集群）
高可用集群( High Availability Cluster)
負載均衡集群(Load Balance Cluster)
科學計算集群(High Performance Computing Cluster)
1、高可用集群(High Availability Cluster)
常見的就是2個節點做成的HA集群，有很多通俗的不科學的名稱，比如」雙機熱備」, 「雙機互備」, 「雙機」。高可用集群解決的是保障用戶的應用程序持續對外提供服務的能力。 (請注意高可用集群既不是用來保護業務數據的，保護的是用戶的業務程序對外不間斷提供服務，把因軟體/硬體/人為造成的故障對業務的影響降低到最小程度)。
2、負載均衡集群(Load Balance Cluster)
負載均衡系統：集群中所有的節點都處於活動狀態，它們分攤系統的工作負載。一般Web伺服器集群、資料庫集群和應用伺服器集群都屬於這種類型。
負載均衡集群一般用於相應網路請求的網頁伺服器，資料庫伺服器。這種集群可以在接到請求時，檢查接受請求較少，不繁忙的伺服器，並把請求轉到這些伺服器上。從檢查其他伺服器狀態這一點上看，負載均衡和容錯集群很接近，不同之處是數量上更多。
3、科學計算集群(High Performance Computing Cluster)
高性能計算(High Perfermance Computing)集群，簡稱HPC集群。這類集群致力於提供單個計算機所不能提供的強大的計算能力。
高性能計算分類：
3.1、高吞吐計算(High-throughput Computing)
有一類高性能計算，可以把它分成若干可以並行的子任務，而且各個子任務彼此間沒有什麼關聯。象在家搜尋外星人（ SETI@HOME – Search for Extraterrestrial Intelligence at Home ）就是這一類型應用。
這一項目是利用Internet上的閑置的計算資源來搜尋外星人。SETI項目的伺服器將一組數據和數據模式發給Internet上參加SETI的計算節點，計算節點在給定的數據上用給定的模式進行搜索，然後將搜索的結果發給伺服器。伺服器負責將從各個計算節點返回的數據匯集成完整的 數據。因為這種類型應用的一個共同特徵是在海量數據上搜索某些模式，所以把這類計算稱為高吞吐計算。
所謂的Internet計算都屬於這一類。按照 Flynn的分類，高吞吐計算屬於SIMD（Single Instruction/Multiple Data）的范疇。
3.2、分布計算(Distributed Computing)
另一類計算剛好和高吞吐計算相反，它們雖然可以給分成若干並行的子任務，但是子任務間聯系很緊密，需要大量的數據交換。按照Flynn的分類，分布式的高性能計算屬於MIMD（Multiple Instruction/Multiple Data）的范疇。
下面說說這幾種集群的應用場景：
高可用集群這里不多作說明。
想Dubbo是比較偏向於負載均衡集群，用過的猿友應該知道（不知道的可以自行了解一下），Dubbo同一個服務是可以有多個提供者的，當一個消費者過來，它要消費那個提供者，這里是有負載均衡機制在裡面的。
搜索引擎Elasticsearch比較偏向於科學計算集群的分布計算。
而到這里，可能不少猿友都知道，集群的一些術語：集群容錯、負載均衡。
我們以Dubbo為例：
集群容錯（http://bbo.io/User+Guide-zh.htm#UserGuide-zh-%E9%9B%86%E7%BE%A4%E5%AE%B9%E9%94%99）
Dubbo提供了這些容錯策略：
集群容錯模式：
可以自行擴展集群容錯策略，參見：集群擴展
Failover Cluster
失敗自動切換，當出現失敗，重試其它伺服器。(預設)
通常用於讀操作，但重試會帶來更長延遲。
可通過retries="2"來設置重試次數(不含第一次)。
Failfast Cluster
快速失敗，只發起一次調用，失敗立即報錯。
通常用於非冪等性的寫操作，比如新增記錄。
Failsafe Cluster
失敗安全，出現異常時，直接忽略。
通常用於寫入審計日誌等操作。
Failback Cluster
失敗自動恢復，後台記錄失敗請求，定時重發。
通常用於消息通知操作。
Forking Cluster
並行調用多個伺服器，只要一個成功即返回。
通常用於實時性要求較高的讀操作，但需要浪費更多服務資源。
可通過forks="2"來設置最大並行數。
Broadcast Cluster
廣播調用所有提供者，逐個調用，任意一台報錯則報錯。(2.1.0開始支持)
通常用於通知所有提供者更新緩存或日誌等本地資源信息。
負載均衡（http://bbo.io/User+Guide-zh.htm#UserGuide-zh-%E8%B4%9F%E8%BD%BD%E5%9D%87%E8%A1%A1）
Dubbo提供了這些負載均衡策略：
Random LoadBalance
隨機，按權重設置隨機概率。
在一個截面上碰撞的概率高，但調用量越大分布越均勻，而且按概率使用權重後也比較均勻，有利於動態調整提供者權重。
RoundRobin LoadBalance
輪循，按公約後的權重設置輪循比率。
存在慢的提供者累積請求問題，比如：第二台機器很慢，但沒掛，當請求調到第二台時就卡在那，久而久之，所有請求都卡在調到第二台上。
LeastActive LoadBalance
最少活躍調用數，相同活躍數的隨機，活躍數指調用前後計數差。
使慢的提供者收到更少請求，因為越慢的提供者的調用前後計數差會越大。
ConsistentHash LoadBalance
一致性Hash，相同參數的請求總是發到同一提供者。
當某一台提供者掛時，原本發往該提供者的請求，基於虛擬節點，平攤到其它提供者，不會引起劇烈變動。
演算法參見：http://en.wikipedia.org/wiki/Consistent_hashing。
預設只對第一個參數Hash，如果要修改，請配置<bbo:parameter key="hash.arguments" value="0,1" />
預設用160份虛擬節點，如果要修改，請配置<bbo:parameter key="hash.nodes" value="320" />
㈧ TSM等第三方備份軟體是怎麼調用Oracle的RMAN進行備份的
Oracle資料庫五大優勢
oracle資料庫的優點一：
ORACLE7.X以來引入了共享SQL和多線索伺服器體系結構。這減少了ORACLE的資源佔用，並增強了ORACLE的能力，使之在低檔軟硬體平台上用較少的資源就可以支持更多的用戶，而在高檔平台上可以支持成百上千個用戶。
oracle資料庫的優點二：
提供了基於角色(ROLE)分工的安全保密管理。在資料庫管理功能、完整性檢查、安全性、一致性方面都有良好的表現。
oracle資料庫的優點三：
支持大量多媒體數據，如二進制圖形、聲音、動畫以及多維數據結構等。 "^$*(#@)%(培訓谷&@*(&$@(&
oracle資料庫的優點四：
提供了與第三代高級語言的介面軟體PRO*系列，能在C,C++等主語言中嵌入SQL語句及過程化(PL/SQL)語句，對資料庫中的數據進行操縱。加上它有許多優秀的前台開發工具如 POWER BUILD、SQL*FORMS、VISIA BASIC 等，可以快速開發生成基於客戶端PC 平台的應用程序，並具有良好的移植性。
oracle資料庫的優點五：
提供了新的分布式資料庫能力。可通過網路較方便地讀寫遠端資料庫里的數據，並有對稱復制的技術。
㈨ oracle中分區查詢時，怎樣一次查詢多個分區
舉個例子來說吧：
create table tableA （ STATIS_DAY VARCHAR2(8)）
partition by list (STATIS_DAY)
(
partition PART_20110522 values ('20110522')；
partition PART_20110522 values ('20110523')；
partition PART_20110522 values ('20110524')
）;
那麼 你在寫sql的時候
直接 select * from tableA where STATIS_DAY between '20110524' and '20110523' 就是查詢多個分區了啊！
首先你要理解分區的意義；
select *from tableA partition(PART_20110522 ); 就是單獨查詢這個分區。不過其實跟
select * from tableA where STATIS_DAY ='20110522' 是一個樣子的~~~
分區表的相關資料：http://blog.csdn.net/xieyuooo/article/details/5437126
㈩ 「根本就不需要 Kafka 這樣的大型分布式系統！」
作者 | Normcore Tech
譯者 | 彎月，責編 | 屠敏
出品 | CSDN（ID：CSDNnews）
以下為譯文：
可能有人沒有聽說過Kafka，這是一個非常復雜的分布式軟體，可協調多台計算機之間的數據傳輸。更具體地說，該軟體的功能是「展平」數據，然後快速地將數據從一個地方移動到另一個地方。一般來講，如果你有很多數據需要快速處理並發送到其他地方，那麼就可以考慮一下Kafka。Kafka還可以在一定期限內保留數據，比如設置數據保存2天、3天或7天，如果你的下游流程失敗，那麼你還可以利用存儲在Kafka中的數據重新處理。
許多處理匯總數據的公司（比如Facebook和Twitter等社交網路數據，以及每晚需要處理大量星體運動的天文學家，或需要快速了解車輛周圍環境數據的自動駕駛車輛公司等）都在使用Kafka，將任意地方生產的數據（即用戶通過鍵盤輸入的數據，通過望遠鏡讀取的數據，通過車輛遙測讀取的數據等）移動至下游流程進行處理和分析。
最近，WeWork更為名The We Company，他們在共享工作間領域取得了成功，其官網宣稱公司的使命為：
「提升世界的意識。」其核心業務是從房地產出租公司那裡租下辦公室，然後轉租給無法按照傳統流程租賃辦公室的個人和小公司。
為了「提升世界的意識」，該公司致力於為世界各地的個人和公司的團隊打造獨特卻又不完全相同的辦公空間。最近，該公司還開始涉足教育。
最近，因為上市，WeWork曝光了一些財務信息：
從好的方面來看，根據A xi os的數據，2018年WeWork的入住率為90%，且會員總數在不斷增加。
有人常常將WeWork視為矽谷地區的公司過高估值的完美例子。作為一家房地產企業，WeWork燒錢的速度非常快，毫無疑問他們必須努力讓公眾市場投資者相信公司有長遠的發展，同時和還要維護其作為 科技 公司的地位。
這家公司再三強調說它不是一家房地產公司（畢竟它在不斷燒錢對吧？），那麼一家消息中介技術公司究竟能提供什麼？WeWork曾宣布，它使用Kafka來實現「內部部署的物聯網需求」。這是什麼意思？
「我們的產品是物理空間，」WeWork的首席開發負責人David Fano說，他在會議期間穿著一件印有「bldgs = data」字樣的T恤。
每個辦公室都有10個環境感測器——小巧的壁掛式綠色盒子，這些感測器可跟蹤室內溫度、濕度、空氣質量、氣壓和環境光線水平。還有20個白色的壁掛式信標，呈三角形分布在公共空間（開放式辦公區和會議室），用於測量WeWork成員的室內位置（數據是匿名的）。頂部四分之一的感測器通過計算機視覺觀察成員的活動。
換句話說，WeWork會跟蹤WeWork的多個物理事件並記錄所有這些數據。但是......他們真的有必要這樣做嗎？記錄Keith Harring壁畫周圍開放區域的環境溫度能給他們帶來怎樣的競爭優勢？更重要的是，他們能否將這些信息用到重要的項目中？
對於公司而言，重要的是要了解辦公室的「單位組合」 ——私人辦公室、會議空間和開放式辦公桌——的比例，我們可以利用這些信息對下一個辦公間作出調整。
我覺得這家新聞報道機構需要建立一種思考技術的心理模型。Ben Thompson為Stratechery提供了出色的服務，他建立了聚合理論（https://stratechery .com /concepts/），我在努力為這些理論建立一個網站，如果必須從中選擇一個的話，那便是：
大多數創業公司（以及大公司）現有的技術棧都沒有必要。
在此，我想挑戰一下那些自認為可以在一個周末期間獨自建立Facebook的Hacker News上的開發人員，我認為WeWork的實際業務和架構問題在於：
WeWork需要的只不過是清點進出的人數，然後對容量規劃做優化而已，追蹤「氣壓」有什麼用？只要你有WeWork的ID，那你肯定是個人或公司。那麼，在大堂里安裝一個登記系統，並要求會議系統發放名牌，不是更簡單嗎？
第一項要求根本就不需要Kafka：
目前WeWork有280個辦公間。假設每個辦公間平均每天有1000個（有這么多嗎？）成員出入。那麼每天會產生280,000個事務。我們假設每個人在早餐時間進來一次，在午餐時間出入各一次，然後離開。那麼每個人會產生4個事務。那麼每天大約是100萬個事務，這點數據量存儲在最常用的開源關系資料庫Postgres中就可以了。保守地說，Postgres每秒可以提供10,000次寫入（如果設置得當，其寫入次數會更高）。每天100萬個事件，也就是每秒11次。根本就不是問題。
至於第二項要求，受預訂會議室人數的影響，產生的數據量可能更高，但你不需要實時傳輸數據。你完全可以等到一天結束時批量處理或收集，這同樣可以利用司空見慣的關系資料庫。
與大型Postgres（或者是BigQuery，或選擇其他關系資料庫連接到接收JSON感測器數據的Web服務）相比，Kafka的日常開銷要高出很多，因為分布式系統非常非常復雜，比傳統的系統復雜得多。
Kafka是一個非常優秀的強大的工具，但各個公司在採用該軟體時，需要三思而後行。殺雞焉用牛刀，WeWork用Kafka來記錄開放辦公間的氣壓，實屬大材小用。
雖然很多時候我們都不需要Kafka，但開發人員很喜歡推薦這個工具，因為他們可以借機積攢經驗和談資。開發人員喜歡用最尖端的技術來完成工作，有時甚至他們自己都沒意識到這一點。
過度架構真實存在。 Nemil在一篇文章中說：
在職業生涯的早期，你遇到的大量設計不良的軟體系統都要歸咎於那些傳播錯誤觀點的工程媒體。
在大學和培訓班中，你對工程的了解主要來自工程媒體，例如 Hacker News、聚會、會議、Free Code Camp和Hacker Noon等。這些網站廣泛討論的技術（比如微服務、前端框架或區塊鏈）自然會現在你的技術棧中，雖然不是很必要。
使用這些技術棧會導致各個公司承擔不必要的債務，導致他們不得不在風險投資周期中尋求更多的資金，無法邁向精益或從別人的資金中解脫出來。
這種不幸的趨勢只會持續下去，我們唯一能做的就是公之於眾。
原文：https://vicki.substack .com /p/you-dont-need-kafka
【END】