㈠ NetworkX和Graphscope哪个运算速度更快
近年来，全球大数据进入加速发展时期，数据量呈现指数级爆发式增长，而这些大量数据中不同个体间交互产生的数据以图的形式表现，如何高效地处理这些图数据成为了业界及其关心的问题。很过用普通关系数据无法跑出来的结果，用图数据进行关联分析会显得异常高效。
提到处理图数据，我们首先想到NetworkX，这是网络计算上常用的Python包，可提供灵活的图构建、分析功能。但是我们使用NetworkX跑大规模图数据时，不仅经常碰到内存不足的问题，而且分析速度很慢，究其原因，是NetworkX只支持单机运行。通过网上搜索，新发现了一个名为GraphScope的系统不仅号称兼容NetworkX的API，而且支持分布式部署运行，性能更优。针对GraphScope和NetworkX的处理能力，我们参考图计算中常用的测试框架LDBC，通过一组实验来对比下二者的性能。
一、实验介绍
为了比较两者的计算效率，先用阿里云拉起了配置为8核CPU，32GB内存的四台ECS，设计了三组比较实验，分别是NetworkX单机下的计算性能，GraphScope单机多worker的计算性能以及GraphScope分布式多机多worer的计算性能。
数据上，我们选取了SNAP开源的图数据集twitter，来自 LDBC数据集的datagen-7_5-fb,datagen-7_7-zf和datagen-8_0-fb作为实验数据，以下是数据集的基本信息：
· Twitter: 81,307个顶点，1,768,135条边
· Datagen-7_5-fb： 633,432个顶点，34,185,747条边，稠密图
· Datagen-7_7-zf： 13,180,508个顶点，32,791,267条边，稀疏图
· Datagen-8_0-fb： 1,706,561个顶点，107,507,376条边，这个数据集主要测试两个系统可处理的图规模能力
实验设计上我选择常用的SSSP、BFS、PageRank、WCC算法，以及较高复杂度的All Pair shortest Path length算法，以载图时间，内存占用和计算时间这三个指标为依据，对两个系统进行计算性能的比较。
NetworkX是一个单机系统，在实验中只考虑NetworkX在单机环境下的运行时间；GraphScope支持分布式运行，故进行两个配置，一个是单机4worker，另外一个配置是4台机器，每台机器4个worker。
二、实验结果
首先，GraphScope的载图速度比NetworkX显着提升。
在前三个图数据集中，无论是GraphScope的单机多worker模式，还是GraphScope的分布式模式，载图速度都比NetworkX快：
GraphScope单机模式载图速度平均比NetworkX快5倍，最高纪录——在datagen-7_5-fb上比NetworkX快了6倍。
分布式模式下GraphScope的载图时间比NetworkX平均快了27倍，最高纪录——在datagen-7_7-zf数据集上比NetworkX快了63倍。
在datagen-8_0-fb数据集上，NetworkX因内存溢出无法载图，GraphScope单机多worker和GraphScope分布式载图时间分别为142秒和13.6秒。
表一：载图时间对比
载图时间
NetworkX
GraphScope单机
GraphScope分布式
twitter
11.2
3.1
1.8
datagen-7_5-fb
256
45.6
36.6
datagen-7_7-zf
316
71.3
50
datagen-8_0-fb
OOM
142
13.6
其次，GraphScope的内存使用效率比NetworkX显着提升。
在datagen-8_0-fb数据集上，NetworkX在32G的内存上无法载完图，而GraphScope仅需要24G的内存即可载入在datagen-8_0-fb数据集。
表二：内存占用对比
内存占用
NetworkX
GraphScope
datagen-7_5-fb
14G
6G
datagen-7_7-zf
28G
18G
datagen-8_0-fb
OOM
24G
再次，GraphScope的计算速度比NetworkX显着提升。
SSSP算法上，GraphScope单机多worker模式平均要比NetworkX快22倍，最快在datagen-7_7-zf数据集上快了32倍。GraphScope分布式模式下平均要比NetworkX快103倍，最快datagen-7_5-fb数据集上快了182倍。
表三： SSSP计算时间对比（单位：秒）
SSSP
NetworkX
GraphScope单机
GraphScope分布式
twitter
2.45
1.32
0.28
datagen-7_5-fb
37.9
1.21
0.31
datagen-7_7-zf
5.84
0.18
0.03
datagen-8_0-fb
OOM
2.76
0.82
BFS算法上，GraphScope单机多worker模式平均要比NetworkX快13倍，最快datagen-7_5-fb数据集上快了22倍。GraphScope分布式模式下平均要比NetworkX快16倍，最快在datagen-7_5-fb数据集上快了28倍。
表四： BFS计算时间对比（单位：秒）
BFS
NetworkX
GraphScope单机
GraphScope分布式
twitter
1.53
0.16
0.17
datagen-7_5-fb
44.68
2.52
1.56
datagen-7_7-zf
7.98
0.75
0.72
datagen-8_0-fb
OOM
11.02
5.73
PageRank算法上，GraphScope单机多worker模式平均要比NetworkX快62倍，最快twitter数据集上快了80倍。GraphScope分布式模式下平均要比NetworkX快65倍，最快在twitter数据集上快了71倍。
另外，PageRank计算过程中，NetworkX在datagen-7_7-zf上内存溢出，没有完成计算，GraphScope单机多worker模式和分布式模式计算时间分别为25秒和22秒；
表五：PageRank计算时间对比（单位：秒）
PageRank
NetworkX
GraphScope单机
GraphScope分布式
twitter
24.01
0.37
0.33
datagen-7_5-fb
300
6.73
5.17
datagen-7_7-zf
OOM
19.31
7.79
datagen-8_0-fb
OOM
24.96
21.88
WCC算法上，GraphScope单机多worker模式平均要比NetworkX快44倍，最快在datagen-7_7-zf数据集上快了104倍。GraphScope分布式模式下平均要比NetworkX快76倍，最快datagen-7_5-fb数据集上快了194倍。
表六： WCC计算时间对比（单位：秒）
WCC
NetworkX
GraphScope单机
GraphScope分布式
twitter
0.6392
0.0296
0.0233
datagen-7_5-fb
26.03
0.25
0.13
datagen-7_7-zf
83.19
14.57
12.98
datagen-8_0-fb
OOM
0.34
0.4991
在复杂度极高的All pair shortest path length算法上，NetworkX在twitter图上即内存溢出，无法计算。GraphScope在分布式模式下完成了twitter图的All pair shortest path length计算，耗时76分钟。
表七： All Pair Shortest Path Length（单位：秒）
APSP
NetworkX
GraphScope单机
GraphScope分布式
twitter
OOM
OOM
4575.87
三、总结
从实验结果可以看到，在同等条件下，无论在载图时间、内存占用和计算时间上，GraphScope都要大大优于NetworkX，性能优化可以达到几十倍甚至上百倍。
6979阿强
关注
0
0
0
@网络算法工具 networkX igraph 的性能问题
alston_ethannical的博客
24
@网络算法工具 networkX igraph 的性能问题 问题的提出 当我用 50万数据去跑 networkX 开发出来的算法时，遇到了一个计算性能的问题,这个问题时很慢。 寻找答案 发现 networkX再性能方面比较差。当节点上万，边上十万的时候，新能慢的问题就会显现出来 为了解决图算法问题，该怎么办呢 遇到问题，首先定义问题的边界。也就是 先找到限制问题的条件。然后缩小问题范围。我要解决的问题是：在解决图算法相关的问题时，如何能够快速计算出结果。但是目前的算法时用networks实现的。问题的根源是
开源！一文了解阿里一站式图计算平台GraphScope
阿里云开发者
2767
简介：随着大数据的爆发，图数据的应用规模不断增长，现有的图计算系统仍然存在一定的局限。阿里巴巴拥有全球最大的商品知识图谱，在丰富的图场景和真实应用的驱动下，阿里巴巴达摩院智能计算实验室研发并开源了全球首个一站式超大规模分布式图计算平台GraphScope，并入选中国科学技术协会“科创中国”平台。本文详解图计算的原理和应用及GraphScope的架构设计。一 什么是图计算图数据对一组对象（顶点）及其关系（边）进行建模，可以直观、自然地表示现实世界中各种实体对象以及它们之间的关系。在大数据场景下，社交网络、交
一文了解阿里一站式图计算平台GraphScope_阿里云云栖号
10-2
GraphScope 提供了各类常用的分析算法,包括连通性计算类、社区发现类和 PageRank、中心度等数值计算类的算法,后续会不断扩展算法包,在超大规模图上提供与 NetworkX 算法库兼容的分析能力。此外也提供了丰富的图学习算法包,内置支持 Graph...
5大典型模型测试单机训练速度超对标框架,飞桨如何做到...
10-28
导读:飞桨(PaddlePaddle)致力于让深度学习技术的创新与应用更简单。在单机训练速度方面,通过高并行、低开销的异步执行策略和高效率的核心算子,优化静态图训练性能,在Paddle Fluid v1.5.0的基准测试中,在7个典型模型上进行了测试(图像领域...
强化学习经典算法笔记(六)：深度Q值网络 Deep Q Network
hhy_csdn的博客
9093
前期回顾 强化学习经典算法笔记(零)：贝尔曼方程的推导 强化学习经典算法笔记(一)：价值迭代算法Value Iteration 强化学习经典算法笔记(二)：策略迭代算法Policy Iteration 强化学习经典算法笔记(三)：蒙特卡罗方法Monte Calo Method 强化学习经典算法笔记(四)：时间差分算法Temporal Difference（Q-Learning算法） 强化学习经典算...
GraphX和GraphFrame connectedComponent计算性能对比
高臭臭的博客
3046
测试文件：用Graph rmatGraph 1000000 2000000 去重后 494587个点，1997743个边 运行环境：三台服务器，246 GB，core 71. 测试三个运行例子1：Graph connectedComponents 2：GraphFrame connectedComponents 3：GraphFrame connectedComponents setAlgor
...network、伪代码、算法理解、代码实现、tensorboard...
11-3
定义一个q_network函数来构建Q network,输入游戏状态Q network并得到对所有动作的Q值。 网络构成给为三个带有池化的卷积层和一个全连接层。 tf.reset_default_graph()defq_network(X,name_scope):# Initialize layersinitializer=tf....
【读书笔记】【机器学习实战】第十一章：训练深度神经网络
MJ_Lee的博客
612
阅读书籍为《Hands-On Machine Learning with Scikit-Learn & TensorFlow》王静源等翻译的中文译版《机器学习实战，基于 Scikit-Learn 和 TensorFlow》,本文中所有图片均来自于书籍相关部分截图。 本章介绍了DNN训练过程中三个常见问题，并依次给出解决方案。 章节的最后还给出当不知道如何DNN训练时一些属性可以选的比较好的...
Networkx 计算网络效率
tengqingyong的博客
5860
本人在计算网络效率的时候遇到了一个问题 networkx 提供了最短路径函数shortest_path及shorest_path_length 我在计算网络效率构造了一个无向图，但是我在计算点与点之间的最短路径长度时总是提示我说点不存在图中， 我在上面使用nx.average_shortest_path_length(UG)的时候可以得到网络平均最短路径长度；这个说明我的点都...
Pandas/networkx图分析简单入门
weixin_34306676的博客
516
对于图论而言，大家或多或少有些了解，数学专业或计算机相关专业的读者可能对其更加清楚。图论中的图像是由若干给定的点及连接两点的线所构成的图形，这样的图像通常用来描述某些事物之间的某种特定关系，用点代表事物，用两点之间的连接线表示二者具有的某种关系，在互联网与通信行业中应用广泛。图论分析（Graph analysis）并不是数据科学领域中的新分...
networkx--四种网络模型
weixin_30764883的博客
380
NetworkX提供了4种常见网络的建模方法，分别是：规则图，ER随机图，WS小世界网络和BA无标度网络。 一. 规则图 规则图差不多是最没有复杂性的一类图，random_graphs.random_regular_graph(d, n)方法可以生成一个含有n个节点，每个节点有d个邻居节点的规则图。 下面一段示例代码，生成了包含20个节点、每个节点有3个邻居的规则...
igraph/networkx学习笔记之…
nuoline的专栏
1万+
原文地址：—— 数据结构">igraph/networkx学习笔记之一 —— 数据结构作者：zhengw789 首先，基本上所有的graph library都有其局限性，不同的数据结构有优点的同时必然有缺点，图算法对数据结构的依赖性构成另一个原因。所以如果是想用一个工具包解决所有的问题显然是一种奢望，很多时候甚至必须要从头写自己的代码。但是阅读igraph和networkx这样成型了的函数库对熟悉
python下的复杂网络编程包networkx的使用（摘抄）
weixin_30631587的博客
2335
原文：http://blog.sciencenet.cn/home.php?mod=space&uid=404069&do=blog&classid=141080&view=me&from=space 复杂网络分析库NetworkX学习笔记（1）：入门 NetworkX是一个用Python语言开发的图论与复杂网络建模工具，内置了常用的图与复杂网...
更快更简单|飞桨PaddlePaddle单机训练速度优化最佳实践
PaddlePaddle
1672
导读：飞桨（PaddlePaddle）致力于让深度学习技术的创新与应用更简单。在单机训练速度方面，通过高并行、低开销的异步执行策略和高效率的核心算子，优化静态图训练性能，...
GraphX与GraphLab、Pregel的对比
yang灬仔
588
分布式批同步BSP Pregel、GraphLab、GraphX都是基于BSP（Bulk Synchronous Parallel）模式，即整体同步并行。一次计算过程由一系列全局超步组成，每一个超步由并发计算、通信和同步三个步骤组成。从垂直上看,一个程序由一系列串行的超步组成。从水平上看，在一个超步中，所有的进程并行执行局部计算。BSP最大的好处是编程简单，但在某些情况下BSP运算的性能非常差，...
TensorFlow学习记录：VGGNet卷积神经网络模型
weixin_41137655的博客
308
1.VGGNet模型结构简介 VGGNet是由牛津大学计算机视觉几何组（Visual Geomety Group,VGG）和Google Deepmind公司的研究员合作研发的深度卷积神经网络，VGG的成员Karen Simonyan和Andrew Zisserman在2014年撰写的论文《Very Deep Convolutional Networks for Large-Scale Image...
11月编程语言排行冠军揭晓，稳
热门推荐
IT教育任姐姐的博客
4万+
大家好 今天任姐姐要跟小伙伴们分享 2021年11月最新TIOBE指数 11月编程排行榜 Python继续榜首 本月的幸运儿只有一个，那就是Python！ 继上个月我们见证了Python夺冠这一历史性的画面之后，这个月Python仍旧稳坐榜首，看来Python这股大风还在继续刮。 随后分别是 C、Java、C++、C#，这些也都是我们的老朋友了。 PHP即将跌出前十 自20多年前TIOBE 指数开始发布以来，PHP 一直常驻在榜单前十，然而最近，该语言已经开始在前十
python能做什么软件？Python到底能干嘛，一文看懂
小分享
6573
Python培训有哪些内容?很多零基础学员不知道Python软件是干什么用的?Python软件是Python工程师编写代码时所需要的编辑工具,现在比较常用的Python软件有Visu... 那么在选择Python培训机构时学生尤为关注的就是培训内容,从现在几家大的机构可以看出,Python培训主要学习第一阶段Python核心编程(Pyth... 一文读懂Python内置变量,函数,模块在这里解释下什么是解释性语言什么是编译性语言: 编译性语言:如c++,c等,写好的代码要通过编译器编译成操作系统直接可
Django中超级用户的创建和删除操作
最新发布
Protinx的博客
91
创建超级用户 这就很easy了，毕竟这是所有初学者都会的，操作如下： 打开Terminal，输入： python manage.py createsuperuser 然后按照提示输入相应的用户名、邮箱和密码就可以啦，如下： 创建超级用户 可以看到上面我的密码输入了三次，还有不成功的提示，Django本身对于超级用户的密码要求还是很多的，大家定义密码要注意啊，或者如果只是自己学习的话，也可在‘Bypass password validation and create user an.
上海python培训中心
weixin_63757190的博客
166
前几天，有个读者在后台留言，说： “最近被论文折磨得快崩溃了，我现在是恨不得克隆十个自己，一个呆在科室值班，一个去写月底要送审的稿子，一个去上百个网站翻数据..... 还有另外七个“我”，这边六七篇论文还没搞定。那边又有新论文要开题了，加上最后一个“本我”，刚刚够用，我可真是个数学天才！ 可现实是只有一个我，只能天天熬夜。 好家伙，整得我都开始反问自己，是不是只有我的科研生活这么兵荒马乱？” 其实他不是个例，成千上万的科研人都要面对无尽的实验分析、反复修改的论文。 难道就只有被虐的份吗？
python装饰器
Live&Learn的博客
1208
学习目标：一口气把装饰器描述清楚 弄清楚装饰器前要理解三个东西： 函数对象、函数嵌套、函数构成闭包。 学习内容： 函数对象好说，python编程语言属于动态语言，python中一切皆对象，所以函数也是对象。 函数对象用函数名称表示（仅名称，没有括号，也没有参数）。 例如，定义了一个求和函数add，那么此处的add就是个函数对象。 def add(username, a, b): print(f"{a}+{b}={a + b}") return a + b 函数嵌套或者嵌套函数，就是定
©️2021 CSDN 皮肤主题: 游动-白 设计师:白松林 返回首页
关于我们
招贤纳士
广告服务
开发助手
400-660-0108
[email protected]
在线客服
工作时间 8:30-22:00
公安备案号11010502030143
京ICP备19004658号
京网文〔2020〕1039-165号
经营性网站备案信息
北京互联网违法和不良信息举报中心
网络110报警服务
中国互联网举报中心
家长监护
Chrome商店下载
©1999-2021北京创新乐知网络技术有限公司
版权与免责声明
版权申诉
出版物许可证
营业执照
6979阿强
码龄0年
暂无认证
11
原创
13万+
周排名
12万+
总排名
579
访问
等级
132
积分
1
粉丝
1
获赞
0
评论
1
收藏
私信
关注
热门文章
GraphScope、Neo4j与TigerGraph单机环境下性能对比 146
NetworkX与GraphScope的性能对比 88
GraphScope、Gemini与GraphX的性能对比 60
分布式图计算引擎 46
国足历届世界杯对战图关系 45
最新评论
图分析入门
大家一起学编程（python）: 感谢博主的分享！
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
最新文章
2021-10-11
图数据库在社交方向上的应用
国足历届世界杯对战图关系
2021年11篇
你的浏览器目前处于缩放状态，页面可能会出现错位现象，建议100%大小显示。
举报
————————————————
版权声明：本文为CSDN博主“6979阿强”的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/tanekf6979/article/details/120067176
㈡ oracle真的支持分布式事务吗
作为使用人数最多、功能最全面的数据库，当然支持分布式事务；
具体的可参考如下：
http://blog.csdn.net/orion61/article/details/8684059
㈢ 数据库技术的应用与发展
数据库技术是现代信息科学与技术的重要组成部分，是计算机数据处理与信息管理系统的核心。数据库技术研究和解决了计算机信息处理过程中大量数据有效地组织和存储的问题，在数据库系统中减少数据存储冗余、实现数据共享、保障数据安全以及高效地检索数据和处理数据。
随着计算机技术与网络通信技术的发展，数据库技术已成为信息社会中对大量数据进行组织与管理的重要技术手段及软件技术，是网络信息化管理系统的基础。本章主要介绍数据库技术的应用与发展、关系模型的基本概念、关系数据库的设计理论及数据库设计方法等内容，是学习和掌握现代数据库技术的基础。
1.1 数据库技术的发展与应用
从20世纪60年代末期开始到现在，数据库技术已经发展了30多年。在这30多年的历程中，人们在数据库技术的理论研究和系统开发上都取得了辉煌的成就，而且已经开始对新一代数据库系统的深入研究。数据库系统已经成为现代计算机系统的重要组成部分。
1.1.1 数据库技术与信息技术
信息技术(Information Technology，IT)是当今使用频率最高的名词之一，它随着计算机技术在工业、农业以及日常生活中的广泛应用，已经被越来越多的个人和企业作为自己赶超世界潮流的标志之一。而数据库技术则是信息技术中一个重要的支撑。没有数据库技术，人们在浩瀚的信息世界中将显得手足无措。
数据库技术是计算机科学技术的一个重要分支。从20世纪50年代中期开始，计算机应用从科学研究部门扩展到企业管理及政府行政部门，人们对数据处理的要求也越来越高。1968年，世界上诞生了第一个商品化的信息管理系统IMS(Information Management System)，从此，数据库技术得到了迅猛发展。在互联网日益被人们接受的今天，Internet又使数据库技术、知识、技能的重要性得到了充分的放大。现在数据库已经成为信息管理、办公自动化、计算机辅助设计等应用的主要软件工具之一，帮助人们处理各种各样的信息数据。
1.1.2 数据库技术的应用及特点
数据库最初是在大公司或大机构中用作大规模事务处理的基础。后来随着个人计算机的普及，数据库技术被移植到PC机(Personal Computer，个人计算机)上，供单用户个人数据库应用。接着，由于PC机在工作组内连成网，数据库技术就移植到工作组级。现在，数据库正在Internet和内联网中广泛使用。
20世纪60年代中期，数据库技术是用来解决文件处理系统问题的。当时的数据库处理技术还很脆弱，常常发生应用不能提交的情况。20世纪70年代关系模型的诞生为数据库专家提供了构造和处理数据库的标准方法，推动了关系数据库的发展和应用。1979年，Ashton-Tate公司引入了微机产品dBase Ⅱ，并称之为关系数据库管理系统，从此数据库技术移植到了个人计算机上。20世纪80年代中期到后期，终端用户开始使用局域网技术将独立的计算机连接成网络，终端之间共享数据库，形成了一种新型的多用户数据处理，称为客户机/服务器数据库结构。现在，数据库技术正在被用来同Internet技术相结合，以便在机构内联网、部门局域网甚至WWW上发布数据库数据。
1.1.3 数据库技术发展历史
数据模型是数据库技术的核心和基础，因此，对数据库系统发展阶段的划分应该以数据模型的发展演变作为主要依据和标志。按照数据模型的发展演变过程，数据库技术从开始到现在短短的30年中，主要经历了三个发展阶段：第一代是网状和层次数据库系统，第二代是关系数据库系统，第三代是以面向对象数据模型为主要特征的数据库系统。数据库技术与网络通信技术、人工智能技术、面向对象程序设计技术、并行计算技术等相互渗透、有机结合，成为当代数据库技术发展的重要特征。
1. 第一代数据库系统
第一代数据库系统是20世纪70年代研制的层次和网状数据库系统。层次数据库系统的典型代表是1969年IBM公司研制出的层次模型的数据库管理系统IMS。20世纪60年代末70年代初，美国数据库系统语言协会CODASYL(Conference on Data System Language)下属的数据库任务组DBTG(Data Base Task Group)提出了若干报告，被称为DBTG报告。DBTG报告确定并建立了网状数据库系统的许多概念、方法和技术，是网状数据库的典型代表。在DBTG思想和方法的指引下数据库系统的实现技术不断成熟，开发了许多商品化的数据库系统，它们都是基于层次模型和网状模型的。
可以说，层次数据库是数据库系统的先驱，而网状数据库则是数据库概念、方法、技术的奠基者。
2. 第二代数据库系统
第二代数据库系统是关系数据库系统。1970年IBM公司的San Jose研究试验室的研究员Edgar F. Codd发表了题为《大型共享数据库数据的关系模型》的论文，提出了关系数据模型，开创了关系数据库方法和关系数据库理论，为关系数据库技术奠定了理论基础。Edgar F. Codd于1981年被授予ACM图灵奖，以表彰他在关系数据库研究方面的杰出贡献。
20世纪70年代是关系数据库理论研究和原型开发的时代，其中以IBM公司的San Jose研究试验室开发的System R和Berkeley大学研制的Ingres为典型代表。大量的理论成果和实践经验终于使关系数据库从实验室走向了社会，因此，人们把20世纪70年代称为数据库时代。20世纪80年代几乎所有新开发的系统均是关系型的，其中涌现出了许多性能优良的商品化关系数据库管理系统，如DB2、Ingres、Oracle、Informix、Sybase等。这些商用数据库系统的应用使数据库技术日益广泛地应用到企业管理、情报检索、辅助决策等方面，成为实现和优化信息系统的基本技术。
3. 第三代数据库系统
从20世纪80年代以来，数据库技术在商业上的巨大成功刺激了其他领域对数据库技术需求的迅速增长。这些新的领域为数据库应用开辟了新的天地，并在应用中提出了一些新的数据管理的需求，推动了数据库技术的研究与发展。
1990年高级DBMS功能委员会发表了《第三代数据库系统宣言》，提出了第三代数据库管理系统应具有的三个基本特征：
l 应支持数据管理、对象管理和知识管理。
l 必须保持或继承第二代数据库系统的技术。
l 必须对其他系统开放。
面向对象数据模型是第三代数据库系统的主要特征之一；数据库技术与多学科技术的有机结合也是第三代数据库技术的一个重要特征。分布式数据库、并行数据库、工程数据库、演绎数据库、知识库、多媒体库、模糊数据库等都是这方面的实例。
1.1.4 数据库系统访问技术
目前访问数据库服务器的主流标准接口主要有ODBC、OLE DB和ADO。下面分别对这三种接口进行概要介绍。
1. 开放数据库连接(ODBC)
开放数据库连接(Open Database Connectivity，ODBC)是由Microsoft公司定义的一种数据库访问标准。使用ODBC应用程序不仅可以访问存储在本地计算机的桌面型数据库中的数据，而且可以访问异构平台上的数据库，例如可以访问sql Server、Oracle、Informix或DB2构建的数据库等。
ODBC是一种重要的访问数据库的应用程序编程接口(Application Programming Interface，API)，基于标准的SQL语句，它的核心就是SQL语句，因此，为了通过ODBC访问数据库服务器，数据库服务器必须支持SQL语句。
ODBC通过一组标准的函数(ODBC API)调用来实现数据库的访问，但是程序员不必理解这些ODBC，API就可以轻松开发基于ODBC的客户机/服务器应用程序。这是因为在很多流行的程序开发语言中，如Visual Basic、PowerBuilder、Visual C++等，都提供了封装ODBC各种标准函数的代码层，开发人员可以直接使用这些标准函数。
ODBC获得了巨大成功并大大简化了一些数据库开发工作。但是它也存在严重的不足，因此Microsoft公司又开发了OLE DB。
2. OLE DB
OLE DB是Microsoft公司提供的关于数据库系统级程序的接口(System-Level Programming Interface)，是Microsoft公司数据库访问的基础。OLE DB实际上是Microsoft公司OLE对象标准的一个实现。OLE DB对象本身是COM(组件对象模型)对象并支持这种对象的所有必需的接口。
一般说来，OLE DB提供了两种访问数据库的方法：一种是通过ODBC驱动器访问支持SQL语言的数据库服务器；另一种是直接通过原始的OLE DB提供程序。因为ODBC只适用于支持SQL语言的数据库，因此ODBC的使用范围过于狭窄，目前Microsoft公司正在逐步用OLE DB来取代ODBC。
因为OLE DB是一个面向对象的接口，特别适合于面向对象语言。然而，许多数据库应用开发者使用VBScript和JScript等脚本语言开发程序，所以Microsoft公司在OLE DB对象的基础上定义了ADO。
3. 动态数据对象(ADO)
动态数据对象(Active Data Objects，ADO)是一种简单的对象模型，可以被开发者用来处理任何OLE DB数据，可以由脚本语言或高级语言调用。ADO对数据库提供了应用程序水平级的接口(Application-Level Programming Interface)，几乎使用任何语言的程序员都能够通过使用ADO来使用OLE DB的功能。Microsoft公司声称，ADO将替换其他的数据访问方式，所以ADO对于任何使用Microsoft公司产品的数据库应用是至关重要的。
1.1.5 网络数据库系统编程技术
在当今网络盛行的年代，数据库与Web技术的结合正在深刻改变着网络应用。有了数据库的支持，扩展网页功能、设计交互式页面、构造功能强大的后台管理系统、更新网站和维护网站都将变得轻而易举。随着网络应用的深入，Web数据库技术将日益显示出其重要地位。在这里简单介绍一下Web数据库开发的相关技术。
1. 通用网关接口(CGI)编程
通用网关接口(Common Gateway Interface，CGI)是一种通信标准，它的任务是接受客户端的请求，经过辨认和处理，生成HTML文档并重新传回到客户端。这种交流过程的编程就叫做CGI编程。CGI可以运行在多种平台上，具有强大的功能，可以使用多种语言编程，如Visual Basic、Visual C++、Tcl、Perl、AppletScript等，比较常见的是用Perl语言编写的CGI程序。但是CGI也有其致命的弱点，即速度慢和安全性差等。
2. 动态服务器页面(ASP)
动态服务器页面(Active Server Pages，ASP)是Microsoft公司推出的一种用以取代CGI的技术，是一种真正简便易学、功能强大的服务器编程技术。ASP实际上是Microsoft公司开发的一套服务器端脚本运行环境，通过ASP可以建立动态的、交互的、高效的Web服务器应用程序。用ASP编写的程序都在服务器端执行，程序执行完毕后，再将执行的结果返回给客户端浏览器，这样不仅减轻了客户端浏览器的负担，大大提高了交互速度，而且避免了ASP程序源代码的外泄，提高了程序的安全性。
3. Java 服务器页面(JSP)
Java服务器页面(Java Server Pages，JSP)是Sun公司发布的Web应用程序开发技术，一经推出，就受到了人们的广泛关注。JSP技术为创建高度动态的Web应用程序提供了一个独特的开发环境，它能够适用于市场上大多数的服务器产品。
JSP使用Java语言编写服务器端程序，当客户端向服务器发出请求时，JSP源程序被编译成Servlet并由Java虚拟机执行。这种编译操作仅在对JSP页面的第一次请求时发生。因此，JSP程序能够提供更快的交互速度，其安全性和跨平台性也很优秀。
㈣ “分布式”与“集群”的区别是什么
简单说，分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。
例如：
如果一个任务由10个子任务组成，每个子任务单独执行需1小时，则在一台服务器上执行改任务需10小时。
采用分布式方案，提供10台服务器，每台服务器只负责处理一个子任务，不考虑子任务间的依赖关系，执行完这个任务只需一个小时。(这种工作模式的一个典型代表就是Hadoop的Map/Rece分布式计算模型）
而采用集群方案，同样提供10台服务器，每台服务器都能独立处理这个任务。假设有10个任务同时到达，10个服务器将同时工作，10小后，10个任务同时完成，这样，整身来看，还是1小时内完成一个任务！
以下是摘抄自网络文章：
一、集群概念
1. 两大关键特性
集群是一组协同工作的服务实体，用以提供比单一服务实体更具扩展性与可用性的服务平台。在客户端看来，一个集群就象是一个服务实体，但事实上集群由一组服务实体组成。与单一服务实体相比较，集群提供了以下两个关键特性：
· 可扩展性－－集群的性能不限于单一的服务实体，新的服务实体可以动态地加入到集群，从而增强集群的性能。
· 高可用性－－集群通过服务实体冗余使客户端免于轻易遇到out of service的警告。在集群中，同样的服务可以由多个服务实体提供。如果一个服务实体失败了，另一个服务实体会接管失败的服务实体。集群提供的从一个出 错的服务实体恢复到另一个服务实体的功能增强了应用的可用性。
2. 两大能力
为了具有可扩展性和高可用性特点，集群的必须具备以下两大能力：
· 负载均衡－－负载均衡能把任务比较均衡地分布到集群环境下的计算和网络资源。
· 错误恢复－－由于某种原因，执行某个任务的资源出现故障，另一服务实体中执行同一任务的资源接着完成任务。这种由于一个实体中的资源不能工作，另一个实体中的资源透明的继续完成任务的过程叫错误恢复。
负载均衡和错误恢复都要求各服务实体中有执行同一任务的资源存在，而且对于同一任务的各个资源来说，执行任务所需的信息视图（信息上下文）必须是一样的。
3. 两大技术
实现集群务必要有以下两大技术：
· 集群地址－－集群由多个服务实体组成，集群客户端通过访问集群的集群地址获取集群内部各服务实体的功能。具有单一集群地址（也叫单一影像）是集群的一个基本特征。维护集群地址的设置被称为负载均衡器。负载均衡器内部负责管理各个服务实体的加入和退出，外部负责集群地址向内部服务实体地址的转换。有的负载均衡器实现真正的负载均衡算法，有的只支持任务的转换。只实现任务转换的负载均衡器适用于支持ACTIVE-STANDBY的集群环境，在那里，集群中只有一个服务实体工作，当正在工作的服务实体发生故障时，负载均衡器把后来的任务转向另外一个服务实体。
· 内部通信－－为了能协同工作、实现负载均衡和错误恢复，集群各实体间必须时常通信，比如负载均衡器对服务实体心跳测试信息、服务实体间任务执行上下文信息的通信。
具有同一个集群地址使得客户端能访问集群提供的计算服务，一个集群地址下隐藏了各个服务实体的内部地址，使得客户要求的计算服务能在各个服务实体之间分布。内部通信是集群能正常运转的基础，它使得集群具有均衡负载和错误恢复的能力。
二、集群分类
Linux集群主要分成三大类(高可用集群， 负载均衡集群，科学计算集群)
高可用集群(High Availability Cluster)
负载均衡集群(Load Balance Cluster)
科学计算集群(High Performance Computing Cluster)
具体包括：
Linux High Availability 高可用集群
(普通两节点双机热备，多节点HA集群，RAC, shared, share-nothing集群等)
Linux Load Balance 负载均衡集群
(LVS等....)
Linux High Performance Computing 高性能科学计算集群
(Beowulf 类集群....)
三、详细介绍
1. 高可用集群(High Availability Cluster)
常见的就是2个节点做成的HA集群，有很多通俗的不科学的名称，比如"双机热备"，"双机互备"，"双机"。
高可用集群解决的是保障用户的应用程序持续对外提供服务的能力。 (请注意高可用集群既不是用来保护业务数据的，保护的是用户的业务程序对外不间断提供服务，把因软件/硬件/人为造成的故障对业务的影响降低到最小程度)。
2. 负载均衡集群(Load Balance Cluster)
负载均衡系统：集群中所有的节点都处于活动状态，它们分摊系统的工作负载。一般Web服务器集群、数据库集群和应用服务器集群都属于这种类型。
负载均衡集群一般用于相应网络请求的网页服务器，数据库服务器。这种集群可以在接到请求时，检查接受请求较少，不繁忙的服务器，并把请求转到这些服务器上。从检查其他服务器状态这一点上看，负载均衡和容错集群很接近，不同之处是数量上更多。
3. 科学计算集群(High Performance Computing Cluster)
高性能计算(High Perfermance Computing)集群，简称HPC集群。这类集群致力于提供单个计算机所不能提供的强大的计算能力。
3.1 高性能计算分类
3.1.1 高吞吐计算(High-throughput Computing)
有一类高性能计算，可以把它分成若干可以并行的子任务，而且各个子任务彼此间没有什么关联。象在家搜寻外星人（ SETI@HOME -- Search for Extraterrestrial Intelligence at Home ）就是这一类型应用。这一项目是利用Internet上的闲置的计算资源来搜寻外星人。SETI项目的服务器将一组数据和数据模式发给Internet上参加SETI的计算节点，计算节点在给定的数据上用给定的模式进行搜索，然后将搜索的结果发给服务器。服务器负责将从各个计算节点返回的数据汇集成完整的 数据。因为这种类型应用的一个共同特征是在海量数据上搜索某些模式，所以把这类计算称为高吞吐计算。所谓的Internet计算都属于这一类。按照 Flynn的分类，高吞吐计算属于SIMD（Single Instruction/Multiple Data）的范畴。
3.1.2 分布计算(Distributed Computing)
另一类计算刚好和高吞吐计算相反，它们虽然可以给分成若干并行的子任务，但是子任务间联系很紧密，需要大量的数据交换。按照Flynn的分类，分布式的高性能计算属于MIMD（Multiple Instruction/Multiple Data）的范畴。
四、分布式（集群）与集群的联系与区别
分布式是指将不同的业务分布在不同的地方；而集群指的是将几台服务器集中在一起，实现同一业务。
分布式中的每一个节点，都可以做集群。 而集群并不一定就是分布式的。
举例：就比如新浪网，访问的人多了，他可以做一个群集，前面放一个响应服务器，后面几台服务器完成同一业务，如果有业务访问的时候，响应服务器看哪台服务器的负载不是很重，就将给哪一台去完成。
而分布式，从窄意上理解，也跟集群差不多， 但是它的组织比较松散，不像集群，有一个组织性，一台服务器垮了，其它的服务器可以顶上来。
分布式的每一个节点，都完成不同的业务，一个节点垮了，那这个业务就不可访问了。
㈤ hbase虚拟分布式模式需要多少个节点
Copyright © 1999-2020, CSDN.NET, All Rights Reserved
登录
HBase实战+权威指南
《HBase实战》是一本基于经验提炼而成的指南，它教给读者...在HBase中集成用于海量并行数据处理任务的Hadoop的MapRece框架；助你了解如何调节集群、设计模式、拷贝表、导入批量数据、删除节点以及其他更多的任务等。
HBase
hbase权威指南
《HBase权威指南》探讨了如何通过使用与...在HBase中集成MapRece框架；了解如何调节集群、设计模式、拷贝表、导入批量数据和删除节点等。 《HBase权威指南》适合使用HBase进行数据库开发的高级数据库研发人员阅读
hbase
浅谈HBase的数据分布_weixin_34337381的博客-CSDN博客
本文从数据分布问题展开,介绍HBase基于Range的分布策略与region的调度问题,详细讨论了rowkey的比较规则及其应用,希望能够加深用户对HBase数据分布机制和rowkey的理解,...
Hbase 超详细架构解析_weixin_33767813的博客-CSDN博客
注意:client访问hbase上的数据时不需要Hmaster的参与,因为数据寻址访问zookeeper和HregionServer,而数据读写访问HregionServer。Hmaster仅仅维护table和region的元数据信...
Apress - Pro Hadoop
这两个函数由程序员提供给系统，下层设施把Map和Rece操作分布在集群上运行，并把结果存储在GFS上。 3、BigTable。一个大型的分布式数据库，这个数据库不是关系式的数据库。像它的名字一样，就是一个巨大的表格...
Hadoop
分布式协调工具-ZooKeeper实现动态负载均衡
在分布式环境中，相同的业务应用分布在不同的机器上，有些业务逻辑（例如一些耗时的计算，网络I/O处理），往往只需要让整个集群中的某一台机器进行执行，其余机器可以共享这个结果，这样可以大大减少重复劳动，提高...
Hbase概念详解_fenglei0415的博客-CSDN博客
所以,HBase在表的设计上会有很严格的要求。架构上,HBase是分布式数据库的典范,这点比较像MongoDB的sharding模式,能根据键值的大小,把数据分布到不同的存储节点上...
面试题_HBase_qq_40822132的博客-CSDN博客
物理模型:整个hbase表会拆分成多个region,每个region记录着行键的起始点保存在不同的节点上,查询时就是对各个节点的并行查询,当region很大时使用.META表存储各个...
论文研究-文本挖掘中一种基于参数估计的语句分块方案研究.pdf
该方法要求生成并存储大量词组频率数据，并在每次迭代时支持计算节点快速访问数据。实验评估表明，该方案显着降低了远程数据库查询次数，其端到端应用运行时间要比只基于HBase的原始分布式部署快出6倍。
数据集 参数估计 文本挖掘 幂律
2017最新大数据架构师精英课程
57_hadoop伪分布模式8 I/ e; `1 Y$ b+ p1 R5 ^ 58_编写分发脚本-xcall-rsync1 X% G: Y' Q; }5 I$ [ 59_hadoop完全分布式-hdfs体验 60_hadoop的架构原理图 61_临时文件 62_hadoop的简单介绍, p5 P$ @+ O2 V. p } 63_...
Hbase史上最详细原理总结_二十-CSDN博客
表在行的方向上分割为多个Region; Region是Hbase中分布式存储和负载均衡的最小单元,不同Region分布到不同RegionServer上。 Region按大小分割的,随着数据增多,Region...
分布式开源数据库_HBase入门介绍_aa_maple的博客-CSDN博客
㈥ 国外十大免费服务器和域名
一般域名使用注册商提供的域名解析服务虽然方便，但功能大多有限，特别是目前国内还会针对某些DNS服务器进行屏蔽，造成网站无法解析的情况出现，因此，使用第三方域名解析服务也是中国网站的必要选择，这里就介绍一些常见的免费域名解析服务。
域名注册商提供的免费服务
Godaddy：不在Godaddy注册域名，也可以使用Godaddy的域名解析服务，使用方法很简单，登录Godaddy网站后，点击“Add Off-site DNS”即可添加用户的域名，之后将用户域名的DNS设置为Godaddy指定的地址，域名DNS生效后，即可点击添加的域名进行DNS解析设置。
NameCheap：知名的域名注册商NameCheap也和Godaddy一样，提供免费DNS域名解析，点击“FreeDNS”后，即可添加用户域名，用户可以通过修改DNS或域名邮件来验证自己的域名，NameCheap的解析服务支持的功能有：网址转发（可隐藏原URL、支持301重定向）、邮件转发、A记录、CNAME别名记录、MX邮件记录、TXT文本记录、NS记录、AAAA记录（IPV6）、动态域名解析等等。
国内免费域名解析服务
DNSPod：DNSPod是国内运营较久的免费DNS解析服务，除了免费服务外，还提供多项收费服务。DNSPod的功能较多，支持电信、网通、教育网双线或者三线智能DNS解析，在中国国内解析速度较快，但对于国外的Google爬虫来说经常出现无法访问的情况。
DNS.La：也是类似DNSPod的免费DNS解析服务，可以为同时有电信、联通、教育网服务器的网站提供免费智能DNS的解析。
EDNS：易名中国提供的免费域名解析服务，非易名中国用户也可使用。
国外免费域名解析服务
ZoneEdit：美国着名的老牌免费域名DNS解析服务，成立于1999年。免费帐户最多可添加5个域名。解析类型：A记录、AAAA记录、 TXT文本记录、LOC记录、PTR记录、CNAME别名记录、MX邮件记录、网址转发、邮件转发等。界面超级简洁，速度快，稳定。
http://HE.NET：是美国老牌IDC，成立于1994年，在技术领域比较强，尤其是IPV6应用。这个免费DNS解析服务最多可以添加50个域名，可以设置A记录、AAAA记录、CNAME别名记录、MX邮件记录、NS记录、TXT记录、SRV记录。
FreeDNS：一家美国免费域名DNS解析服务网站，界面简洁，注册简单，支持添加任何后缀的域名，支持Google Apps服务。免费域名DNS解析服务有三种模式：简单模式可直接设置IP指向、转发模式可设置301永久重定向和302临时重定向、高级模式可设置A记录、AAAA记录、CNAME记录、MX记录、PTR记录、TXT记录。
afraid：美国一家免费域名解析服务，运营了相当长的时间了，值得提醒的是按照官方规定六个月账号必须有一次登录，否则账号会被锁定 。
CDN服务自带域名解析
CloudFlare：虽然它的主营业务是CDN（Anycast），但丝毫不影响它作为免费DNS的声誉，况且这个免费DNS是真的全球分布（12个节点），且使用了CDN技术。
网络加速乐：加速乐也主要是CDN业务，顺带提供DNS域名解析，提供抗CC***、免费DNS解析、免费分省解析、防******、黑链暗链防护、页面篡改防护服务。
原文链接：http://blog.51cto.com/magee/2424433
文章知识点与官方知识档案匹配
云原生入门技能树服务网格(istio)ServiceMesh介绍
6082 人正在系统学习中
点击阅读全文
打开CSDN，阅读体验更佳
参与评论 请先 登录 后发表或查看评论
域名解析服务-DNS服务详解
本课程主要带领大家基于linux平台部署DHCP、DNS、文件服务器、web服务器、双机热备、日志服务器等相关服务，让大家快速上手linux服务器部署，并能根据公司业务环境部署自己的生产环境服务器。<br /><br /> 本课程无课件，给您带来的不便，非常抱歉<br />
继续访问
免费永久域名
MyServer是一款能够让你的计算机变成服务器、让你能在本地调试微信代码的神器 你可以直接在自己pc上发布网站、本地调试微信代码再也不需要服务器了，这一切都是免费的
免费申请国外免费域名超详细教程
1.首先申请免费域名网站：https://my.freenom.com/domains.php 2.填入域名，这里我们以xcflag为列（尽量选择复杂一点的或者五个字母以上的域名，因为简单的有些域名是需要收费的）,点击检查可用性。 3.可以看到很多免费的域名（用的谷歌翻译插件，翻译有时候不是很准确，free翻译过来应该是免费而不是自由，之后会写一些关于谷歌插件的笔记，详细讲解） 4.我们选择xcflag.tk点击立即获取，稍等一会点击购物车查看绿色按钮 5.默认三个月试用，这里下拉框我们选择十二个月
继续访问
12个国外免费DNS服务
12个国外免费DNS服务
继续访问
国外常用的免费DNS域名解析服务器
在国内注册的域名默认使用的是国内域名注册商提供的DNS服务器，国内的DNS服务器可能受政策的影响停止解析域名，网络上传说以后没有BeiAn的域名国内将不给解析。 为了避免国内的这些政策，建议使用国外的域名服务： 如果您还没有注册域名，请不要在国内注册域名。 如果您已经在国内注册了域名，但由于国内注册商赖皮，不给您转移密码，您还可以使用国外的免费DNS服务器。 国外免费DNS
继续访问
十大免费域名排行榜-免费顶级域名,免费二级域名申请使用总结
免费域名主要是指可以DNS域名解析的免费顶级域名和免费二级域名，不少的免费空间在注册空间时会提供一个二级域名，因为这样的二级域名不支持自定义DNS解析，因此这类域名不能称之为免费域名。免费顶级域名则和我们平常使用的.COM、.NET一样可用于建站。 免费顶级域名申请难度大，且域名资源少，免费二级域名比较多，但是能够持续长久使用的免费二级域名也会比较少，还会面临着域名被删除的风险。本篇文章就对部落
继续访问
二级域名 免费+免备案
今天给大家推荐一个免备案的免费二级域名注册平台。 DYUNS域名网 - 永久免费域名_免备案域名 只需要一个邮箱，就能注册到自己的二级域名，非常方便。 提供"icu.ltd"等超短域名注册服务，非常有利于用户访问与记忆。 平台还提供了免费的 CDN+防御+免备案 服务，这是其他平台都没有的，也是我选择它的理由之一。 管理也非常方便，后台一键就能完成自助删改解析等操作。 官方客服的服务也是十分的到位，体验很好。 大家也可以自行注册体验哦！ ...
继续访问
免费域名解析服务
一般域名使用注册商提供的域名解析服务虽然方便，但功能大多有限，特别是目前国内还会针对某些DNS服务器进行屏蔽，造成网站无法解析的情况出现，因此，使用第三方域名解析服务也是中国网站的必要选择，这里就介绍一些常见的免费域名解析服务。域名注册商提供的免费服务Godaddy：不在Godaddy注册域名，也可以使用Godaddy的域名解析服务，使用方法很简单，登录Godaddy网站后，...
继续访问
[Internet]12个国外免费DNS服务
原文地址：http://www.cnhacker.org/articles/1406.html 昨天晚上收集整理了“4个国内免费DNS服务商”，有国内的当然也应该有国外的才够完美。早上就分享整理12个国外的DNS服务。 1、Godaddy（www.godadd
继续访问
国外常用的免费DNS域名解析服务器（转）
在国内注册的域名默认使用的是国内域名注册商提供的DNS服务器，国内的DNS服务器可能受政策的影响停止解析域名，网络上传说以后没有备案的域名国内将不给解析。 为了避免国内的这些政策，建议使用国外的域名服务：如果您还没有注册域名，请不要在国内注册域名，我们直接代理enom.com 的域名，使用enom分布在全球各地的DNS服务器，推荐各位使用。如果您已经在国内注册了域名，建议把您的...
继续访问
国内外12个免费域名解析服务网站推荐
一般域名使用注册商提供的域名解析服务虽然方便，但功能大多有限，特别是目前国内还会针对某些DNS服务器进行屏蔽，造成网站无法解析的情况出现，因此，使用第三方域名解析服务也是中国网站的必要选择，这里就介绍一些常见的免费域名解析服务。 域名注册商提供的免费服务 Godaddy ：不在Godaddy注册域名，也可以使用Godaddy的域名解析服务，使用方法很简单，登录Godaddy网站后，点击“Add...
继续访问
10个精选国外免费空间
最近想申请一个免费空间，发现国内基本没有。。。。唉。 =-============================= 10个精选国外免费空间推荐2011-09-29 11:45如果你正在寻找免费空间建立你自己的小洞，可以试试以下免费空间。 以下国外免费空间均有本人亲自测试过，所以推荐，不太好的就没有推荐。但本人是在日本测试，以下网站申请无需代理，都可以正常...
继续访问
全球免费公共 DNS 解析服务器 IP 地址列表推荐 (解决无法上网/加速/防劫持)
全球免费公共 DNS 解析服务器 IP 地址列表推荐 基本上接触过网络相关知识的人应该多少都会听过DNS这个名词。因为 DNS 它非常重要，在我们上网的过程中扮演着重要的角色——“将网址/域名解析成 IP 地址”。 如果配置了不合理的DNS服务器，可能会导致网速缓慢、打不开网站；一些恶意的 DNS 还会让你电脑出现弹窗广告、网站被劫持修改 (中间人攻击)、监听等等一系列的安...
继续访问
12个国外免费DNS
1、Godaddy（www.godaddy.com）Godaddy这个名字我相信大家应该都比较熟悉，可能有些人购买其域名或者网站空间，有些人不晓得其中还有DNS服务。请看“如何使用godaddy免费DNS解析域名”告诉你如何利用godaddyDNS服务，值得推荐。2、DNSPARK（www.dnspark.net）DNSPARK成立于2002年，算是一家比较老的免费DNS服务...
继续访问
推荐6款好用、免费的远程控制软件【远程管理工具】
远程办公就需要远程连接的工具，当然，你说你用VPN那也是没有毛病的。远程桌面工具也极大的方便了我们进行远程技术支持、远程办公的便利性，但是呢，很多时候，有些工具不支持电脑或者手机操作。今天给大家推荐几款工具，即可以支持电脑操作，又支持手机操作，有国内的工具、也有国外的工具，功能非常强大、好用，最重要的是符合国人的口味：免费、免费、免费。 1、Teamviewer 产地：德国 支持语言：多国语言，有中文版 地址:http://www.teamviewer.com TeamViewer是用于实..
继续访问
热门推荐 五分钟免费获得自己的永久域名，免费！永久！
一分钟教你免费获得自己的域名，由于是免费的，所以可能过程较慢。 过程很简单，如果有什么步骤不会可以联系我哦：[email protected] 一、首先进入到Ngrok官网 点击右上角的注册，获得账号后登录到该网站进去。 二、进入左侧功能栏的隧道管理->开通隧道，选择一个免费的服务器点击购买即可。 三、填写基本信息 填完基本信息之后点击确定添加，页面跳转之后点击确定开通。 四、开通成功之后点击隧道管理就可以看到自己注册的域名了。 五、再次进入到Ngrok官网首页，点击客户端下载(选择自己的系统的对
继续访问
最新发布 DNS域名解析服务
一、DNS基础1、DNS是什么？DNS域名系统（DomainNameSystem缩写为DNS）是因特网的一项核心服务，它作为可以将域名和IP地址相互映射的一个分布式数据库，能够使人更加方便的访问互联网，而不用去记住能够被机器直接读取的IP数串。DNS的作用正向解析根据域名查找对应的IP地址（A记录）反向解析根据IP地址查找对应的域名（反垃圾邮件的验证）（P记录）分离解析同一个dns服务器，同一个域名情况下，不同网段进行访问会解析出不同的IP地址。注意根域。...
继续访问
详解域名解析服务
域名解析详解
继续访问
域名内网解析和外网解析
域名内网解析和外网解析 1、有时候我们通过cmd中的nslookup去解析相同的域名，得到的IP为不同值，这个原因很大可能是你公司有内网DNS和外网DNS，当你设置本地机器为内网DNS时，解析到的是内网的地址，设置为外网DNS时，解析到的是外网的地址。 比如 192.168.4.251为你的内网DNS，则通过 nslookup去解析域名的时候会得到内网解析地址 去掉内网地址，再通过 nslook...
继续访问
推荐12个国外免费自助建站网站
1. DevHub DevHub是国外一家新兴的免费自助建站服务网站，这家网站提供免费二级域名，也可选择绑定自己的域名 ，DevHub会根据你设置的关键字自动匹配相关广告(而且也可以放置自己的广告，如Google Adsense)，让你获得收入，网赚界称其为建英文垃圾站赚美元的首选!当网站收入达到100美元即可通过PayPal支付给你。用DevHub建站，你不需要有很高超的网页设计水平，只要有
继续访问
运维
爬虫
写评论
评论
收藏
点赞
踩
分享
APP内打开
㈦ 数据库集群 还有分布式都是什么 csdn
说说数据库集群吧
集群主要分成三大类 （高可用集群， 负载均衡集群，科学计算集群）
高可用集群( High Availability Cluster)
负载均衡集群(Load Balance Cluster)
科学计算集群(High Performance Computing Cluster)
1、高可用集群(High Availability Cluster)
常见的就是2个节点做成的HA集群，有很多通俗的不科学的名称，比如”双机热备”, “双机互备”, “双机”。高可用集群解决的是保障用户的应用程序持续对外提供服务的能力。 (请注意高可用集群既不是用来保护业务数据的，保护的是用户的业务程序对外不间断提供服务，把因软件/硬件/人为造成的故障对业务的影响降低到最小程度)。
2、负载均衡集群(Load Balance Cluster)
负载均衡系统：集群中所有的节点都处于活动状态，它们分摊系统的工作负载。一般Web服务器集群、数据库集群和应用服务器集群都属于这种类型。
负载均衡集群一般用于相应网络请求的网页服务器，数据库服务器。这种集群可以在接到请求时，检查接受请求较少，不繁忙的服务器，并把请求转到这些服务器上。从检查其他服务器状态这一点上看，负载均衡和容错集群很接近，不同之处是数量上更多。
3、科学计算集群(High Performance Computing Cluster)
高性能计算(High Perfermance Computing)集群，简称HPC集群。这类集群致力于提供单个计算机所不能提供的强大的计算能力。
高性能计算分类：
3.1、高吞吐计算(High-throughput Computing)
有一类高性能计算，可以把它分成若干可以并行的子任务，而且各个子任务彼此间没有什么关联。象在家搜寻外星人（ SETI@HOME – Search for Extraterrestrial Intelligence at Home ）就是这一类型应用。
这一项目是利用Internet上的闲置的计算资源来搜寻外星人。SETI项目的服务器将一组数据和数据模式发给Internet上参加SETI的计算节点，计算节点在给定的数据上用给定的模式进行搜索，然后将搜索的结果发给服务器。服务器负责将从各个计算节点返回的数据汇集成完整的 数据。因为这种类型应用的一个共同特征是在海量数据上搜索某些模式，所以把这类计算称为高吞吐计算。
所谓的Internet计算都属于这一类。按照 Flynn的分类，高吞吐计算属于SIMD（Single Instruction/Multiple Data）的范畴。
3.2、分布计算(Distributed Computing)
另一类计算刚好和高吞吐计算相反，它们虽然可以给分成若干并行的子任务，但是子任务间联系很紧密，需要大量的数据交换。按照Flynn的分类，分布式的高性能计算属于MIMD（Multiple Instruction/Multiple Data）的范畴。
下面说说这几种集群的应用场景：
高可用集群这里不多作说明。
想Dubbo是比较偏向于负载均衡集群，用过的猿友应该知道（不知道的可以自行了解一下），Dubbo同一个服务是可以有多个提供者的，当一个消费者过来，它要消费那个提供者，这里是有负载均衡机制在里面的。
搜索引擎Elasticsearch比较偏向于科学计算集群的分布计算。
而到这里，可能不少猿友都知道，集群的一些术语：集群容错、负载均衡。
我们以Dubbo为例：
集群容错（http://bbo.io/User+Guide-zh.htm#UserGuide-zh-%E9%9B%86%E7%BE%A4%E5%AE%B9%E9%94%99）
Dubbo提供了这些容错策略：
集群容错模式：
可以自行扩展集群容错策略，参见：集群扩展
Failover Cluster
失败自动切换，当出现失败，重试其它服务器。(缺省)
通常用于读操作，但重试会带来更长延迟。
可通过retries="2"来设置重试次数(不含第一次)。
Failfast Cluster
快速失败，只发起一次调用，失败立即报错。
通常用于非幂等性的写操作，比如新增记录。
Failsafe Cluster
失败安全，出现异常时，直接忽略。
通常用于写入审计日志等操作。
Failback Cluster
失败自动恢复，后台记录失败请求，定时重发。
通常用于消息通知操作。
Forking Cluster
并行调用多个服务器，只要一个成功即返回。
通常用于实时性要求较高的读操作，但需要浪费更多服务资源。
可通过forks="2"来设置最大并行数。
Broadcast Cluster
广播调用所有提供者，逐个调用，任意一台报错则报错。(2.1.0开始支持)
通常用于通知所有提供者更新缓存或日志等本地资源信息。
负载均衡（http://bbo.io/User+Guide-zh.htm#UserGuide-zh-%E8%B4%9F%E8%BD%BD%E5%9D%87%E8%A1%A1）
Dubbo提供了这些负载均衡策略：
Random LoadBalance
随机，按权重设置随机概率。
在一个截面上碰撞的概率高，但调用量越大分布越均匀，而且按概率使用权重后也比较均匀，有利于动态调整提供者权重。
RoundRobin LoadBalance
轮循，按公约后的权重设置轮循比率。
存在慢的提供者累积请求问题，比如：第二台机器很慢，但没挂，当请求调到第二台时就卡在那，久而久之，所有请求都卡在调到第二台上。
LeastActive LoadBalance
最少活跃调用数，相同活跃数的随机，活跃数指调用前后计数差。
使慢的提供者收到更少请求，因为越慢的提供者的调用前后计数差会越大。
ConsistentHash LoadBalance
一致性Hash，相同参数的请求总是发到同一提供者。
当某一台提供者挂时，原本发往该提供者的请求，基于虚拟节点，平摊到其它提供者，不会引起剧烈变动。
算法参见：http://en.wikipedia.org/wiki/Consistent_hashing。
缺省只对第一个参数Hash，如果要修改，请配置<bbo:parameter key="hash.arguments" value="0,1" />
缺省用160份虚拟节点，如果要修改，请配置<bbo:parameter key="hash.nodes" value="320" />
㈧ TSM等第三方备份软件是怎么调用Oracle的RMAN进行备份的
Oracle数据库五大优势
oracle数据库的优点一：
ORACLE7.X以来引入了共享SQL和多线索服务器体系结构。这减少了ORACLE的资源占用，并增强了ORACLE的能力，使之在低档软硬件平台上用较少的资源就可以支持更多的用户，而在高档平台上可以支持成百上千个用户。
oracle数据库的优点二：
提供了基于角色(ROLE)分工的安全保密管理。在数据库管理功能、完整性检查、安全性、一致性方面都有良好的表现。
oracle数据库的优点三：
支持大量多媒体数据，如二进制图形、声音、动画以及多维数据结构等。 "^$*(#@)%(培训谷&@*(&$@(&
oracle数据库的优点四：
提供了与第三代高级语言的接口软件PRO*系列，能在C,C++等主语言中嵌入SQL语句及过程化(PL/SQL)语句，对数据库中的数据进行操纵。加上它有许多优秀的前台开发工具如 POWER BUILD、SQL*FORMS、VISIA BASIC 等，可以快速开发生成基于客户端PC 平台的应用程序，并具有良好的移植性。
oracle数据库的优点五：
提供了新的分布式数据库能力。可通过网络较方便地读写远端数据库里的数据，并有对称复制的技术。
㈨ oracle中分区查询时，怎样一次查询多个分区
举个例子来说吧：
create table tableA （ STATIS_DAY VARCHAR2(8)）
partition by list (STATIS_DAY)
(
partition PART_20110522 values ('20110522')；
partition PART_20110522 values ('20110523')；
partition PART_20110522 values ('20110524')
）;
那么 你在写sql的时候
直接 select * from tableA where STATIS_DAY between '20110524' and '20110523' 就是查询多个分区了啊！
首先你要理解分区的意义；
select *from tableA partition(PART_20110522 ); 就是单独查询这个分区。不过其实跟
select * from tableA where STATIS_DAY ='20110522' 是一个样子的~~~
分区表的相关资料：http://blog.csdn.net/xieyuooo/article/details/5437126
㈩ “根本就不需要 Kafka 这样的大型分布式系统！”
作者 | Normcore Tech
译者 | 弯月，责编 | 屠敏
出品 | CSDN（ID：CSDNnews）
以下为译文：
可能有人没有听说过Kafka，这是一个非常复杂的分布式软件，可协调多台计算机之间的数据传输。更具体地说，该软件的功能是“展平”数据，然后快速地将数据从一个地方移动到另一个地方。一般来讲，如果你有很多数据需要快速处理并发送到其他地方，那么就可以考虑一下Kafka。Kafka还可以在一定期限内保留数据，比如设置数据保存2天、3天或7天，如果你的下游流程失败，那么你还可以利用存储在Kafka中的数据重新处理。
许多处理汇总数据的公司（比如Facebook和Twitter等社交网络数据，以及每晚需要处理大量星体运动的天文学家，或需要快速了解车辆周围环境数据的自动驾驶车辆公司等）都在使用Kafka，将任意地方生产的数据（即用户通过键盘输入的数据，通过望远镜读取的数据，通过车辆遥测读取的数据等）移动至下游流程进行处理和分析。
最近，WeWork更为名The We Company，他们在共享工作间领域取得了成功，其官网宣称公司的使命为：
“提升世界的意识。”其核心业务是从房地产出租公司那里租下办公室，然后转租给无法按照传统流程租赁办公室的个人和小公司。
为了“提升世界的意识”，该公司致力于为世界各地的个人和公司的团队打造独特却又不完全相同的办公空间。最近，该公司还开始涉足教育。
最近，因为上市，WeWork曝光了一些财务信息：
从好的方面来看，根据A xi os的数据，2018年WeWork的入住率为90%，且会员总数在不断增加。
有人常常将WeWork视为硅谷地区的公司过高估值的完美例子。作为一家房地产企业，WeWork烧钱的速度非常快，毫无疑问他们必须努力让公众市场投资者相信公司有长远的发展，同时和还要维护其作为 科技 公司的地位。
这家公司再三强调说它不是一家房地产公司（毕竟它在不断烧钱对吧？），那么一家消息中介技术公司究竟能提供什么？WeWork曾宣布，它使用Kafka来实现“内部部署的物联网需求”。这是什么意思？
“我们的产品是物理空间，”WeWork的首席开发负责人David Fano说，他在会议期间穿着一件印有“bldgs = data”字样的T恤。
每个办公室都有10个环境传感器——小巧的壁挂式绿色盒子，这些传感器可跟踪室内温度、湿度、空气质量、气压和环境光线水平。还有20个白色的壁挂式信标，呈三角形分布在公共空间（开放式办公区和会议室），用于测量WeWork成员的室内位置（数据是匿名的）。顶部四分之一的传感器通过计算机视觉观察成员的活动。
换句话说，WeWork会跟踪WeWork的多个物理事件并记录所有这些数据。但是......他们真的有必要这样做吗？记录Keith Harring壁画周围开放区域的环境温度能给他们带来怎样的竞争优势？更重要的是，他们能否将这些信息用到重要的项目中？
对于公司而言，重要的是要了解办公室的“单位组合” ——私人办公室、会议空间和开放式办公桌——的比例，我们可以利用这些信息对下一个办公间作出调整。
我觉得这家新闻报道机构需要建立一种思考技术的心理模型。Ben Thompson为Stratechery提供了出色的服务，他建立了聚合理论（https://stratechery .com /concepts/），我在努力为这些理论建立一个网站，如果必须从中选择一个的话，那便是：
大多数创业公司（以及大公司）现有的技术栈都没有必要。
在此，我想挑战一下那些自认为可以在一个周末期间独自建立Facebook的Hacker News上的开发人员，我认为WeWork的实际业务和架构问题在于：
WeWork需要的只不过是清点进出的人数，然后对容量规划做优化而已，追踪“气压”有什么用？只要你有WeWork的ID，那你肯定是个人或公司。那么，在大堂里安装一个登记系统，并要求会议系统发放名牌，不是更简单吗？
第一项要求根本就不需要Kafka：
目前WeWork有280个办公间。假设每个办公间平均每天有1000个（有这么多吗？）成员出入。那么每天会产生280,000个事务。我们假设每个人在早餐时间进来一次，在午餐时间出入各一次，然后离开。那么每个人会产生4个事务。那么每天大约是100万个事务，这点数据量存储在最常用的开源关系数据库Postgres中就可以了。保守地说，Postgres每秒可以提供10,000次写入（如果设置得当，其写入次数会更高）。每天100万个事件，也就是每秒11次。根本就不是问题。
至于第二项要求，受预订会议室人数的影响，产生的数据量可能更高，但你不需要实时传输数据。你完全可以等到一天结束时批量处理或收集，这同样可以利用司空见惯的关系数据库。
与大型Postgres（或者是BigQuery，或选择其他关系数据库连接到接收JSON传感器数据的Web服务）相比，Kafka的日常开销要高出很多，因为分布式系统非常非常复杂，比传统的系统复杂得多。
Kafka是一个非常优秀的强大的工具，但各个公司在采用该软件时，需要三思而后行。杀鸡焉用牛刀，WeWork用Kafka来记录开放办公间的气压，实属大材小用。
虽然很多时候我们都不需要Kafka，但开发人员很喜欢推荐这个工具，因为他们可以借机积攒经验和谈资。开发人员喜欢用最尖端的技术来完成工作，有时甚至他们自己都没意识到这一点。
过度架构真实存在。 Nemil在一篇文章中说：
在职业生涯的早期，你遇到的大量设计不良的软件系统都要归咎于那些传播错误观点的工程媒体。
在大学和培训班中，你对工程的了解主要来自工程媒体，例如 Hacker News、聚会、会议、Free Code Camp和Hacker Noon等。这些网站广泛讨论的技术（比如微服务、前端框架或区块链）自然会现在你的技术栈中，虽然不是很必要。
使用这些技术栈会导致各个公司承担不必要的债务，导致他们不得不在风险投资周期中寻求更多的资金，无法迈向精益或从别人的资金中解脱出来。
这种不幸的趋势只会持续下去，我们唯一能做的就是公之于众。
原文：https://vicki.substack .com /p/you-dont-need-kafka
【END】