A. 什么是数据一致性和完整性,如何保证
数据一致性通常指关联数据之间的逻辑关系是否正确和完整.而数据存储的一致性模型则可以认为是存储系统和数据使用者之间的一种约定.如果使用者遵循这种约定,则可以得到系统所承诺的访问结果常用的一致性模型有:
a、严格一致性(linearizability, strict/atomic Consistency):读出的数据始终为最近写入的数据.这种一致性只有全局时钟存在时才有可能,在分布式网络环境不可能实现.
b、顺序一致性(sequential consistency):所有使用者以同样的顺序看到对同一数据的操作,但是该顺序不一定是实时的.
c、因果一致性(causal consistency):只有存在因果关系的写操作才要求所有使用者以相同的次序看到,对于无因果关系的写入则并行进行,无次序保证.因果一致性可以看做对顺序一致性性能的一种优化,但在实现时必须建立与维护因果依赖图,是相当困难的.
d、管道一致性(PRAM/FIFO consistency):在因果一致性模型上的进一步弱化,要求由某一个使用者完成的写操作可以被其他所有的使用者按照顺序的感知到,而从不同使用者中来的写操作则无需保证顺序,就像一个一个的管道一样. 相对来说比较容易实现.
e、弱一致性(weak consistency):只要求对共享数据结构的访问保证顺序一致性.对于同步变量的操作具有顺序一致性,是全局可见的,且只有当没有写操作等待处理时才可进行,以保证对于临界区域的访问顺序进行.在同步时点,所有使用者可以看到相同的数据.
f、 释放一致性(release consistency):弱一致性无法区分使用者是要进入临界区还是要出临界区, 释放一致性使用两个不同的操作语句进行了区分.需要写入时使用者acquire该对象,写完后release,acquire-release之间形成了一个临界区,提供 释放一致性也就意味着当release操作发生后,所有使用者应该可以看到该操作.
g、最终一致性(eventual consistency):当没有新更新的情况下,更新最终会通过网络传播到所有副本点,所有副本点最终会一致,也就是说使用者在最终某个时间点前的中间过程中无法保证看到的是新写入的数据.可以采用最终一致性模型有一个关键要求:读出陈旧数据是可以接受的.
h、delta consistency:系统会在delta时间内达到一致.这段时间内会存在一个不一致的窗口,该窗口可能是因为log shipping的过程导致.这是书上的原话.我也搞不很清楚.数据库完整性(Database Integrity)是指数据库中数据的正确性和相容性.数据库完整性由各种各样的完整性约束来保证,因此可以说数据库完整性设计就是数据库完整性约束的设计.包括实体完整性.域完整性.参照完整性.用户定义完整性.可以主键.check约束.外键来一一实现.这个使用较多.
B. 在多级结构的存储器系统中,何谓信息的一致性原则和包含性原则
一致性原则:同一个信息会同时存放在几个级别的存储器中,此时,这一信息在几个级别 的存在.
C. 作为一个存储元必须满足哪些条件
1,动态性
当数据对象从数据库中以任何给定顺序的命令,如插入或删除时,存取方法应该可以持续地保持其变迁轨迹。
2.第二/第三级的存储管理
尽管主存在不断增长,但在主存中不可能存放整个数据库。因此,存取方法需具备自动访问第二/三级存储设备的能力。
3。支持多种运算
存取方法应不支持有损其他运算(如删除)的运算(如查询)。
4.输入数据的独立性
当输入数据有偏差时,存取方法应保持它们的效率。这一点对在不同维上分布不同的数据是非常重要的。
5简单性
在特殊情况下,错综复杂的访问方法经常会出错,因此在大规模的应用中不要求有足够的鲁棒性。
6.扩展性
存取方法应适应未来数据库的增长。
7.时间效率
空间查找应当是快速的。一个主要的设计目标是需要满足一维B一树的性能特征:首先,忽略数据的插入顺序,对于所有可能的输入数据的分布,存取方法应当在最坏情况下的查找性能保证是对数级的。其次,最坏条件的性能应当对所有d维属性的任意组合都能保持一致。
8空间效率
一个索引占用的空间应比索引指向的存储数据所占用的空间要小,因此可保证存储数据的有效应用。
9.同步性和恢复性
在现代数据库中,多个用户同时在对数据库更新、恢复及插入数据,存取方法应提供鲁棒性的技术对这些处理予以支持,这时高效率就处于次要地位。
10 最小的影响
将访问方法集成到一个数据库系统中,对系统中的现有功能影响最小。
D. 大数据对存储平台有哪些特殊要求
伴随着安防大数据时代的来临,安防行业原有的存储技术已经无法满足行业发展新需求,尤其是公共安全视频监控建设联网应用工作对数据联网共享提出了更高的要求,同时以“实战”为根本的公安业务中,大数据深度挖掘极度依赖数据存储系统对非结构化数据分析再处理。云存储技术的出现,在安防行业大数据发展时代无异于革命性的应用,不断地解决了安防存储难题,同时也为视频监控的深度应用与发展提供强大的驱动力。
当今世界,每个人的一言一行都在产生着数据,并且被记录着。各行各业爆炸式增长的数据,正推动人类进入大数据时代。根据相关统计,2017年全球的数据总量为21.6ZB,目前全球数据的增长速度在每年40%左右,预计到2020年全球的数据总量将达到40ZB。数据增长在安防行业表现得尤为明显,在近两年“平安城市”、“ 智能交通”、“ 雪亮工程”等不断开展和深入的过程中,以视频监控为核心代表的行业发展正朝着超高清、智能化和融合应用的方向迈进,系统性工程中现有视频监控系统数据采集量正在呈线性增长。海量数据的出现对高效、及时的存储和处理的要求不断提升。
从目前行业来看,大数据时代的到来,系统性工程中视频监控系统对存储主要有以下几方面的需求:
一是海量数据及时高效存储,根据现行的技防法规及标准,一般应用领域视频监控系统数据采集是7x24小时不间断的,系统采集的音视频信息资料留存时限不得少于30日,针对案(事)件信息以及一些特殊应用领域视音频资料存放时间更长,甚至长期保留,数据量随时间增加呈线性增长。
二是监控数据存储系统需要具备可扩展性,不但满足海量数据持续增加,还需要满足采集更高分辨率或更多采集点的数据需要。
三是对存储系统的性能要求高。与其他领域不同,视频监控主要是视频码流的存储,在多路并发存储的情况下,对带宽、数据能力、缓存等都有很高的要求,需要有专门针对视频性能的优化处理。
四是大数据应用需要数据存储的集中管理分析。但现实情况却恰恰相反,一方面是系统性工程在分期建设的过程中,采购的设备并不能保证为同一品牌,实际项目中多种品牌、多种型号比比皆是,给视频监控的存储集中管理带来很大难度。同时,在一些大型的项目中,例如特大城市“天网工程”,高速公路中道路监控所跨区域较大,集中存储较为困难。另外,受网络带宽及老旧设备影响,系统难以形成统一存储、统一监控的中心体系架构,导致数据在应用中调取不及时。
总体来看,随着系统性安防项目的深入开展以及物联网建设初露峥嵘,大规模联网监控的建设和高清监控的逐步普及,海量视频数据已经呈现井喷式地增长,并冲击着传统的存储系统,遗憾的是原有的存储系统无法满足大数据时代提出的新要求,亟需新的存储技术支撑现有业务模式,同时为人工智能技术在安防领域施展拳脚拓展新的空间。
E. 网络存储系统中主要的功能要求和性能指标有哪些
存储系统不是简单的存储设备,如磁盘;也不是人们常见的磁盘阵列。简单的说,网络存储系统是由多个网络智能化的磁盘阵列和存储控制管理系统构成的。如果我们用一个比喻来形容存储系统的话,假设我们把磁盘作为PC,磁盘阵列则相当于我们计算角度上的服务器,我们的存储系统就是高性能的计算机。
其主要功能要求和性能指标有:
核心内容是计算能力,其次是数据传输。光纤通道和SSA等专门为存储技术开发的协议;SAN、NAS及ESN等各种存储体系结构;iSCSI、iFCP、iSNS等新技术,以及对数据集中、密集数据存取、海量数据、实时数据分发、数据整合、数据管理、数据交换、数据迁移、数据重用、数据分发、数据安全性、数据可管理性的要求。
F. 大数据时代,数据的存储与管理有哪些要求
数据时代的到来,数据的存储有以下主要要求:
首先,海量数据被及时有效地存储。根据现行技术和预防性法规和标准,系统采集的信息的保存时间不少于30天。数据量随时间的增加而线性增加。
其次,数据存储系统需要具有可扩展性,不仅要满足海量数据的不断增长,还要满足获取更高分辨率或更多采集点的数据需求。
第三,存储系统的性能要求很高。在多通道并发存储的情况下,它对带宽,数据容量,高速缓存等有很高的要求,并且需要针对视频性能进行优化。
第四,大数据应用需要对数据存储进行集中管理分析。
G. 实现虚拟存储管理应该具备的基本条件是什么
摘要 基本条件是要有cache存储器、主存和辅存,这也是构成虚拟存储器的重要部分,cache和主存构成了系统的内存,而主存和辅存依靠辅助软硬件的支持构成了虚拟存储器。
H. 存储器层次结构中不同存储器的容量速度应满足什么要求
储存其他的层次结构中它的不同组织间的容量,它的速度,我们还是满足很多条件,所以我们大家应该积极地查看的。
I. 构造虚拟储存器必须具备哪些条件
cache存储器、主存和辅存是构成虚拟存储器的重要部分,cache和主存构成了系统的内存,而主存和辅存依靠辅助软硬件的支持构成了虚拟存储器。
一、异构体系
从虚存的概念可以看出,主存-辅存的访问机制与cache-主存的访问机制是类似的。这是由cache存储器、主存和辅存构成的三级存储体系中的两个层次。cache和主存之间以及主存和辅存之间分别有辅助硬件和辅助软硬件负责地址变换与管理,以便各级存储器能够组成有机的三级存储体系。cache和主存构成了系统的内存,而主存和辅存依靠辅助软硬件的支持构成了虚拟存储器。
在三级存储体系中,cache-主存和主存-辅存这两个存储层次有许多相同点:
(1)出发点相同:二者都是为了提高存储系统的性能价格比而构造的分层存储体系,都力图使存储系统的性能接近高速存储器,而价格和容量接近低速存储器。
(2)原理相同:都是利用了程序运行时的局部性原理把最近常用的信息块从相对慢速而大容量的存储器调入相对高速而小容量的存储器。
但cache-主存和主存-辅存这两个存储层次也有许多不同之处:
(1)侧重点不同:cache主要解决主存与CPU的速度差异问题;而就性能价格比的提高而言,虚存主要是解决存储容量问题,另外还包括存储管理、主存分配和存储保护等方面。
(2)数据通路不同:CPU与cache和主存之间均有直接访问通路,cache不命中时可直接访问主存;而虚存所依赖的辅存与CPU之间不存在直接的数据通路,当主存不命中时只能通过调页解决,CPU最终还是要访问主存。
(3)透明性不同:cache的管理完全由硬件完成,对系统程序员和应用程序员均透明;而虚存管理由软件(操作系统)和硬件共同完成,由于软件的介入,虚存对实现存储管理的系统程序员不透明,而只对应用程序员透明(段式和段页式管理对应用程序员"半透明")。
(4)未命中时的损失不同:由于主存的存取时间是cache的存取时间的5~10倍,而主存的存取速度通常比辅存的存取速度快上千倍,故主存未命中时系统的性能损失要远大于cache未命中时的损失。
二、关键问题
(1)调度问题:决定哪些程序和数据应被调入主存。
(2)地址映射问题:在访问主存时把虚地址变为主存物理地址(这一过程称为内地址变换);在访问辅存时把虚地址变成辅存的物理地址(这一过程称为外地址变换),以便换页。此外还要解决主存分配、存储保护与程序再定位等问题。
(3)替换问题:决定哪些程序和数据应被调出主存。
(4)更新问题:确保主存与辅存的一致性。
在操作系统的控制下,硬件和系统软件为用户解决了上述问题,从而使应用程序的编程大大简化。
三、工作原理
虚拟存储器是由硬件和操作系统自动实现存储信息调度和管理的。它的工作过程包括6个步骤:
①中央处理器访问主存的逻辑地址分解成组号a和组内地址b,并对组号a进行地址变换,即将逻辑组号a作为索引,查地址变换表,以确定该组信息是否存放在主存内。
②如该组号已在主存内,则转而执行④;如果该组号不在主存内,则检查主存中是否有空闲区,如果没有,便将某个暂时不用的组调出送往辅存,以便将这组信息调入主存。
③从辅存读出所要的组,并送到主存空闲区,然后将那个空闲的物理组号a和逻辑组号a登录在地址变换表中。
④从地址变换表读出与逻辑组号a对应的物理组号a。
⑤从物理组号a和组内字节地址b得到物理地址。
⑥根据物理地址从主存中存取必要的信息。