‘壹’ 数据实时分析系统的概要设计文档怎么写
软件文档中概要设计也称“总体设计”，是开发人员在明确用户需求（要什么）后对系统的一个总体考虑（明确系统目标、设计原则，初步考虑数据库设计和功能设计），国家关于这方面有相关标准（概要设计说明书（GB8567-88））。 在具体实践中可以按下列提纲撰写内容： 1．引言 1.1编写目的 [说明编写这份概要设计说明书的目的，指出预期的读者。] 1.2背景 a.[待开发软件系统的名称；] b.[列出本项目的任务提出者、开发者、用户。] 1.3定义 [列出本文件中用到的专门术语的定义和外文首字母组词的原词组。] 1.4参考资料 [列出有关的参考资料。] 2．总体设计 2.1需求规定 [说明对本系统的主要的输入输出项目、处理的功能性能要求。包括] 2.1.1系统功能 2.1.2系统性能 2.1.2.1精度 2.1.2.2时间特性要求 2.1.2.3可靠性 2.1.2.4灵活性 2.1.3输入输出要求 2.1.4数据管理能力要求 2.1.5故障处理要求 2.1.6其他专门要求 2.2运行环境 [简要地说明对本系统的运行环境的规定。] 2.2.1设备 [列出运行该软件所需要的硬设备。说明其中的新型设备及其专门功能。] 2.2.2支持软件 [列出支持软件，包括要用到的操作系统、编译（或汇编）程序、测试支持软件等。] 2.2.3接口 [说明该系统同其他系统之间的接口、数据通信协议等] 2.2.4控制 [说明控制该系统的运行的方法和控制信号，并说明这些控制信号的来源。] 2.3基本设计概念和处理流程 [说明本系统的基本设计概念和处理流程，尽量使用图表的形式。] 2.4结构 [给出系统结构总体框图（包括软件、硬件结构框图），说明本系统的各模块的划分，扼要说明每个系统模块的标识符和功能，分层次地给出各模块之间的控制与被控制关系。] 2.5功能需求与系统模块的关系 [本条用一张矩阵图说明各项功能需求的实现同各模块的分配关系。] 2.6人工处理过程 [说明在本系统的工作过程中不得不包含的人工处理过程。] 2.7尚未解决的问题 [说明在概要设计过程中尚未解决而设计者认为在系统完成之前必须解决的各个问题。] 3．接口设计 3.1用户接口 [说明将向用户提供的命令和它们的语法结构，以及相应的回答信息。] [说明提供给用户操作的硬件控制面板的定义。] 3.2外部接口 [说明本系统同外界的所有接口的安排包括软件与硬件之间的接口、本系统与各支持系统之间的接口关系。] 3.3内部接口 [说明本系统之内的各个系统元素之间的接口的安排。] 4．运行设计 4.1运行模块组合 [说明对系统施加不同的外界运行控制时所引起的各种不同的运行模块组合，说明每种运行所历经的内部模块的支持软件。] 4.2运行控制 [说明每一种外界的运行控制的方式方法和操作步骤。] 4.3运行时间 [说明每种运行模块组合将占用各种资源的时间。] 5．系统数据结构设计 [不涉及软件设计可不包含] 5.1逻辑结构设计要点 [给出本系统内软件所使用的每个数据结构的名称、标识符以及它们之中每个数据项、记录、文卷和系的标识、定义、长度及它们之间的层次的或表格的相互关系。] 5.2物理结构设计要点 [给出本系统内软件所使用的每个数据结构中的每个数据项的存储要求，访问方法、存取单位、存取的物理关系、设计考虑和保密条件。] 5.3数据结构与程序的关系 [说明各个数据结构与访问这些数据结构的各个程序之间的对应关系。] 6．系统出错处理设计 6.1出错信息 [用一览表的方式说明每种可能的出错或故障情况出现时，系统输出信息的形式、含意及处理方法。] 6.2补救措施 [说明故障出现后可能采取的变通措施。] 6.3系统维护设计 [说明为了系统维护的方便而在程序内部设计中作出的安排，包括在程序中专门安排用于系统的检查与维护的检测点和专用模块。]
‘贰’ 设计一个大数据实时分析平台要怎么做呢
PetaBase-V作为Vertica基于亿信分析产品的定制版，提供面向大数据的实时分析服务，采用无共享大规模并行架构（MPP），可线性扩展集群的计算能力和数据处理容量，基于列式数据库技术，使 PetaBase-V 拥有高性能、高扩展性、高压缩率、高健壮性等特点，可完美解决报表计算慢和明细数据查询等性能问题。
大数据实时分析平台（以下简称PB-S），旨在提供数据端到端实时处理能力（毫秒级／秒级／分钟级延迟），可以对接多数据源进行实时数据抽取，可以为多数据应用场景提供实时数据消费。作为现代数仓的一部分，PB-S可以支持实时化、虚拟化、平民化、协作化等能力，让实时数据应用开发门槛更低、迭代更快、质量更好、运行更稳、运维更简、能力更强。
整体设计思想
我们针对用户需求的四个层面进行了统一化抽象：
统一数据采集平台
统一流式处理平台
统一计算服务平台
统一数据可视化平台
同时，也对存储层保持了开放的原则，意味着用户可以选择不同的存储层以满足具体项目的需要，而又不破坏整体架构设计，用户甚至可以在Pipeline中同时选择多个异构存储提供支持。下面分别对四个抽象层进行解读。
1)统一数据采集平台
统一数据采集平台，既可以支持不同数据源的全量抽取，也可以支持增强抽取。其中对于业务数据库的增量抽取会选择读取数据库日志，以减少对业务库的读取压力。平台还可以对抽取的数据进行统一处理，然后以统一格式发布到数据总线上。这里我们选择一种自定义的标准化统一消息格式UMS（Unified Message Schema）做为 统一数据采集平台和统一流式处理平台之间的数据层面协议。
UMS自带Namespace信息和Schema信息，这是一种自定位自解释消息协议格式，这样做的好处是：
整个架构无需依赖外部元数据管理平台；
消息和物理媒介解耦（这里物理媒介指如Kafka的Topic, Spark Streaming的Stream等），因此可以通过物理媒介支持多消息流并行，和消息流的自由漂移。
平台也支持多租户体系，和配置化简单处理清洗能力。
2)统一流式处理平台
统一流式处理平台，会消费来自数据总线上的消息，可以支持UMS协议消息，也可以支持普通JSON格式消息。同时，平台还支持以下能力：
支持可视化／配置化／sql化方式降低流式逻辑开发／部署／管理门槛
支持配置化方式幂等落入多个异构目标库以确保数据的最终一致性
支持多租户体系，做到项目级的计算资源／表资源／用户资源等隔离
3)统一计算服务平台
统一计算服务平台，是一种数据虚拟化／数据联邦的实现。平台对内支持多异构数据源的下推计算和拉取混算，也支持对外的统一服务接口（JDBC／REST）和统一查询语言（SQL）。由于平台可以统一收口服务，因此可以基于平台打造统一元数据管理／数据质量管理／数据安全审计／数据安全策略等模块。平台也支持多租户体系。
4)统一数据可视化平台
统一数据可视化平台，加上多租户和完善的用户体系／权限体系，可以支持跨部门数据从业人员的分工协作能力，让用户在可视化环境下，通过紧密合作的方式，更能发挥各自所长来完成数据平台最后十公里的应用。
以上是基于整体模块架构之上，进行了统一抽象设计，并开放存储选项以提高灵活性和需求适配性。这样的RTDP平台设计，体现了现代数仓的实时化／虚拟化／平民化／协作化等能力，并且覆盖了端到端的OLPP数据流转链路。
具体问题和解决思路
下面我们会基于PB-S的整体架构设计，分别从不同维度讨论这个设计需要面对的问题考量和解决思路。
功能考量主要讨论这样一个问题：实时Pipeline能否处理所有ETL复杂逻辑？
我们知道，对于Storm／Flink这样的流式计算引擎，是按每条处理的；对于Spark Streaming流式计算引擎，按每个mini-batch处理；而对于离线跑批任务来说，是按每天数据进行处理的。因此处理范围是数据的一个维度（范围维度）。
另外，流式处理面向的是增量数据，如果数据源来自关系型数据库，那么增量数据往往指的是增量变更数据（增删改，revision）；相对的批量处理面向的则是快照数据（snapshot）。因此展现形式是数据的另一个维度（变更维度）。
单条数据的变更维度，是可以投射收敛成单条快照的，因此变更维度可以收敛成范围维度。所以流式处理和批量处理的本质区别在于，面对的数据范围维度的不同，流式处理单位为“有限范围”，批量处理单位为“全表范围”。“全表范围”数据是可以支持各种SQL算子的，而“有限范围”数据只能支持部分SQL算子。
复杂的ETL并不是单一算子，经常会是由多个算子组合而成，由上可以看出单纯的流式处理并不能很好的支持所有ETL复杂逻辑。那么如何在实时Pipeline中支持更多复杂的ETL算子，并且保持时效性？这就需要“有限范围”和“全表范围”处理的相互转换能力。
设想一下：流式处理平台可以支持流上适合的处理，然后实时落不同的异构库，计算服务平台可以定时批量混算多源异构库（时间设定可以是每隔几分钟或更短），并将每批计算结果发送到数据总线上继续流转，这样流式处理平台和计算服务平台就形成了计算闭环，各自做擅长的算子处理，数据在不同频率触发流转过程中进行各种算子转换，这样的架构模式理论上即可支持所有ETL复杂逻辑。
2)质量考量
上面的介绍也引出了两个主流实时数据处理架构：Lambda架构和Kappa架构，具体两个架构的介绍网上有很多资料，这里不再赘述。Lambda架构和Kappa架构各有其优劣势，但都支持数据的最终一致性，从某种程度上确保了数据质量，如何在Lambda架构和Kappa架构中取长补短，形成某种融合架构，这个话题会在其他文章中详细探讨。
当然数据质量也是个非常大的话题，只支持重跑和回灌并不能完全解决所有数据质量问题，只是从技术架构层面给出了补数据的工程方案。关于大数据数据质量问题，我们也会起一个新的话题讨论。
3)稳定考量
这个话题涉及但不限于以下几点，这里简单给出应对的思路：
高可用HA
整个实时Pipeline链路都应该选取高可用组件，确保理论上整体高可用；在数据关键链路上支持数据备份和重演机制；在业务关键链路上支持双跑融合机制
SLA保障
在确保集群和实时Pipeline高可用的前提下，支持动态扩容和数据处理流程自动漂移
弹性反脆弱
? 基于规则和算法的资源弹性伸缩
? 支持事件触发动作引擎的失效处理
监控预警
集群设施层面，物理管道层面，数据逻辑层面的多方面监控预警能力
自动运维
能够捕捉并存档缺失数据和处理异常，并具备定期自动重试机制修复问题数据
上游元数据变更抗性
?上游业务库要求兼容性元数据变更
? 实时Pipeline处理显式字段
4)成本考量
这个话题涉及但不限于以下几点，这里简单给出应对的思路：
人力成本
通过支持数据应用平民化降低人才人力成本
资源成本
通过支持动态资源利用降低静态资源占用造成的资源浪费
运维成本
通过支持自动运维／高可用／弹性反脆弱等机制降低运维成本
试错成本
通过支持敏捷开发／快速迭代降低试错成本
5)敏捷考量
敏捷大数据是一整套理论体系和方法学，在前文已有所描述，从数据使用角度来看，敏捷考量意味着：配置化，SQL化，平民化。
6)管理考量
数据管理也是一个非常大的话题，这里我们会重点关注两个方面：元数据管理和数据安全管理。如果在现代数仓多数据存储选型的环境下统一管理元数据和数据安全，是一个非常有挑战的话题，我们会在实时Pipeline上各个环节平台分别考虑这两个方面问题并给出内置支持，同时也可以支持对接外部统一的元数据管理平台和统一数据安全策略。
以上是我们探讨的大数据实时分析平台PB-S的设计方案。
‘叁’ 什么是IH实时数据库
iH实时数据库是由美国GE公司开发，具有分
布式的数据采集，C／S结构，可在多种环境下运行，高
效的数据存储方式，具有丰富的客户端数据处理和
分析工具，可扩展的数据协同应用，并且提供ODBC／
JDBC／OLE DB接口以及工业标准规范OPC 和
DDE．提供图形化的应用开发界面，支持WEB访问
方案．提供报表开发工具等优异特性，所以成为企业
‘肆’ 大数据量的数据库表设计技巧
大数据量的数据库表设计技巧
即使是一个非常简单的数据库应用系统，它的数据量增加到一定程度也会引起发一系列问题。如果在设计数据库的时候，就提前考虑这些问题，可以避免由于系统反映迟缓而引起的用户抱怨。
技巧1：尽量不要使用代码。比如性别这个字段常见的做法：1代表男，0代表女。这样的做法意味着每一次查询都需要关联代码表。
技巧2：历史数据中所有字段与业务表不要有依赖关系。如保存打印发票的时候，不要只保留单位代码，而应当把单位名称也保存下来。
技巧3：使用中间表。比如职工工资，可以把每一位职工工资的合计保存在一张中间表中，当职工某一工资项目发生变化的时候，同时对中间表的数据做相应更新。
技巧4：使用统计表。需要经常使用的统计数据，生成之后可以用专门的表来保存。
技巧5：分批保存历史数据。历史数据可以分段保存，比如2003年的历史数据保存在 《2003表名》中，而2004年的历史数据则保存在《2004表名》中。
技巧6：把不常用的数据从业务表中移到历史表。比如职工档案表，当某一职工离开公司以后，应该把他的职工档案表中的信息移动到《离职职工档案表》中。
1、经常查询的和不常用的分开几个表，也就是横向切分
2、把不同类型的分成几个表，纵向切分
3、常用联接的建索引
4、服务器放几个硬盘，把数据、日志、索引分盘存放，这样可以提高IO吞吐率
5、用优化器，优化你的查询
6、考虑冗余，这样可以减少连接
7、可以考虑建立统计表，就是实时生成总计表，这样可以避免每次查询都统计一次
8、用极量数据测试一下数据
速度，影响它的因数太多了，且数据量越大越明显。
1、存储将硬盘分成NTFS格式，NTFS比FAT32快，并看你的数据文件大小，1G以上你可以采用多数据库文件，这样可以将存取负载分散到多个物理硬盘或磁盘阵列上。
2、tempdbtempdb也应该被单独的物理硬盘或磁盘阵列上,建议放在RAID0上，这样它的性能最高,不要对它设置最大值让它自动增长
3、日志文件日志文件也应该和数据文件分开在不同的理硬盘或磁盘阵列上，这样也可以提高硬盘I/O性能。
4、分区视图就是将你的数据水平分割在集群服务器上，它适合大规模OLTP,SQL群集上，如果你数据库不是访问特别大不建议使用。
5、簇索引你的表一定有个簇索引，在使用簇索引查询的时候，区块查询是最快的，如用between，应为他是物理连续的，你应该尽量减少对它的updaet,应为这可以使它物理不连续。
6、非簇索引非簇索引与物理顺序无关，设计它时必须有高度的可选择性，可以提高查询速度，但对表update的时候这些非簇索引会影响速度，且占用空间大，如果你愿意用空间和修改时间换取速度可以考虑。
7、索引视图如果在视图上建立索引,那视图的结果集就会被存储起来，对与特定的查询性能可以提高很多，但同样对update语句时它也会严重减低性能，一般用在数据相对稳定的数据仓库中。
8、维护索引你在将索引建好后，定期维护是很重要的，用dbccshowcontig来观察页密度、扫描密度等等，及时用dbccindexdefrag来整理表或视图的索引,在必要的时候用dbccdbreindex来重建索引可以受到良好的效果。
不论你是用几个表1、2、3点都可以提高一定的性能，5、6、8点你是必须做的，至于4、7点看你的需求，我个人是不建议的。
‘伍’ 实时数据库开发需要掌握哪些知识啊
首先.net后台分两方面
一、.NET软件：它是用来设计软件界面，功能编程软件，需要会c#或vbscript,最好还要会点网页知识如css样式
二、iis网站环境配置
三、后台数据库，现在主流的有SQL.Orcal,DB2,通常SQL是常用的
‘陆’ 关系数据库、内存数据库和实时数据库 之间的区别是
三者的关注不同关系数据库的数据内容按照关系表的方式存储在硬盘上 等需求使用的将数据调入内存。内存数据库数据常驻内存中，因而反响速度比较快 但是由于内存是有限的 所以内存数据库在设计的时分应该设计的玲珑灵敏 存储的数据量比关系型数据库要小的很多实时数据库设计的目的是实时更新数据库中的数据，经过传感器等设备来保障数据库中的数据的最新的
‘柒’ 感知数据库与关系数据库的区别
感知数据库与关系数据库的区别在于：时间约束、事务调度、数据存储、数据在线压缩四个方面。实时数据库是其数据和事务都有明确的时间限制的数据库。在实时系统中，具有时间约束的数据主要是来自于外部的动态数据，以及由这些数据求导出的新的数据。数据库中的数据必须如实反映现场设备的运行情况。实时数据库系统的正确性不仅依赖于事务的逻辑结果，而且依赖于该逻辑结果所产生的时间。事务调度既要考虑事务的执行时间，也要考虑事务的截止期、紧迫程度等因素。实时数据库主要承担系统所有实时数据的存储和管理，为相关的功能提供快速、正确的实时信息。为了达到实时性，实时数据库在系统运行过程中，应常驻内存，以保证读取速度。对于实时性要求不高的数据可存放在外存储空间。因此，在实时数据库设计时，要妥善处理时间与存储空间的矛盾，以保证系统的实时性。
‘捌’ 如何实现sql server实时备份数据库
可以利用数据库复制技术来实现数据同步更新 。SQL复制的基本元素包括出版服务器、订阅服务器、分发服务器、出版物和文章。 SQL SERVER 主要采用出版物、订阅的方式来处理复制。源数据所在的服务器是出版服务器，负责发表数据。出版服务器把要发表的数据的所有改变情况的拷贝复制到分发服务器，分发服务器包含有一个分发数据库，可接收数据的所有改变，并保存这些改变，再把这些改变分发给订阅服务器 。
主要有以下几个步骤：
1、配置出版服务器 ：
(1)选中指定[服务器]节点 ；
(2)从[工具]下拉菜单的[复制]子菜单中选择[发布、订阅服务器和分发]命令 ；
(3)系统弹出一个对话框点[下一步]然后看着提示一直操作到完成；
(4)当完成了出版服务器的设置以后系统会为该服务器的树形结构中添加一个复制监视器。同时也生成一个分发数据库(distribution) 。
2、创建出版物 ：
(1)选中指定的服务器；
(2)从[工具]菜单的[复制]子菜单中选择[创建和管理发布]命令；
(3)在弹出的对话框中选择要创建出版物的数据库，单击[创建发布] ；
(4)在[创建发布向导]的提示对话框中单击[下一步]系统就会弹出一个对话框，选择合适的复制类型；
(5)单击[下一步]系统要求指定可以订阅该发布的数据库服务器类型，SQLSERVER允许在不同的数据库如 ORACLE或ACCESS之间进行数据复制；
(6)单击[下一步]系统就弹出一个定义文章的对话框也就是选择要出版的表 ；
(7)点击[下一步]直到操作完成。
3、设计订阅 ：
(1)选中指定的订阅服务器；
(2)从[工具]下拉菜单中选择[复制]子菜单的[请求订阅] ；
(3)按照单击[下一步]操作直到系统会提示检查SQL SERVER代理服务的运行状态，执行复制操作的前提条件是SQL SERVER代理服务必须已经启动；
(4)单击[完成]，即可实现实时备份数据库。
‘玖’ 嵌入式实时数据库的数据模型
嵌入式实时数据库系统的关键是数据模型的确立，它决定了数据被访问和操作的方式，应用程序的性能和可靠性也大部分取决于此。目前嵌入式环境下的数据库系统多数采用了关系模型结构，这也是商用数据库系统的数据模型，该模型结构是利用二维关系表来实现数据存储，利用索引访问和查询数据，这种模型结构是建立在严格的数学基础上的，结构简单灵活，独立性好，但在嵌入式环境下的内存开销和数据冗余较大，用户必须对其进行优化，增加了开发数据库系统的难度；有些嵌入式数据库则采用了网状模型结构，该模型通过指针来确定数据间的显式连接关系，它比关系模型中利用冗余数据和索引文件要节约大量的存储空间，具有一定的数据独立性和共享特性，运行效率较高，而且由于它避免了索引操作，比关系型
数据库模式要节省存储空间，数据操作速度也更快。但是这种模型结构比较复杂，尤其当嵌入式系统规模增大时，其数据库的结构变得非常庞大，可能会影响到系统的实时性能。图3所示的是在相同数目的记录下，关系模型和网状模型的系统开销比较，从图中可以看出，网状模型因为避免了索引操作使得其开销要小于关系模型。但是在实际应用中，应当根据实时系统的综合性能选取数据库模型，通常可采用网状加关系或层次加关系的混合模型结构以弥补两种结构之间的缺陷，如CENTURA公司的嵌入式实时数据库RDM（Raima Database Management），它将网状和关系模型的优点结合起来，避免了不必要的索引开销，显着地减少系统存储空间、I/O操作和CPU周期，由于其快速而且可靠性高的特点，广泛应用于许多嵌入式产品中。
‘拾’ 有做过关于实时数据库系统毕业设计的吗是用的哪一种实时数据库呀能免费下载吗请指教。谢谢！
实时数据库系统毕业设计是用的实时数据库
要原创吗，我可为您操作.