当前位置:首页 » 编程语言 » 数据仓库sql代码规范
扩展阅读
webinf下怎么引入js 2023-08-31 21:54:13
堡垒机怎么打开web 2023-08-31 21:54:11

数据仓库sql代码规范

发布时间: 2022-08-31 06:50:24

⑴ 谁能给我一个数据仓库和数据挖掘案例的详细设计文档

最好可以问你们老师,或者去相应的网站上去查找。如果你离毕业还早的话,可以去考数据库系统工程师。相应的教材和资料都可以买到,而且是国家承认的。不过这只是个证书而已,关键的以后还是要实践。通过准备考试,可以打下扎实的基础,为以后做准备。
另外,数据库其实也比较枯燥,如果你有决心的话,还是不错的工作。关键的在学校还是要先打好基础。
有很多这样的网站,你可以上网去搜索。如果有相应的辅导班,也可以考虑。

数据库系统工程师级考试大纲
一、考试说明
1.考试要求
(1)掌握计算机体系结构以及各主要部件的性能和基本工作原理;
(2)掌握操作系统、程序设计语言的基础知识,了解编译程序的基本知识;
(3)熟练掌握常用数据结构和常用算法;
(4)熟悉软件工程和软件开发项目管理的基础知识;
(5)熟悉计算机网络的原理和技术;
(6)掌握数据库原理及基本理论;
(7)掌握常用的大型数据库管理系统的应用技术;
(8)掌握数据库应用系统的设计方法和开发过程;
(9)熟悉数据库系统的管理和维护方法,了解相关的安全技术;
(10)了解数据库发展趋势与新技术;
(11)掌握常用信息技术标准、安全性,以及有关法律、法规的基本知识;
(12)了解信息化、计算机应用的基础知识;
(13)正确阅读和理解计算机领域的英文资料。
2. 通过本考试的合格人员能参与应用信息系统的规划、设计、构建、运行和管理,能按照用户需求,设计、建立、运行、维护高质量的数据库和数据仓库;作为数据管理员管理信息系统中的数据资源,作为数据库管理员建立和维护核心数据库;担任数据库系统有关的技术支持,同时具备一定的网络结构设计及组网能力;具有工程师的实际工作能力和业务水平,能指导计算机技术与软件专业助理工程师(或技术员)工作。
3. 本考试设置的科目包括
(1)信息系统知识,考试时间为150分钟,笔试;
(2)数据库系统设计与管理,考试时间为150分钟,笔试。
二、考试范围
考试科目1:信息系统知识
1. 计算机系统知识
1.1 硬件知识
1.1.1 计算机体系结构和主要部件的基本工作原理
·CPU和存储器的组成、性能、基本工作原理
·常用I/O设备、通信设备的性能,以及基本工作原理
·I/O接口的功能、类型和特点
·CISC/RISC,流水线操作,多处理机,并行处理
1.1.2 存储系统
·虚拟存储器基本工作原理,多级存储体系
·RAID类型和特性
1.1.3 安全性、可靠性与系统性能评测基础知识
·诊断与容错
·系统可靠性分析评价
· 计算机系统性能评测方法
1.2 数据结构与算法
1.2.1 常用数据结构
·数组(静态数组、动态数组)
·线性表、链表(单向链表、双向链表、循环链表)
·栈和队列
·树(二叉树、查找树、平衡树、遍历树、堆)、图、集合的定义、存储和操作
·Hash(存储位置计算、碰撞处理)
1.2.2 常用算法
·排序算法、查找算法、数值计算、字符串处理、数据压缩算法、递归算法、图的相关算法
·算法与数据结构的关系,算法效率,算法设计,算法描述(流程图、伪代码、决策表),算法的复杂性
1.3 软件知识
1.3.1 操作系统知识
·操作系统的类型、特征、地位、内核(中断控制)、进程、线程概念
·处理机管理(状态转换、同步与互斥、信号灯、分时轮转、抢占、死锁)
·存储管理(主存保护、动态连接分配、分段、分页、虚存)
·设备管理(I/O控制、假脱机、磁盘调度)
·文件管理(文件目录、文件的结构和组织、存取方法、存取控制、恢复处理、共享和安全)
·作业管理(作业调度、作业控制语言(JCL)、多道程序设计)
·汉字处理,多媒体处理,人机界面
·网络操作系统和嵌入式操作系统基础知识
·操作系统的配置
1.3.2 程序设计语言和语言处理程序的知识
· 汇编、编译、解释系统的基础知识和基本工作原理
· 程序设计语言的基本成分:数据、运算、控制和传输,程序调用的实现机制
· 各类程序设计语言的主要特点和适用情况
1.4 计算机网络知识
·网络体系结构(网络拓扑、OSI/RM、基本的网络协议)
·传输介质,传输技术,传输方法,传输控制
·常用网络设备和各类通信设备
·Client/Server结构、Browser/Server结构、Browser/Web/Datebase结构
·LAN拓扑,存取控制,LAN的组网,LAN间连接,LAN-WAN连接
·因特网基础知识及应用
·网络软件
·网络管理
·网络性能分析
·网络有关的法律、法规
2. 数据库技术
2.1 数据库技术基础
2.1.1 数据库模型
·数据库系统的三级模式(概念模式、外模式、内模式),两级映像(概念模式/外模式、外模式/内模式)
·数据库模型:数据模型的组成要素,概念数据模型ER图(实体、属性、关系),逻辑数据模型(关系模型、层次模型、网络模型)
2.1.2 数据库管理系统的功能和特征
·主要功能(数据库定义、数据库操作、数据库控制、事务管理、用户视图)
·特征(确保数据独立性、数据库存取、同时执行过程、排它控制、故障恢复、安全性、完整性)
·RDB(关系数据库),OODB(面向对象数据库),ORDB(对象关系数据库),NDB(网状数据库)
·几种常用Web数据库的特点
2.1.3 数据库系统体系结构
· 集中式数据库系统
· Client/Server数据库系统
· 并行数据库系统
· 分布式数据库系统
· 对象关系数据库系统
2.2 数据操作
2.2.1 关系运算
·关系代数运算(并、交、差、笛卡儿积、选择、投影、连接、除)
·元组演算
·完整性约束
2.2.2 关系数据库标准语言(SQL)
·SQL的功能与特点
·用SQL进行数据定义(表、视图、索引、约束)
·用SQL进行数据操作(数据检索、数据插入/删除/更新、触发控制)
·安全性和授权
·程序中的API,嵌入SQL
2.3 数据库的控制功能
·数据库事务管理(ACID属性)
·数据库备份与恢复技术(UNDO、REDO)
·并发控制
2.4 数据库设计基础理论
2.4.1 关系数据库设计
·函数依赖
·规范化(第一范式、第二范式、第三范式、BC范式、第四范式、第五范式)
·模式分解及分解应遵循的原则
2.4.2 对象关系数据库设计
·嵌套关系、 复杂类型,继承与引用类型
·与复杂类型有关的查询
·SQL中的函数与过程
·对象关系
2.5 数据挖掘和数据仓库基础知识
·数据挖掘应用和分类
·关联规则、聚类
·数据仓库的成分
·数据仓库的模式
2.6 多媒体基本知识
2.6.1 多媒体技术基本概念
·多媒体系统基础知识
·常用多媒体文件格式
2.6.2 多媒体压缩编码技术
·多媒体压缩编码技术
·统计编码
·预测编码
·编码的国际标准
2.6.3多媒体技术应用
·简单图形的绘制,图像文件的处理方法
·音频和视频信息的应用
·多媒体应用开发过程
2.7 系统性能知识
·性能计算(响应时间、吞吐量、周转时间)
·性能指标和性能设计
·性能测试和性能评估
2.8 计算机应用基础知识
·信息管理、数据处理、辅助设计、科学计算,人工智能等基础知识
·远程通信服务及相关通信协议基础知识
3. 系统开发和运行维护知识
3.1 软件工程、软件过程改进和软件开发项目管理知识
·软件工程知识
·软件开发生命周期阶段目标和任务
·软件开发项目基础知识(时间管理、成本管理、质量管理、人力资源管理、风险管理等)及其常用管理工具
·主要的软件开发方法(生命周期法、原型法、面向对象法、CASE)
·软件开发工具与环境知识
·软件质量管理基础知识
·软件过程改进基础知识
·软件开发过程评估、软件能力成熟度评估的基础知识
3.2 系统分析基础知识
·系统分析的目的和任务
·结构化分析方法(数据流图(DFD)和数据字典(DD),实体关系图(ERD),描述加工处理的结构化语言)
·统一建模语言(UML)
·系统规格说明书
3.3 系统设计知识
·系统设计的目的和任务
·结构化设计方法和工具(系统流程图、HIPO图、控制流程图)
·系统总体结构设计(总体布局,设计原则,模块结构设计,数据存取设计,系统配置方案)
·系统详细设计(代码设计、数据库设计、用户界面设计、处理过程设计)
·系统设计说明书
3.4 系统实施知识
·系统实施的主要任务
·结构化程序设计、面向对象程序设计、可视化程序设计
·程序设计语言的选择、程序设计风格
·系统测试的目的、类型,系统测试方法(黑盒测试、白盒测试、灰盒测试)
·测试设计和管理(错误曲线、错误排除、收敛、注入故障、测试试用例设计、系统测试报告)
·系统转换基础知识
3.5 系统运行和维护知识
·系统运行管理知识
·系统维护知识
·系统评价知识
4. 安全性知识
·安全性基本概念(网络安全、操作系统安全、数据库安全)
·计算机病毒的防治,计算机犯罪的防范,容灾
·访问控制、防闯入、安全管理措施
·加密与解密机制
·风险分析、风险类型、抗风险措施和内部控制
5.标准化知识
·标准化意识,标准化的发展,标准出台过程
·国际标准、国家标准、行业标准、企业标准基本知识
·代码标准、文件格式标准、安全标准软件开发规范和文档标准
·标准化机构
6.信息化基础知识
·信息化意识
·全球信息化趋势、国家信息化战略、企业信息化战略和策略
·有关的法律、法规
·远程教育、电子商务、电子政务等基础知识
·企业信息资源管理基础知识
7.计算机专业英语
·掌握计算机技术的基本词汇
·能正确阅读和理解计算机领域的英文资料
考试科目2:数据库系统设计与管理
1.数据库设计
1.1理解系统需求说明
·了解用户需求、确定系统范围
·确定应用系统数据库的各种关系
·现有环境与新系统环境的关系
·新系统中的数据项、数据字典、数据流
1.2 系统开发的准备
·选择开发方法,准备开发环境,制订开发计划
1.3 设计系统功能
·选择系统机构,设计各子系统的功能和接口,设计安全性策略、需求和实现方法,制定详细的工作流和数据流
1.4 数据库设计
1.4.1 设计数据模型
·概念结构设计(设计ER模型)
·逻辑结构设计(转换成DBMS所能接收的数据模型)
·评审设计
1.4.2 物理结构设计
·设计方法与内容
·存取方法的选择
·评审设计与性能预测
1.4.3 数据库实施与维护
·数据加载与应用程序调试
·数据库试运行
·数据库运行与维护
1.4.4 数据库的保护
·数据库的备份与恢复
·数据库的安全性
·数据库的完整性
·数据库的并发控制
1.5 编写外部设计文档
·编写系统说明书(系统配置图、各子系统关系图、系统流程图,系统功能说明、输入输出规格说明、数据规格说明、用户手册框架)
·设计系统测试要求
1.6 设计评审
2. 数据库应用系统设计
2.1 设计数据库应用系统结构
·信息系统的架构(如Client/Server)与DBMS
·多用户数据库环境(文件服务器体系结构、Client/Server体系结构)
·大规模数据库和并行计算机体系结构(SMP、MPP)
·中间件角色和相关工具
·按构件分解,确定构件功能规格以及构件之间的接口
2.2 设计输入输出
·屏幕界面设计,设计输入输出检查方法和检查信息
·数据库交互与连接(掌握C程序设计语言,以及Java、Visual Basic、Visual C++、PowerBuilder、Delphi中任一种开发工具与数据库互连的方法(如何与数据库服务器沟通))
2.3 设计物理数据
·分析事务在数据库上运行的频率和性能要求,确定逻辑数据组织方式、存储介质,设计索引结构和处理方式
·将逻辑数据结构变换成物理数据结构,计算容量(空间代价),确定存取方法(时间效率)、系统配置(维护代价)并进行优化
2.4 设计安全体系
·明确安全等级
·数据库的登录方式
·数据库访问
·许可(对象许可、命令许可、授权许可的方法)
2.5 应用程序开发
2.5.1 应用程序开发
·选择应用程序开发平台
·系统实施顺序
·框架开发
·基础小组的程序开发
·源代码控制
·版本控制
2.5.2 模块划分(原则、方法、标准)
2.5.3 编写程序设计文档
·模块规格说明书(功能和接口说明、程序处理逻辑的描述、输入输出数据格式的描述)
·测试要求说明书(测试类型和目标,测试用例,测试方法)
2.5.4 程序设计评审
2.6 编写应用系统设计文档
·系统配置说明、构件划分图、构件间的接口、构件处理说明、屏幕设计文档、报表设计文档、程序设计文档、文件设计文档、数据库设计文档
2.7 设计评审
3. 数据库应用系统实施
3.1 整个系统的配置与管理
3.2 常用数据库管理系统的应用(SQL Server、Oracle、Sybase、DB2、Access或Visual Foxpro)
·创建数据库
·创建表、创建索引、创建视图、创建约束、创建UDDT(用户自定义类型)
·创建和管理触发器
·建立安全体系
3.3 数据库应用系统安装
·拟定系统安装计划(考虑费用、客户关系、雇员关系、后勤关系和风险等因素)
·拟定人力资源使用计划(组织机构安排的合理性)
·直接安装(安装新系统并使系统快速进入运行状态)
·并行安装(新旧系统并行运行一段时间)
·阶段安装(经过一系列的步骤和阶段使新系统各部分逐步投入运行)
3.4 数据库应用系统测试
·拟定测试目标、计划、方法与步骤
·数据加载,准备测试数据
·指导应用程序员进行模块测试进行验收
·准备系统集成测试环境测试工具
·写出数据库运行测试报告
3.5 培训与用户支持
4.数据库系统的运行和管理
4.1 数据库系统的运行计划
·运行策略的确定
·确定数据库系统报警对象和报警方式
·数据库系统的管理计划(执行,故障/恢复,安全性,完整性,用户培训和维护)
4.2 数据库系统的运行和维护
·新旧系统的转换
·收集和分析报警数据(执行报警、故障报警、安全报警)
·连续稳定的运行
·数据库维护(数据库重构、安全视图的评价和验证、文档维护)
·数据库系统的运行统计(收集、分析、提出改进措施)
·关于运行标准和标准改进一致性的建议
·数据库系统的审计
4.3 数据库管理
·数据字典和数据仓库的管理
·数据完整性维护和管理(实体完整性、参照完整性)
·数据库物理结构的管理(保证数据不推迟访问)
·数据库空间及碎片管理
·备份和恢复(顺序、日志(审计痕迹)、检查点)
·死锁管理(集中式、分布式)
·并发控制(可串行性、锁机制、时间戳、优化)
·数据安全性管理(加密、安全、访问控制、视图、有效性确认规则)
·数据库管理员(DBA)职责
4.4 性能调整
·SQL语句的编码检验
·表设计的评价
·索引的改进
·物理分配的改进
·设备增强
·数据库性能优化
4.5 用户支持
·用户培训
·售后服务
5. SQL
5.1 数据库语言
·数据库语言的要素
·数据库语言的使用方式(交互式和嵌入式)
5.2 SQL概述
·SQL语句的特征
·SQL语句的基本成分
5.3 数据库定义
·创建数据库(Create Datebase)、创建表(Create Table)
·定义数据完整性
·修改表(Alter Table)、删除表(Drop Table)
·定义索引(Create Index)、删除索引(Drop Index)
·定义视图(Create View)、删除视图(Drop View)、更新视图
5.4 数据操作
·Select语句的基本机构
·简单查询
·SQL中的选择、投影
·字符串比较,涉及空值的比较
·日期时间,布尔值,输出排序
·多表查询
·避免属性歧义
·SQL中的连接、并、交、差
·SQL中的元组变量
·子查询
5.5 完整性控制与安全机制
·主键(Primary Key)约束
·外键(Foreign Key)约束
·属性值上的约束(Null、Check、Create Domain)
·全局约束(Create Assertions)
·权限、授权(Grant)、销权(Revoke)
5.6 创建触发器(Create Trigger)
5.7 SQL使用方式
·交互式SQL
·嵌入式SQL
·SQL与宿主语言接口(Declare、共享变量、游标、卷游标)
·动态SQL
·API
5.8 SQL 标准化
6. 网络环境下的数据库
6.1 分布式数据库
6.1.1 分布式数据库的概念
·分布式数据库的特点与目标
6.1.2 分布式数据库的体系结构
·分布式数据库的模式结构
·数据分布的策略(数据分片、分布透明性)
·分布式数据库管理系统
6.1.3 分布式查询处理和优化
6.1.4 分布式事务管理
·分布式数据库的恢复(故障、恢复、2段提交、3段提交)
·分布式数据库的透明性(局部、分裂、复制、处理、并发、执行)
6.1.5 分布式数据库系统的应用
6.2 网络环境下数据库系统的设计与实施
·数据的分布设计
·负载均衡设计
·数据库互连技术
6.3 面向Web的DBMS技术
·三层体系结构
·动态Web网页
·ASP、JSP、XML的应用
7.数据库的安全性
7.1 安全性策略的理解
·数据库视图的安全性策略
·数据的安全级别(最重要的、重要的、注意、选择)
7.2 数据库安全测量
·用户访问控制(采用口令等)
·程序访问控制(包含在程序中的SQL命令限制)
·表的访问控制(视图机制)
·控制访问的函数和操作
·外部存储数据的加密与解密
8. 数据库发展趋势与新技术
8.1 面向对象数据库(OODBMS)
8.1.1 OODBMS的特征
8.1.2 面向对象数据模型
·对象结构、对象类、继承与多重继承、对象标识、对象包含、对象嵌套
8.1.3 面向对象数据库语言
8.1.4 对象关系数据库系统(ORDBMS)
·嵌套关系
·复杂类型
·继承、引用类型
·与复杂类型有关的查询
·函数与过程
·面向对象与对象关系
·ORDBMS应用领域
8.2 企业资源计划(ERP)和数据库
8.2.1 ERP概述
·基本MRP(制造资源计划)、闭环MRP、ERP
·基本原理、发展趋势
·ERP设计的总体思路(一个中心、两类业务、三条干线)
8.2.2 ERP与数据库
·运行数据库与ERP数据模型之间的关系
·运行数据库与ERP数据库之间的关系
8.2.3 案例分析
8.3 决策支持系统的建立
·决策支持系统的概念
·数据仓库设计
·数据转移技术
·联机分析处理(OLAP)技术
·企业决策支持解决方案
·联机事务处理(OLTP)

⑵ 数据库与数据仓库的区别

数据库是面向事务的设计,数据仓库是面向主题设计的。数据库一般存储在线交易数据,数据仓库存储的一般是历史数据。

“与时间相关”:数据库保存信息的时候,并不强调一定有时间信息。数据仓库则不同,出于决策的需要,数据仓库中的数据都要标明时间属性。决策中,时间属性很重要。同样都是累计购买过九车产品的顾客,一位是最近三个月购买九车,一位是最近一年从未买过,这对于决策者意义是不同的。

“不可修改”:数据仓库中的数据并不是最新的,而是来源于其它数据源。数据仓库反映的是历史信息,并不是很多数据库处理的那种日常事务数据(有的数据库例如电信计费数据库甚至处理实时信息)。因此,数据仓库中的数据是极少或根本不修改的;当然,向数据仓库添加数据是允许的。

拓展资料:

数据仓库的出现,并不是要取代数据库。数据仓库,是在数据库已经大量存在的情况下,为了进一步挖掘数据资源、为了决策需要而产生的,它决不是所谓的“大型数据库”。

目前,大部分数据仓库还是用关系数据库管理系统来管理的。可以说,数据库、数据仓库相辅相成、各有千秋。

⑶ 数据库系统工程师考试的科目内容

1.计算机系统知识
1.1 硬件知识
1.1.1计算机体系结构和主要部件的基本工作原理
·CPU和存储器的组成、性能、基本工作原理
·常用I/O设备、通信设备的性能,以及基本工作原理
·I/O接口的功能、类型和特点
·CISC/RISC,流水线操作,多处理机,并行处理
1.1.2存储系统
·虚拟存储器基本工作原理,多级存储体系
·RAID类型和特性
1.1.3 安全性、可靠性与系统性能评测基础知识
·诊断与容错
·系统可靠性分析评价
·计算机系统性能评测方法
1.2数据结构与算法
1.2.1 常用数据结构
·数组(静态数组、动态数组)
·线性表、链表(单向链表、双向链表、循环链表)
·栈和队列
·树(二叉树、查找树、平衡树、遍历树、堆)、图、集合的定义、存储和操作
·Hash(存储位置计算、碰撞处理)
1.2.2 常用算法
·排序算法、查找算法、数值计算、字符串处理、数据压缩算法、递归算法、图的相关算法
·算法与数据结构的关系,算法效率,算法设计,算法描述(流程图、伪代码、决策表),算法的复杂性
1.3软件知识
1.3.1操作系统知识
·操作系统的类型、特征、地位、内核(中断控制)、进程、线程概念
·处理机管理(状态转换、同步与互斥、信号灯、分时轮转、抢占、死锁)
·存储管理(主存保护、动态连接分配、分段、分页、虚存)
·设备管理(I/O控制、假脱机、磁盘调度)
·文件管理(文件目录、文件的结构和组织、存取方法、存取控制、恢复处理、共享和安全)
·作业管理(作业调度、作业控制语言(JCL)、多道程序设计)
·汉字处理,多媒体处理,人机界面
·网络操作系统和嵌入式操作系统基础知识
·操作系统的配置
1.3.2程序设计语言和语言处理程序的知识
· 汇编、编译、解释系统的基础知识和基本工作原理
·程序设计语言的基本成分:数据、运算、控制和传输,程序调用的实现机制
· 各类程序设计语言的主要特点和适用情况
1.4 计算机网络知识
·网络体系结构(网络拓扑、OSI/RM、基本的网络协议)
·传输介质,传输技术,传输方法,传输控制
·常用网络设备和各类通信设备
·Client/Server结构、Browser/Server结构、Browser/Web/Datebase结构
·LAN拓扑,存取控制,LAN的组网,LAN间连接,LAN-WAN连接
·因特网基础知识及应用
·网络软件
·网络管理
·网络性能分析
·网络有关的法律、法规
2.数据库技术
2.1 数据库技术基础
2.1.1数据库模型
·数据库系统的三级模式(概念模式、外模式、内模式),两级映像(概念模式/外模式、外模式/内模式)
·数据库模型:数据模型的组成要素,概念数据模型ER图(实体、属性、关系),逻辑数据模型(关系模型、层s次模型、网络模型)
2.1.2数据库管理系统的功能和特征
·主要功能(数据库定义、数据库操作、数据库控制、事务管理、用户视图)
·特征(确保数据独立性、数据库存取、同时执行过程、排它控制、故障恢复、安全性、完整性)
·RDB(关系数据库),OODB(面向对象数据库),ORDB(对象关系数据库),NDB(网状数据库)
·几种常用Web数据库的特点
2.1.3 数据库系统体系结构
· 集中式数据库系统
· Client/Server数据库系统
·并行数据库系统
·分布式数据库系统
· 对象关系数据库系统
2.2 数据操作
2.2.1 关系运算
·关系代数运算(并、交、差、笛卡儿积、选择、投影、连接、除)
·元组演算
·完整性约束
2.2.2 关系数据库标准语言(SQL)
·SQL的功能与特点
·用SQL进行数据定义(表、视图、索引、约束)
·用SQL进行数据操作(数据检索、数据插入/删除/更新、触发控制)
·安全性和授权
·程序中的API,嵌入SQL
2.3 数据库的控制功能
·数据库事务管理(ACID属性)
·数据库备份与恢复技术(UNDO、REDO)
·并发控制
2.4数据库设计基础理论
2.4.1 关系数据库设计
·函数依赖
·规范化(第一范式、第二范式、第三范式、BC范式、第四范式、第五范式)
·模式分解及分解应遵循的原则
2.4.2 对象关系数据库设计
·嵌套关系、 复杂类型,继承与引用类型
·与复杂类型有关的查询
·SQL中的函数与过程
·对象关系
2.5 数据挖掘和数据仓库基础知识
·数据挖掘应用和分类
·关联规则、聚类
·数据仓库的成分
·数据仓库的模式
2.6 多媒体基本知识
2.6.1 多媒体技术基本概念
·多媒体系统基础知识
·常用多媒体文件格式
2.6.2 多媒体压缩编码技术
·多媒体压缩编码技术
·统计编码
·预测编码
·编码的国际标准
2.6.3多媒体技术应用
·简单图形的绘制,图像文件的处理方法
·音频和视频信息的应用
·多媒体应用开发过程
2.7 系统性能知识
·性能计算(响应时间、吞吐量、周转时间)
·性能指标和性能设计
·性能测试和性能评估
2.8 计算机应用基础知识
·信息管理、数据处理、辅助设计、科学计算,人工智能等基础知识
·远程通信服务及相关通信协议基础知识
3. 系统开发和运行维护知识
3.1软件工程、软件过程改进和软件开发项目管理知识
·软件工程知识
·软件开发生命周期阶段目标和任务
·软件开发项目基础知识(时间管理、成本管理、质量管理、人力资源管理、风险管理等)及其常用管理工具
·主要的软件开发方法(生命周期法、原型法、面向对象法、CASE)
·软件开发工具与环境知识
·软件质量管理基础知识
·软件过程改进基础知识
·软件开发过程评估、软件能力成熟度评估的基础知识
3.2 系统分析基础知识
·系统分析的目的和任务
·结构化分析方法(数据流图(DFD)和数据字典(DD),实体关系图(ERD),描述加工处理的结构化语言)
·统一建模语言(UML)
·系统规格说明书
3.3系统设计知识
·系统设计的目的和任务
·结构化设计方法和工具(系统流程图、HIPO图、控制流程图)
·系统总体结构设计(总体布局,设计原则,模块结构设计,数据存取设计,系统配置方案)
·系统详细设计(代码设计、数据库设计、用户界面设计、处理过程设计)
·系统设计说明书
3.4系统实施知识
·系统实施的主要任务
·结构化程序设计、面向对象程序设计、可视化程序设计
·程序设计语言的选择、程序设计风格
·系统测试的目的、类型,系统测试方法(黑盒测试、白盒测试、灰盒测试)
·测试设计和管理(错误曲线、错误排除、收敛、注入故障、测试试用例设计、系统测试报告)
·系统转换基础知识
3.5 系统运行和维护知识
·系统运行管理知识
·系统维护知识
·系统评价知识
4. 安全性知识
·安全性基本概念(网络安全、操作系统安全、数据库安全)
·计算机病毒的防治,计算机犯罪的防范,容灾
·访问控制、防闯入、安全管理措施
·加密与解密机制
·风险分析、风险类型、抗风险措施和内部控制
5.标准化知识
·标准化意识,标准化的发展,标准出台过程
·国际标准、国家标准、行业标准、企业标准基本知识
·代码标准、文件格式标准、安全标准软件开发规范和文档标准
·标准化机构
6.信息化基础知识
·信息化意识
·全球信息化趋势、国家信息化战略、企业信息化战略和策略
·有关的法律、法规
·远程教育、电子商务、电子政务等基础知识
·企业信息资源管理基础知识
7.计算机专业英语
·掌握计算机技术的基本词汇
·能正确阅读和理解计算机领域的英文资料 1.数据库设计
1.1 理解系统需求说明
·了解用户需求、确定系统范围
·确定应用系统数据库的各种关系
·现有环境与新系统环境的关系
·新系统中的数据项、数据字典、数据流
1.2 系统开发的准备
·选择开发方法,准备开发环境,制订开发计划
1.3 设计系统功能
·选择系统机构,设计各子系统的功能和接口,设计安全性策略、需求和实现方法,制定详细的工作流和数据流
1.4数据库设计
1.4.1 设计数据模型
·概念结构设计(设计ER模型)
·逻辑结构设计(转换成DBMS所能接收的数据模型)
·评审设计
1.4.2 物理结构设计
·设计方法与内容
·存取方法的选择
·评审设计与性能预测
1.4.3 数据库实施与维护
·数据加载与应用程序调试
·数据库试运行
·数据库运行与维护
1.4.4 数据库的保护
·数据库的备份与恢复
·数据库的安全性
·数据库的完整性
·数据库的并发控制
1.5 编写外部设计文档
·编写系统说明书(系统配置图、各子系统关系图、系统流程图,系统功能说明、输入输出规格说明、数据规格说明、用户手册框架)
·设计系统测试要求
1.6 设计评审
2.数据库应用系统设计
2.1 设计数据库应用系统结构
·信息系统的架构(如Client/Server)与DBMS
·多用户数据库环境(文件服务器体系结构、Client/Server体系结构)
·大规模数据库和并行计算机体系结构(SMP、MPP)
·中间件角色和相关工具
·按构件分解,确定构件功能规格以及构件之间的接口
2.2 设计输入输出
·屏幕界面设计,设计输入输出检查方法和检查信息
·数据库交互与连接(掌握C程序设计语言,以及Java、Visual Basic、Visual C++、PowerBuilder、Delphi中任一种开发工具与数据库互连的方法(如何与数据库服务器沟通))
2.3 设计物理数据
·分析事务在数据库上运行的频率和性能要求,确定逻辑数据组织方式、存储介质,设计索引结构和处理方式
·将逻辑数据结构变换成物理数据结构,计算容量(空间代价),确定存取方法(时间效率)、系统配置(维护代价)并进行优化
2.4 设计安全体系
·明确安全等级
·数据库的登录方式
·数据库访问
·许可(对象许可、命令许可、授权许可的方法)
2.5应用程序开发
2.5.1 应用程序开发
·选择应用程序开发平台
·系统实施顺序
·框架开发
·基础小组的程序开发
·源代码控制
·版本控制
2.5.2 模块划分(原则、方法、标准)
2.5.3 编写程序设计文档
·模块规格说明书(功能和接口说明、程序处理逻辑的描述、输入输出数据格式的描述)
·测试要求说明书(测试类型和目标,测试用例,测试方法)
2.5.4 程序设计评审
2.6 编写应用系统设计文档
·系统配置说明、构件划分图、构件间的接口、构件处理说明、屏幕设计文档、报表设计文档、程序设计文档、文件设计文档、数据库设计文档
2.7 设计评审
3. 数据库应用系统实施
3.1 整个系统的配置与管理
3.2 常用数据库管理系统的应用(SQL Server、Oracle、Sybase、DB2、Access或Visual Foxpro)
·创建数据库
·创建表、创建索引、创建视图、创建约束、创建UDDT(用户自定义类型)
·创建和管理触发器
·建立安全体系
3.3 数据库应用系统安装
·拟定系统安装计划(考虑费用、客户关系、雇员关系、后勤关系和风险等因素)
·拟定人力资源使用计划(组织机构安排的合理性)
·直接安装(安装新系统并使系统快速进入运行状态)
·并行安装(新旧系统并行运行一段时间)
·阶段安装(经过一系列的步骤和阶段使新系统各部分逐步投入运行)
3.4 数据库应用系统测试
·拟定测试目标、计划、方法与步骤
·数据加载,准备测试数据
·指导应用程序员进行模块测试进行验收
·准备系统集成测试环境测试工具
·写出数据库运行测试报告
3.5 培训与用户支持
4.数据库系统的运行和管理
4.1 数据库系统的运行计划
·运行策略的确定
·确定数据库系统报警对象和报警方式
·数据库系统的管理计划(执行,故障/恢复,安全性,完整性,用户培训和维护)
4.2 数据库系统的运行和维护
·新旧系统的转换
·收集和分析报警数据(执行报警、故障报警、安全报警)
·连续稳定的运行
·数据库维护(数据库重构、安全视图的评价和验证、文档维护)
·数据库系统的运行统计(收集、分析、提出改进措施)
·关于运行标准和标准改进一致性的建议
·数据库系统的审计
4.3 数据库管理
·数据字典和数据仓库的管理
·数据完整性维护和管理(实体完整性、参照完整性)
·数据库物理结构的管理(保证数据不推迟访问)
·数据库空间及碎片管理
·备份和恢复(顺序、日志(审计痕迹)、检查点)
·死锁管理(集中式、分布式)
·并发控制(可串行性、锁机制、时间戳、优化)
·数据安全性管理(加密、安全、访问控制、视图、有效性确认规则)
·数据库管理员(DBA)职责
4.4 性能调整
·SQL语句的编码检验
·表设计的评价
·索引的改进
·物理分配的改进
·设备增强
·数据库性能优化
4.5 用户支持
·用户培训
·售后服务
5. SQL
5.1数据库语言
·数据库语言的要素
·数据库语言的使用方式(交互式和嵌入式)
5.2 SQL概述
·SQL语句的特征
·SQL语句的基本成分
5.3 数据库定义
·创建数据库(Create Datebase)、创建表(Create Table)
·定义数据完整性
·修改表(Alter Table)、删除表(Drop Table)
·定义索引(Create Index)、删除索引(Drop Index)
·定义视图(Create View)、删除视图(Drop View)、更新视图
5.4 数据操作
·Select语句的基本机构
·简单查询
·SQL中的选择、投影
·字符串比较,涉及空值的比较
·日期时间,布尔值,输出排序
·多表查询
·避免属性歧义
·SQL中的连接、并、交、差
·SQL中的元组变量
·子查询
5.5完整性控制与安全机制
·主键(Primary Key)约束
·外键(Foreign Key)约束
·属性值上的约束(Null、Check、Create Domain)
·全局约束(Create Assertions)
·权限、授权(Grant)、销权(Revoke)
5.6 创建触发器(Create Trigger)
5.7 SQL使用方式
·交互式SQL
·嵌入式SQL
·SQL与宿主语言接口(Declare、共享变量、游标、卷游标)
·动态SQL
·API
5.8 SQL 标准化
6. 网络环境下的数据库
6.1分布式数据库
6.1.1 分布式数据库的概念
·分布式数据库的特点与目标
6.1.2 分布式数据库的体系结构
·分布式数据库的模式结构
·数据分布的策略(数据分片、分布透明性)
·分布式数据库管理系统
6.1.3分布式查询处理和优化
6.1.4分布式事务管理
·分布式数据库的恢复(故障、恢复、2段提交、3段提交)
·分布式数据库的透明性(局部、分裂、复制、处理、并发、执行)
6.1.5分布式数据库系统的应用
6.2 网络环境下数据库系统的设计与实施
·数据的分布设计
·负载均衡设计
·数据库互连技术
6.3 面向Web的DBMS技术
·三层体系结构
·动态Web网页
·ASP、JSP、XML的应用
7.数据库的安全性
7.1 安全性策略的理解
·数据库视图的安全性策略
·数据的安全级别(最重要的、重要的、注意、选择)
7.2数据库安全测量
·用户访问控制(采用口令等)
·程序访问控制(包含在程序中的SQL命令限制)
·表的访问控制(视图机制)
·控制访问的函数和操作
·外部存储数据的加密与解密
8. 数据库发展趋势与新技术
8.1面向对象数据库(OODBMS)
8.1.1 OODBMS的特征
8.1.2 面向对象数据模型
·对象结构、对象类、继承与多重继承、对象标识、对象包含、对象嵌套
8.1.3面向对象数据库语言
8.1.4 对象关系数据库系统(ORDBMS)
·嵌套关系
·复杂类型
·继承、引用类型
·与复杂类型有关的查询
·函数与过程
·面向对象与对象关系
·ORDBMS应用领域
8.2企业资源计划(ERP)和数据库
8.2.1 ERP概述
·基本MRP(制造资源计划)、闭环MRP、ERP
·基本原理、发展趋势
·ERP设计的总体思路(一个中心、两类业务、三条干线)
8.2.2 ERP与数据库
·运行数据库与ERP数据模型之间的关系
·运行数据库与ERP数据库之间的关系
8.2.3 案例分析
8.3决策支持系统的建立
·决策支持系统的概念
·数据仓库设计
·数据转移技术
·联机分析处理(OLAP)技术
·企业决策支持解决方案
·联机事务处理(OLTP)

⑷ 数据仓库的建立步骤

1)收集和分析业务需求
2)建立数据模型和数据仓库的物理设计
3)定义数据源
4)选择数据仓库技术和平台
5)从操作型数据库中抽取、净化、和转换数据到数据仓库
6)选择访问和报表工具
7)选择数据库连接软件
8)选择数据分析和数据展示软件
9)更新数据仓库 1)数据转换工具要能从各种不同的数据源中读取数据。
2)支持平面文件、索引文件、和legacyDBMS。
3)能以不同类型数据源为输入整合数据。
4)具有规范的数据访问接口
5)最好具有从数据字典中读取数据的能力
6)工具生成的代码必须是在开发环境中可维护的
7)能只抽取满足指定条件的数据,和源数据的指定部分
8)能在抽取中进行数据类型转换和字符集转换
9)能在抽取的过程中计算生成衍生字段
10)能让数据仓库管理系统自动调用以定期进行数据抽取工作,或能将结果生成平面文件
11)必须对软件供应商的生命力和产品支持能力进行仔细评估
主要数据抽取工具供应商:Prismsolutions.Carleton'sPASSPORT.InformationBuildersInc.'s
EDA/SQL.SASInstituteInc. 一般问题 (不完全是技术或文化,但很重要) 包括但不限于以下几点:
业务用户想要执行什么样的分析?
你现在收集的数据需要支持那些分析吗?
数据在哪儿?
数据的清洁度如何?
相似的数据有多个数据源吗?
什么样的结构最适合核心数据仓库 (例如维度或关系型)?
技术问题包括但不限于以下几点:
在你的网络中要流通多少数据?它能处理吗?
需要多少硬盘空间?
硬盘存储需要多快?
你会使用固态还是虚拟化的存储?

⑸ 数据仓库数据建模的几种思路

数据仓库数据建模的几种思路主要分为一下几种

1. 星型模式

星形模式(Star Schema)是最常用的维度建模方式。星型模式是以事实表为中心,所有的维度表直接连接在事实表上,像星星一样。星形模式的维度建模由一个事实表和一组维表成,且具有以下特点:a. 维表只和事实表关联,维表之间没有关联;b. 每个维表主键为单列,且该主键放置在事实表中,作为两边连接的外键;c. 以事实表为核心,维表围绕核心呈星形分布;

星座模型

⑹ 数据仓库的特点

1、数据仓库是面向主题的;操作型数据库的数据组织面向事务处理任务,而数据仓库中的数据是按照一定的主题域进行组织。主题是指用户使用数据仓库进行决策时所关心的重点方面,一个主题通常与多个操作型信息系统相关。
2、数据仓库是集成的,数据仓库的数据有来自于分散的操作型数据,将所需数据从原来的数据中抽取出来,进行加工与集成,统一与综合之后才能进入数据仓库;
数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的,必须消除源数据中的不一致性,以保证数据仓库内的信息是关于整个企业的一致的全局信息。
数据仓库的数据主要供企业决策分析之用,所涉及的数据操作主要是数据查询,一旦某个数据进入数据仓库以后,一般情况下将被长期保留,也就是数据仓库中一般有大量的查询操作,但修改和删除操作很少,通常只需要定期的加载、刷新。
数据仓库中的数据通常包含历史信息,系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到当前的各个阶段的信息,通过这些信息,可以对企业的发展历程和未来趋势做出定量分析和预测。
3、数据仓库是不可更新的,数据仓库主要是为决策分析提供数据,所涉及的操作主要是数据的查询;
4、数据仓库是随时间而变化的,传统的关系数据库系统比较适合处理格式化的数据,能够较好的满足商业商务处理的需求。稳定的数据以只读格式保存,且不随时间改变。
5、汇总的。操作性数据映射成决策可用的格式。
6、大容量。时间序列数据集合通常都非常大。
7、非规范化的。Dw数据可以是而且经常是冗余的。
8、元数据。将描述数据的数据保存起来。
9、数据源。数据来自内部的和外部的非集成操作系统。
数据仓库,是在数据库已经大量存在的情况下,为了进一步挖掘数据资源、为了决策需要而产生的,它并不是所谓的“大型数据库”。数据仓库的方案建设的目的,是为前端查询和分析作为基础,由于有较大的冗余,所以需要的存储也较大。为了更好地为前端应用服务,数据仓库往往有如下几点特点:
1.效率足够高。数据仓库的分析数据一般分为日、周、月、季、年等,可以看出,日为周期的数据要求的效率最高,要求24小时甚至12小时内,客户能看到昨天的数据分析。由于有的企业每日的数据量很大,设计不好的数据仓库经常会出问题,延迟1-3日才能给出数据,显然不行的。
2.数据质量。数据仓库所提供的各种信息,肯定要准确的数据,但由于数据仓库流程通常分为多个步骤,包括数据清洗,装载,查询,展现等等,复杂的架构会更多层次,那么由于数据源有脏数据或者代码不严谨,都可以导致数据失真,客户看到错误的信息就可能导致分析出错误的决策,造成损失,而不是效益。
3.扩展性。之所以有的大型数据仓库系统架构设计复杂,是因为考虑到了未来3-5年的扩展性,这样的话,未来不用太快花钱去重建数据仓库系统,就能很稳定运行。主要体现在数据建模的合理性,数据仓库方案中多出一些中间层,使海量数据流有足够的缓冲,不至于数据量大很多,就运行不起来了。
从上面的介绍中可以看出,数据仓库技术可以将企业多年积累的数据唤醒,不仅为企业管理好这些海量数据,而且挖掘数据潜在的价值,从而成为通信企业运营维护系统的亮点之一。正因为如此,
广义的说,基于数据仓库的决策支持系统由三个部件组成:数据仓库技术,联机分析处理技术和数据挖掘技术,其中数据仓库技术是系统的核心,在这个系列后面的文章里,将围绕数据仓库技术,介绍现代数据仓库的主要技术和数据处理的主要步骤,讨论在通信运营维护系统中如何使用这些技术为运营维护带来帮助。
4.面向主题
操作型数据库的数据组织面向事务处理任务,各个业务系统之间各自分离,而数据仓库中的数据是按照一定的主题域进行组织的。主题是与传统数据库的面向应用相对应的,是一个抽象概念,是在较高层次上将企业信息系统中的数据综合、归类并进行分析利用的抽象。每一个主题对应一个宏观的分析领域。数据仓库排除对于决策无用的数据,提供特定主题的简明视图。

⑺ 软考 软件设计师 过来人指路

2-软件设计师视频—ciu培训免费在线观看

链接:https://pan..com/s/1HBgPCST07X0QMHC3znSK_Q

提取码:d2ew

软件设计师是指能根据软件开发项目管理和软件工程的要求,按照系统总体设计规格说明书进行软件设计,编写程序设计规格说明书等相应的文档的实用性人才。还能够组织和指导程序员编写、调试程序,并对软件进行优化和集成测试,开发出符合系统总体设计要求的高质量软件;具有工程师的实际工作能力和业务水平,可聘任工程师职务。2004年人社部将高级程序员更名为软件设计师

⑻ 数据仓库与数据库有什么联系

数据库
★数据库发展阶段大致划分为如下几个阶段:
人工管理阶段;
文件系统阶段;
数据库系统阶段;
高级数据库阶段。

当人们从不同的角度来描述这一概念时就有不同的定义(当然是描述性的)。例如,称数据库是一个“记录保存系统”(该定义强调了数据库是若干记录的集合)。又如称数据库是“人们为解决特定的任务,以一定的组织方式存储在一起的相关的数据的集合”(该定义侧重于数据的组织)。更有甚者称数据库是“一个数据仓库”。当然,这种说法虽然形象,但并不严谨。
严格地说,数据库是“按照数据结构来组织、存储和管理数据的仓库”。在经济管理的日常工作中,常常需要把某些相关的数据放进这样“仓库”,并根据管理的需要进行相应的处理。例如,企业或事业单位的人事部门常常要把本单位职工的基本情况(职工号、姓名、年龄、性别、籍贯、工资、简历等)存放在表20.6.3中,这张表就可以看成是一个数据库。有了这个"数据仓库"我们就可以根据需要随时查询某职工的基本情况,也可以查询工资在某个范围内的职工人数等等。这些工作如果都能在计算机上自动进行,那我们的人事管理就可以达到极高的水平。此外,在财务管理、仓库管理、生产管理中也需要建立众多的这种"数据库",使其可以利用计算机实现财务、仓库、生产的自动化管理。
J.Martin给数据库下了一个比较完整的定义:数据库是存储在一起的相关数据的集合,这些数据是结构化的,无有害的或不必要的冗余,并为多种应用服务;数据的存储独立于使用它的程序;对数据库插入新数据,修改和检索原有数据均能按一种公用的和可控制的方式进行。当某个系统中存在结构上完全分开的若干个数据库时,则该系统包含一个“数据库集合”。
· 数据库的优点
使用数据库可以带来许多好处:如减少了数据的冗余度,从而大大地节省了数据的存储空间;实现数据资源的充分共享等等。此外,数据库技术还为用户提供了非常简便的使用手段使用户易于编写有关数据库应用程序。特别是近年来推出的微型计算机关系数据库管理系统dBASELL,操作直观,使用灵活,编程方便,环境适应广泛(一般的十六位机,如IBM/PC/XT,国产长城0520等均可运行种软件),数据处理能力极强。数据库在我国正得到愈来愈广泛的应用,必将成为经济管理的有力工具。
数据库是通过数据库管理系统(DBMS-DATA BASE MANAGEMENT SYSTEM)软件来实现数据的存储、管理与使用的dBASELL就是一种数据库管理系统软件。
· 数据库结构与数据库种类
数据库通常分为层次式数据库、网络式数据库和关系式数据库三种。而不同的数据库是按不同的数据结构来联系和组织的。
1.数据结构模型
(1)数据结构
所谓数据结构是指数据的组织形式或数据之间的联系。如果用D表示数据,用R表示数据对象之间存在的关系集合,则将DS=(D,R)称为数据结构。例如,设有一个电话号码簿,它记录了n个人的名字和相应的电话号码。为了方便地查找某人的电话号码,将人名和号码按字典顺序排列,并在名字的后面跟随着对应的电话号码。这样,若要查找某人的电话号码(假定他的名字的第一个字母是Y),那么只须查找以Y开头的那些名字就可以了。该例中,数据的集合D就是人名和电话号码,它们之间的联系R就是按字典顺序的排列,其相应的数据结构就是DS=(D,R),即一个数组。(2)数据结构种类

数据结构又分为数据的逻辑结构和数据的物理结构。数据的逻辑结构是从逻辑的角度(即数据间的联系和组织方式)来观察数据,分析数据,与数据的存储位置无关。数据的物理结构是指数据在计算机中存放的结构,即数据的逻辑结构在计算机中的实现形式,所以物理结构也被称为存储结构。本节只研究数据的逻辑结构,并将反映和实现数据联系的方法称为数据模型。
目前,比较流行的数据模型有三种,即按图论理论建立的层次结构模型和网状结构模型以及按关系理论建立的关系结构模型。
2.层次、网状和关系数据库系统
(1)层次结构模型
层次结构模型实质上是一种有根结点的定向有序树(在数学中"树"被定义为一个无回的连通图)。例如图20.6.4是一个高等学校的组织结构图。这个组织结构图像一棵树,校部就是树根(称为根结点),各系、专业、教师、学生等为枝点(称为结点),树根与枝点之间的联系称为边,树根与边之比为1:N,即树根只有一个,树枝有N个。这种数据结构模型的一般结构见图20.6.5所示。
图20.6.4 高等学校的组织结构图 图20.6.5 层次结构模型
图20.6.5中,Ri(i=1,2,…6)代表记录(即数据的集合),其中R1就是根结点(如果Ri看成是一个家族,则R1就是祖先,它是R2、R3、R4的双亲,而R2、R3、R4互为兄弟),R5、R6也是兄弟,且其双亲为R3。R2、R4、R5、R6又被称为叶结点(即无子女的结点)。这样,Ri(i=1,2,…6)就组成了以R1为树根的一棵树,这就是一个层次数据结构模型。
按照层次模型建立的数据库系统称为层次模型数据库系统。IMS(Information Manage-mentSystem)是其典型代表。
(2)网状结构模型
在图20.6.6中,给出了某医院医生、病房和病人之间的联系。即每个医生负责治疗三个病人,每个病房可住一到四个病人。如果将医生看成是一个数据集合,病人和病房分别是另外两个数据集合,那么医生、病人和病房的比例关系就是M:N:P(即M个医生,N个病人,P间病房)。这种数据结构就是网状数据结构,它的一般结构模型如图20.6.7所示。在图中,记录Ri(i=1,2,8)满足以下条件:
①可以有一个以上的结点无双亲(如R1、R2、R3)。
②至少有一个结点有多于一个以上的双亲。在"医生、病人、病房"例中,"医生集合有若干个结点(M个医生结点)无"双亲",而"病房"集合有P个结点(即病房),并有一个以上的"双亲"(即病人)。
图20.6.6 医生、病房和病人之间的关系
图20.6.7 网状结构模型
按照网状数据结构建立的数据库系统称为网状数据库系统,其典型代表是DBTG(Data Base Task Group)。用数学方法可将网状数据结构转化为层次数据结构。
(3)关系结构模型
关系式数据结构把一些复杂的数据结构归结为简单的二元关系(即二维表格形式)。例如某单位的职工关系就是一个二元关系(见表20.6.8)。这个四行六列的表格的每一列称为一个字段(即属性),字段名相当于标题栏中的标题(属性名称);表的每一行是包含了六个属性(工号、姓名、年龄、性别、职务、工资)的一个六元组,即一个人的记录。这个表格清晰地反映出该单位职工的基本情况。

表20.6.8 职工基本情况
通常一个m行、n列的二维表格的结构如表20.6.9所示。
表中每一行表示一个记录值,每一列表示一个属性(即字段或数据项)。该表一共有m个记录。每个记录包含n个属性。
作为一个关系的二维表,必须满足以下条件:
(1)表中每一列必须是基本数据项(即不可再分解)。(2)表中每一列必须具有相同的数据类型(例如字符型或数值型)。(3)表中每一列的名字必须是唯一的。(4)表中不应有内容完全相同的行。(5)行的顺序与列的顺序不影响表格中所表示的信息的含义。
由关系数据结构组成的数据库系统被称为关系数据库系统。
在关系数据库中,对数据的操作几乎全部建立在一个或多个关系表格上,通过对这些关系表格的分类、合并、连接或选取等运算来实现数据的管理。dBASEII就是这类数据库管理系统的典型代表。对于一个实际的应用问题(如人事管理问题),有时需要多个关系才能实现。用dBASEII建立起来的一个关系称为一个数据库(或称数据库文件),而把对应多个关系建立起来的多个数据库称为数据库系统。dBASEII的另一个重要功能是通过建立命令文件来实现对数据库的使用和管理,对于一个数据库系统相应的命令序列文件,称为该数据库的应用系统。因此,可以概括地说,一个关系称为一个数据库,若干个数据库可以构成一个数据库系统。数据库系统可以派生出各种不同类型的辅助文件和建立它的应用系统。
· 数据库的要求与特性
为了使各种类型的数据库系统能够充分发挥它们的优越性,必须对数据库管理系统的使用提出一些明确的要求。
1.建立数据库文件的要求
(1)尽量减少数据的重复,使数据具有最小的冗余度。计算机早期应用中的文件管理系统,由于数据文件是用户各自建立的,几个用户即使有许多相同的数据也得放在各自的文件中,因而造成存储的数据大量重复,浪费存储空间。数据库技术正是为了克服这一缺点而出现的,所以在组织数据的存储时应避免出现冗余。
(2)提高数据的利用率,使众多用户都能共享数据资源。
(3)注意保持数据的完整性。这对某些需要历史数据来进行预测、决策的部门(如统计局、银行等)特别重要。
(4)注意同一数据描述方法的一致性,使数据操作不致发生混乱。如一个人的学历在人事档案中是大学毕业,而在科技档案中却是大学程度,这样就容易造成混乱。
(5)对于某些需要保密的数据,必须增设保密措施。
(6)数据的查找率高,根据需要数据应能被及时维护。
2.数据库文件的特征
无论使用哪一种数据库管理系统,由它们所建立的数据库文件都可以看成是具有相同性质的记录的集合,因而这些数据库文件都有相同的特性:
(1)文件的记录格式相同,长度相等。
(2)不同的行是不同的记录,因而具有不同的内容。
(3)不同的列表示不同的字段名,同一列中的数据的性质(属性)相同。
(4)每一行各列的内容是不能分割的,但行的顺序和列的顺序不影响文件内容的表达。

3.文件的分类
对文件引用最多的是主文件和事物文件。其他的文件分类还包括表文件、备份文件、档案的输出文件等。下面将讲述这些文件。
(1)主文件。主文件是某特定应用领域的永久性的数据资源。主文件包含那些被定期存取以提供信息和经常更新以反映最新状态的记录。典型的主文件有库存文件、职工主文件和收帐主文件等。
(2)事务文件。事务文件包含着作为一个信息系统的数据活动(事务)的那些记录。这些事务被分批以构成事务文件。例如,从每周工资卡上录制下来的数分批存放在一个事务文件上,然后对照工资清单文件进行处理以便打印出工资支票和工资记录簿。
(3)表文件。表文件是一些表格。之所以单独建立表文件而不把表设计在程序中是为了便于修改。例如,一个公用事业公司的税率表或国内税务局的税率就可以存储在表中文件。
(4)备用文件。备用文件是现有生产性文件的一个复制品。一旦生产性文件受到破坏,利用备用文件就可以重新建立生产性文件。
(5)档案文件。档案文件不是提供当前处理使用的,而是保存起来作为历史参照的。例如,国内税务局(IRS)可能要求检查某个人最近15年的历史。实际上,档案文件恰恰是在给定时间内工作的一个"快照"。
(6)输出文件。输出文件包含将要打印在打印机上的、显在屏幕上的或者绘制在绘图仪上的那些信息的数值映象。输出文件可以是"假脱机的"(存储在辅存设备上),当输出设备可用时才进行实际的输出。

数据仓库
1.
数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合

数据仓库,英文名称为Data Warehouse,可简写为DW。

数据仓库之父Bill Inmon在1991年出版的“Building the Data Warehouse”一书中所提出的定义被广泛接受——数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策(Decision Making Support)。

◆面向主题:操作型数据库的数据组织面向事务处理任务,各个业务系统之间各自分离,而数据仓库中的数据是按照一定的主题域进行组织的。

◆集成的:数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的,必须消除源数据中的不一致性,以保证数据仓库内的信息是关于整个企业的一致的全局信息。

◆相对稳定的:数据仓库的数据主要供企业决策分析之用,所涉及的数据操作主要是数据查询,一旦某个数据进入数据仓库以后,一般情况下将被长期保留,也就是数据仓库中一般有大量的查询操作,但修改和删除操作很少,通常只需要定期的加载、刷新。

◆反映历史变化:数据仓库中的数据通常包含历史信息,系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息,通过这些信息,可以对企业的发展历程和未来趋势做出定量分析和预测。

数据仓库是一个过程而不是一个项目。

数据仓库系统是一个信息提供平台,他从业务处理系统获得数据,主要以星型模型和雪花模型进行数据组织,并为用户提供各种手段从数据中获取信息和知识。

从功能结构化分,数据仓库系统至少应该包含数据获取(Data Acquisition)、数据存储(Data Storage)、数据访问(Data Access)三个关键部分。

什么是数据仓库

(转载自北大高科网站,http://www.pku-ht.com/)

目前,数据仓库一词尚没有一个统一的定义,着名的数据仓库专家W.H.Inmon在其着作《Building the Data Warehouse》一书中给予如下描述:数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策。对于数据仓库的概念我们可以从两个层次予以理解,首先,数据仓库用于支持决策,面向分析型数据处理,它不同于企业现有的操作型数据库;其次,数据仓库是对多个异构的数据源有效集成,集成后按照主题进行了重组,并包含历史数据,而且存放在数据仓库中的数据一般不再修改。

根据数据仓库概念的含义,数据仓库拥有以下四个特点:

1、面向主题。操作型数据库的数据组织面向事务处理任务,各个业务系统之间各自分离,而数据仓库中的数据是按照一定的主题域进行组织。主题是一个抽象的概念,是指用户使用数据仓库进行决策时所关心的重点方面,一个主题通常与多个操作型信息系统相关。

2、集成的。面向事务处理的操作型数据库通常与某些特定的应用相关,数据库之间相互独立,并且往往是异构的。而数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的,必须消除源数据中的不一致性,以保证数据仓库内的信息是关于整个企业的一致的全局信息。

3、相对稳定的。操作型数据库中的数据通常实时更新,数据根据需要及时发生变化。数据仓库的数据主要供企业决策分析之用,所涉及的数据操作主要是数据查询,一旦某个数据进入数据仓库以后,一般情况下将被长期保留,也就是数据仓库中一般有大量的查询操作,但修改和删除操作很少,通常只需要定期的加载、刷新。

4、反映历史变化。操作型数据库主要关心当前某一个时间段内的数据,而数据仓库中的数据通常包含历史信息,系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息,通过这些信息,可以对企业的发展历程和未来趋势做出定量分析和预测。

企业数据仓库的建设,是以现有企业业务系统和大量业务数据的积累为基础。数据仓库不是静态的概念,只有把信息及时交给需要这些信息的使用者,供他们做出改善其业务经营的决策,信息才能发挥作用,信息才有意义。而把信息加以整理归纳和重组,并及时提供给相应的管理决策人员,是数据仓库的根本任务。因此,从产业界的角度看,数据仓库建设是一个工程,是一个过程。

整个数据仓库系统是一个包含四个层次的体系结构,具体由下图表示。

数据仓库系统体系结构

·数据源:是数据仓库系统的基础,是整个系统的数据源泉。通常包括企业内部信息和外部信息。内部信息包括存放于RDBMS中的各种业务处理数据和各类文档数据。外部信息包括各类法律法规、市场信息和竞争对手的信息等等;

·数据的存储与管理:是整个数据仓库系统的核心。数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库,同时也决定了其对外部数据的表现形式。要决定采用什么产品和技术来建立数据仓库的核心,则需要从数据仓库的技术特点着手分析。针对现有各业务系统的数据,进行抽取、清理,并有效集成,按照主题进行组织。数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库(通常称为数据集市)。

·OLAP服务器:对分析需要的数据进行有效集成,按多维模型予以组织,以便进行多角度、多层次的分析,并发现趋势。其具体实现可以分为:ROLAP、MOLAP和HOLAP。ROLAP基本数据和聚合数据均存放在RDBMS之中;MOLAP基本数据和聚合数据均存放于多维数据库中;HOLAP基本数据存放于RDBMS之中,聚合数据存放于多维数据库中。

·前端工具:主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工具以数据挖掘及各种基于数据仓库或数据集市的应用开发工具。其中数据分析工具主要针对OLAP服务器,报表工具、数据挖掘工具主要针对数据仓库。

目前,数据仓库一词尚没有一个统一的定义,着名的数据仓库专家W.H.Inmon在其着作《Building the Data Warehouse》一书中给予如下描述:数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策。对于数据仓库的概念我们可以从两个层次予以理解,首先,数据仓库用于支持决策,面向分析型数据处理,它不同于企业现有的操作型数据库;其次,数据仓库是对多个异构的数据源有效集成,集成后按照主题进行了重组,并包含历史数据,而且存放在数据仓库中的数据一般不再修改。多维

数据仓库的组成

数据仓库数据库
是整个数据仓库环境的核心,是数据存放的地方和提供对数据检索的支持。相对于操纵型数据库来说其突出的特点是对海量数据的支持和快速的检索技术。

数据抽取工具
把数据从各种各样的存储方式中拿出来,进行必要的转化、整理,再存放到数据仓库内。对各种不同数据存储方式的访问能力是数据抽取工具的关键,应能生成COBOL程序、MVS作业控制语言(JCL)、UNIX脚本、和SQL语句等,以访问不同的数据。数据转换都包括,删除对决策应用没有意义的数据段;转换到统一的数据名称和定义;计算统计和衍生数据;给缺值数据赋给缺省值;把不同的数据定义方式统一。

元数据
元数据是描述数据仓库内数据的结构和建立方法的数据。可将其按用途的不同分为两类,技术元数据和商业元数据。

技术元数据是数据仓库的设计和管理人员用于开发和日常管理数据仓库是用的数据。包括:数据源信息;数据转换的描述;数据仓库内对象和数据结构的定义;数据清理和数据更新时用的规则;源数据到目的数据的映射;用户访问权限,数据备份历史记录,数据导入历史记录,信息发布历史记录等。

商业元数据从商业业务的角度描述了数据仓库中的数据。包括:业务主题的描述,包含的数据、查询、报表;

元数据为访问数据仓库提供了一个信息目录(informationdirectory),这个目录全面描述了数据仓库中都有什么数据、这些数据怎么得到的、和怎么访问这些数据。是数据仓库运行和维护的中心,数据仓库服务器利用他来存贮和更新数据,用户通过他来了解和访问数据。

访问工具
为用户访问数据仓库提供手段。有数据查询和报表工具;应用开发工具;管理信息系统(EIS)工具;在线分析(OLAP)工具;数据挖掘工具。

数据集市(DataMarts)
为了特定的应用目的或应用范围,而从数据仓库中独立出来的一部分数据,也可称为部门数据或主题数据(subjectarea)。在数据仓库的实施过程中往往可以从一个部门的数据集市着手,以后再用几个数据集市组成一个完整的数据仓库。需要注意的就是再实施不同的数据集市时,同一含义的字段定义一定要相容,这样再以后实施数据仓库时才不会造成大麻烦。

数据仓库管理:安全和特权管理;跟踪数据的更新;数据质量检查;管理和更新元数据;审计和报告数据仓库的使用和状态;删除数据;复制、分割和分发数据;备份和恢复;存储管理。

信息发布系统:把数据仓库中的数据或其他相关的数据发送给不同的地点或用户。基于Web的信息发布系统是对付多用户访问的最有效方法。

设计数据仓库的九个步骤
1)选择合适的主题(所要解决问题的领域)
2)明确定义fact表
3)确定和确认维
4)choosingthefacts
5)计算并存储fact表中的衍生数据段
6)roundingoutthedimensiontables
7)
8)
9)确定查询优先级和查询模式。

技术上
硬件平台:数据仓库的硬盘容量通常要是操作数据库硬盘容量的2-3倍。通常大型机具有更可靠的性能和和稳定性,也容易与历史遗留的系统结合在一起;而PC服务器或UNIX服务器更加灵活,容易操作和提供动态生成查询请求进行查询的能力。选择硬件平台时要考虑的问题:是否提供并行的I/O吞吐?对多CPU的支持能力如何?

数据仓库DBMS:他的存储大数据量的能力、查询的性能、和对并行处理的支持如何。

网络结构:数据仓库的实施在那部分网络段上会产生大量的数据通信,需不需要对网络结构进行改进。
实现上

建立数据仓库的步骤

1)收集和分析业务需求
2)建立数据模型和数据仓库的物理设计
3)定义数据源
4)选择数据仓库技术和平台
5)从操作型数据库中抽取、净化、和转换数据到数据仓库
6)选择访问和报表工具
7)选择数据库连接软件
8)选择数据分析和数据展示软件
9)更新数据仓库

数据抽取、清理、转换、和移植

1)数据转换工具要能从各种不同的数据源中读取数据。
2)支持平面文件、索引文件、和legacyDBMS。
3)能以不同类型数据源为输入整合数据。
4)具有规范的数据访问接口
5)最好具有从数据字典中读取数据的能力
6)工具生成的代码必须是在开发环境中可维护的
7)能只抽取满足指定条件的数据,和源数据的指定部分
8)能在抽取中进行数据类型转换和字符集转换
9)能在抽取的过程中计算生成衍生字段
10)能让数据仓库管理系统自动调用以定期进行数据抽取工作,或能将结果生成平面文件
11)必须对软件供应商的生命力和产品支持能力进行仔细评估
主要数据抽取工具供应商:Prismsolutions.Carleton'sPASSPORT.InformationBuildersInc.'s
EDA/SQL.SASInstituteInc.

⑼ 金融机构编码规范是银监的还是人民银行的

人民银行。
2014年9月19日中国人民银行正式发布《金融机构编码规范》金融行业标准。《金融机构编码规范》经过充分调研、素材整理、标准研制、专家评审、广泛征求意见等环节最终形成。
《金融机构编码规范》规定了金融机构代码的编码对象、编码结构和表示形式,涵盖银行业、证券期货业、保险业、交易及结算类金融机构以及金融控股公司等多类机构。
中国人民银行关于印发《金融机构编码规范》的通知
银发(2009 )363号
中国人民银行上海总部,各分行、营业管理部、省会(首府)城市中心支行,各政策性银行、国有商业银行、股份制商业银行,中国邮政储蓄银行,各金融资产管理公司:
为统一金融机构编码的方式与方法,加强信息系统之间的互联、互通,提高信息共享的效率,规范中国人民银行及金融机构在新建、开发、升级、改造信息系统、数据仓库中使用的金融机构编码,确保金融机构编码信息的真实、准确和完整,中国人民银行编制了《金融机构编码规范》,现印发你们。
请中国人民银行上海总部,各分行、营业管理部、省会(首府)城市中心支行将本通知转发至辖区内的有关金融机构。
附件:金融机构编码规范
中国人民银行
二00九年十一月三十日
附件
金融机构编码规范(略)