土地矿权交易解 决 方 案 (9)

XX市土地矿权交易市场信息平台（软件部分）建设项目

第三层，为元数据详细集描述数据的全部详细信息，服务于决策支持和管理层用户，需具备一定的专业知识。

因为各层次之间存在密切联系，基本集和基础集可通过一定的抽样方法得到。 根据系统的需求，以及项目组的开发经验，把元数据机制描述为以下五类系统管理功能:

（1）描述哪些数据在数据集中;

（2）定义要进入数据集中的数据和从数据集中产生的数据; （3）记录根据业务事件发生而随之进行的数据抽取工作时间安排; （4）记录并检测系统数据一致性的要求和执行情况; （5）衡量数据质量。

依据以上提出的元数据的管理功能，将项目组开发过程中的元数据管理划分为如下，并根据不用的种类来实施不同的元数据管理方法：

1、数据结构

数据集的名称、关系、字段、约束等，包括数据库模型设计文档，表的设计文档，以及相关的管理，在客户关怀系统中，数据结构的元数据管理采用svn统一版本的管理方法。

2、数据部署

数据集的物理位臵，包括数据集平台设计方案（服务器配臵、分区、表、日志等的管理），web平台设计方案（web服务器的配臵、数据源、连接池的配臵等），各方案对应相关文档，采用svn的统一版本的管理方法。

3、数据流

数据集之间的流程依赖关系（非参照依赖），包括数据集到另一个数据集的规则，系统中的数据流划分为，原始数据、细节层数据、计算层数据、业务部分数据，从终端采集到的原始雨水情数据，进行保存，并更新相关元数据文档。在细节层对数据进行计算，在计算层对细节曾数据进行汇总，还包括业务库数据的迁移，在整个数据的流向过程中需要进行元数据的管理。并维护相关文档。

第 36 页 共 140 页

XX市土地矿权交易市场信息平台（软件部分）建设项目

4、质量度量

对数据集上可以计算的度量进行相关元数据的管理，包括详细设计文档中对各个表中度量的定义、描述等。

5、度量逻辑关系

记录数据集度量之间的逻辑运算关系。要求系统中对所有表和度量之间的关系进行严格的文档记录，包括度量的计算、度量之间的相互依赖关系、以及历史信息进行元数据管理

6、ETL过程

记录过程运行的顺序，并行、串行，由数据库开发人员，根据各个模块的ETL过程，制定相关元数据管理文档，并形成元数据文档提交svn，进行统一版本的管理。

7、数据集快照

记录一个时间点上，数据在所有数据集上的分布情况。对数据库在这一时间的数据分布、I/O、表空间使用，内存使用等进行快照，并形成元数据文档提交svn，进行统一版本的管理。

8、星型模式元数据

记录事实表、维度、属性、层次等。

9、数据访问日志

记录哪些数据何时被何人访问。启用数据库的快照捕获以及预警，对访问数据库的人的相关信息进行记录，保存数据库访问时间，把对数据库表德操作、锁、内存使用、I/O使用等信息记录日志，并形成元数据文档提交svn，进行统一版本的管理。

10、质量稽核日志

记录数据库何时、何度量被稽核，其结果；

第 37 页 共 140 页

XX市土地矿权交易市场信息平台（软件部分）建设项目

11、数据装载日志

记录哪些数据何时被何人装载，在系统中，建立日志表，对每个ETl过程，记录抽取时间，操作人员，起始和截止时间，抽取涉及到的表，操作行数等相关信息。并形成元数据的文件提交svn，进行统一版本的管理。

1.4.3.2. XX市土地矿权交易市场信息资源库系统

系统实现现有系统数据库的所有数据进行清理、分析、处理、更新，形成详细具体的数据分析报告，并将数据按照新建数据中心的规范标准进行分类、整编、入库。数据库表的设计，按照“有标贯标，无标自定”的原则，遵循国家国土资源部颁布的行业标准和国家土地矿权交易管理系统综合数据库设计规范，结合XX市土地交易业务系统的实际需要，进行必要的增补和扩充。

建成后的信息资源库系统能够方便的收集、管理、维护各类数据信息，具有完善的指标体系扩展维护管理功能。方便与上下级单位等其他部门进行数据共享交换。

1、共享数据库

共享库是市级平台业务数据库系统、核心数据库、信息查询展示之间起着信息交换桥梁的作用。通过数据采集和交换，抽取来自对外收集的各类数据及市级平台业务系统中的各业务数据，数据内容主要包括各业务系统需要的共享数据以及综合查询所需的各业务系统的汇总信息。

2、业务数据库

市级平台业务数据库为操作型的OLTP数据库，为XX市市级业务系统。

3、核心数据库

核心数据库是对多个异构的数据源有效集成，集成后按照主题进行重组，并包含历史数据，存放在核心数据库中的数据一般不再修改。

核心数据库是以业务系统和大量业务数据的积累为基础。核心数据库不是静态的概念，只有把信息及时提供给需要这些信息的部门和管理者，供他们做出改善管理业务的决策，信息才能发挥应有的作用。

第 38 页 共 140 页

XX市土地矿权交易市场信息平台（软件部分）建设项目

核心数据库可作为未来数据分析和挖掘工作的基础。

4、数据清洗与转换

数据清洗与转换子系统为市级平台业务库数据进入共享库和核心库提供了支持。按照定制的规则，根据共享库和核心库的需要，通过清理与转换操作完成。

系统主要由数据库加载和管理模块，规则库，规则引擎，数据清洗模块，以及管理监控模块组成。系统的体系框架图如下所示。

用户界面规则引擎规则库数据库加载和管理数据清洗管理监控 图1.8 数据入库模块

数据库加载和管理

系统通过JDBC连接需要进行数据清洗的各种主流数据库，读取数据库结构，并选取要进行数据清洗的表对其操作，并可以查看清洗之后生成的数据表。

规则库和规则引擎

当源数据库与目标数据库结构不一致、数据类型不一致、数据编码不一致时需要使用数据转换规则库进行清洗转换。通过规则引擎实现输入或输出数据的格式转换，以及异构系统的数据交换接口；实现对数据的预处理，如格式校验、格式转换、拆分映射等，然后汇集和整合并入数据库。

数据清洗

用户定义好作用在数据表上的规则集合之后，就可以调用数据清洗模块开始对数据进行清洗过滤。

管理监控

管理监控对清洗过程进行监控，在根据清洗规则进行数据清洗的过程中，允

第 39 页 共 140 页

XX市土地矿权交易市场信息平台（软件部分）建设项目

许用户看到当前的状态，比如目前运行到了哪条规则，估计进度，以及诸如运行时间，规则描述等辅助信息。

用户界面

基于可视化图形界面，进行清洗转换的规则、流程和任务等的定制、管理、监控。

5、数据维护

数据维护包括元数据维护、信息分类编码维护、数据结构维护、数据库维护、数据备份、数据脱机备份和异地保存等。

6、数据清理

为了更好地利用现有数据资源，需要对原有系统数据进行清理、补录和比对工作，基于13.5.3.3形成的数据规范建立实时水雨情库、历史大洪水库、工程库、社会经济库、洪涝灾害库、气象信息库、防汛管理库、图形库、动态影像库等数据库。

1.4.3.3. 数据交换平台

数据交换平台是整个交易管理信息系统的数据枢纽，系统实现信息资源库与其他业务系统之间以及市国土资源局与区县国土资源部门的数据交换与共享。与现有的业务系统应保持相互隔离和透明，对现有业务系统没有影响或尽量减少影响。可以在不影响数据交换平台的基础架构条件下，扩充增加业务系统。

数据交换平台流程控制引擎流程管理层业务规则引擎数据格式定义数据转换XML数据交换处理层数据映射数据路由设计开发工具管理配置维护WebService传输模块HTTP\\HTTPs传输模块消息队列传输模块数据传输与应用适配层其它传输模块应用适配器 图1.9 数据交换平台总体框架

第 40 页 共 140 页

搜索“diyifanwen.net”或“第一范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，第一范文网，提供最新IT计算机土地矿权交易解 决 方 案 (9)全文阅读和word下载服务。