北京师范大学私有云计算数据中心技术方案

北京师范大学私有云计算数据中心技术方案

公共数据共享

随着信息化技术的迅猛发展，各高校都建设了一大批的信息系统，这些系统在学校的教学、科研、生活中发挥了重要作用。但是由于各系统建设中可能采用了不同厂家的不同的技术，这些系统之间很难实现资源共享，形成了大量的信息孤岛。如何在复杂的应用系统中实现异构系统之间的互联、互访和数据共享成为一个重要的难题。数据服务接口能够集成、结构化各个异构数据源的数据并向外提供统一的访问接口，因而有效地解决了这一问题，它是一个虚拟的数据库系统访问的中间件模型，通过本模型可以较为方便的实现数据源的动态集成，为分布式应用软件的研发提供统一的数据访问接口。

数据服务接口是建立在应用系统和其他数据源之上的一个数据资源访问中间件，接口支持对结构化数据和非结构化数据的存储和访问。

结构化数据数据源可以是关系型数据库，也可以是一些可以转化为结构化数据的资源源，如excel文件、xml文件、txt文件、webservice、http等。应用程序可以通过SQL接口连接数据服务接口，数据服务接口会从数据源中抽取数据，并将数据用关系表的形式表示出来，数据服务接口是对各种数据源作为关系数据库的扩充，把各个分散数据源中的数据搜集在一起，通过封装、映射和抽取等处理，把分布异构的数据转化为统一的结构化形式、简单一致的关系数据库接口。

非结构化数据(如图片，声音，视频，新闻等)采用非关系型数据

第33页共76页

北京师范大学私有云计算数据中心技术方案

库进行存储。

应用1统一接口应用2统一接口应用3统一接口应用4统一接口应用5统一接口Net IO数据同步/复制查询解析查询路由结果合并数据服务平台MySQL ProtocolNet IO分布式文件服务(非结构化数据库)Oracle ProtocolMSSQL ProtocolFile ProtocalFile Protocal读操作读操作读操作File ProtocalH2 Protocal关系型数据库H2 MEMDBOracleSQLServerMySQLServer1Server2Server3分布式文件存储系统图1体系结构图 结构化数据的查询处理过程可描述为用户发出查询请求，通过ODBC或JDBC等SQL接口来访问数据服务接口，收到一个查询请求后，数据服务接口将其分解成不同的查询片断，然后将它们送到相应的数据源进行实际数据的提取，最后对提取所得的结果进行组合提交给用户。

结构化数据的查询处理过程可描述为用户向数据服务接口发出查询请求，可指定文件名称、文件内容中的关键词、文件大小等条件，数据服务接口根据查询条件向后端文件存储服务器发出请求，得到复合条件的文件，提交给用户。

封装器是数据服务接口的核心部分，它用源描述语言SDL(Source Description Language)来表示原始数据的，找到数据源并返回数据，使分散数据转换为一些类似关系数据库表（结构化查询）或文件(非结构化查询)集合，Web站点上的很多信息都是以HTML或XML等形式存在的半结构化的文本信息，数据集成经常需要从其中抽取出结

第34页共76页

北京师范大学私有云计算数据中心技术方案

构化的数据。

映射器的作用是进行数据转换，能把任一数据源的数据表示为关系数据的表格形式，映射器作为用户和关系资源集合间的中介，可以给用户统一的模式和查询语言以提供查询。

1. 平台特点

? 基于Java实现，系统可移植行高

? 数据服务接口可以看作一个虚拟数据库系统，应用程序只需通过ODBC或JDBC驱动即可访问，对应用开发完全透明 ? 支持各种异构数据源，包括普通关系型数据库、Excel文件、LDAP、JMS队列、XML文件、HTTP、Webservice数据等等 ? 支持大数据分区切割和读写分离 ? 支持资源文件的分布式存储

? 基于内存数据库的分布式数据库集群架构，支持大并发、快速交易和高可用性

? 丰富的管理控制工具

? 提供完善安全访问控制，保证数据安全 ? 外部应用只能通过该接口访问内部数据源，即可以保证内部数据的安全，

又能保证内部数据源的调整不影响外部应用的正常运行

系统体系结构

数据服务接口的设计目标是为应用程序提供一个可以透明访问和集成多个数据源的、提供数据库视图的信息集成平台，整个模型可以分为数据源层、数据访问中间件层和应用层三层，数据服务接口位于数据访问中间件层，由管理控制模块、请求处理模块、模式集成模块、元数据字典模块、数据映射模块、数据源封装模块组成。

第35页共76页

北京师范大学私有云计算数据中心技术方案

应用程序应用层 数据访问接口层请求处理管理控制元数据字典模式集成数据源封装数据组装数据源数据源数据源层图2应用结构图

管理控制模块

管理控制模块使信息集成正确有效的进行，是一些基本管理功能，如连接管理、事务管理、安全管理、日志维护等。

1) 连接管理

应用程序每次进行数据操作前需使用连接名称和连接密码建立连接，在操作完成后释放连接。 2) 事务管理

系统在各个数据源之间支持事务机制，启用事务后，系统会将数据的修改缓存起来，只有在事物提交时才将修改写入的第三方数据库等。因此，应承查询到的数据可能与实际数据源中的数据不一致（如与Excel文件数据源中内容不一致）,这是应为启用了事务，且事务尚未提交。系统支持事务的回滚。 3) 安全管理

第36页共76页