数据处理和数据存储管理子系统方案
持远程的数据库备份和文件系统备份，为中联部提供廉价实用的容灾备份功能，确保容灾备份中心有一份异地保存、完整可用的后备数据。远程数据的备份与恢复——这是公司承担的北京市科委科技计划攻关课题，异地备份技术可以帮助用户实现数据安全性容灾，以确保当用户的生产中心一旦发生故障，其容灾备份中心有一份异地保存、完整可用的后备数据，这样即使灾难发生，也可以确保用户原有的数据不会丢失或者遭到破坏。该技术2007年底通过科委验收，技术突破了数据备份与恢复的远距离问题，达到数据级容灾的目标，并在本项目中应用，实现中联部本部与中央档案馆之间的远程容灾。
Mars Backup Advanced是基于完全自主知识产权的成熟存储技术优势研发而成的软件产品，为涉及数据安全和信息保密的中联部这样的政府关键部门需要提供完整的本土化支持。
3.3 第二次全国农业普查存储项目
本项目集海量农普数据的多级存储检索查询、备份、归档及上报于一体，并针对各级统计局提供全面、一体化的管理功能；实现数据库与图像文件的同时备份与恢复，确保农普调查表的数据文件与图像文件唯一性与一致性；软件在差异存储环境下的快速部署，实现跨地区跨系统读写数据磁带，使利用离线磁带作为上报、接收数据成为可能；上级统计局在接收到上报磁带后，只需读取磁带中索引信息而无需读取整盘磁带即可实现上报数据的快速入库、归档。
3.3.1 项目整体架构
本次农业普查的数据处理工作进一步充分地利用了统计信息工程建设成果，按照“光电录入、图像存储、三级处理、逐级上报”的现代信息技术模式，采用“统一由各地的农普办数据处理组传递上报普查数据”的工作方式。
如下图所示各级统计局系统结构：
北京亚细亚智业科技有限公司 45
数据处理和数据存储管理子系统方案
与县级交互数据光电系统数据处理系统Mars服务器SCSI总线数据处理系统农普调查表磁带机扫描设备光纤交换机上报磁带Mars服务器地、市级统计局磁盘阵列磁带库上报磁带光纤交换机磁带库高速盘阵低速盘阵数据处理系统LANFCMars服务器国家级统计局省级统计局 3.3.2 农普数据存储管理的实现
各级统计局在进行农业普查时，首先由县级统计局收集其下属的各乡镇及村等填写好的农普调查表，并将其上报至直属地、市级统计局，然后由地、市级统计局对农普调查表进行光电录入处理，最终形成其相关的数据文件（以数据库形式存储）和图像文件（以文件形式存储），然后利用磁带存储离线传输和网络在线传输，逐级上报农普调查表的图像文件，最终汇总至省级、国家级统计局，同时各级统计局归档本地数据信息至磁带，用于永久性保存。
如下图所示农业普查数据存储管理业务流程：
北京亚细亚智业科技有限公司 46
数据处理和数据存储管理子系统方案
归档至磁带数据文件原始调查表地市光电扫描图像文件地、市数据存储管理软件上报生成上报磁带接收入库、归档入库归档国家数据存储管理软件接收上报生成上报磁带省级数据存储管理软件
Mars系统软件，实现了在各级统计局差异硬件环境下的实施部署，软件不仅满足了各级统计局对电子档案数据的入库、归档，实现了具有开放性要求的数据永久性存储，而且实现了数据有效、安全的逐级上报，以及各级统计局间的衔接管理，使得上报数据磁带能被多套系统有效地读取；同时，在不增加磁带存储设备的前提下，实现了在整个农普数据处理过程中的数据备份与恢复，该功能完全保证了在某一时刻农普调查表的数据文件与图像文件的一致性与唯一性，是真正意义上的数据安全、可靠。
3.3.3 Mars软件的技术特色
在各级统计局所部署的数据存储管理软件，是由北京亚细亚智业科技有限公司自主研发的Mars存储管理软件，并可针对用户实际应用需求，提供差异化解决方案，与其他市场中主流的存储备份软件相比，在功能实现上更贴近用户需求，和应用层接合的更为紧密，主要表现在：
? 软件集海量农普图像文件的多级存储检索查询、图像文件备份、归档及
上报于一体，并针对各级统计局提供全面、一体化的管理功能； ? 全面支持海量农普图像文件的多级归档、恢复，同时已归档图像文件的
恢复、检索可根据图像文件的属性信息，如地址码、数据状态（校对、
北京亚细亚智业科技有限公司
47
数据处理和数据存储管理子系统方案
审核等）、表单类型等，具体到每张农普调查表，而不能简单的采用备份技术；
? 软件在差异存储环境下的快速部署，实现跨地区跨系统读写数据磁带，
使利用离线磁带作为上报、接收数据成为可能；
? 上级统计局在接收到上报磁带后，只需读取磁带中索引信息而无需读取
整盘磁带即可实现上报数据的快速入库、归档；
? 在实现备份功能时，根据农业普查的业务特点，实现数据库与图像文件
同时备份，在确保数据安全的同时保证农普调查表的数据文件与图像文件唯一性与一致性，做到在某一时间点数据文件与图像文件一一对应； ? 在实现归档功能时，在满足用户的限定的归档条件后，把农普调查表的
图像文件写入到磁带的同时，将保存在数据库中与其相对应的数据文件转存为CSV文件，利用农普调查表的地址码信息实现两者相关联并生成存储对象，然后一同写入到磁带中，以保证归档数据的一致性。由于磁带存储格式采用的是符合国际标准的开放格式，第三方软件也读取磁带中的数据信息。
? 以Web Service方式提供丰富的程序接口，实现与应用层的无缝集成，
为应用系统提供数据存储服务。
3.4 北京市科委数据备份项目
北京市科委现有比较完整的网络与应用系统，需要一个管理全面、操作简便的数据备份管理与控制系统，集中管理和使用各类备份设备，通过制定完善的数据备份与灾难恢复策略，对科委信息网络中的OA、决策应用与数据库服务器上的文件和数据库信息进行智能化备份、恢复等操作，并实现远程容灾备份，以达到保护数据和最大限度提高存储资源效率的目的。这就要求系统应能实现存储系统的集约化、统一管理。
科委在西直门科委办公楼办公，在上地有机房，科委需要对红旗Linux、Windows操作系统上文件、人大金仓数据库进行智能化备份与恢复，并在上地建立异地容灾备份中心；上述数据备份到磁带中长期保存。
针对北京市科委应用系统目前的应用情况和需求，我们部署具备远程容灾备
北京亚细亚智业科技有限公司 48
相关推荐：
loading