DataService-操作手册

.

DataServices培训总结-操作手册

目录

一、DS简介 .................................................................................................................................................2 二、DS数据加载方式 ..............................................................................................................................2 三、DS进行数据抽取模型开发的基本过程 .....................................................................................3 四、DS创建数据源系统和目标系统的数据存储 ............................................................................3

1、Oracle数据库作为数据源系统..............................................................................................3 2、ECC作为数据源系统 ................................................................................................................4 3、HANA数据库作为目标系统 ...................................................................................................5 五、全量加载过程 .....................................................................................................................................5

1、创建Project和Job ....................................................................................................................5 2、导入源表的元数据到资源库 ..................................................................................................6 3、创建Data Flow ............................................................................................................................6 4、设置源表和目标表 .....................................................................................................................7 5、手工执行Job ...............................................................................................................................7 六、基于表比较的增量加载...................................................................................................................8

1、在Job下定义工作流 ................................................................................................................8 2、在工作流中定义数据流............................................................................................................8 3、加入Table_Comparison控件 ................................................................................................9 4、设置Table_Comparison控件 ................................................................................................9 七、基于时间戳的增量加载................................................................................................................ 10

1、在Job下定义工作流 ............................................................................................................. 10 2、定义Script控件 ....................................................................................................................... 10 3、定义处理新增数据的数据流和处理更新数据的数据流 ............................................. 11 八、DS中常用控件介绍 ....................................................................................................................... 13

1、Key_Generation ........................................................................................................................ 13 2、Case ............................................................................................................................................. 13 3、Merge .......................................................................................................................................... 14 4、Validation ................................................................................................................................... 15 5、设置过滤器和断点 .................................................................................................................. 15 九、定义Job定期执行 ......................................................................................................................... 16

1、登录Data Services Management Console ..................................................................... 16 2、定义Batch Job Schedules .................................................................................................... 17 十、其他注意事项 .................................................................................................................................. 18

Word 资料

.

一、DS简介

SAP BusinessObjects Data Services是通过SAP HANA认证的ETL工具。 采用数据批量处理的方式，定期执行后台作业，将数据从多个业务系统中抽取出来，并进行必要的处理（转换，合并，过滤，清洗），然后再加载到HANA数据库中 。 DS的组件之间的关系：

? Management Consol：

管理控制台是网页版DS管理工具，可以进行一些系统配置和定义Job执行 ? Designer： Designer是一个具有易于使用的图形用户界面的开发工具。它允许开发人员定 义包括数据映射，转换和控制逻辑的数据管理应用程序，创建包含工作流（作业执行定义）和数据流 （数据转换定义）的应用程序 ? Repository： 应用程序设计器使用的本地资源库用来存储Data Services对象（如项目，作业，工作流，和数据流）的定义和源和目标的元数据 ? Job server： 作业服务器启动数据移动的从多个不同种类的源集成数据的引擎，执行复杂的数据转换，并管理从ERP系统和其他源的抽取和事务

二、DS数据加载方式

? 全量加载 ? 增量上载

a) 基于表比较 作业在执行时读取数据源和目标中的全部数据，在服务器的存中进行比较，计算数据差异

b) 时间戳增量

Word 资料

.

需要在数据源中添加时间戳字段，一般为创建时间和最后修改时间，在抽取作业中定义对两个时间戳字段进行对比，符合条件的创建时间条目进行插入，符合条件的修改时间条目进行更新

c) 利用数据库CDC（changed data capture） 首先需要开启数据库的CDC服务，为数据库实例启用CDC功能，为源表启用CDC功能。在这种模式下，DS的增量更新不再直接访问源表，而是在与源表相关的变更记录表中读取增量

三、DS进行数据抽取模型开发的基本过程

? ? ? ? ? ?

为数据源创建数据存储 导入源表的元数据到资源库

为SAP HANA目标系统创建数据存储 新建DS项目和批量作业

新建DS数据流：定义源表和目标表，定义变量、编辑Query和Map_CDC_Operation 执行批量作业

四、DS创建数据源系统和目标系统的数据存储 1、Oracle数据库作为数据源系统

登录Data Services Designer，在本地对象库的数据存储页签中单击鼠标右键，选择新建菜单

Word 资料