第一范文网 - 专业文章范例文档资料分享平台

ETL工具kettle学习总结

说明:文章内容仅供预览,部分内容可能不全,需要完整文档或者需要复制内容,请下载word后使用。下载word有问题请添加微信号:xxxxxxx或QQ:xxxxxx 处理(尽可能给您提供完整文档),感谢您的支持与谅解。

5.2 SQL

执行SQL脚本

可以执行写好的sql脚本,指定sql路径即可。 也可以插入编辑sql脚本。

5.3 Shell

执行SHELL脚本,

可以执行已经写好的shell脚本 指定shell脚本路径即可,也可以自己插入,编辑shell脚本 可以把前一个步骤的执行结果当作参数传入

与现有应用程序集成

通过图形化界面设计出来的transformation ,job都是xml格式的文件。通过加载环境变量,初始化配置文件可以在servlet或者其他应用程序中中执行转换。 大致执行方式如下:

public static void runTransformation(String filename) { try {

StepLoader.init();

EnvUtil.environmentInit();

TransMeta transMeta = new TransMeta(filename); Trans trans = new Trans(transMeta);

trans.execute(null); // You can pass arguments instead of null. trans.waitUntilFinished(); if ( trans.getErrors() > 0 ) {

throw new RuntimeException( \ } }

catch ( KettleException e ) { System.out.println(e); } }

通过插件扩展现有功能

1) 至少实现4个接口

StepMetaInterface接口 定义元数据,执行检查等 StepInterface接口 集成自BaseStep,步骤

StepDataInterface 接口 处理游标,数据库结果集,文件等 StepDialogInterface接口 编辑,设置变量的图形化界面

类名命名规则:

四个类的前缀保持一致,譬如实现StepMetaInterface的类是MyMeta

那么实现StepInterface的类是My,实现StepDataInterface的是MyData,实现StepDialogInterface的是MyDialog

2) 定义plugin.xml文件

id=\ iconfile=\

description=\

tooltip=\ category=\

classname=\

小例子

文件批量入库:

获取一个目录下的文件名,使用一个正则表达式来指定文件名。 使用一个 javascript 脚本,读取文件内容,

如果文件是二进制文件,文件内容一般保存为 BLOB 、Binary 、Image 等类型 如果文件是字符型文件,文件内容一般保存为 CLOB 、varchar、Text 等类型

注意:因为该方法是一次性将文件内容都读到了内存中,因此只能处理比较小的文件 file = new Packages.java.io.File(filename.getString());

搜索更多关于: ETL工具kettle学习总结 的文档
ETL工具kettle学习总结.doc 将本文的Word文档下载到电脑,方便复制、编辑、收藏和打印
本文链接:https://www.diyifanwen.net/c3vifm1s09r507xn0vyqb_8.html(转载请注明文章来源)
热门推荐
Copyright © 2012-2023 第一范文网 版权所有 免责声明 | 联系我们
声明 :本网站尊重并保护知识产权,根据《信息网络传播权保护条例》,如果我们转载的作品侵犯了您的权利,请在一个月内通知我们,我们会及时删除。
客服QQ:xxxxxx 邮箱:xxxxxx@qq.com
渝ICP备2023013149号
Top