1.利用Kettle进行数据同步(下)
2.Kettle插件开发
3.åºäºspring-bootçkettleè°åº¦
4.KettlePack 社区版和商业版的源码区别是?
利用Kettle进行数据同步(下)
上篇内容对基于kettle的数据同步工程的构建进行了介绍,entrypoint.kjb作为工程执行的框架入口。
为了减少操作成本,源码并确保数据同步过程稳定、框架安全,源码需要从更高层次进行抽象,框架sqluldr1源码创建一个简单易用的源码系统。
以下是框架应用截图:
除了选择数据源和数据库,还增加了授权码,源码意味着只有授权范围内的框架用户才能使用该系统。
由于是源码内部使用,授权用户尚未实现后台管理,框架直接在应用数据库中添加,源码选择的框架数据源和数据库都通过配置文件生成。
文末会提供GitHub上的源码源码地址,有需要的读者可以进行二次开发。
一、404源码网专业的数据库设计
数据库名称为kettle,目前包含两张表:
1、授权用户表。表中记录的用户可以使用数据同步系统。
2、同步记录表。记录用户的数据同步操作。
二、程序设计
系统简单实用,没有特别的设计。以下是重点说明的三点:
1、数据源及其参数配置。
在application.yml配置文件中,存在如下配置:
使用了springboot的@ConfigurationProperties注解。
其中的DBSetting定义如下:
通过客户端传递的参数,可以定位到相应的在线看git源码参数设置。
2、集成kettle的API。
由于kettle相关jar包放在了自建的nexus私服上,因此如果使用maven管理jar包,需要在settings.xml配置文件中做一些修改:
其中的mirrorOf节点添加了!pentaho-releases,表示排除pentaho-releases。
然后,在springboot工程的pom.xml中指定pentaho-releases的url。
接下来是核心的对接代码,具体可以参考工程源码。
3、异步执行作业
由于Job的执行时间可能会很长,主要取决于数据量,因此一个request的来回可能会导致TIMEOUT,需要改为异步模式。
核心思想是周立功awtk源码分析:启动新的线程,客户端定时轮询执行结果。
三、总结
本文分两篇文章介绍了如何利用kettle进行数据同步,并实现一个简易的系统,以降低操作成本和出错率。
介绍到此,如有疑问,请留言。
欢迎fork我的工程代码。
Kettle插件开发
工欲善其事,必先利其器。Kettle作为离线或准实时ETL的工具链,在特殊业务流程的处理中,往往需要定制化插件开发。这种情况可能出现在需要对特定数据进行特殊函数处理,现有组件无法满足数据捕获需求,简图在线图床源码或者缺乏对数据重复消费的处理。因此,定制开发流程处理组件,实现数据管理、验证、转换和特定数据源抽取,成为解决此类问题的关键。
以splunk查询插件为例,其开发遵循Kettle转换插件的基本框架。该框架由四个关键类构成,分别扮演不同的角色。首先是步骤类(SplunkInput),继承自BaseStep父类,并实现StepInterface接口,是数据实际处理的位置。数据类(SplunkInputData)继承自BaseStepData,实现StepDataInterface接口,用于存储数据,每个执行线程拥有唯一的实例。对话框类(SplunkInputDialog)继承自BaseStepDialog,实现StepDialogInterface接口,用于组件步骤与开发者之间的交互配置。元数据类(SplunkInputMeta)继承自BaseStepMeta,实现StepMetaInterface接口,保存和序列化步骤实例的配置信息,跟踪开发者设置的属性。
在展现配置方面,通过注解或plugin.xml实现插件在Kettle可视化UI工作台中的显示效果。配置项包括ID、名称、描述、图标、类别等,帮助开发者快速识别和理解插件功能。
开发过程中,步骤类需要实现初始化、释放资源和处理数据流的方法,如检查splunk连接状态、执行数据转换等。数据类在执行线程中提供数据存储空间,确保独立运行环境。对话框类负责输入属性监听、配置数据初始化、连接校验及结果字段预览等功能。元数据类则跟踪输入输出设置,提供参数序列化和扩展验证检查,确保步骤如何处理数据流行的信息清晰。
总体而言,Kettle自定义插件开发流程清晰,通过遵循基本框架和配置规则,开发者可以高效地实现复杂数据处理需求。如需深入了解源码、自定义插件集成或在开发过程中遇到问题,欢迎关注公众号"游走在数据之间",加入QQKettle交流群,获取更多支持和交流。
åºäºspring-bootçkettleè°åº¦
大家好ï¼ææ¯å¸ æ°å°ä¼ï¼ç±äºæè¿å ¬å¸é¡¹ç®è¾è½¬å¤§æ°æ®ï¼éè¦åæ°æ®æ½åçå·¥ä½ï¼kettleæ¯ç®åæ¯è¾æççETLå·¥å ·ï¼èä¼ ç»çkettle客æ·ç«¯å¨ä»»å¡è°åº¦è¿æ¹é¢æ²¡æå®ç°ï¼äºæ¯å¨ç½ä¸å¯»æ¾å¼æºçkettleè°åº¦é¡¹ç®ãkettle-manager
ä¸é¨ä¸ºkettleè¿æ¬¾ä¼ç§çETLå·¥å ·å¼åçweb端管çå·¥å ·ãè²ä¼¼æºç è·èµ·æ¥æ¯è¾è´¹å²ï¼åç§ç¼ºå ï¼äºæ¯æ为大家ä¸é¨æ´çäºä¸ä¸è¿ä¸ªé¡¹ç®ãå ¨maven管çç
/konglinghai/kettle
å¦ææ³å¦ä¹ kettleçå¯ä»¥ç¨æçgithub项ç®è¿è¡ï¼æ¯ç«æå¨ç¾¤é天天åç°é½æ人å 为æ æ³è¿è¡é¡¹ç®èæé®ã
kettleçéæ
ç±äºkettle-manageræ¯ä¸ä¸ªå®æ´çweb项ç®ï¼åè½ä¹æ¯è¾å¤ï¼ä½æ¯å®é åºç¨ä¸ï¼åªéç¨å°å ä¸ªå ³é®çç¹ï¼å°±è½å¤å®ç°kettleçwebè°åº¦ãå æ¤æ们éè¦ækettleçè°åº¦ä»é¡¹ç®ä¸å离åºæ¥ï¼è¿æ ·æè½å¤æ´å¥½å°éæå°èªå·±ç项ç®ä¸å»ãäºæ¯æè§å¾å°å®æ½åºæ¥ï¼åºäºspring-bootï¼å ·ä½çä¸å¡ä¹å离åºæ¥ï¼kettleä½ä¸ºä¸ä¸ªç»ä»¶ã
renren-kettle
项ç®è¯´æ
项ç®å®ç°åè½
项ç®ç»æ
å®æ¶websocketçæ¥å ¥ä¾å
é¨ç½²æå
å¦éå å ¥é¡¹ç®ï¼è¯·é®ä»¶ @qq.com
KettlePack 社区版和商业版的区别是?
KettlePack 社区版与商业版之间的区别在于,社区版主要针对一般用户,功能上没有特别限制,而商业版则是为满足特定需求的客户设计的,如需要商业授权、源码二次开发及专业技术服务支持等。商业版提供更全面、定制化的服务,包括但不限于商业授权、源码访问与二次开发可能性以及专属的技术支持。
KettlePack 是一款专门用于调度、监控由 Kettle 客户端创建的任务和管理的系统,深受欢迎。在面对庞大的任务管理需求时,传统使用客户端操作已显不足,KettlePack 的解决方案应运而生。它提供了一套基于 Kettle9(兼容 Kettle8 及其他版本)的 Web 端调度监控管理系统,安装便捷、操作直观,且免费提供使用。
通过 KettlePack 调度 Kettle,主要优势体现在以下几个方面:
1. 一体化任务管理:KettlePack 能够批量导入由 Kettle 生成的 ktr 和 kjb 文件,支持成千上万个 Kettle 任务的高效管理与处理。
2. 可视化运维监控:提供全面的运维监控视图,实时追踪作业运行日志、log 日志、Kettle 内部运行日志及系统操作日志等信息,实现高效运维。
3. 文件资源库集成:内部集成文件资源库,通过特定路径管理所有监控运维的作业及转换,确保资源有序、可追溯。
4. 完整的定时策略:集成灵活的定时策略,可根据策略自动执行 Kettle 的作业及转换任务,提升管理效率。
下载并使用 KettlePack 管理系统,官方下载链接请认准。