Skip to main content
Version: 4.0.0

部署PowerJob

前言

基于PowerJob的分布式DAG任务调度组件,用于在分布式环境中执行基于DataX的任务 ,以应对企业级数仓中快速、高效执行大量T+1数据同步任务的需求。 且PowerJob提供了定时触发功能,利用PowerJob内部的Crontab定时任务组件,可做到精准触发批量数据同步任务执行。

初始安装TIS,PowerJob作为可选项,可以选择不安装。此时,触发批量同步数据任务是由TIS内置的执行引擎执行,但功能上有所限制,由于执行引擎与TIS同在一个节点运行,故而只能单线程,线性运行。 且没有自动触发同步任务功能,因此在真正的企业化应用场景中功能受限。

TIS在4.0.0版本中推出了基于PowerJob的分布式DAG任务执行引擎,弥补了以上提到的不足,且是基于Kubernetes环境部署,执行资源具有弹性扩缩特性,可最大限度地使用计算资源,避免资源浪费。 为企业级、CloudNative场景下使用数据集成提供了一个可行性方案。

部署准备

PowerJob 组件运行需要依赖于 TIS控制节点组件,如还未安装,请按照 安装说明 进行安装

安装模式

PowerJob组件在TIS中分为两种安装模式:

  1. 基于Kubernetes
  2. 本地部署