TIS介绍
实时ETL数仓
TIS为您提供企业级数据集成服务，基于批(DataX)，流(Flink-CDC、Chunjun)一体，提供简单易用的操作界面，降低用户实施端到端数据同步的实施门槛，缩短任务配置时间，避免配置过程中出错，使数据同步变得简单、有趣且容易上手 详细介绍
如果您正在利用DataX、Flink-CDC、SeaTunnel编写脚本来驱动执行端到端数据同步程序，是非常烦冗且容易出错的事儿。
并因此感到些许厌倦，您可以尝试一下TIS，一定会给您带来不小的惊喜。
视频示例
- 启用分布式执行功能
- MySQL导入ElasticSearch
- MySQL导入Hive
- MySQL导入Clickhouse
- MySQL全表入湖Hudi >>视频Demo
- MySQL到StarRocks的同步实现 >>视频Demo
- MySQL同步Doris >批量同步 >实时同步
TIS安装
功能特性
安装简单
TIS的安装还是和传统软件安装一样，只需要三个步骤：一、下载tar包，二、解压tar包，三、启动TIS。是的，就这么简单。
另外还支持多种部署模式（Docker、Docker-Compose、Kubernetes）。
扩展性强
TIS 继承了Jenkin 的设计思想，使用微前端技术，重新构建了一套前端框架，前端页面可以自动渲染。
TIS 提供了良好的扩展性和SPI机制，开发者可以很轻松地开发新的插件。
支持各种Transformer算子功能
通过在TIS流程中设置Transformer功能逻辑，可实现在ETL数仓功能中，在E（数据抽取）阶段即可高效实现各种字段值转换功能，如：字段脱敏，字段拼接，取子字符串等功能。
易与大数据生态整合
支持与DolphinScheduler整合，用户只需在TIS中配置数据管道，验证无误后，一键推送同步表任务到DolphinScheduler平台，即可在其上完成数据同步任务调度。为以DolphinScheduler构建ETL数仓方案如虎添翼。
基于 DataOps 理念
借鉴了 DataOps、DataPipeline 理念，对各各执行流程建模。不需要了解底层模块的实现原理，基本实现傻瓜化方式操作。
功能一瞥
选择Reader/Writer插件类型
添加MySqlReader
设置MySqlReader目标表、列
添加ElasticWriter,可视化设置ElasticSearch的Schema Mapping
执行MySql->ElasticSearch DataX实例，运行状态
执行MySql->ElasticSearch 执行成功
TIS支持的DataX（Reader/Writer）Plugin
Provider: FlinkCDCChunjunTISDataX
| 类型 | 批量(DataX) | 实时 | ||
|---|---|---|---|---|
| 读 | 写 | Source | Sink | |
| ElasticSearch | 1 | 1 | ||
| TDFS | 1 | 1 | ||
| Doris | 1 | 1 | ||
| Postgres | 1 | 1 | 1 | 1 |
| Oracle | 1 | 1 | 1 | |
| Hudi | 1 | 1 | ||
| RocketMQ | 1 | |||
| HiveMetaStore | 1 | 1 | ||
| MySQL | 1 | 1 | 1 | 1 |
| Spark | 1 | |||
| StarRocks | 1 | 1 | ||
| Kafka | 1 | 1 | ||
| Clickhouse | 1 | 1 | ||
| MongoDB | 1 | 1 | ||
| SqlServer | 1 | 1 | ||
| MariaDB | 1 | 1 | 1 | 1 |
| DaMeng | 1 | 1 | 1 | |
| Cassandra | 1 | 1 | ||
| AliyunODPS | 1 | |||
联系我们
微信TIS小秘书
微信公众号
