TIS插件包列表

tis-aliyun-fs-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-aliyun-fs-plugin.tpi

• 介绍：

  对阿里云OSS进行封装，作为TIS底层FS使用

• 扩展列表：

tis-asyncmsg-rocketmq-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-asyncmsg-rocketmq-plugin.tpi

• 介绍：

  对RocketMQ进行进行封装，对接各种实时流消息（例如，MySQL binlog）执行流计算，可在TIS中构建实时同步的物化视图

• 扩展列表：

  • com.qlangtech.tis.async.message.client.consumer.impl.AbstractAsyncMsgDeserialize

    • com.qlangtech.async.message.client.to.impl.DefaultJSONFormatDeserialize

  • com.qlangtech.tis.async.message.client.consumer.impl.MQListenerFactory

    • com.qlangtech.async.message.client.consumer.RocketMQListenerFactory

tis-chunjun-base-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-chunjun-base-plugin.tpi

• 扩展列表：

  • com.qlangtech.tis.plugins.incr.flink.connector.UpdateMode

    • com.qlangtech.tis.plugins.incr.flink.connector.impl.ReplaceType

    • com.qlangtech.tis.plugins.incr.flink.connector.impl.UpdateType

    • com.qlangtech.tis.plugins.incr.flink.connector.impl.InsertType

  • com.qlangtech.plugins.incr.flink.chunjun.poll.Polling

    • com.qlangtech.plugins.incr.flink.chunjun.poll.RunInterval

  • com.qlangtech.tis.plugin.datax.IncrSelectedTabExtend

    • com.qlangtech.plugins.incr.flink.chunjun.source.SelectedTabPropsExtends

    • com.qlangtech.plugins.incr.flink.chunjun.sink.SinkTabPropsExtends

tis-datax-cassandra-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-datax-cassandra-plugin.tpi

• 介绍：

  • 对Cassandra NoSql数据源进行封装,使TIS能以Cassandra作为数据源的表。
  • 支持以Cassandra作为目标源的DataX Reader和Writer

• 扩展列表：

  • com.qlangtech.tis.datax.impl.DataxReader

    • com.qlangtech.tis.plugin.datax.DataXCassandraReader

  • com.qlangtech.tis.datax.impl.DataxWriter

    • com.qlangtech.tis.plugin.datax.DataXCassandraWriter

  • com.qlangtech.tis.plugin.ds.DataSourceFactory

    • com.qlangtech.tis.plugin.ds.cassandra.CassandraDatasourceFactory

tis-datax-clickhouse-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-datax-clickhouse-plugin.tpi

• 介绍：

  • 实现Clickhouse数据源

    支持定义Clickhouse的数据源，为定义ClickhouseWriter插件提供支持

  • 支持Clickhouse类型的 DataX Writer插件

    1. ClickhouseWriter 插件实现了写入数据到 Clickhouse库的目的表的功能。

    2. ClickhouseWriter 面向ETL开发工程师，他们使用 ClickhouseWriter 从数仓导入数据到 Clickhouse。同时 ClickhouseWriter 亦可以作为数据迁移工具为DBA等用户提供服务

• 扩展列表：

  • com.qlangtech.tis.datax.impl.DataxWriter

    • com.qlangtech.tis.plugin.datax.DataXClickhouseWriter

  • com.qlangtech.tis.plugin.ds.DataSourceFactory

    • com.qlangtech.tis.plugin.ds.clickhouse.ClickHouseDataSourceFactory

tis-datax-common-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-datax-common-plugin.tpi

• 介绍：

  • 定义DataxProcessor实现录入DataX实例基本信息的功能

  • 为其他DataX Reader、Writer插件提供了公共类

  • 定义DataXGlobalConfig，提供DataX配置的基础配置参数，如：channel,errorLimitCount 等

  • 提供了DataX 任务提交方式的实现

    1. LocalDataXJobSubmit本地任务提交
    2. DistributedOverseerDataXJobSubmit基于K8S的分布式任务提交方式（生产环境中建议使用该种提交方式）

• 扩展列表：

  • com.qlangtech.tis.manage.IAppSource

    • com.qlangtech.tis.plugin.datax.DefaultDataxProcessor

  • com.qlangtech.tis.config.ParamsConfig

    • com.qlangtech.tis.plugin.datax.DataXGlobalConfig

    • com.qlangtech.tis.plugin.aliyun.HttpEndpoint

tis-datax-common-rdbms-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-datax-common-rdbms-plugin.tpi

• 扩展列表：

tis-datax-doris-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-datax-doris-plugin.tpi

• 介绍：

  • DorisWriter / StarRocksWriter

    插件实现了写入数据到 StarRocks/Doris 主库的目的表的功能。在底层实现上，StarRocksWriter 通过Streamload以csv格式导入数据至StarRocks。 详细

    该插件现同时支持StarRocks和Doris两种数据库

  • DorisSourceFactory / StarRocksSourceFactory

    支持定义Doris和StarRocks两种类型的数据源

• 扩展列表：

  • com.qlangtech.tis.datax.impl.DataxWriter

    • com.qlangtech.tis.plugin.datax.starrocks.DataXStarRocksWriter

    • com.qlangtech.tis.plugin.datax.doris.DataXDorisWriter

  • com.qlangtech.tis.plugin.ds.DataSourceFactory

    • com.qlangtech.tis.plugin.ds.starrocks.StarRocksSourceFactory

    • com.qlangtech.tis.plugin.ds.doris.DorisSourceFactory

tis-datax-elasticsearch-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-datax-elasticsearch-plugin.tpi

• 介绍：

  • 数据导入elasticsearch的插件

    使用elasticsearch的rest api接口， 批量把从reader读入的数据写入elasticsearch详细

• 扩展列表：

  • com.qlangtech.tis.datax.impl.DataxWriter

    • com.qlangtech.tis.plugin.datax.DataXElasticsearchWriter

tis-datax-ftp-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-datax-ftp-plugin.tpi

• 介绍：

  • FtpReader 封装alibaba DataX功能，提供了读取远程FTP文件系统数据存储的能力。在底层实现上，FtpReader获取远程FTP文件数据，并转换为DataX传输协议传递给Writer。详细
  • FtpWriter 封装aliabab DataX功能，提供了向远程FTP文件写入CSV格式的一个或者多个文件，在底层实现上，FtpWriter将DataX传输协议下的数据转换为csv格式，并使用FTP相关的网络协议写出到远程FTP服务器。详细

• 扩展列表：

  • com.qlangtech.tis.datax.impl.DataxReader

    • com.qlangtech.tis.plugin.datax.DataXFtpReader

  • com.qlangtech.tis.datax.impl.DataxWriter

    • com.qlangtech.tis.plugin.datax.DataXFtpWriter

tis-datax-hdfs-plugin_hadoop_2.7.3.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-datax-hdfs-plugin/tis-datax-hdfs-plugin_hadoop_2.7.3.tpi

• 扩展列表：

  • com.qlangtech.tis.config.ParamsConfig

    • com.qlangtech.tis.kerberos.KerberosCfg

  • com.qlangtech.tis.offline.FileSystemFactory

    • com.qlangtech.tis.hdfs.impl.HdfsFileSystemFactory

tis-datax-hdfs-reader-writer-plugin_hadoop_2.7.3.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-datax-hdfs-reader-writer-plugin/tis-datax-hdfs-reader-writer-plugin_hadoop_2.7.3.tpi

• 扩展列表：

  • com.qlangtech.tis.datax.impl.DataxReader

    • com.qlangtech.tis.plugin.datax.DataXHdfsReader

  • com.qlangtech.tis.datax.impl.DataxWriter

    • com.qlangtech.tis.plugin.datax.DataXHdfsWriter

tis-datax-hudi-common_hudi_0.10.1_spark_2.4.4_hive_2.3.1_hadoop_2.7.3.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-datax-hudi-common/tis-datax-hudi-common_hudi_0.10.1_spark_2.4.4_hive_2.3.1_hadoop_2.7.3.tpi

• 扩展列表：

  • com.qlangtech.tis.plugin.datax.SelectedTab

    • com.qlangtech.tis.plugin.datax.hudi.HudiSelectedTab

tis-datax-hudi-plugin_hudi_0.10.1_spark_2.4.4_hive_2.3.1_hadoop_2.7.3.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-datax-hudi-plugin/tis-datax-hudi-plugin_hudi_0.10.1_spark_2.4.4_hive_2.3.1_hadoop_2.7.3.tpi

• 介绍：

  封装Apache Hudi，为用户提供一站式、开箱即用的千表入湖的解决方案

  功能：

  本组件整合Hudi提供的DeltaStreamer功能，通过TIS生成成DeltaStreamer需要的所有Hudi表摄入所需要的 所有配置信息（Avro schemas、从数据源抽取数据的DataX配置，Hudi表分区信息及 Key Generation配置）

  配合TIS提供的各种Source Connnector组件（MySQL，PostgreSQL，SqlServer等）快速实现各种数据源批量入湖

• 扩展列表：

  • com.qlangtech.tis.datax.impl.DataxWriter

    • com.qlangtech.tis.plugin.datax.hudi.DataXHudiWriter

  • com.qlangtech.tis.plugin.datax.hudi.spark.SparkSubmitParams

    • com.qlangtech.tis.plugin.datax.hudi.spark.SparkSubmitParams

  • com.qlangtech.tis.plugin.datax.hudi.partition.HudiTablePartition

    • com.qlangtech.tis.plugin.datax.hudi.partition.SlashEncodedHourPartition

    • com.qlangtech.tis.plugin.datax.hudi.partition.SlashEncodedDayPartition

    • com.qlangtech.tis.plugin.datax.hudi.partition.FieldValBasedPartition

  • com.qlangtech.tis.plugin.datax.hudi.keygenerator.HudiKeyGenerator

    • com.qlangtech.tis.plugin.datax.hudi.keygenerator.impl.ComplexKeyGenerator

    • com.qlangtech.tis.plugin.datax.hudi.keygenerator.impl.NonePartitionKeyGenerator

    • com.qlangtech.tis.plugin.datax.hudi.keygenerator.impl.SimpleKeyGenerator

    • com.qlangtech.tis.plugin.datax.hudi.keygenerator.impl.TimeStampKeyGenerator

tis-datax-local-embedded-executor.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-datax-local-embedded-executor.tpi

• 介绍：

  批量任务触发，用于本地功能测试用，请勿用于生成环境

• 扩展列表：

  • com.qlangtech.tis.datax.DataXJobSubmit

    • com.qlangtech.tis.plugin.datax.EmbeddedDataXJobSubmit

tis-datax-local-executor.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-datax-local-executor.tpi

• 介绍：

  批量任务触发组件，有两种任务提交方式：

  1. 本地独立模式：在本地启动独立进程，特点是占用资源少轻量化。所有批量导入任务都在单个机器节点上执行，所以并发吞肚率比较低
  2. 分布式模式：向分布式队列中提交任务，由驻留在K8S机器中的Woker节点消费批量任务，优点是可以按照批量任务规模，水平扩容K8S集群中的执行节点，达到提高批量任务执行吞吐率

• 扩展列表：

  • com.qlangtech.tis.datax.DataXJobSubmit

    • com.qlangtech.tis.plugin.datax.DistributedOverseerDataXJobSubmit

    • com.qlangtech.tis.plugin.datax.LocalDataXJobSubmit

tis-datax-mongodb-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-datax-mongodb-plugin.tpi

• 介绍：

  • MongoDB DataSource 插件封装了MongoDB作为数据源的插件，可以向TIS导入MongoDB的数据表进行后续处理
  • MongoDBReader 封装alibaba DataX reader，插件利用 MongoDB 的java客户端MongoClient进行MongoDB的读操作。最新版本的Mongo已经将DB锁的粒度从DB级别降低到document级别，配合上MongoDB强大的索引功能，基本可以达到高性能的读取MongoDB的需求。详细
  • MongoDBWriter 封装alibaba DataX writer，插件利用 MongoDB 的java客户端MongoClient进行MongoDB的写操作。最新版本的Mongo已经将DB锁的粒度从DB级别降低到document级别，配合上MongoDB强大的索引功能，基本可以满足数据源向MongoDB写入数据的需求，针对数据更新的需求，通过配置业务主键的方式也可以实现详细

• 扩展列表：

  • com.qlangtech.tis.datax.impl.DataxReader

    • com.qlangtech.tis.plugin.datax.DataXMongodbReader

  • com.qlangtech.tis.datax.impl.DataxWriter

    • com.qlangtech.tis.plugin.datax.DataXMongodbWriter

  • com.qlangtech.tis.plugin.ds.DataSourceFactory

    • com.qlangtech.tis.plugin.ds.mangodb.MangoDBDataSourceFactory

tis-datax-oracle-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-datax-oracle-plugin.tpi

• 介绍：

  • 封装Oracle作为数据源的DataSource插件，可以向TIS导入Oracle中的数据表作后续分析处理

  • OracleReader

    实现了alibaba DataXReader从Oracle读取数据。在底层实现上，OracleReader通过JDBC连接远程Oracle数据库，并执行相应的sql语句将数据从Oracle库中SELECT出来。详细

  • OracleWriter

  实现了alibaba DataXWriter写入数据到 Oracle 主库的目的表的功能。在底层实现上， OracleWriter 通过 JDBC 连接远程 Oracle 数据库，并执行相应的 insert into … sql 语句将数据写入 Oracle，内部会分批次提交入库。

  OracleWriter 面向ETL开发工程师，他们使用 OracleWriter 从数仓导入数据到 Oracle。同时 OracleWriter 亦可以作为数据迁移工具为DBA等用户提供服务。 详细

• 扩展列表：

  • com.qlangtech.tis.datax.impl.DataxReader

    • com.qlangtech.tis.plugin.datax.DataXOracleReader

  • com.qlangtech.tis.datax.impl.DataxWriter

    • com.qlangtech.tis.plugin.datax.DataXOracleWriter

  • com.qlangtech.tis.plugin.ds.oracle.ConnEntity

    • com.qlangtech.tis.plugin.ds.oracle.impl.SIDConnEntity

    • com.qlangtech.tis.plugin.ds.oracle.impl.ServiceNameConnEntity

  • com.qlangtech.tis.plugin.ds.DataSourceFactory

    • com.qlangtech.tis.plugin.ds.oracle.OracleDataSourceFactory

tis-datax-oss-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-datax-oss-plugin.tpi

• 介绍：

  为Alibaba DataX OOS reader、writer插件提供基于UI的开箱即用的插件实现

  • OSSReader提供了读取OSS数据存储的能力。在底层实现上，OSSReader使用OSS官方Java SDK获取OSS数据，并转换为DataX传输协议传递给Writer。详细
  • OSSWriter提供了向OSS写入类CSV格式的一个或者多个表文件。详细

• 扩展列表：

  • com.qlangtech.tis.datax.impl.DataxReader

    • com.qlangtech.tis.plugin.datax.DataXOssReader

  • com.qlangtech.tis.datax.impl.DataxWriter

    • com.qlangtech.tis.plugin.datax.DataXOssWriter

tis-datax-postgresql-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-datax-postgresql-plugin.tpi

• 介绍：

  • 封装PostgreSQL作为数据源的DataSource插件，可以向TIS导入PostgreSQL中的数据表作后续分析处理

  • PostgresqlReader

    实现了Alibaba DataXReader从PostgreSQL读取数据。在底层实现上，PostgresqlReader通过JDBC连接远程PostgreSQL数据库，并执行相应的sql语句将数据从PostgreSQL库中SELECT出来详细

  • PostgresqlWriter

    实现了Alibaba DataXWriter 插件，写入数据到 PostgreSQL主库目的表的功能。在底层实现上，PostgresqlWriter通过JDBC连接远程 PostgreSQL 数据库，并执行相应的 insert into … sql 语句将数据写入 PostgreSQL，内部会分批次提交入库。 详细

  • 使用postgresql JDBC驱动（Java JDBC 4.2 (JRE 8+) driver for PostgreSQL database），版本：42.3.1 https://github.com/pgjdbc/pgjdbc

• 扩展列表：

  • com.qlangtech.tis.datax.impl.DataxReader

    • com.qlangtech.tis.plugin.datax.DataXPostgresqlReader

  • com.qlangtech.tis.datax.impl.DataxWriter

    • com.qlangtech.tis.plugin.datax.DataXPostgresqlWriter

  • com.qlangtech.tis.plugin.ds.DataSourceFactory

    • com.qlangtech.tis.plugin.ds.postgresql.PGDataSourceFactory

tis-datax-sqlserver-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-datax-sqlserver-plugin.tpi

• 介绍：

  • 封装SqlServer作为数据源的DataSource插件，可以向TIS导入SqlServer中的数据表作后续分析处理

  • SqlServerReader

    插件实现了从SqlServer读取数据。在底层实现上，SqlServerReader通过JDBC连接远程SqlServer数据库，并执行相应的sql语句将数据从SqlServer库中SELECT出来。详细

  • PostgresqlWriter

    实现了Alibaba DataXWriter 插件，写入数据到 PostgreSQL主库目的表的功能。在底层实现上，PostgresqlWriter通过JDBC连接远程 PostgreSQL 数据库，并执行相应的 insert into … sql 语句将数据写入 PostgreSQL，内部会分批次提交入库。 详细

• 扩展列表：

  • com.qlangtech.tis.datax.impl.DataxReader

    • com.qlangtech.tis.plugin.datax.DataXSqlserverReader

  • com.qlangtech.tis.datax.impl.DataxWriter

    • com.qlangtech.tis.plugin.datax.DataXSqlserverWriter

  • com.qlangtech.tis.plugin.ds.DataSourceFactory

    • com.qlangtech.tis.plugin.ds.sqlserver.SqlServerDatasourceFactory

tis-ds-mysql-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-ds-mysql-plugin.tpi

• 介绍：

  • 封装MySQL作为数据源的DataSource插件，可以向TIS导入MySQL中的数据表作后续分析处理

  • MysqlReader

    MysqlReader插件实现了从Mysql读取数据。在底层实现上，MysqlReader通过JDBC连接远程Mysql数据库，并执行相应的sql语句将数据从mysql库中SELECT出来详细

  • MysqlWriter

    实现了Alibaba DataXWriter 插件，写入数据到 Mysql 主库的目的表的功能。在底层实现上， MysqlWriter 通过 JDBC 连接远程 Mysql 数据库，并执行相应的 insert into … 或者 ( replace into …) 的 sql 语句将数据写入 Mysql，内部会分批次提交入库，需要数据库本身采用 innodb 引擎。 详细

• 扩展列表：

  • com.qlangtech.tis.datax.impl.DataxReader

    • com.qlangtech.tis.plugin.datax.DataxMySQLReader

  • com.qlangtech.tis.datax.impl.DataxWriter

    • com.qlangtech.tis.plugin.datax.DataxMySQLWriter

tis-ds-mysql-v5-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-ds-mysql-v5-plugin.tpi

• 介绍：

  • 封装MySQL数据源驱动

    驱动版本为mysql-connector-java:5.1.30, 支持MySQL服务端5.X的数据源以JDBC的方式连接

• 扩展列表：

  • com.qlangtech.tis.plugin.ds.DataSourceFactory

    • com.qlangtech.tis.plugin.ds.mysql.MySQLV5DataSourceFactory

tis-ds-mysql-v8-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-ds-mysql-v8-plugin.tpi

• 介绍：

  • 封装MySQL数据源驱动

    驱动版本为mysql-connector-java:8.0.25, 支持MySQL服务端8.X的数据源以JDBC的方式连接

• 扩展列表：

  • com.qlangtech.tis.plugin.ds.DataSourceFactory

    • com.qlangtech.tis.plugin.ds.mysql.MySQLV8DataSourceFactory

tis-ds-tidb-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-ds-tidb-plugin.tpi

• 介绍：

  • 封装TiDB作为数据源的DataSource插件

  • DataXTiDBReader

    DataXTiDBReader插件实现了从TiKV读取数据。在底层实现上，可以向TIS导入TiDB中的数据表作后续分析处理。

• 扩展列表：

  • com.qlangtech.tis.datax.impl.DataxReader

    • com.qlangtech.tis.plugin.datax.DataXTiDBReader

  • com.qlangtech.tis.plugin.ds.DataSourceFactory

    • com.qlangtech.tis.plugin.ds.tidb.TiKVDataSourceFactory

tis-flink-cdc-mongdb-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-flink-cdc-mongdb-plugin.tpi

• 扩展列表：

  • com.qlangtech.tis.async.message.client.consumer.impl.MQListenerFactory

    • com.qlangtech.plugins.incr.flink.cdc.mongdb.FlinkCDCMongoDBSourceFactory

tis-flink-cdc-mysql-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-flink-cdc-mysql-plugin.tpi

• 介绍：

  MySQL CDC Connector

  The MySQL CDC connector allows for reading snapshot data and incremental data from MySQL database. This document describes how to setup the MySQL CDC connector to run SQL queries against MySQL databases. https://ververica.github.io/flink-cdc-connectors/master/content/connectors/mysql-cdc.html

• 扩展列表：

  • com.qlangtech.tis.async.message.client.consumer.impl.MQListenerFactory

    • com.qlangtech.plugins.incr.flink.cdc.mysql.FlinkCDCMySQLSourceFactory

tis-flink-cdc-oracle-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-flink-cdc-oracle-plugin.tpi

• 介绍：

  Oracle CDC Connector

  The Oracle CDC connector allows for reading snapshot data and incremental data from Oracle database. This document describes how to setup the Oracle CDC connector to run SQL queries against Oracle databases. https://ververica.github.io/flink-cdc-connectors/master/content/connectors/oracle-cdc.html#startup-reading-position

• 扩展列表：

  • com.qlangtech.tis.async.message.client.consumer.impl.MQListenerFactory

    • com.qlangtech.plugins.incr.flink.cdc.oracle.FlinkCDCOracleSourceFactory

tis-flink-chunjun-mysql-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-flink-chunjun-mysql-plugin.tpi

• 介绍：

  • 利用 袋鼠云纯钧 https://dtstack.github.io/chunjun/ 构建 MySQL实时Sink功能，可以将数据实时写入到指定的MySQL数据库当中
  • MySQL Sink文档
  • ChunJun 版本：1.12.5

• 扩展列表：

  • com.qlangtech.tis.plugin.incr.TISSinkFactory

    • com.qlangtech.tis.plugins.incr.flink.connector.sink.MySQLSinkFactory

  • com.qlangtech.tis.async.message.client.consumer.impl.MQListenerFactory

    • com.qlangtech.tis.plugins.incr.flink.connector.source.MySQLSourceFactory

tis-flink-chunjun-postgresql-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-flink-chunjun-postgresql-plugin.tpi

• 扩展列表：

  • com.qlangtech.tis.plugin.incr.TISSinkFactory

    • com.qlangtech.plugins.incr.flink.chunjun.postgresql.sink.ChunjunPostgreSQLSinkFactory

  • com.qlangtech.tis.async.message.client.consumer.impl.MQListenerFactory

    • com.qlangtech.plugins.incr.flink.chunjun.postgresql.source.ChunjunPostgreSQLSourceFactory

tis-flink-dependency.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-flink-dependency.tpi

• 扩展列表：

tis-hive-flat-table-builder-plugin_hive_2.3.1_hadoop_2.7.3.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-hive-flat-table-builder-plugin/tis-hive-flat-table-builder-plugin_hive_2.3.1_hadoop_2.7.3.tpi

• 介绍：

  • 支持将数据写入到HDFS分布式存储中

• 扩展列表：

  • com.qlangtech.tis.config.spark.SparkConnStrategy

    • com.qlangtech.tis.config.spark.impl.YarnConnStrategy

    • com.qlangtech.tis.config.spark.impl.StandaloneConnStrategy

  • com.qlangtech.tis.datax.impl.DataxWriter

    • com.qlangtech.tis.plugin.datax.DataXSparkWriter

    • com.qlangtech.tis.plugin.datax.DataXHiveWriter

  • com.qlangtech.tis.config.ParamsConfig

    • com.qlangtech.tis.config.spark.impl.DefaultSparkConnGetter

    • com.qlangtech.tis.config.yarn.YarnConfig

    • com.qlangtech.tis.hive.DefaultHiveConnGetter

  • com.qlangtech.tis.config.hive.HiveUserToken

    • com.qlangtech.tis.config.hive.impl.DefaultHiveUserToken

    • com.qlangtech.tis.config.hive.impl.KerberosUserToken

    • com.qlangtech.tis.config.hive.impl.OffHiveUserToken

tis-k8s-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-k8s-plugin.tpi

• 介绍：

  • 支持将将TIS中的部分任务提交到K8S容器中执行

    现支持以下这些任务类型：

    1. Alibaba DataX任务
    2. 数据实时增量同步任务

• 扩展列表：

  • com.qlangtech.tis.datax.job.DataXJobWorker

    • com.qlangtech.tis.plugin.datax.K8SDataXJobWorker

  • com.qlangtech.tis.config.ParamsConfig

    • com.qlangtech.tis.config.k8s.impl.DefaultK8sContext

  • com.qlangtech.tis.plugin.k8s.K8sImage

    • com.qlangtech.tis.config.k8s.impl.DefaultK8SImage

tis-kafka-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-kafka-plugin.tpi

• 介绍：

  • 支持以Kafka作为消息源的实时计算Source
  • TiCDC的消费端，监听TiDB中的增量消息

• 扩展列表：

  • com.qlangtech.tis.async.message.client.consumer.impl.MQListenerFactory

    • com.qlangtech.async.message.client.kafka.TiKVKafkaMQListenerFactory

tis-realtime-flink.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-realtime-flink.tpi

• 介绍：

  封装了和Flink任务相关的组件，启动Flink任务需要设置的CheckPoint、statbackend、RestartStrategy 相关配置都封装在该组件中

• 扩展列表：

  • com.qlangtech.tis.datax.job.DataXJobWorker

    • com.qlangtech.plugins.incr.flink.cluster.FlinkK8SClusterManager

  • com.qlangtech.plugins.incr.flink.launch.StateBackendFactory

    • com.qlangtech.plugins.incr.flink.launch.statbackend.OFF

    • com.qlangtech.plugins.incr.flink.launch.statbackend.FileSystemState

    • com.qlangtech.plugins.incr.flink.launch.statbackend.MemoryState

  • com.qlangtech.tis.plugin.incr.IncrStreamFactory

    • com.qlangtech.plugins.incr.flink.launch.TISFlinkCDCStreamFactory

  • com.qlangtech.plugins.incr.flink.launch.CheckpointFactory

    • com.qlangtech.plugins.incr.flink.launch.ckpt.CKOn

    • com.qlangtech.plugins.incr.flink.launch.ckpt.CKOff

  • com.qlangtech.tis.config.ParamsConfig

    • com.qlangtech.plugins.incr.flink.common.FlinkCluster

  • com.qlangtech.plugins.incr.flink.launch.RestartStrategyFactory

    • com.qlangtech.plugins.incr.flink.launch.restart.FixedDelay

    • com.qlangtech.plugins.incr.flink.launch.restart.ExponentialDelay

    • com.qlangtech.plugins.incr.flink.launch.restart.FailureRate

    • com.qlangtech.plugins.incr.flink.launch.restart.OFF

tis-sink-elasticsearch7-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-sink-elasticsearch7-plugin.tpi

• 扩展列表：

  • com.qlangtech.tis.plugin.incr.TISSinkFactory

    • com.qlangtech.tis.plugins.incr.flink.connector.elasticsearch7.ElasticSearchSinkFactory

tis-sink-hudi-plugin_hudi_0.10.1_spark_2.4.4_hive_2.3.1_hadoop_2.7.3.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-sink-hudi-plugin/tis-sink-hudi-plugin_hudi_0.10.1_spark_2.4.4_hive_2.3.1_hadoop_2.7.3.tpi

• 介绍：

  封装Apache Hudi，为用户提供一站式、开箱即用的千表入湖的解决方案

  功能：

  本组件整合Hudi提供的Stream API Demo功能， 通过TIS中的元配置信息自动填充FlinkStreamerConfig 实例所需要配置属性，依赖配置信息（Avro schemas，Hudi表分区信息及 Key Generation配置），

  配合TIS提供的各种Source Flink CDC 组件（MySQL，PostgreSQL，SqlServer等）用户可通过TIS控制台，快速实现各种数据源实时增量入湖

  依赖组件:

  组件名称	版本
  Apache Hudi	0.10.1
  Apache Spark	2.4.4
  Apache Flink	tis-1.13.1
  Apache Hive	2.3.1
  Apache Hadoop	2.7.3

• 扩展列表：

  • com.qlangtech.tis.plugin.incr.TISSinkFactory

    • com.qlangtech.tis.plugins.incr.flink.connector.hudi.HudiSinkFactory

  • com.qlangtech.tis.plugins.incr.flink.connector.hudi.scripttype.ScriptType

    • com.qlangtech.tis.plugins.incr.flink.connector.hudi.scripttype.StreamApiType

  • com.qlangtech.tis.plugins.incr.flink.connector.hudi.compaction.CompactionConfig

    • com.qlangtech.tis.plugins.incr.flink.connector.hudi.compaction.CompactionConfig

tis-sink-starrocks-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.6.0/tis-plugin/tis-sink-starrocks-plugin.tpi

• 介绍：

  封装了StarRocks Flink Stream API:1.2.2_flink-1.13_2.11相关的组件, 通过用户在TIS平台中定义的数据源元数据 自动生成Flink Stream API 相关的全部代码，加上之后脚本编译、打包，Flink任务拉起在TIS平台中一气呵成，让用户在TIS中以低代码开发的方式轻松创建基于Flink的StarRocks实时数据同步通道

• 扩展列表：

  • com.qlangtech.tis.plugin.incr.TISSinkFactory

    • com.qlangtech.tis.plugins.incr.flink.connector.starrocks.StarRocksSinkFactory2