TIS插件包列表

• tis-asyncmsg-rocketmq-plugin.tpi
• tis-chunjun-base-plugin.tpi
• tis-datax-cassandra-plugin.tpi
• tis-datax-clickhouse-plugin.tpi
• tis-datax-common-plugin.tpi
• tis-datax-common-rdbms-plugin.tpi
• tis-datax-doris-starrocks-plugin.tpi
• tis-datax-elasticsearch-plugin.tpi
• tis-datax-ftp-plugin.tpi
• tis-datax-hdfs-plugin_hadoop_2.7.3.tpi
• tis-datax-hdfs-reader-writer-plugin_hive_2.3.1_hadoop_2.7.3.tpi
• tis-datax-hudi-common_hudi_0.10.1_spark_2.4.4_hive_2.3.1_hadoop_2.7.3.tpi
• tis-datax-hudi-plugin_hudi_0.10.1_spark_2.4.4_hive_2.3.1_hadoop_2.7.3.tpi
• tis-datax-kafka-plugin.tpi
• tis-datax-local-embedded-executor.tpi
• tis-datax-local-executor.tpi
• tis-datax-mongodb-plugin.tpi
• tis-datax-odps-plugin.tpi
• tis-datax-oracle-plugin.tpi
• tis-datax-oss-plugin.tpi
• tis-datax-postgresql-plugin.tpi
• tis-datax-sqlserver-plugin.tpi
• tis-ds-mysql-plugin.tpi
• tis-ds-mysql-v5-plugin.tpi
• tis-ds-mysql-v8-plugin.tpi
• tis-flink-cdc-mongdb-plugin.tpi
• tis-flink-cdc-mysql-plugin.tpi
• tis-flink-cdc-oracle-plugin.tpi
• tis-flink-chunjun-clickhouse-plugin.tpi
• tis-flink-chunjun-doris-plugin.tpi
• tis-flink-chunjun-kafka-plugin.tpi
• tis-flink-chunjun-mysql-plugin.tpi
• tis-flink-chunjun-oracle-plugin.tpi
• tis-flink-chunjun-postgresql-plugin.tpi
• tis-flink-chunjun-starrocks-plugin.tpi
• tis-flink-dependency.tpi
• tis-flink-msg-format-plugin.tpi
• tis-hive-flat-table-builder-plugin_hive_2.3.1_hadoop_2.7.3.tpi
• tis-hive-plugin_hive_2.3.1_hadoop_2.7.3.tpi
• tis-k8s-plugin.tpi
• tis-realtime-flink.tpi
• tis-sink-elasticsearch7-plugin.tpi
• tis-sink-hudi-plugin_hudi_0.10.1_spark_2.4.4_hive_2.3.1_hadoop_2.7.3.tpi

tis-asyncmsg-rocketmq-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-asyncmsg-rocketmq-plugin.tpi

• 介绍：

  对RocketMQ进行进行封装，对接各种实时流消息（例如，MySQL binlog）执行流计算，可在TIS中构建实时同步的物化视图

• 扩展列表：

  • com.qlangtech.tis.async.message.client.consumer.impl.MQListenerFactory

    • com.qlangtech.async.message.client.consumer.RocketMQListenerFactory

  • com.qlangtech.tis.async.message.client.consumer.impl.AbstractAsyncMsgDeserialize

    • com.qlangtech.async.message.client.to.impl.DefaultJSONFormatDeserialize

tis-chunjun-base-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-chunjun-base-plugin.tpi

• 扩展列表：

  • com.qlangtech.tis.plugins.incr.flink.chunjun.offset.StartLocation

    • com.qlangtech.tis.plugins.incr.flink.chunjun.offset.LatestLocation

    • com.qlangtech.tis.plugins.incr.flink.chunjun.offset.DesignatedLocation

    • com.qlangtech.tis.plugins.incr.flink.chunjun.offset.ScanAll

  • com.qlangtech.tis.plugins.incr.flink.connector.UpdateMode

    • com.qlangtech.tis.plugins.incr.flink.connector.impl.ReplaceType

    • com.qlangtech.tis.plugins.incr.flink.connector.impl.UpdateType

    • com.qlangtech.tis.plugins.incr.flink.connector.impl.InsertType

    • com.qlangtech.tis.plugins.incr.flink.connector.impl.UpsertType

  • com.qlangtech.tis.plugins.incr.flink.chunjun.poll.Polling

    • com.qlangtech.tis.plugins.incr.flink.chunjun.poll.RunInterval

  • com.qlangtech.tis.plugin.datax.IncrSelectedTabExtend

    • com.qlangtech.tis.plugins.incr.flink.chunjun.source.SelectedTabPropsExtends

    • com.qlangtech.tis.plugins.incr.flink.chunjun.sink.UniqueKeySetter

    • com.qlangtech.tis.plugins.incr.flink.chunjun.sink.SinkTabPropsExtends

  • com.qlangtech.tis.plugins.incr.flink.chunjun.script.ChunjunStreamScriptType

    • com.qlangtech.tis.plugins.incr.flink.chunjun.script.StreamApiScript

    • com.qlangtech.tis.plugins.incr.flink.chunjun.script.ChunjunSqlType

tis-datax-cassandra-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-datax-cassandra-plugin.tpi

• 介绍：

  • 对Cassandra NoSql数据源进行封装,使TIS能以Cassandra作为数据源的表。
  • 支持以Cassandra作为目标源的DataX Reader和Writer

• 扩展列表：

  • com.qlangtech.tis.datax.impl.DataxReader

    • com.qlangtech.tis.plugin.datax.DataXCassandraReader

  • com.qlangtech.tis.datax.impl.DataxWriter

    • com.qlangtech.tis.plugin.datax.DataXCassandraWriter

  • com.qlangtech.tis.plugin.ds.DataSourceFactory

    • com.qlangtech.tis.plugin.ds.cassandra.CassandraDatasourceFactory

tis-datax-clickhouse-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-datax-clickhouse-plugin.tpi

• 介绍：

  • 实现Clickhouse数据源

    支持定义Clickhouse的数据源，为定义ClickhouseWriter插件提供支持

  • 支持Clickhouse类型的 DataX Writer插件

    1. ClickhouseWriter 插件实现了写入数据到 Clickhouse库的目的表的功能。

    2. ClickhouseWriter 面向ETL开发工程师，他们使用 ClickhouseWriter 从数仓导入数据到 Clickhouse。同时 ClickhouseWriter 亦可以作为数据迁移工具为DBA等用户提供服务

• 扩展列表：

  • com.qlangtech.tis.datax.impl.DataxWriter

    • com.qlangtech.tis.plugin.datax.DataXClickhouseWriter

  • com.qlangtech.tis.plugin.ds.DataSourceFactory

    • com.qlangtech.tis.plugin.ds.clickhouse.ClickHouseDataSourceFactory

tis-datax-common-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-datax-common-plugin.tpi

• 介绍：

  • 定义DataxProcessor实现录入DataX实例基本信息的功能

  • 为其他DataX Reader、Writer插件提供了公共类

  • 定义DataXGlobalConfig，提供DataX配置的基础配置参数，如：channel,errorLimitCount 等

  • 提供了DataX 任务提交方式的实现

    1. LocalDataXJobSubmit本地任务提交
    2. DistributedOverseerDataXJobSubmit基于K8S的分布式任务提交方式（生产环境中建议使用该种提交方式）

• 扩展列表：

  • com.qlangtech.tis.plugin.AuthToken

    • com.qlangtech.tis.plugin.aliyun.NoneToken

    • com.qlangtech.tis.plugin.aliyun.UsernamePassword

    • com.qlangtech.tis.plugin.aliyun.AccessKey

  • com.qlangtech.tis.manage.IAppSource

    • com.qlangtech.tis.plugin.datax.DefaultDataxProcessor

    • com.qlangtech.tis.plugin.datax.DataFlowDataXProcessor

  • com.qlangtech.tis.config.ParamsConfig

    • com.qlangtech.tis.plugin.datax.DataXGlobalConfig

    • com.qlangtech.tis.plugin.HttpEndpoint

tis-datax-common-rdbms-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-datax-common-rdbms-plugin.tpi

• 扩展列表：

tis-datax-doris-starrocks-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-datax-doris-starrocks-plugin.tpi

• 介绍：

  • DorisWriter / StarRocksWriter

    插件实现了写入数据到 StarRocks/Doris 主库的目的表的功能。在底层实现上，StarRocksWriter 通过Streamload以csv格式导入数据至StarRocks。 详细

    该插件现同时支持StarRocks和Doris两种数据库

  • DorisSourceFactory / StarRocksSourceFactory

    支持定义Doris和StarRocks两种类型的数据源

• 扩展列表：

  • com.qlangtech.tis.datax.impl.DataxWriter

    • com.qlangtech.tis.plugin.datax.doris.DataXDorisWriter

    • com.qlangtech.tis.plugin.datax.starrocks.DataXStarRocksWriter

  • com.qlangtech.tis.plugin.ds.DataSourceFactory

    • com.qlangtech.tis.plugin.ds.doris.DorisSourceFactory

    • com.qlangtech.tis.plugin.ds.starrocks.StarRocksSourceFactory

tis-datax-elasticsearch-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-datax-elasticsearch-plugin.tpi

• 介绍：

  • 数据导入elasticsearch的插件

    使用ElasticSearch的rest api接口， 批量把从reader读入的数据写入ElasticSearch 详细

• 扩展列表：

  • com.qlangtech.tis.datax.impl.DataxWriter

    • com.qlangtech.tis.plugin.datax.DataXElasticsearchWriter

  • com.qlangtech.tis.config.ParamsConfig

    • com.qlangtech.tis.plugin.datax.elastic.ElasticEndpoint

tis-datax-ftp-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-datax-ftp-plugin.tpi

• 介绍：

  • FtpReader 封装alibaba DataX功能，提供了读取远程FTP文件系统数据存储的能力。在底层实现上，FtpReader获取远程FTP文件数据，并转换为DataX传输协议传递给Writer。详细
  • FtpWriter 封装aliabab DataX功能，提供了向远程FTP文件写入CSV格式的一个或者多个文件，在底层实现上，FtpWriter将DataX传输协议下的数据转换为csv格式，并使用FTP相关的网络协议写出到远程FTP服务器。详细

• 扩展列表：

  • com.qlangtech.tis.plugin.datax.meta.MetaDataWriter

    • com.qlangtech.tis.plugin.datax.meta.DefaultMetaDataWriter

    • com.qlangtech.tis.plugin.datax.meta.NoneMetaDataWriter

  • com.qlangtech.tis.datax.impl.DataxReader

    • com.qlangtech.tis.plugin.datax.DataXFtpReader

    • com.qlangtech.tis.plugin.datax.DataXFtpReaderWithMeta

  • com.qlangtech.tis.datax.impl.DataxWriter

    • com.qlangtech.tis.plugin.datax.DataXFtpWriter

  • com.qlangtech.tis.config.ParamsConfig

    • com.qlangtech.tis.plugin.datax.server.FTPServer

  • com.qlangtech.tis.plugin.datax.format.FileFormat

    • com.qlangtech.tis.plugin.datax.format.CSVFormat

    • com.qlangtech.tis.plugin.datax.format.TextFormat

tis-datax-hdfs-plugin_hadoop_2.7.3.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-datax-hdfs-plugin/tis-datax-hdfs-plugin_hadoop_2.7.3.tpi

• 介绍：

  提供支持Hadoop HDFS相关的工具插件

• 扩展列表：

  • com.qlangtech.tis.plugin.datax.FSFormat

    • com.qlangtech.tis.plugin.datax.impl.TextFSFormat

  • com.qlangtech.tis.config.ParamsConfig

    • com.qlangtech.tis.kerberos.KerberosCfg

  • com.qlangtech.tis.offline.FileSystemFactory

    • com.qlangtech.tis.hdfs.impl.HdfsFileSystemFactory

tis-datax-hdfs-reader-writer-plugin_hive_2.3.1_hadoop_2.7.3.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-datax-hdfs-reader-writer-plugin/tis-datax-hdfs-reader-writer-plugin_hive_2.3.1_hadoop_2.7.3.tpi

• 扩展列表：

  • com.qlangtech.tis.datax.impl.DataxReader

    • com.qlangtech.tis.plugin.datax.DataXHdfsReader

  • com.qlangtech.tis.datax.impl.DataxWriter

    • com.qlangtech.tis.plugin.datax.DataXHdfsWriter

tis-datax-hudi-common_hudi_0.10.1_spark_2.4.4_hive_2.3.1_hadoop_2.7.3.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-datax-hudi-common/tis-datax-hudi-common_hudi_0.10.1_spark_2.4.4_hive_2.3.1_hadoop_2.7.3.tpi

• 扩展列表：

  • com.qlangtech.tis.plugin.datax.SelectedTab

    • com.qlangtech.tis.plugin.datax.hudi.HudiSelectedTab

tis-datax-hudi-plugin_hudi_0.10.1_spark_2.4.4_hive_2.3.1_hadoop_2.7.3.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-datax-hudi-plugin/tis-datax-hudi-plugin_hudi_0.10.1_spark_2.4.4_hive_2.3.1_hadoop_2.7.3.tpi

• 介绍：

  封装Apache Hudi，为用户提供一站式、开箱即用的千表入湖的解决方案

  功能：

  本组件整合Hudi提供的DeltaStreamer功能，通过TIS生成成DeltaStreamer需要的所有Hudi表摄入所需要的 所有配置信息（Avro schemas、从数据源抽取数据的DataX配置，Hudi表分区信息及 Key Generation配置）

  配合TIS提供的各种Source Connnector组件（MySQL，PostgreSQL，SqlServer等）快速实现各种数据源批量入湖

• 扩展列表：

  • com.qlangtech.tis.datax.impl.DataxWriter

    • com.qlangtech.tis.plugin.datax.hudi.DataXHudiWriter

  • com.qlangtech.tis.plugin.datax.hudi.spark.SparkSubmitParams

    • com.qlangtech.tis.plugin.datax.hudi.spark.SparkSubmitParams

  • com.qlangtech.tis.plugin.datax.hudi.partition.HudiTablePartition

    • com.qlangtech.tis.plugin.datax.hudi.partition.SlashEncodedDayPartition

    • com.qlangtech.tis.plugin.datax.hudi.partition.FieldValBasedPartition

    • com.qlangtech.tis.plugin.datax.hudi.partition.SlashEncodedHourPartition

  • com.qlangtech.tis.plugin.datax.hudi.keygenerator.HudiKeyGenerator

    • com.qlangtech.tis.plugin.datax.hudi.keygenerator.impl.TimeStampKeyGenerator

    • com.qlangtech.tis.plugin.datax.hudi.keygenerator.impl.ComplexKeyGenerator

    • com.qlangtech.tis.plugin.datax.hudi.keygenerator.impl.SimpleKeyGenerator

    • com.qlangtech.tis.plugin.datax.hudi.keygenerator.impl.NonePartitionKeyGenerator

tis-datax-kafka-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-datax-kafka-plugin.tpi

• 介绍：

  提供消息中间件KafKa 操作数据的能力

  • 目前支持向 KafKa 中写入数据

• 扩展列表：

  • com.qlangtech.tis.plugin.datax.SelectedTab

    • com.qlangtech.tis.plugins.datax.kafka.writer.KafkaSelectedTab

  • com.qlangtech.tis.datax.impl.DataxWriter

    • com.qlangtech.tis.plugins.datax.kafka.writer.DataXKafkaWriter

  • com.qlangtech.tis.plugins.datax.kafka.writer.protocol.KafkaProtocol

    • com.qlangtech.tis.plugins.datax.kafka.writer.protocol.KafkaPlaintext

    • com.qlangtech.tis.plugins.datax.kafka.writer.protocol.KafkaSaslSsl

    • com.qlangtech.tis.plugins.datax.kafka.writer.protocol.KafkaSaslPlaintext

  • com.qlangtech.tis.plugins.datax.kafka.reader.messageformat.KafkaMessageFormat

    • com.qlangtech.tis.plugins.datax.kafka.reader.messageformat.KafkaAvro

    • com.qlangtech.tis.plugins.datax.kafka.reader.messageformat.KafkaJson

  • com.qlangtech.tis.plugins.datax.kafka.reader.subscriptionmethod.KafkaSubscriptionMethod

    • com.qlangtech.tis.plugins.datax.kafka.reader.subscriptionmethod.KafkaSubscribeToAllTopicsMatchingSpecifiedPattern

    • com.qlangtech.tis.plugins.datax.kafka.reader.subscriptionmethod.KafkaManuallyAssignAListOfPartitions

tis-datax-local-embedded-executor.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-datax-local-embedded-executor.tpi

• 介绍：

  批量任务触发，用于本地功能测试用，请勿用于生成环境

• 扩展列表：

  • com.qlangtech.tis.datax.DataXJobSubmit

    • com.qlangtech.tis.plugin.datax.EmbeddedDataXJobSubmit

tis-datax-local-executor.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-datax-local-executor.tpi

• 介绍：

  批量任务触发组件，有两种任务提交方式：

  1. 本地独立模式：在本地启动独立进程，特点是占用资源少轻量化。所有批量导入任务都在单个机器节点上执行，所以并发吞肚率比较低
  2. 分布式模式：向分布式队列中提交任务，由驻留在K8S机器中的Woker节点消费批量任务，优点是可以按照批量任务规模，水平扩容K8S集群中的执行节点，达到提高批量任务执行吞吐率

• 扩展列表：

  • com.qlangtech.tis.datax.DataXJobSubmit

    • com.qlangtech.tis.plugin.datax.LocalDataXJobSubmit

    • com.qlangtech.tis.plugin.datax.DistributedOverseerDataXJobSubmit

tis-datax-mongodb-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-datax-mongodb-plugin.tpi

• 介绍：

  • MongoDB DataSource 插件封装了MongoDB作为数据源的插件，可以向TIS导入MongoDB的数据表进行后续处理
  • MongoDBReader 封装alibaba DataX reader，插件利用 MongoDB 的java客户端MongoClient进行MongoDB的读操作。最新版本的Mongo已经将DB锁的粒度从DB级别降低到document级别，配合上MongoDB强大的索引功能，基本可以达到高性能的读取MongoDB的需求。详细
  • MongoDBWriter 封装alibaba DataX writer，插件利用 MongoDB 的java客户端MongoClient进行MongoDB的写操作。最新版本的Mongo已经将DB锁的粒度从DB级别降低到document级别，配合上MongoDB强大的索引功能，基本可以满足数据源向MongoDB写入数据的需求，针对数据更新的需求，通过配置业务主键的方式也可以实现详细

• 扩展列表：

  • com.qlangtech.tis.datax.impl.DataxReader

    • com.qlangtech.tis.plugin.datax.DataXMongodbReader

  • com.qlangtech.tis.datax.impl.DataxWriter

    • com.qlangtech.tis.plugin.datax.DataXMongodbWriter

  • com.qlangtech.tis.plugin.ds.DataSourceFactory

    • com.qlangtech.tis.plugin.ds.mangodb.MangoDBDataSourceFactory

tis-datax-odps-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-datax-odps-plugin.tpi

• 介绍：

  • 介绍： ODPSWriter插件用于实现往ODPS插入或者更新数据，主要提供给etl开发同学将业务数据导入odps，适合于TB,GB数量级的数据传输，如果需要传输PB量级的数据，请选择dt task工具 ;
  • 实现原理：在底层实现上，ODPSWriter是通过DT Tunnel写入ODPS系统的，有关ODPS的更多技术细节请参看 ODPS主站 https://data.aliyun.com/product/odps 和ODPS产品文档 https://help.aliyun.com/product/27797.html

• 扩展列表：

  • com.qlangtech.tis.datax.impl.DataxWriter

    • com.qlangtech.tis.plugin.datax.DataXOdpsWriter

  • com.qlangtech.tis.plugin.ds.DataSourceFactory

    • com.qlangtech.tis.plugin.datax.odps.OdpsDataSourceFactory

tis-datax-oracle-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-datax-oracle-plugin.tpi

• 介绍：

  • 封装Oracle作为数据源的DataSource插件，可以向TIS导入Oracle中的数据表作后续分析处理

  • OracleReader

    实现了alibaba DataXReader从Oracle读取数据。在底层实现上，OracleReader通过JDBC连接远程Oracle数据库，并执行相应的sql语句将数据从Oracle库中SELECT出来。详细

  • OracleWriter

    实现了alibaba DataXWriter写入数据到 Oracle 主库的目的表的功能。在底层实现上， OracleWriter 通过 JDBC 连接远程 Oracle 数据库，并执行相应的 insert into ... sql 语句将数据写入 Oracle，内部会分批次提交入库。

    OracleWriter 面向ETL开发工程师，他们使用 OracleWriter 从数仓导入数据到 Oracle。同时 OracleWriter 亦可以作为数据迁移工具为DBA等用户提供服务。 详细

• 扩展列表：

  • com.qlangtech.tis.datax.impl.DataxReader

    • com.qlangtech.tis.plugin.datax.DataXOracleReader

  • com.qlangtech.tis.plugin.ds.oracle.Authorized

    • com.qlangtech.tis.plugin.ds.oracle.auth.AcceptAuthorized

    • com.qlangtech.tis.plugin.ds.oracle.auth.NoneAuth

  • com.qlangtech.tis.datax.impl.DataxWriter

    • com.qlangtech.tis.plugin.datax.DataXOracleWriter

  • com.qlangtech.tis.plugin.ds.oracle.ConnEntity

    • com.qlangtech.tis.plugin.ds.oracle.impl.ServiceNameConnEntity

    • com.qlangtech.tis.plugin.ds.oracle.impl.SIDConnEntity

  • com.qlangtech.tis.plugin.ds.DataSourceFactory

    • com.qlangtech.tis.plugin.ds.oracle.OracleDataSourceFactory

tis-datax-oss-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-datax-oss-plugin.tpi

• 介绍：

  为Alibaba DataX OOS reader、writer插件提供基于UI的开箱即用的插件实现

  • OSSReader提供了读取OSS数据存储的能力。在底层实现上，OSSReader使用OSS官方Java SDK获取OSS数据，并转换为DataX传输协议传递给Writer。详细
  • OSSWriter提供了向OSS写入类CSV格式的一个或者多个表文件。详细

• 扩展列表：

  • com.qlangtech.tis.datax.impl.DataxReader

    • com.qlangtech.tis.plugin.datax.DataXOssReader

  • com.qlangtech.tis.datax.impl.DataxWriter

    • com.qlangtech.tis.plugin.datax.DataXOssWriter

tis-datax-postgresql-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-datax-postgresql-plugin.tpi

• 介绍：

  • 封装PostgreSQL作为数据源的DataSource插件，可以向TIS导入PostgreSQL中的数据表作后续分析处理

  • PostgresqlReader

    实现了Alibaba DataXReader从PostgreSQL读取数据。在底层实现上，PostgresqlReader通过JDBC连接远程PostgreSQL数据库，并执行相应的sql语句将数据从PostgreSQL库中SELECT出来详细

  • PostgresqlWriter

    实现了Alibaba DataXWriter 插件，写入数据到 PostgreSQL主库目的表的功能。在底层实现上，PostgresqlWriter通过JDBC连接远程 PostgreSQL 数据库，并执行相应的 insert into ... sql 语句将数据写入 PostgreSQL，内部会分批次提交入库。 详细

  • 使用postgresql JDBC驱动（Java JDBC 4.2 (JRE 8+) driver for PostgreSQL database），版本：42.3.1 https://github.com/pgjdbc/pgjdbc

• 扩展列表：

  • com.qlangtech.tis.datax.impl.DataxReader

    • com.qlangtech.tis.plugin.datax.DataXPostgresqlReader

  • com.qlangtech.tis.datax.impl.DataxWriter

    • com.qlangtech.tis.plugin.datax.DataXPostgresqlWriter

  • com.qlangtech.tis.plugin.ds.DataSourceFactory

    • com.qlangtech.tis.plugin.ds.postgresql.PGDataSourceFactory

tis-datax-sqlserver-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-datax-sqlserver-plugin.tpi

• 介绍：

  • 封装SqlServer作为数据源的DataSource插件，可以向TIS导入SqlServer中的数据表作后续分析处理

  • SqlServerReader

    插件实现了从SqlServer读取数据。在底层实现上，SqlServerReader通过JDBC连接远程SqlServer数据库，并执行相应的sql语句将数据从SqlServer库中SELECT出来。详细

  • PostgresqlWriter

    实现了Alibaba DataXWriter 插件，写入数据到 PostgreSQL主库目的表的功能。在底层实现上，PostgresqlWriter通过JDBC连接远程 PostgreSQL 数据库，并执行相应的 insert into ... sql 语句将数据写入 PostgreSQL，内部会分批次提交入库。 详细

• 扩展列表：

  • com.qlangtech.tis.datax.impl.DataxReader

    • com.qlangtech.tis.plugin.datax.DataXSqlserverReader

  • com.qlangtech.tis.datax.impl.DataxWriter

    • com.qlangtech.tis.plugin.datax.DataXSqlserverWriter

  • com.qlangtech.tis.plugin.ds.DataSourceFactory

    • com.qlangtech.tis.plugin.ds.sqlserver.SqlServerDatasourceFactory

tis-ds-mysql-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-ds-mysql-plugin.tpi

• 介绍：

  • 封装MySQL作为数据源的DataSource插件，可以向TIS导入MySQL中的数据表作后续分析处理

  • MysqlReader

    MysqlReader插件实现了从Mysql读取数据。在底层实现上，MysqlReader通过JDBC连接远程Mysql数据库，并执行相应的sql语句将数据从mysql库中SELECT出来详细

  • MysqlWriter

    实现了Alibaba DataXWriter 插件，写入数据到 Mysql 主库的目的表的功能。在底层实现上， MysqlWriter 通过 JDBC 连接远程 Mysql 数据库，并执行相应的 insert into ... 或者 ( replace into ...) 的 sql 语句将数据写入 Mysql，内部会分批次提交入库，需要数据库本身采用 innodb 引擎。 详细

• 扩展列表：

  • com.qlangtech.tis.datax.impl.DataxReader

    • com.qlangtech.tis.plugin.datax.DataxMySQLReader

  • com.qlangtech.tis.datax.impl.DataxWriter

    • com.qlangtech.tis.plugin.datax.DataxMySQLWriter

  • com.qlangtech.tis.plugin.ds.SplitTableStrategy

    • com.qlangtech.tis.plugin.ds.split.NoneSplitTableStrategy

    • com.qlangtech.tis.plugin.ds.split.DefaultSplitTableStrategy

tis-ds-mysql-v5-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-ds-mysql-v5-plugin.tpi

• 介绍：

  • 封装MySQL数据源驱动

    驱动版本为mysql-connector-java:5.1.30, 支持MySQL服务端5.X的数据源以JDBC的方式连接

• 扩展列表：

  • com.qlangtech.tis.plugin.ds.DataSourceFactory

    • com.qlangtech.tis.plugin.ds.mysql.MySQLV5DataSourceFactory

tis-ds-mysql-v8-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-ds-mysql-v8-plugin.tpi

• 介绍：

  • 封装MySQL数据源驱动

    驱动版本为mysql-connector-java:8.0.25, 支持MySQL服务端8.X的数据源以JDBC的方式连接

• 扩展列表：

  • com.qlangtech.tis.plugin.ds.DataSourceFactory

    • com.qlangtech.tis.plugin.ds.mysql.MySQLV8DataSourceFactory

tis-flink-cdc-mongdb-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-flink-cdc-mongdb-plugin.tpi

• 扩展列表：

  • com.qlangtech.tis.async.message.client.consumer.impl.MQListenerFactory

    • com.qlangtech.plugins.incr.flink.cdc.mongdb.FlinkCDCMongoDBSourceFactory

tis-flink-cdc-mysql-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-flink-cdc-mysql-plugin.tpi

• 介绍：

  MySQL CDC Connector

  The MySQL CDC connector allows for reading snapshot data and incremental data from MySQL database. This document describes how to setup the MySQL CDC connector to run SQL queries against MySQL databases. https://ververica.github.io/flink-cdc-connectors/master/content/connectors/mysql-cdc.html

• 扩展列表：

  • com.qlangtech.tis.async.message.client.consumer.impl.MQListenerFactory

    • com.qlangtech.plugins.incr.flink.cdc.mysql.FlinkCDCMySQLSourceFactory

tis-flink-cdc-oracle-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-flink-cdc-oracle-plugin.tpi

• 介绍：

  Oracle CDC Connector

  The Oracle CDC connector allows for reading snapshot data and incremental data from Oracle database. This document describes how to setup the Oracle CDC connector to run SQL queries against Oracle databases. https://ververica.github.io/flink-cdc-connectors/master/content/connectors/oracle-cdc.html#startup-reading-position

• 扩展列表：

tis-flink-chunjun-clickhouse-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-flink-chunjun-clickhouse-plugin.tpi

• 介绍：

  • 封装Chunjun Clickhouse Sink组件为TIS用户提供向Clickhouse流式写入数据的功能

• 扩展列表：

  • com.qlangtech.tis.plugin.incr.TISSinkFactory

    • com.qlangtech.plugins.incr.flink.chunjun.clickhouse.sink.ChunjunClickhouseSinkFactory

tis-flink-chunjun-doris-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-flink-chunjun-doris-plugin.tpi

• 介绍：

  • 封装Chunjun Doris Sink组件为TIS用户提供向 Apache Doris 流式写入数据的功能

• 扩展列表：

  • com.qlangtech.tis.plugin.incr.TISSinkFactory

    • com.qlangtech.plugins.incr.flink.chunjun.doris.sink.ChunjunDorisSinkFactory

tis-flink-chunjun-kafka-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-flink-chunjun-kafka-plugin.tpi

• 扩展列表：

  • com.qlangtech.tis.plugin.incr.TISSinkFactory

    • com.qlangtech.tis.plugins.incr.flink.chunjun.kafka.sink.ChujunKafkaSinkFactory

tis-flink-chunjun-mysql-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-flink-chunjun-mysql-plugin.tpi

• 介绍：

  • 封装纯钧 Chunjun 构建 MySQL实时Sink功能，可以将数据实时写入到指定的MySQL数据库当中。MySQL Sink文档
  • 封装 Chunjun MySQL Source 为TIS提供基于数据库轮训的增量数据读取功能
  • ChunJun 版本：1.12.5

• 扩展列表：

  • com.qlangtech.tis.plugin.incr.TISSinkFactory

    • com.qlangtech.tis.plugins.incr.flink.connector.sink.MySQLSinkFactory

  • com.qlangtech.tis.async.message.client.consumer.impl.MQListenerFactory

    • com.qlangtech.tis.plugins.incr.flink.connector.source.MySQLSourceFactory

tis-flink-chunjun-oracle-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-flink-chunjun-oracle-plugin.tpi

• 介绍：

  • 封装Chunjun Oracle Sink组件为TIS用户提供向 Oracle 流式写入数据的功能

  • 封装Chunjun Oracle Source组件为TIS用户提供从 Oracle 流式读取增量数据的功能

• 扩展列表：

  • com.qlangtech.tis.plugin.incr.TISSinkFactory

    • com.qlangtech.plugins.incr.flink.chunjun.oracle.sink.ChunjunOracleSinkFactory

  • com.qlangtech.tis.async.message.client.consumer.impl.MQListenerFactory

    • com.qlangtech.plugins.incr.flink.chunjun.oracle.source.ChunjunOracleSourceFactory

tis-flink-chunjun-postgresql-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-flink-chunjun-postgresql-plugin.tpi

• 介绍：

  • 封装Chunjun PostgreSQL Sink组件为TIS用户提供向 PostgreSQL 流式写入数据的功能

  • 封装Chunjun PostgreSQL Source组件为TIS用户提供从 PostgreSQL 流式读取增量数据的功能

• 扩展列表：

  • com.qlangtech.tis.plugin.incr.TISSinkFactory

    • com.qlangtech.plugins.incr.flink.chunjun.postgresql.sink.ChunjunPostgreSQLSinkFactory

  • com.qlangtech.tis.async.message.client.consumer.impl.MQListenerFactory

    • com.qlangtech.plugins.incr.flink.chunjun.postgresql.source.ChunjunPostgreSQLSourceFactory

tis-flink-chunjun-starrocks-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-flink-chunjun-starrocks-plugin.tpi

• 介绍：

  • 封装Chunjun StarRocks Sink组件为TIS用户提供向 StarRocks 流式写入数据的功能

• 扩展列表：

  • com.qlangtech.tis.plugin.incr.TISSinkFactory

    • com.qlangtech.tis.plugins.incr.flink.chunjun.starrocks.sink.ChunjunStarRocksSinkFactory

tis-flink-dependency.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-flink-dependency.tpi

• 扩展列表：

tis-flink-msg-format-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-flink-msg-format-plugin.tpi

• 扩展列表：

  • com.qlangtech.tis.plugins.incr.flink.chunjun.kafka.format.FormatFactory

    • com.qlangtech.tis.plugins.incr.flink.chunjun.kafka.format.TISCanalJsonFormatFactory

    • com.qlangtech.tis.plugins.incr.flink.chunjun.kafka.format.TISDebeziumJsonFormatFactory

tis-hive-flat-table-builder-plugin_hive_2.3.1_hadoop_2.7.3.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-hive-flat-table-builder-plugin/tis-hive-flat-table-builder-plugin_hive_2.3.1_hadoop_2.7.3.tpi

• 介绍：

  • 支持将数据写入到HDFS分布式存储中

• 扩展列表：

  • com.qlangtech.tis.plugin.datax.TabNameDecorator

    • com.qlangtech.tis.plugin.datax.impl.TabPrefixDecorator

    • com.qlangtech.tis.plugin.datax.impl.NoneTabNameDecorator

  • com.qlangtech.tis.datax.impl.DataxWriter

    • com.qlangtech.tis.plugin.datax.DataXSparkWriter

    • com.qlangtech.tis.plugin.datax.DataXHiveWriter

  • com.qlangtech.tis.config.spark.SparkConnStrategy

    • com.qlangtech.tis.config.spark.impl.YarnConnStrategy

    • com.qlangtech.tis.config.spark.impl.StandaloneConnStrategy

  • com.qlangtech.tis.config.ParamsConfig

    • com.qlangtech.tis.config.yarn.YarnConfig

    • com.qlangtech.tis.config.spark.impl.DefaultSparkConnGetter

  • com.qlangtech.tis.config.hive.HiveUserToken

    • com.qlangtech.tis.config.hive.impl.KerberosUserToken

    • com.qlangtech.tis.config.hive.impl.DefaultHiveUserToken

tis-hive-plugin_hive_2.3.1_hadoop_2.7.3.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-hive-plugin/tis-hive-plugin_hive_2.3.1_hadoop_2.7.3.tpi

• 扩展列表：

  • com.qlangtech.tis.config.ParamsConfig

    • com.qlangtech.tis.hive.DefaultHiveConnGetter

  • com.qlangtech.tis.plugin.ds.DataSourceFactory

    • com.qlangtech.tis.hive.Hiveserver2DataSourceFactory

  • com.qlangtech.tis.config.hive.HiveUserToken

    • com.qlangtech.tis.config.hive.impl.OffHiveUserToken

tis-k8s-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-k8s-plugin.tpi

• 介绍：

  • 支持将将TIS中的部分任务提交到K8S容器中执行

    现支持以下这些任务类型：

    1. Alibaba DataX任务
    2. 数据实时增量同步任务

• 扩展列表：

  • com.qlangtech.tis.datax.job.DataXJobWorker

    • com.qlangtech.tis.plugin.datax.K8SDataXJobWorker

  • com.qlangtech.tis.config.ParamsConfig

    • com.qlangtech.tis.config.k8s.impl.DefaultK8sContext

  • com.qlangtech.tis.plugin.k8s.K8sImage

    • com.qlangtech.tis.config.k8s.impl.DefaultK8SImage

tis-realtime-flink.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-realtime-flink.tpi

• 介绍：

  封装了和Flink任务相关的组件，启动Flink任务需要设置的CheckPoint、statbackend、RestartStrategy 相关配置都封装在该组件中

• 扩展列表：

  • com.qlangtech.plugins.incr.flink.launch.StateBackendFactory

    • com.qlangtech.plugins.incr.flink.launch.statbackend.FileSystemState

    • com.qlangtech.plugins.incr.flink.launch.statbackend.MemoryState

    • com.qlangtech.plugins.incr.flink.launch.statbackend.OFF

  • com.qlangtech.tis.datax.job.DataXJobWorker

    • com.qlangtech.plugins.incr.flink.cluster.FlinkK8SClusterManager

  • com.qlangtech.tis.plugin.incr.IncrStreamFactory

    • com.qlangtech.plugins.incr.flink.launch.TISFlinkCDCStreamFactory

  • com.qlangtech.plugins.incr.flink.launch.CheckpointFactory

    • com.qlangtech.plugins.incr.flink.launch.ckpt.CKOn

    • com.qlangtech.plugins.incr.flink.launch.ckpt.CKOff

  • com.qlangtech.tis.config.ParamsConfig

    • com.qlangtech.plugins.incr.flink.common.FlinkCluster

  • com.qlangtech.plugins.incr.flink.launch.RestartStrategyFactory

    • com.qlangtech.plugins.incr.flink.launch.restart.ExponentialDelay

    • com.qlangtech.plugins.incr.flink.launch.restart.FailureRate

    • com.qlangtech.plugins.incr.flink.launch.restart.FixedDelay

    • com.qlangtech.plugins.incr.flink.launch.restart.OFF

tis-sink-elasticsearch7-plugin.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-sink-elasticsearch7-plugin.tpi

• 介绍：

  • 介绍： 提供实时向ElasticSearch中写入数据能力

• 扩展列表：

  • com.qlangtech.tis.plugin.incr.TISSinkFactory

    • com.qlangtech.tis.plugins.incr.flink.connector.elasticsearch7.ElasticSearchSinkFactory

tis-sink-hudi-plugin_hudi_0.10.1_spark_2.4.4_hive_2.3.1_hadoop_2.7.3.tpi

• 下载地址： http://mirror.qlangtech.com/3.7.1/tis-plugin/tis-sink-hudi-plugin/tis-sink-hudi-plugin_hudi_0.10.1_spark_2.4.4_hive_2.3.1_hadoop_2.7.3.tpi

• 介绍：

  封装Apache Hudi，为用户提供一站式、开箱即用的千表入湖的解决方案

  功能：

  本组件整合Hudi提供的Stream API Demo功能， 通过TIS中的元配置信息自动填充FlinkStreamerConfig 实例所需要配置属性，依赖配置信息（Avro schemas，Hudi表分区信息及 Key Generation配置），

  配合TIS提供的各种Source Flink CDC 组件（MySQL，PostgreSQL，SqlServer等）用户可通过TIS控制台，快速实现各种数据源实时增量入湖

  依赖组件:

  组件名称	版本
  Apache Hudi	0.10.1
  Apache Spark	2.4.4
  Apache Flink	tis-1.13.1
  Apache Hive	2.3.1
  Apache Hadoop	2.7.3

• 扩展列表：

  • com.qlangtech.tis.plugins.incr.flink.connector.hudi.scripttype.HudiStreamScriptType

    • com.qlangtech.tis.plugins.incr.flink.connector.hudi.scripttype.StreamApiType

  • com.qlangtech.tis.plugin.incr.TISSinkFactory

    • com.qlangtech.tis.plugins.incr.flink.connector.hudi.HudiSinkFactory

  • com.qlangtech.tis.plugins.incr.flink.connector.hudi.compaction.CompactionConfig

    • com.qlangtech.tis.plugins.incr.flink.connector.hudi.compaction.CompactionConfig