增量实例管理
功能说明
当索引实例创建成功,并且向里面批量构建数据数据之后,如需要开启实时数据同步通道,就需要使用本页说介绍的增量实例管理功能
组件依赖
需要运行增量实时同步功能,需要TIS系统外围已经部署能够监听数据源中数据增量变更事件的消息中间件,TIS默认的数据源是Mysql,需要在链路上有以下组件:
私有云实现
Mysql
目前TIS默认支持的数据源为Mysql
兼容Mysql Master-Slaver数据同步协议,负责监听Master节点BinLog数据变更事件的日志。
将Canal中采集到的数据变更事件的日志数据同步推送到MQ中间件的Producer中,TIS通过监听MQ Topic来获取数据增量更新事件,进行进一步流式计算
本地环境中需要先启动一个K8S集群,增量通道会以
ReplicationController
方式启动
公有云实现
此处以阿里云为例
将MySql包装成RDS服务,用户不需要关心部署等细节服务,且能保证9999的稳定性。
提供监听RDS中数据变更的功能,通过简单配置,用户可以启动Kafka客户端订阅到RDS数据库中变更信息
老实说在私有云环境中搭建K8S集群是非常麻烦的一件事儿,不是专业运维同学来搞的话,不折腾一番肯定是搞不定的。幸好,阿里云提供了ACK服务,用户只需要一键开通就能享受便捷且稳定的服务了