数据流管理

功能说明

通过本流程可以定义、构建表的逻辑视图,等同于数据仓库中对数据进行加工的流程,为下游搜索引擎的全量数据和增量执行引擎作准备。

TIS的一大特点是,定义一次数据流规则,提供给全量批处理和增量流式处理统一执行(批流统一),从而大大提高了创建搜索实例的效率

使用说明

定义数据流

打开链接/offline/wf,点击右侧图示中创建按钮,进入数据流定义页面
1. 点击左侧控件栏中的数据库表到托盘中
2.自动打开数据表选择输入框
3.数据库表下拉选择框中选择需要导入的表,需要在前一步中已经定义完成
1.点击左侧控件栏中的JOIN到托盘中
2.设置名称JOIN节点名称,选择依赖节点,在SQL中填写数据处理脚本
3.点击保存
点击保存按钮,对新添加的数据流规则进行保存
保存成功之后,会弹出设置数据流名称对话框,在名称中填写新数据流的名称
再进入下一步,会跳出确认对话框,询问是否需要定义表ER关系
ER关系规则在增量执行流程中使用,如果后期不需要开启增量同步管道,则可以跳过这一步
开始编辑表实体关系
1.设置是否是主索引表 注:一个数据流中的多个表实体只能有一个表设置为主索引表

2.当设置为主索引表之后需要添加主键列,主键列的所用是增量执行过程中到数据库中反查主表数据时用的,另外还要设置分区键,这是在反查数据表时使用的路由键

3.设置是否开启监听增量变更,如开启则会在增量处理流程中会将表中的变更同步到Solr引擎中

4. 点击保存按钮完成实体定义
回到主页面,点击右上方保存按钮对ER关系进行保存 千万别忘保存哦!!!

执行数据流

数据流保存成功之后,回到列表页面/offline/wf,点击右图所示构建按钮,开始执行数据流构建
触发构建流程成功,就可以跳转到 /offline/wf/build_history/1/6 数据流构建执行状态查看页面,在该页面中可以查看构建流程中各种状态信息
如全流程可顺利执行完成说明数据流定义没有错误,可进入下一步 索引定义