TDFS
数据端配置
- 配置项说明:
name
- 类型: 单行文本
- 必须: 是
protocol
类型: 单选
必须: 是
默认值: ftp
说明:
SFTP 和 FTP 非常相似，都支持批量传输（一次传输多个文件），文件夹 / 目录导航，文件移动，文件夹 / 目录创建，文件删除等。但还是存在着差异，SFTP 和 FTP 之间的区别：
链接方式不同
FTP 使用 TCP 端口 21 上的控制连接建立连接。而 SFTP 是在客户端和服务器之间通过 SSH 协议 (TCP 端口 22) 建立的安全连接来传输文件。
安全性不同
SFTP 使用加密传输认证信息和传输的数据，所以使用 SFTP 相对于 FTP 是非常安全。
效率不同
SFTP 这种传输方式使用了加密解密技术，所以传输效率比普通的 FTP 要低得多。
使用的协议不同
FTP 使用 TCP / IP 协议。而，SFTP 是 SSH 协议的一部分，它是一种远程登录信息。
安全通道
FTP 不提供任何安全通道来在主机之间传输文件；而 SFTP 协议提供了一个安全通道，用于在网络上的主机之间传输文件。
host
- 类型: 单行文本
- 必须: 是
- 默认值: 无
- 说明: 描述：ftp服务器地址。
port
- 类型: 整型数字
- 必须: 是
- 默认值: 21
- 说明: 描述：ftp服务器端口。
timeout
- 类型: 整型数字
- 必须: 否
- 默认值: 60000
- 说明: 描述：连接ftp服务器连接超时时间，单位毫秒。默认值：60000（1分钟）
连接模式
类型: 单选
必须: 是
默认值: PASV
说明:
连接模式（主动模式或者被动模式）。该参数只在传输协议是标准ftp协议时使用，值只能为：PORT (主动)，PASV（被动）。两种模式主要的不同是数据连接建立的不同。
对于Port模式，是客户端在本地打开一个端口等服务器去连接建立数据连接，
而Pasv模式就是服务器打开一个端口等待客户端去建立一个数据连接。
username
- 类型: 单行文本
- 必须: 是
- 默认值: 无
- 说明: 描述：ftp服务器访问用户名。
password
- 类型: 密码
- 必须: 是
- 默认值: 无
- 说明: 描述：ftp服务器访问密码。
批量读
- 配置项说明:
资源
- 类型: 单行文本
- 必须: 是
- 默认值: 无
- 说明: DFS服务端连接配置
目标文件匹配
类型: 单行文本
必须: 是
默认值: Wildcard
说明:
到指定目录中获取目标资源文件，TIS已经为您准备了两种类型的匹配器：
Wildcard：
通过
wildcard表达式（如：user*.json,"a/b/*"），到指定目录扫描所有资源文件，如果与wildcard匹配，则作为TDFS Reader的目标资源文件，在后续全量导入流程中读取ByMeta：
Writer TDFS作为目标Writer，流程中开启了添加元数据选项，将源数据的Schema写入到目标文件系统中，后续，以该TDFS作为源数据类型则可以依赖该预写入的Schema文件作为数据源的Schema信息，可大大简化流程
文件格式
- 类型: 单行文本
- 必须: 是
- 默认值: 无
- 说明: 可以根据目标文件不同的格式，对文件进行解析
配置模版
- 类型: 富文本
- 必须: 是
- 默认值: com.qlangtech.tis.plugin.datax.DataXDFSReader.getDftTemplate()
- 说明: 无特殊情况请不要修改模版内容，避免不必要的错误
批量写
- 配置项说明:
资源
- 类型: 单行文本
- 必须: 是
- 默认值: 无
- 说明: DFS服务端连接配置
添加元数据
类型: 单行文本
必须: 是
默认值: on
说明:
写数据过程中会在
DFS目录中写一份source的元数据。当其他环境中需要使用TIS来导入DFS中的数据时，可以利用这份元数据快速生成目标端的数据表结构，省去手动配置元数据的流程。
替换规则
类型: 单选
必须: 是
默认值: truncate
说明:
FtpWriter写入前数据清理处理模式：
truncate: 写入前清理目录下一fileName前缀的所有文件。
append: 写入前不做任何处理，DFS Writer直接使用filename写入，并保证文件名不冲突。
nonConflict: 如果目录下有fileName前缀的文件，直接报错。
fileFormat
类型: 单行文本
必须: 是
默认值: TEXT
说明:
文件写出的格式，包括csv 和text两种，csv是严格的csv格式，如果待写数据包括列分隔符，则会按照csv的转义语法转义，转义符号为双引号。text格式是用列分隔符简单分割待写数据，对于待写数据包括列分隔符情况下不做转义。
配置模版
- 类型: 富文本
- 必须: 是
- 默认值: com.qlangtech.tis.plugin.datax.DataXDFSWriter.getDftTemplate()
- 说明: 无特殊情况请不要修改模版内容，避免不必要的错误