HDFS

Aliyun-Jindo-HDFS

• 配置项说明:

1. name

   • 类型: 单行文本
   • 必须: 是

2. 使用域名

   • 类型: 单选

   • 必须: 是

   • 默认值: false

   • 说明:

     当客户端导入数据到HDFS过程中，客户端会使用hostname（域名）而不是ip地址的方式去连接HDFS DataNode地址。当用户利用Docker Compose的方式启动hadoop环境(例如：Hudi测试环境) ，客户端取得的DataNode地址一般会是Docker容器的内部Ip地址，从容器外部是访问不到的，此时将该选项设置为是，可以解决数据无法导入到HDFS的问题。

     详细请查看https://segmentfault.com/q/1010000008473574

     当选择是，在创HDFS FileSystem实例时加上如下参数：

       conf.set("dfs.client.use.datanode.hostname", "true");

3. endpoint

   • 类型: 单选
   • 必须: 是
   • 默认值: 无
   • 说明: 描述：OSS Server的EndPoint信息

4. bucket

   • 类型: 单行文本
   • 必须: 是
   • 默认值: 无
   • 说明: 描述：OSS的bucket

5. rootDir

   • 类型: 单行文本
   • 必须: 是
   • 默认值: 无
   • 说明: 系统会将源数据导入到该子目录下，用户需要保证该子目录有读/写权限

6. userToken

   • 类型: 单行文本

   • 必须: 是

   • 默认值: off

   • 说明: 当选择为'on', 开启kerberos客户端认证

   • 可选项说明: 可选kerberos,off以下是详细说明：

     • kerberos

       

       • 配置项说明:

       1. kerberos

          • 类型: 单选
          • 必须: 是
          • 默认值: 无
          • 说明: 开启kerberos客户端认证

     • off

7. hdfs-site.xml

   • 类型: 富文本

   • 必须: 是

   • 默认值: com.qlangtech.tis.hdfs.impl.AliayunJindoFSFactory.nullHdfsSiteContent()

   • 说明:

     配置实例,实现了HDFS HA高可用方案：

     hdfs-site.xml参数详解

     <configuration>
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://192.168.28.200</value>
         </property>
     </configuration>

HDFS

• 配置项说明:

1. name

   • 类型: 单行文本
   • 必须: 是

2. 使用域名

   • 类型: 单选

   • 必须: 是

   • 默认值: false

   • 说明:

     当客户端导入数据到HDFS过程中，客户端会使用hostname（域名）而不是ip地址的方式去连接HDFS DataNode地址。当用户利用Docker Compose的方式启动hadoop环境(例如：Hudi测试环境) ，客户端取得的DataNode地址一般会是Docker容器的内部Ip地址，从容器外部是访问不到的，此时将该选项设置为是，可以解决数据无法导入到HDFS的问题。

     详细请查看https://segmentfault.com/q/1010000008473574

     当选择是，在创HDFS FileSystem实例时加上如下参数：

       conf.set("dfs.client.use.datanode.hostname", "true");

3. rootDir

   • 类型: 单行文本
   • 必须: 是
   • 默认值: 无
   • 说明: 系统会将源数据导入到该子目录下，用户需要保证该子目录有读/写权限

4. userToken

   • 类型: 单行文本

   • 必须: 是

   • 默认值: off

   • 说明: 当选择为'on', 开启kerberos客户端认证

   • 可选项说明: 可选kerberos,off以下是详细说明：

     • kerberos

       

       • 配置项说明:

       1. kerberos

          • 类型: 单选
          • 必须: 是
          • 默认值: 无
          • 说明: 开启kerberos客户端认证

     • off

5. hdfs-site.xml

   • 类型: 富文本

   • 必须: 是

   • 默认值: com.qlangtech.tis.hdfs.impl.HdfsFileSystemFactory.dftHdfsSiteContent()

   • 说明:

     配置实例,实现了HDFS HA高可用方案：

     hdfs-site.xml参数详解

     <configuration>
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://192.168.28.200</value>
         </property>
     </configuration>