【hdfs问题】hdfs 跨集群数据迁移报错

怼烎@ 2022-12-31 14:18 300阅读 0赞

## 问题 ##

目前想要让Kerberos集群的hdfs数据迁移到非Kerberos集群的hdfs上，使用以下命令报错

sudo kinit hive
    sudo klist
    sudo hadoop distcp hdfs://<secure_namenode>:8020/user/hive/warehouse/test.db/* hdfs://<insecure_namenode>:8020/user/hive/warehouse/test.db

报错截图  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2ODM4MzE1_size_16_color_FFFFFF_t_70]

## 解决方案 ##

> 官方链接：https://docs.cloudera.com/documentation/enterprise/latest/topics/cdh\_admin\_distcp\_secure\_insecure.html

查看官网发现，安全集群和非安全集群之间进行数据迁移时需要配置参数`ipc.client.fallback-to-simple-auth-allowed`为`true`  
`ipc.client.fallback-to-simple-auth-allowed`参数用法：client使用安全连接去链接一台非安全服务器时，服务器提示client切换到SASL SIMPLE认证模式（非安全Server asks us to fall back to SIMPLE auth, but this client is configured to only allow secure connections），如果设置为true，则client同意切换到非安全连接，如果false，则退出连接。在访问Kerberos环境的Configuration中增加ipc.client.fallback-to-simple-auth-allowed为true的配置表示允许客户端使用简单认证模式  
于是命令修改为

sudo hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true -m 30 webhdfs://hadoop1:50070/user/hive/warehouse/* /user/hive/warehouse/

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2ODM4MzE1_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2ODM4MzE1_size_16_color_FFFFFF_t_70 2]  
注意:如果为分区表则可能出现集群迁移后，使用count统计记录数时显示为0，这是因为hive从低版本升级到高版本或者做hadoop的集群数据迁移时，需要重新创建表和表分区，由于使用的是动态分区，所以需要重新刷新分区表字段，否则无法查看数据  
在hive中执行以下命令即可自动更新元数据中的表分区:

msck repair table 表名

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2ODM4MzE1_size_16_color_FFFFFF_t_70 3]

## 扩展 ##

> 官方链接：https://docs.cloudera.com/documentation/enterprise/latest/topics/cdh\_admin\_distcp\_secure\_insecure.html

查看官网发现，安全集群和非安全集群之间进行数据迁移时需要配置参数`ipc.client.fallback-to-simple-auth-allowed`为`true`

1.  在安全集群上，将`core-site.xml`中的`ipc.client.fallback-to-simple-auth-allowed`设置为`true`：
    
        <property>
          <name>ipc.client.fallback-to-simple-auth-allowed</name>
          <value>true</value> 
        </property>
    
    如果集群配置了以上参数则可以使用下面的命令(此配置在hdfs中进行配置)
    
        #将数据从不安全的集群迁移到安全的集群
        hadoop distcp hdfs://<insecure_namenode>:50070/path /path
        #将数据从安全的集群迁移到不安全的集群
        hadoop distcp hdfs://<secure_namenode>:500470/path /path
    
    也可以在运行distcp命令时将此作为参数传递。如果要这样做，请转到步骤2。
2.  如果您未配置`ipc.client.fallback-to-simple-auth-allowed`并希望将其作为参数传递，请从安全群集中运行以下命令：
    
        #将数据从不安全的集群迁移到安全的集群
        hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true webhdfs://<insecure_namenode>:50070/path /path
        #将数据从安全的集群迁移到不安全的集群
        hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true webhdfs://<secure_namenode>:50470/path /path
    
    如果启用了TLS，请用swebhdfs替换webhdfs。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2ODM4MzE1_size_16_color_FFFFFF_t_70]: /images/20221120/143ad0686fab4e21af2ac453b0876610.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2ODM4MzE1_size_16_color_FFFFFF_t_70 1]: /images/20221120/38453176f5aa4aa4a2bc73d67c40be07.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2ODM4MzE1_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20201230092015927.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2ODM4MzE1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2ODM4MzE1_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20210120093334730.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2ODM4MzE1,size_16,color_FFFFFF,t_70