hadoop中遇到的一些问题

ゝ一纸荒年。 2022-07-24 09:28 263阅读 0赞

1、在hdfs中创建文件夹时

hadoop fs -mkdir testdata

错误 提示：No such file or directory

解决方法：

hadoop fs -mkdir -p /user/hadoop/testdata

> 2、datanode无法启动

jps发现没有datanode服务。

解决方法：

删除datanode的所有资料。将集群中每个datanode的/hdfs/data/current中的VERSION删掉，hdfs为hadoop-src/conf/hdfs-site.xml中name为dfs.data.dir所指向的值，如：/usr/local/hadoop/data/hadoop/data，

/hdfs/data/current/VERSION =/usr/local/hadoop/data/hadoop/data/current/VERSION)。

然后stop所有服务，格式化namenode。。。

stop-all.sh
    hadoop namenode -format
    start-all.sh
    jps

> 3.使用hadoop fs -ls时报错

WARN ipc.Client: Address change detected. Old: xxx New:  xxx

> /etc/hosts文件内容在启动前后有变动，或者IP与主机名称配置不正确
> 
>   
> 
> 
> 4.javac 编译引入hadoop API 时报错
> 
> （1）、可以通过配置hadoop的classpath变量解决；

export	CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH

> （2）、在编译时引入hadoop core包

javac -classpath hadoop-core-xxx.jar Xxxxx.java

>   
> 
> 
> 若依赖的还有其他包则使用 : 加上

javac -classpath hadoop-core-xxx.jar:XXX.jar Xxxxx.java

> 5.格式化NameNode时报错

17/06/04 16:40:24 WARN net.DNS: Unable to determine address of the host-falling back to "localhost" address
    java.net.UnknownHostException: txme: txme: Name or service not known
            at java.net.InetAddress.getLocalHost(InetAddress.java:1505)
            at org.apache.hadoop.net.DNS.resolveLocalHostIPAddress(DNS.java:307)
            at org.apache.hadoop.net.DNS.<clinit>(DNS.java:62)
            at org.apache.hadoop.hdfs.server.namenode.NNStorage.newBlockPoolID(NNStorage.java:991)
            at org.apache.hadoop.hdfs.server.namenode.NNStorage.newNamespaceInfo(NNStorage.java:600)
            at org.apache.hadoop.hdfs.server.namenode.FSImage.format(FSImage.java:152)
            at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:1102)
            at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1544)
            at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1671)
    Caused by: java.net.UnknownHostException: txme: Name or service not known
            at java.net.Inet4AddressImpl.lookupAllHostAddr(Native Method)
            at java.net.InetAddress$2.lookupAllHostAddr(InetAddress.java:928)
            at java.net.InetAddress.getAddressesFromNameService(InetAddress.java:1323)
            at java.net.InetAddress.getLocalHost(InetAddress.java:1500)
            ... 8 more

原因是我使用hostname txme命令把hostname修改成了txme，但/etc/hosts和/etc/hostname中未作相应修改，修改后再格式化即可。有时也会报类似这种的错，可能是需要重启网络，命令：

/etc/rc.d/init.d/network restart