docker安装hadoop集群遇到的一些问题

喜欢ヅ旅行 2022-10-06 11:58 391阅读 0赞

1.进入hadoop镜像对应的容器内，执行Hdfs命令，显示没找到hdfs: command not found

解决方案：在/etc/profile文件内

原来是export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

改成export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

2./usr/local/hadoop/sbin目录调用start-all.sh，启动过程提示Slave1: nodemanager is running as process 226. Stop it first.

解决方案：

1.先在slave或masterKill掉对应进程 Kill 226

2.调用stop-all.sh

这二步都做了，再调用start-all.sh启动就正常了

3.Hive初始化元数据报Illegal character entity会提示在哪一行

./schematool -initSchema -dbType mysql

原因就是在conf/hive-stite.xml对应行那里有个 把他删掉即可

用vim +行数 hive-sitem.xml跳到所在行

4.Hive初始化元数据报

Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set

解决方案：在/etc/profile里加了一行

export PATH=$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin

然后source profile重新运行该文件

然后再重新初始化元数据就可以了。

5.用hive命令准备进入Hive时，报了两个错

1.连接不了hadoopMaster,这个在启动hadoop(haddop目录/sbin ./start-all.sh)就好了

2.无法创建Cannot create directory /tmp/hive. Name node is in safe mode

这个是因为我hadoop之前设置进入了安全模式，所以用hdfs dfsadmin -safemode leave 退出安全模式就可以了

发表评论

表情：
评论列表 （有 0 条评论，391人围观）

还没有评论，来说两句吧...

相关阅读

    相关 Hadoop篇：Hadoop集群安装

    规划 在搭建Hadoop集群前，我们肯定需要先规划一下集群的各个节点安装的组件。如果你是伪分布式或单机模式，则不需要遵循任何规则，可以随意安装各个组件。如果你是完全分布式

    左手的ㄟ右手左手的ㄟ右手/ 0 赞/ 134 阅读

    相关 hadoop 集群安装

    单机hadoop 集群部署，在单机版基础上进行的,我们需要配置4个机器master,node1,node2,node3 [hadoop单机部署 教程 步骤][hado

    朱雀朱雀/ 0 赞/ 29 阅读