hadoop java linux_Hadoop在Linux环境下的配置

谁借莪１个温暖的怀抱￠ 2022-11-09 12:45 181阅读 0赞

写在前面：在这之前需要有自己 的Linux环境，了解常用的Linux命令。并且已经配置好了java环境，什么叫配置好呢，就是 echo $\{JAVA\_HOME\}  命令是可以输出jdk路径的，才叫配置好。如果只是java -version可以查看java版本，就需要source /etc/profile 命令来使其生效，不生效也是不行滴。

一、下载解压

首先下载Hadoop安装包，直接在Windows官网上下载就行，这是镜像网站，可自取：http://mirror.bit.edu.cn/apache/hadoop/common/，

我下载的版本是2.7.7

![f8fb8dff0b2da0a92d0642c2a4cd4ab5.png][]

下载完之后，直接将下载下来的压缩文件传到Linux上，我用的传输软件是 WinSCP，长这样:

![947dca9b4f106a060e48d4f1c738059b.png][],至于怎么用，百度一查就很明了了。

好了，现在就是真正的Linux时间了，cd进到存放Hadoop压缩包的目录下,用解压缩命令(tar -zxvf hadoop-2.7.7-tar.gz)将其进行解压，

二、文件配置

接下来就要开始配置了，cd进到Hadoop路径下的 etc/hadoop 下，

1、首先是java路径配置，vim hadoop-env.sh编辑文件，

![a5a92d7a2d23ccef7e7a376a54a5fa0b.png][]

这里的java路径一定要自己配一遍，不要用  $\{JAVA\_HOME\},否则在集群环境下，启动的时候会找不到java的！！！！

:wq 保存并退出。然后执行  source hadoop-env.sh令其生效(忘了是不是必须的)。

然后 vim /etc/profile 打开系统配置，配置HADOOP环境变量。

![de52ef8c7f5a844b0a9028c2809a7ed9.png][]，source令其生效.

2、core-site.xml 文件，打开后是空白的，如下添加

fs.defaultFS

hdfs://master:9000

io.file.buffer.size

131072

hadoop.tmp.dir

/study/hadoopWork/hadoop

dfs.blocksize

268435456

dfs.namenode.handler.count

100

4、mapred-site.xml,这个文件没有，需要将mapred-site.xml.template重命名

mapreduce.framework.name

yarn

mapreduce.map.memory.mb

1536

mapreduce.map.java.opts

\-Xmx1024M

mapreduce.reduce.memory.mb

3072

mapreduce.reduce.java.opts

\-Xmx2560M

mapreduce.task.io.sort.mb

512

mapreduce.task.io.sort.factor

100

mapreduce.reduce.shuffle.parallelcopies

mapreduce.jobhistory.address

master:10020

mapreduce.jobhistory.webapp.address

master:19888

mapreduce.jobhistory.intermediate-done-dir

/study/hadoopWork/hadoop

mapreduce.jobhistory.done-dir

/study/hadoopWork/hadoop

5、yarn-site.xml

yarn.acl.enable

false

yarn.admin.acl

yarn.log-aggregation-enable

false

yarn.resourcemanager.hostname

master

yarn.resourcemanager.scheduler.class

org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler

yarn.scheduler.minimum-allocation-mb

1024

yarn.scheduler.maximum-allocation-mb

8192

yarn.nodemanager.resource.memory-mb

8192

yarn.nodemanager.vmem-pmem-ratio

2.1

yarn.nodemanager.log-dirs

/study/hadoopWork/data/hadoop/log

yarn.nodemanager.remote-app-log-dir

/study/hadoopWork/data/hadoop/log

至此，基本已经配置完毕，配置文件中遇到的路径等，需要自己在相应目录下去新建，也可以配置成自己的路径。

6、初始化hadoop

hdfs namenode -format。如果报错找不到JAVA路径等，就去看看自己的java环境变量是不是配置正确，hadoop-env.sh文件的java路径是不是正确。

如果百度查到的解决办法都试过了，还是不行，就把安装好的jdk卸载掉，重新下载安装。一定要卸载干净！！卸载方法可自行百度，当时我足足配置了三四遍才成功配置好。

7、启动集群

在sbin路径下，执行 start-all.sh，java报错解决办法同6，

![bacc3623ec996fcc8dc001d5bb295a74.png][]成功啦！

执行jps查看执行状态。

也不是一次就能配置成功，配置过程中，我也是百度了大量的前辈的资料，如本文中有相似之处，请谅解。实在是前辈们的博客地址没记住，

假装这里有参考文献吧

[f8fb8dff0b2da0a92d0642c2a4cd4ab5.png]: /images/20221023/5b95f91c996d48be9f415e04d909ae58.png
[947dca9b4f106a060e48d4f1c738059b.png]: /images/20221023/53001d9c3dea498a951ccc5a0e3235c4.png
[a5a92d7a2d23ccef7e7a376a54a5fa0b.png]: /images/20221023/9985a4fa43004a638d11a43c41b383cd.png
[de52ef8c7f5a844b0a9028c2809a7ed9.png]: /images/20221023/cc9aef72f1e14668b92efcd1786363ff.png
[bacc3623ec996fcc8dc001d5bb295a74.png]: /images/20221023/a771ab0344c84b4db9bd9b14f805ea5f.png