Hadoop集群安装和配置

痛定思痛。 2022-12-16 06:00 298阅读 0赞

集群规划：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA3MDQ3Mw_size_16_color_FFFFFF_t_70][]

集群安装步骤：

一、 在一台机器上上传并解压Hadoop安装包（此处选择主机node01）

1.此处上传用的软件为：SecureCRT 8.3

上传命令：rz -E

2.选择上传的安装包，并将安装包放在一个目录下面便于寻找，此处放在/opt/software目录下。

移动命令： mv hadoop-2.10.1.tar.gz  /opt/software

3.解压安装包到某个目录，此处放在/opt/module目录下

解压命令：tar -zxvf hadoop-2.10.1.tar.gz -C /opt/module/

二、修改配置文件

1.修改core-site.xml文件

打开文件所在目录: cd  /opt/module/hadoop-2.10.1/etc/hadoop

修改core-site.xml配置文件，可以用vim 进行编译修改，此处我用sublime Text远程连接虚拟机来修改配置文件。

修改内容如下：

<configuration>
    	
    	<property>
    		<name> fs.default.name </name>
    		<value> hdfs://192.168.87.101:8020 </value>
    	</property>
    
        <property>
        <name>fs.default.name</name>
        <value>hdfs://192.168.87.101:9000</value>
        </property>
        
        <property>
        	<name> hadoop.tmp.dir </name>
        	<value> /opt/module/hadoop-2.10.1/hadoopDatas/tempDatas </value>
        </property>
    
        
        <property>
        	<name> io.file.buffer.size </name>
        	<value> 4096 </value>
        </property>
    
        
        <property>
        	<name> fs.trash.interval</name>
        	<value> 10080 </value>
        </property>
    </configuration>

2.修改hdfs-site.xml文件

打开文件目录： cd  /opt/module/hadoop-2.10.1/etc/hadoop

编译文件： vim hafs-site.xml

修改内容如下：

<configuration>
    	
    	<property>
    		<name> dfs.namenode.secondary.http-address</name>
    		<value> node01:50090</value>
    	</property>
    
        
    	<property>
    		<name> dfs.namenode.http-address</name>
    		<value>node01:50070</value>
    	</property>
    
    	
    	<property>
    		<name>dfs.namenode.name.dir</name>
    		<value>file:///opt/module/hadoop-2.10.1/hadoopDatas/namenodeDatas,file:///opt/module/hadoop-2.10.1/hadoopDatas/namenodeDatas2</value>
    	</property>
    
    	
    	<property>
    		<name>dfs.datanode.data.dir</name>
    		<value>file:///opt/module/hadoop-2.10.1/hadoopDatas/datanodeDatas,file:///opt/module/hadoop-2.10.1/hadoopDatas/datanodeDatas2</value>
    	</property>
    
    	
    	<property>
    		<name>dfs.namenode.edits.dir</name>
    		<value>file:///opt/module/hadoop-2.10.1/hadoopDatas/namenode/edits</value>
    	</property>
    
    	
    	<property>
    		<name>dfs.namenode.checkpoint.dir</name>
    		<value>file:///opt/module/hadoop-2.10.1/hadoopDatas/secondNamenode/name</value>
    	</property>
    
    	
    	<property>
    		<name>dfs.namenode.checkpoint.edits.dir</name>
    		<value>file:///opt/module/hadoop-2.10.1/hadoopDatas/secondNamenode/edits</value>
    	</property>
    
    	
    	<property>
    		<name>dfs.replication</name>
    		<value>3</value>
    	</property>
    
    	
    	<property>
    		<name>dfs.permissions</name>
    		<value>false</value>
    	</property>
    
    	
    	<property>
    		<name>dfs.blocksize</name>
    		<value>134217728</value>
    	</property>
    </configuration>

3.修改hadoop-env.sh文件

打开文件所在目录: cd  /opt/module/hadoop-2.10.1/etc/hadoop

修改内容如下：

export JAVA_HOME=/opt/module/jdk1.8.0_251

添加jdk安装地址

4.修改mapred-site.xml

打开文件所在目录: cd  /opt/module/hadoop-2.10.1/etc/hadoop

编译文件 vim mapred-site.xml

（注：文件夹中存在mapred-site.xml.template文件，将mapred-site.xml.template修改为mapred-site.xml）

修改内容如下：

<configuration>
    	
    	<property>
    		<name>mapreduce.job.ubertask.enable</name>
    		<value>true</value>
    	</property>
    
    	
    	<property>
    		<name>mapreduce.jobhistory.address</name>
    		<value>node01:10020</value>
    	</property>
    
    	
    	<property>
    		<name>mapreduce.jobhistory.webapp.address</name>
    		<value>node01:19888</value>
    	</property>
    
    </configuration>

5.修改yarn-site.xml文件

打开文件所在目录: cd  /opt/module/hadoop-2.10.1/etc/hadoop

编译文件 vim yarn-site.xml

修改内容如下：

<configuration>
    
    
        
        <property>
        	<name>yarn.resourcemanager.hostname</name>
        	<value>node01</value>
        </property>
    
        
        <property>
        	<name>yarn.nodemanager.aux-services</name>
        	<value>mapreduce_shuffle</value>
        </property>
    
        
        <property>
        	<name>yarn.log-aggregation-enable</name>
        	<value>true</value>
        </property>
    
        
        <property>
        	<name>yarn.log-aggregation.retain-seconds</name>
        	<value>604800</value>
        </property>
    
        
        <property>
        	<name>yarn.nodemanager.resource.memory-mb</name>
        	<value>20480</value>
        </property>
    
        <property>
        	<name>yran.scheduler.minimum-allocation-mb</name>
        	<value>2048</value>
        </property>
    
        <property>
        	<name>yarn.nodemanager.vmem-pmem-ratio</name>
        	<value>2.1</value>
        </property>
    </configuration>

6.修改mapred-env.sh文件

打开文件所在目录: cd  /opt/module/hadoop-2.10.1/etc/hadoop

编译文件 vim mapred-env.sh

修改内容如下：

export JAVA_HOME=/opt/module/jdk1.8.0_251

7.修改slaves文件

打开文件所在目录: cd  /opt/module/hadoop-2.10.1/etc/hadoop

编译文件 vim slaves

修改内容如下：（注：三台主机名）

node01
    node02
    node03

三、将安装配置完成的hadoop文件发送到另外二个主机

进入到保存hadoop文件的目录下，此处为/opt/module目录

发送给主机node02的hadoop文件命令：scp -r  hadoop-2.10.1/  node02:/opt/module

发送给主机node03的hadoop文件命令：scp -r  hadoop-2.10.1/  node03:/opt/module

四、配置hadoop的环境变量

三台机器都要进行配置hadoop的环境变量

配置环境变量命令： vim /etc/profile

增加内容如下：

#Hadoop_HOME
    export HADOOP_HOME=/opt/module/hadoop-2.10.1
    export PATH=$PATH:$HADOOP_HOME/bin
    export CLASSPATH=$HADOOP_HOME/lib
    export PATH=$PATH:HADOOP_HOME/sbin

配置完成后文件生效命令：source /etc/profile

五、启动集群

启动hadoop集群，需要启动HDFS和YARN两个模块。(注：启动hadoop集群之前，先开启zookeeper)

注：首次启动HDFS时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的HDFS在物理上还是不存在的。

hdfs namenode -format 或者hadoop namenode -format

准备启动：

第一台机器执行以下命令：

cd /opt/module/hadoop-2.10.1
    bin/hdfs namenode -format
    sbin/start-dfs.sh
    sbin/start-yarn.sh
    sbin/mr-jobhistory-daemon.sh start historyserver

注：bin/hdfs namenode -format 只在第一次启动时输入，之后不需要。

三个端口查看界面

http://node01:50070/explorer.html\#/                            //查看hdfs

http://node01:8088/cluster                              //查看yarn集群

http://node01:19888/jobhistory                   //查看历史完成的任务

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA3MDQ3Mw_size_16_color_FFFFFF_t_70]: /images/20221123/0c61dd754e354b7095e04517f1bf7d68.png