Hadoop集群搭建教程

短命女 2022-11-28 13:33 155阅读 0赞

#### 1、准备工作： ####

由于hadoop是基于java的，所以需要预先安装jdk，安装jdk的教程可参考这篇：[https://blog.csdn.net/qq\_34566673/article/details/107797472][https_blog.csdn.net_qq_34566673_article_details_107797472]  
准备好着两个压缩包，通过xftp传至虚拟机中  
![在这里插入图片描述][20200817213959993.png_pic_center]

#### 2、安装： ####

通过tar命令将hadoop主文件解压至指定目录  
`tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/bigdata/hadoop/`  
![在这里插入图片描述][20200817215614591.png_pic_center]  
将解压后的文件夹重命名为`hadoop260`  
将native包解压至hadoop260下的lib/native目录下  
`tar -zxvf hadoop-native-64-2.6.0.tar -C /opt/bigdata/hadoop/hadoop260/lib/native`

修改目录权限  
`chown -R root:root hadoop260/`  
修改jdk属性  
在hadoop260文件夹下打开**hadoop-env.sh**  
`vi etc/hadoop/hadoop-env.sh`  
在JAHA\_HOME的那一行修改为jdk的路径  
`export JAVA_HOME=/opt/bigdata/java/jdk180`

修改hadoop fs 文件系统配置  
`vi etc/hadoop/core-site.xml`  
jwtmaster是当前主机的别名

<configuration>
      <property>
        <name>fs.defaultFS</name>
        <value>hdfs://jwtmaster:9000</value>
      </property>
      <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/bigdata/hadoop/hadoop260</value>
      </property>
      <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
      </property>
      <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
      </property>
    </configuration>

设置hadoop replicas 备份

在hadoop文件夹下创建目录**hdfs/datanode，hdfs/namenode**  
![在这里插入图片描述][20200817220926386.png_pic_center]

`mkdir hdfs`  
`cd hdfs/`  
`mkdir namenode datanode`  
打开hdfs-site.xml文件  
`vi etc/hadoop/hdfs-site.xml`  
添加如下：

<configuration>
      <property>
        <name>dfs.replication</name>
        <value>2</value>
      </property>
      <property>
        <name>dfs.namenode.dir</name>
        <value>/opt/bigdata/hadoop/hdfs/namenode</value>
      </property>
      <property>
        <name>dfs.datanode.dir</name>
        <value>/opt/bigdata/hadoop/hdfs/datanode</value>
      </property>
    </configuration>

设置hadoop mapreduce 计算框架  
`cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml`  
`vi etc/hadoop/mapred-site.xml`

<configuration>
      <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
      </property>
    </configuration>

配置hadoop yarn 管理调度  
`vi etc/hadoop/yarn-site.xml`

<configuration>
      <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
      </property>
      <property>
    	<name>yarn.log-aggregation-enable</name>
    	<value>true</value>
      </property>
    </configuration>

配置 hadoop slaves 主机名  
`vi etc/hadoop/slaves`

添加多个多个作为数据节点（DataNode）的别名  
![在这里插入图片描述][20200817221411948.png_pic_center]  
配置环境变量  
`vi /etc/profile`  
添加：  
hadoop的环境变量以及PATH环境变量

export HADOOP_HOME=/opt/bigdata/hadoop/hadoop260
    export HADOOP_MAPRED_HOME=$HADOOP_HOME
    export HADOOP_COMMON_HOME=$HADOOP_HOME
    export HADOOP_HDFS_HOME=$HADOOP_HOME
    export YARN_HOME=$HADOOP_HOME
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
    export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
    
    export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

添加完成之后source一下profile使之生效  
`source /etc/profile`

**hadoop 格式化 HDFS**  
`cd /opt/bigdata/hadoop/hadoop260/bin`  
`hdfs namenode -format`  
见到以下信息说明格式化成功  
SHUTDOWN\_MSG: Shutting down NameNode at vwmaster

启动 hadoop:  
`cd /opt/bigdata/hadoop/hadoop260/bin`  
`start-dfs.sh`  
start-yarn.sh  
停止hadoop的命令：`stop-all.sh`  
启动 jobhistory  
`cd /opt/bigdata/hadoop/hadoop260/sbin`  
`./mr-jobhistory-daemon.sh start historyserver`

查看 hadoop 服务状态:  
`jsp`  
http://主机别名或ip: 50070 8088 19888  
50070端口下可查看集群状态值：全是绿色说明状态良好  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NTY2Njcz_size_16_color_FFFFFF_t_70_pic_center]

[https_blog.csdn.net_qq_34566673_article_details_107797472]: https://blog.csdn.net/qq_34566673/article/details/107797472
[20200817213959993.png_pic_center]: /images/20221124/8734e0e20b5d4fb0b2bbe8c4b4f63145.png
[20200817215614591.png_pic_center]: /images/20221124/042541fd869b4233a0702411ee4e1c9f.png
[20200817220926386.png_pic_center]: /images/20221124/01cceee338384aca9457b4920f4bc3a3.png
[20200817221411948.png_pic_center]: /images/20221124/39b9db9418a94611b588128356994ad4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NTY2Njcz_size_16_color_FFFFFF_t_70_pic_center]: /images/20221124/2b4020743e5c4f22a939cafbc20825f6.png