Linux搭建Hadoop环境

拼搏现实的明天。 2023-02-20 10:48 12阅读 0赞

### 文章目录 ###

*  准备工作
 *  开始安装
 *  配置hadoop
 *   *  配置etc/hadoop目录下文件
     *  hadoop环境变量配置
     *  格式化HDFS
     *  启动Hadoop

# 准备工作 #

1.  搭建好jdk环境的linux虚拟机：[Linux安装jdk][Linux_jdk]
2.  hadoop安装包：[hadoop-2.6.0-cdh5.14.2.tar.gz 提取码：20n8][hadoop-2.6.0-cdh5.14.2.tar.gz _20n8]

# 开始安装 #

把hadoop安装包导入虚拟机  
解压文件到`/opt`目录下，修改文件名为hadoop  
![在这里插入图片描述][20200626113236897.png]  
修改主机名`hostname`和主机列表`hosts`  
![在这里插入图片描述][20200626113610893.png]

# 配置hadoop #

## 配置etc/hadoop目录下文件 ##

进入etc/hadoop目录：`cd /opt/hadoop/etc/hadoop`

1.  配置hadoop-env.sh:`vi hadoop-env.sh`

# The java implementation to use.
    export JAVA_HOME=/opt/java8			//${JAVA_HOME}改为jdk所在地址

1.  core-site.xml

<configuration>
     <property>
      <name>fs.defaultFS</name>
      <value>hdfs://hostname:9000</value>		//hostname为本机主机名
     </property>
     <property>
       <name>hadoop.tmp.dir</name>
       <value>/opt/hadoop260/tmp</value>    //存放临时文件
     </property>
     <property>
       <name>hadoop.proxyuser.root.hosts</name>
       <value>*</value>
     </property>
     <property>
       <name>hadoop.proxyuser.root.groups</name>
       <value>*</value>
     </property>
    </configuration>

1.  hdfs-site.xml

<configuration>
    <property>
      <name>dfs.replication</name>
      <value>1</value>     //当前为单机模式
    </property>
    <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>hostname:50090</value>			//hostname改为本机主机名
    </property>
    </configuration>

1.  mapred-site.xml

<configuration>
    <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
    </property>
    <property>
            <name>mapreduce.jobhistory.address</name>
            <value>hostname:10020</value>				//hostname为主机名
    </property>
    <property>
            <name>mapreduce.jobhistory.webapp.address</name>
            <value>hostname:19888</value>				//hostname为主机名
    </property>
    </configuration>

1.  yarn-site.xml

<configuration>
    
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hostname</value>										//hostname为主机名
    </property>
    
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
    </configuration>

1.  slaves

//dd删除其中内容
    jimi01

## hadoop环境变量配置 ##

`vi /etc/profile`添加内容

export HADOOP_HOME=/opt/hadoop
    export HADOOP_MAPRED_HOME=$HADOOP_HOME
    export HADOOP_COMMON_HOME=$HADOOP_HOME
    export HADOOP_HDFS_HOME=$HADOOP_HOME
    export YARN_HOME=$HADOOP_HOME
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
    export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
    export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

`source /etc/profile`立即生效

## 格式化HDFS ##

`hadoop namenode -format`  
如果有error,处理掉，再次执行

## 启动Hadoop ##

`start-all.sh`  
启动历史服务`mr-jobhistory-daemon.sh start historyserver`  
输入`jps`,查看服务启动情况

在Windows浏览器访问http://192.168.74.131:50070/
    在Windows浏览器访问http://192.168.74.131:8088/

[Linux_jdk]: https://blog.csdn.net/nj_hao/article/details/106841348
[hadoop-2.6.0-cdh5.14.2.tar.gz _20n8]: https://pan.baidu.com/s/1FBOrXS1c2MRsMuaHSy-plA
[20200626113236897.png]: https://img-blog.csdnimg.cn/20200626113236897.png
[20200626113610893.png]: https://img-blog.csdnimg.cn/20200626113610893.png