【Hadoop】配置环境-伪分布式

深藏阁楼爱情的钟 2022-04-24 04:34 271阅读 0赞

# [【Hadoop】配置环境-伪分布式][Hadoop_-] #

> # 目录 #
> 
>  *  1.Linux设置静态IP地址
>  *  2.修改主机名和映射文件
>  *  3.SSH免密码配置
>  *  4.Linux系统JDK的安装和配置
>  *  5.Hadoop伪分布式配置和测试

## 1.Linux设置静态IP地址 ##

--------------------

##### 1.在Linux系统命令终端，执行命令： #####

# cd /etc/sysconfig/network-scripts/

##### 2.在Linux系统命令终端，执行命令修改ifcfg-auto\_eth0，按i进行编辑内容： #####

# vi ifcfg-auto_eth0

BOOTPRPTO=none
        IPADDR=192.168.0.202
        NETMASK=255.255.255.0
        GATE=192.168.0.1
        wq

## 2.修改主机名和映射文件 ##

--------------------

##### 1.在任何目录下执行命令切换到该目录： #####

# cd /etc/sysconfig/

##### 2.在/etc/sysconfig目录下找到network并执行命令编辑内容： #####

# vi network

HOSTNAME=simple02
        wq

##### 3.如果要修改主机名和ip地址具有映射关系，执行命令编辑内容： #####

# vi /etc/hosts

192.168.0.202 simple02
         wq

##### 4.重启系统 #####

# reboot

## 3.SSH免密码配置 ##

--------------------

##### 1.切换到.ssh目录下并通过pwd查看该目录路径 #####

# cd ~/.ssh
        # pwd

#### 提示：如果显示无此目录，先执行一次以下命令： ####

ssh localhost

##### 2.查看.ssh目录下内容 #####

# ls -al

##### 3.在.ssh目录下执行命令：（连续四个回车） #####

# ssh-keygen -t rsa

##### 4.执行完上面命令后，或生成两个文件id\_rsa(私钥),id\_rsa.pub(公钥)，在simple02上执行ssh-copy-id simple02命令（相当于该主机给自身设置免密码登录），根据提示输入访问主机所需要的密码 #####

# ssh-copy-id simple02

##### 5.在simle02机器上切换到.ssh目录 #####

# cd ~/.ssh

##### 6.查看.ssh目录下的内容，在.ssh目录下多个文件authorized\_key，其内容就是密码值，此时就可以直接访问simple02了 #####

# ssh simple02

## 4.Linux系统JDK的安装和配置 ##

--------------------

##### 1.先检查是否有默认的jdk，进行删除（可以不删除） #####

# rpm -qa | grep jdk
        # rpm -e –nodeps java-1.4.2-gcj-compat-1.4.2.0-40jpp.115

##### 2.在根目录下创建simple文件夹，在simple文件夹内创建soft文件夹 #####

# cd /
        # mkdir simple
        # cd simple
        # mkdir soft

##### 3.将jdk解压到simple文件夹下 #####

# cd ../
        # tar -zvxf /simple/soft/jdk-7u79-linux-i586.tar.gz

##### 4.配置环境变量 #####

# vi /etc/profile

JAVA_HOME=/simple/jdk1.7.0_79
        export PATH=$JAVA_HOME/bin:$PATH
        wq

##### 5.更新配置文件 #####

# source /etc/profile

##### 6.检查jdk是否安装成功 #####

# java -version

## 5.Hadoop伪分布式配置和测试 ##

--------------------

##### 1.解压hadoop到simple文件夹下 #####

# cd /simple
        # tar -zvxf /simple/soft/hadoop-2.4.1.tar.gz

##### 2.编辑配置文件hadoop-env.sh #####

# cd /simple/hadoop-2.4.1/etc/hadoop/
        # vi hadoop-env.sh
                export JAVA_HOME=/simple/jdk1.7.0_79
                wq

##### 3.编辑配置文件core-site.xml #####

# vi core-site.xml 
            <property>
                <name>fs.default.name</name>
                <value>hdfs://169.254.25.128:9000</value>
            </property>
            <property>
                <name>fs.defaultFS</name>
                <value>hdfs://169.254.25.128:9000</value>
            </property>
            <property>
                <name>hadoop.tmp.dir</name>
                <value>/simple/hadoop-2.4.1/tmp</value>
            </property>
            wq

##### 4.编辑配置文件hdfs-site.xml #####

# vi hdfs-site.xml
            <property>
                <name>dfs.replication</name>
                <value>1</value>
            </property>
            <property>
                <name>dfs.name.dir</name>
                <value>/simple/hadoop-2.4.1/hdfs/name</value>
            </property>
            <property>
                <name>dfs.data.dir</name>
                <value>/simple/hadoop-2.4.1/hdfs/data</value>
            </property>
            wq

##### 5.编辑配置文件mapred-site.xml #####

# vi mapred-site.xml
            <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
            </property>
            wq

##### 6.编辑配置文件yarn-site.xml #####

# vi yarn-site.xml
            <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>169.254.25.128</value>
            </property>
            <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
            </property>
            wq

##### 7.配置环境变量 #####

# vi /etc/profile

HADOOP_HOME=/simple/hadoop-2.4.1
            export PATH=$JAVAHOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
            wq

##### 8.刷新配置文件 #####

# source /etc/profile

##### 9.格式化hdfs #####

# cd /simple/hadoop-2.4.1
        # mkdir tmp
        # mkdir hdfs
        # cd hdfs
        # mkdir name
        # mkdir data
        # hdfs namenode -format

##### 10.启动hdfs #####

# cd /simple/hadoop-2.4.1/sbin
        # ./start-all.sh

##### 11.查看进程 #####

# jps

Jps
        ResourceManager
        SecondaryNameNode
        NameNode
        NodeManager
        DataNode

##### 12。在浏览器地址栏输入： #####

http://localhost:50070(HDFS管理界面)
    http://localhost:8088(MR管理界面)

posted @ 2018-10-28 01:29 [容一博][Link 1] 阅读( ...) 评论( ...) [编辑][Link 2] 收藏

[Hadoop_-]: https://www.cnblogs.com/chromer/p/34g52347f5.html
[Link 1]: https://www.cnblogs.com/chromer/
[Link 2]: https://i.cnblogs.com/EditPosts.aspx?postid=9864137