Hadoop集群安装部署_伪分布式集群安装_01

末蓝、 2022-10-12 01:40 208阅读 0赞

### 文章目录 ###

*   *   *   *   *  一、配置基础环境
                 *   *  1. 设置静态ip
                     *  2. hostname
                     *  3. firewalld
                     *  4. ssh免密码登录
                     *  5. JDK

##### 一、配置基础环境 #####

###### 1. 设置静态ip ######

[root@bigdata01 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
    
    BOOTPROTO="static"
    IPADDR=192.168.92.100
    GATEWAY=192.168.92.2
    DNS1=192.168.92.2

[root@bigdata01 ~]# service network restart
    Restarting network (via systemctl):                        [  OK  ]
    [root@localhost ~]# ip addr
     ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state 
        inet 192.168.92.100/24 brd 192.168.92.255 scope global noprefixroute ens3
    [root@localhost ~]#

###### 2. hostname ######

hostname：设置临时主机名和永久主机名
    [root@bigdata01 ~]# hostname bigdata01
    [root@bigdata01 ~]# vi /etc/hostname 
    bigdata01

###### 3. firewalld ######

firewalld：临时关闭防火墙+永久关闭防火墙
    
    [root@bigdata01 ~]# systemctl stop firewalld
    [root@bigdata01 ~]# systemctl disable firewalld

###### 4. ssh免密码登录 ######

在这需要大致讲解一下ssh的含义，ssh 是secure shell，安全的shell，通过ssh可以远程登录到远程linux机器。

我们下面要讲的hadoop集群就会使用到ssh，我们在启动集群的时候只需要在一台机器上启动就行，然后hadoop会通过ssh连到其它机器，把其它机器上面对应的程序也启动起来。

但是现在有一个问题，就是我们使用ssh连接其它机器的时候会发现需要输入密码，所以现在需要实现ssh免密码登录。

那有同学可能有疑问了，你这里说的多台机器需要配置免密码登录，但是我们现在是伪分布集群啊，只有一台机器

> 注意了，不管是几台机器的集群，启动集群中程序的步骤都是一样的，都是通过ssh远程连接去操作，就算是一台机器，它也会使用ssh自己连自己，我们现在使用ssh自己连自己也是需要密码的。

[root@localhost ~]# ssh bigdata01
    The authenticity of host 'bigdata01 (192.168.92.100)' can't be established. ECDSA key fingerprint is SHA256:OkPdWB6Qbl6dbKtaCWEsnueYoZ1E6jTMswu1gB5e8Wg. ECDSA key fingerprint is MD5:fa:46:3c:5c:86:b3:6e:36:86:2c:94:8c:5d:a8:83:fc. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added 'bigdata01,192.168.92.100' (ECDSA) to the list of known hosts. root@bigdata01's password: 【这里需要输入密码】
    Last failed login: Sat Jul  3 05:54:45 CST 2021 from bigdata01 on ssh:notty
    There was 1 failed login attempt since the last successful login.
    Last login: Sat Jul  3 05:20:20 2021 from 192.168.92.1
    [root@bigdata01 ~]#

下面详细讲一下ssh免密码登录 ssh这种安全/加密的shell，使用的是非对称加密，加密有两种，对称加密和非对称加密。非对称加密的解密过程是不可逆的，所以这种加密方式比较安全。

非对称加密会产生秘钥，秘钥分为公钥和私钥，在这里公钥是对外公开的，私钥是自己持有的。

那么ssh通信的这个过程是，第一台机器会把自己的公钥给到第二台机器，

当第一台机器要给第二台机器通信的时候，

第一台机器会给第二台机器发送一个随机的字符串，第二台机器会使用公钥对这个字符串加密，

同时第一台机器会使用自己的私钥也对这个字符串进行加密，然后也传给第二台机器

这个时候，第二台机器就有了两份加密的内容，一份是自己使用公钥加密的，一份是第一台机器使用私钥加密传过来的，公钥和私钥是通过一定的算法计算出来的，这个时候，第二台机器就会对比这两份加密之后的内容是否匹配。如果匹配，第二台机器就会认为第一台机器是可信的，就允许登录。如果不相等 就认为是非法的机器。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDgxNjczOA_size_16_color_FFFFFF_t_70]  
下面就开始正式配置一下ssh免密码登录，由于我们这里要配置自己免密码登录自己，所以第一台机器和第二台机器都是同一台

首先在bigdata01上执行 ssh-keygen -t rsa

rsa表示的是一种加密算法

> 注意：执行这个命令以后，需要连续按 4 次回车键回到 linux 命令行才表示这个操作执行 结束，在按回车的时候不需要输入任何内容。

[root@bigdata01 ~]# ssh-keygen -t rsa
    Generating public/private rsa key pair.
    Enter file in which to save the key (/root/.ssh/id_rsa): 
    Enter passphrase (empty for no passphrase): 
    Enter same passphrase again: 
    Your identification has been saved in /root/.ssh/id_rsa.
    Your public key has been saved in /root/.ssh/id_rsa.pub.
    The key fingerprint is:
    SHA256:rL9D/qe+VntaQZABHcMLOkDy3FisEvqkIGg7znSbyQo root@bigdata01
    The key's randomart image is:
    +---[RSA 2048]----+
    |    ..... .+=+   |
    |    .+.+. . +o   |
    |.  . .+o.. . ..  |
    |+.. o ..o   ..   |
    |o..+ .  S.    .  |
    | +...  ..   .  . |
    |E + + .o   . ..  |
    |.o =   .o . o..  |
    | ..     o*=+.o   |
    +----[SHA256]-----+
    [root@bigdata01 ~]#

执行以后会在`~/.ssh`目录下生产对应的公钥和秘钥文件

[root@bigdata01 ~]# ll ~/.ssh/
    total 12
    -rw-------. 1 root root 1679 Jul  3 05:57 id_rsa
    -rw-r--r--. 1 root root  396 Jul  3 05:57 id_rsa.pub
    -rw-r--r--. 1 root root  186 Jul  3 05:54 known_hosts

下一步是把公钥拷贝到需要免密码登录的机器上面

[root@bigdata01 ~]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

然后就可以通过ssh 免密码登录到bigdata01机器了

[root@bigdata01 ~]# ssh bigdata01
    Last login: Sat Jul  3 05:54:49 2021 from bigdata01
    [root@bigdata01 ~]#

###### 5. JDK ######

按照正常工作中的开发流程，建议把软件安装包全部都放在/data/soft目录下。  
一般公司中正式环境的服务器中都会有一个data盘，负责存储数据，当然也可能会起其他名字  
在这里我们没有新挂磁盘，所以手工创建`/data/soft`目录

[root@bigdata01 ~]# mkdir -p /data/soft

把JDK的安装包上传到`/data/soft/`目录下

[root@bigdata01 ~]# ll /data/soft/
    total 527024
    -rw-r--r--. 1 root root 194042837 Mar  8  2020 jdk-8u202-linux-x64.tar.gz
    [root@bigdata01 ~]#

解压jdk安装包

[root@bigdata01 soft]# tar -zxvf jdk-8u202-linux-x64.tar.gz
    
    .....
    export JAVA_HOME=/data/soft/jdk1.8
    export PATH=.:$JAVA_HOME/bin:$PATH

重命名jdk

[root@bigdata01 soft]# mv jdk1.8.0_202 jdk1.8

配置环境变量 JAVA\_HOME

[root@bigdata01 soft]# vi /etc/profile

export JAVA_HOME=/data/soft/jdk1.8
    export PATH=.:$JAVA_HOME/bin:$PATH

验证

[root@bigdata01 soft]# source /etc/profile
    [root@bigdata01 soft]# java -version 
    java version "1.8.0_202"
    Java(TM) SE Runtime Environment (build 1.8.0_202-b08)
    Java HotSpot(TM) 64-Bit Server VM (build 25.202-b08, mixed mode)

基础环境搞定了，下面开始安装Hadoop

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDgxNjczOA_size_16_color_FFFFFF_t_70]: /images/20221005/eb65b35f88054dd099fa37f90431495a.png