学习大数据环境搭建

喜欢ヅ旅行 2024-04-03 12:09 17阅读 0赞

*  **虚拟机环境准备**

**安装虚拟机，IP地址1****92.168.****52****.****129****、主机名称****centos****、内存4****G****、硬盘50G**

**模板****虚拟机配置要求如下（本文Linux系统全部以****CentOS-7.****9****-x86-1804****为例）**

*  1.  **克隆虚拟机hadoop01**
 *  **利用****模板机****，克隆****hadoop01****虚拟机**

注意：克隆时，要先关闭模板机

![21cb8dde4ff94b85be7728ea61772e9b.png][]

![4104fb3c7c9d415ab34e791ea8eb992d.png][]

![e7d5a4ef9bfe49a88f1c8df6b34d80ca.png][]

![7488963a4fb14a7681b5cd418f11519c.png][]

![9cccca3a5b314385b46964ef4a30d03f.png][]

1.  1.  **Hadoop01虚拟机环境配置**
2.  、修改克隆机IP，以下以hadoop01举例说明

*  修改克隆虚拟机的静态IP

\[root@centos ~\]\# vim /etc/sysconfig/network-scripts/ifcfg-ens33

改成

DEVICE=ens33

TYPE=Ethernet

ONBOOT=yes

BOOTPROTO=static

NAME="ens33"

IPADDR=192.168.52.201

PREFIX=24

GATEWAY=192.168.52.2

DNS1=192.168.52.2

*  **修改克隆机主机名，以下以****hadoop01****举例说明**

（1）修改主机名称

\[root@centos ~\]\# vim /etc/hostname

hadoop01

（2）配置Linux克隆机主机名称映射hosts文件，打开/etc/hosts

\[root@centos ~\]\# vim /etc/hosts

添加如下内容

192.168.52.201 hadoop01

192.168.52.202 hadoop02

192.168.52.203 hadoop03

*  **重启克隆机hadoop****0****1**

\[root@centos ~\]\# reboot

1.  、使用yum安装需要虚拟机可以正常上网，yum安装前可以先测试下虚拟机联网情况

![13991ca3101e4cbea1def5a827ac1cab.png][]

1.  、安装epel-release

注：Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包， 适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库，大多数rpm包在官方 repository 中是找不到的）

\[root@centos ~\]\# yum install -y epel-release

![5acd9a148f3241aa928d5bccea5ea18f.png][]

1.  、注意：如果Linux安装的是最小系统版，还需要安装如下工具；如果安装的是Linux桌 面标准版，不需要执行如下操作

*  net-tool：工具包集合，包含ifconfig等命令

\[root@centos ~\]\# yum install -y net-tools

*  vim：编辑器

\[root@centos ~\]\# yum install -y vim

1.  、关闭防火墙，关闭防火墙开机自

\[root@centos ~\]\# systemctl stop firewalld

\[root@centos ~\]\# systemctl disable firewalld.service

注意：在企业开发时，通常单个服务器的防火墙是关闭的。公司整体对外会设置非常安全的防火墙

1.  、关闭SElinux

vim /etc/selinux/config

SELINUX=disabled

![47eed2e0c5db40129e6d6cc105a725b6.png][]

1.  、 修改windows的主机映射文件（hosts文件）

（1）如果操作系统是window7，可以直接修改

（a）进入C:\\Windows\\System32\\drivers\\etc路径

（b）打开hosts文件并添加如下内容，然后保存

192.168.52.201 hadoop01

192.168.52.202 hadoop02

192.168.52.203 hadoop03

（2）如果操作系统是window10，先拷贝出来，修改保存以后，再覆盖即可

（a）进入C:\\Windows\\System32\\drivers\\etc路径

（b）拷贝hosts文件到桌面

（c）打开桌面hosts文件并添加如下内容

192.168.52.201 hadoop01

192.168.52.202 hadoop02

192.168.52.203 hadoop03

（d）将桌面hosts文件覆盖C:\\Windows\\System32\\drivers\\etc路径hosts文件

1.  1.  **虚拟机安装JDK**
2.  查询原有的jdk

\[root@hadoop01 ~\]\# rpm -qa | grep jdk

java-1.7.0-openjdk-headless-1.7.0.261-2.6.22.2.el7\_8.x86\_64

copy-jdk-configs-3.3-10.el7\_5.noarch

java-1.8.0-openjdk-headless-1.8.0.262.b10-1.el7.x86\_64

java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86\_64

java-1.7.0-openjdk-1.7.0.261-2.6.22.2.el7\_8.x86\_64

1.  卸载原有jdk

yum -y remove java-1.7.0-openjdk-headless-1.7.0.261-2.6.22.2.el7\_8.x86\_64

copy-jdk-configs-3.3-10.el7\_5.noarch

java-1.8.0-openjdk-headless-1.8.0.262.b10-1.el7.x86\_64

java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86\_64

java-1.7.0-openjdk-1.7.0.261-2.6.22.2.el7\_8.x86\_64

1.  将JDK导入到export目录下面的software文件夹下面

![8b0ca9d0e6de4cfa8706158af10a2127.png][]

解压到/export/servers

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /export/servers/

![0c9650bc2223455eb6d240cec2f185e3.png][]

1.  配置JDK环境变量

（1）新建/etc/profile.d/my\_env.sh文件

\[root@hadoop01 ~\]\# vim /etc/profile.d/my\_env.sh

添加如下内容

\#JAVA\_HOME

export JAVA\_HOME=/export/servers/jdk1.8.0\_212

export PATH=$PATH:$JAVA\_HOME/bin

（2）保存后退出

:wq

（3）source一下/etc/profile文件，让新的环境变量PATH生效

\[root@hadoop01 ~\]\# source /etc/profile

1.  测试JDK是否安装成功

\[root@hadoop01 ~\]\# java -version

如果能看到以下结果，则代表Java安装成功。

java version "1.8.0\_212"

注意：重启（如果java -version可以用就不用重启）

\[root@hadoop01 ~\]\# reboot

*  1.  **克隆虚拟机hadoop02 hadoop03**
 *  **利用hadoop****01****，克隆三台虚拟机：hadoop****02 hadoop03**

注意：克隆时，要先关闭hadoop01

![624d9c29c0494d19b7086e39c8d58b17.png][]

![798098f85c4445878c79898d152b5d75.png][]

![7f556f5719b24b1db0109b042087c8aa.png][]

![ee17d8e78d7f4f15a0853468c31bfea6.png][]

![7b7a6a3817de415d9f9a796d90ee33b4.png][]

*  **修改克隆机I****P****，以下以hadoop****02****举例说明**

（1）修改克隆虚拟机的静态IP

\[root@hadoop02 ~\]\# vim /etc/sysconfig/network-scripts/ifcfg-ens33

改成

DEVICE=ens33

TYPE=Ethernet

ONBOOT=yes

BOOTPROTO=static

NAME="ens33"

IPADDR=192.168.52.202

PREFIX=24

GATEWAY=192.168.52.2

DNS1=192.168.52.2

*  **修改克隆机主机名，以下以****hadoop01****举例说明**

（1）修改主机名称

\[root@hadoop01 ~\]\# vim /etc/hostname

hadoop02

（2）配置Linux克隆机主机名称映射hosts文件，打开/etc/hosts

\[root@hadoop01 ~\]\# vim /etc/hosts

添加如下内容

192.168.52.201 hadoop01

192.168.52.202 hadoop02

192.168.52.203 hadoop03

*  **重启克隆机hadoop****02**

\[root@hadoop01 ~\]\# reboot

*  **克隆hadoop03****，****参考以上步骤**
    
    1.  **SSH无密登录配置**

*  生成公钥和私钥

\[root@hadoop01 ~\]\# ssh-keygen -t rsa

\[root@hadoop01 .ssh\]\# pwd

/root/.ssh

然后敲（三个回车），就会生成两个文件id\_rsa（私钥）、id\_rsa.pub（公钥）

![803b1c664cb247a0936cd58efdeb4188.png][]

*  将公钥拷贝到要免密登录的目标机器上

\[root@hadoop01 .ssh\]\# ssh-copy-id hadoop01

\[root@hadoop01 .ssh\]\# ssh-copy-id hadoop02

\[root@hadoop01 .ssh\]\# ssh-copy-id hadoop03

*  分别在hadoop02和hadoop03上设置①②两步

*  **.ssh文件夹下****（~/.ssh）****的文件功能解释**

<table style="margin-left:6.75pt;width:395.95pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:137.6pt;"> <p style="margin-left:.0001pt;text-align:justify;">known_hosts</p> </td> 
   <td style="vertical-align:top;width:258.35pt;"> <p style="margin-left:.0001pt;text-align:justify;">记录ssh访问过计算机的公钥（public key）</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;width:137.6pt;"> <p style="margin-left:.0001pt;text-align:justify;">id_rsa</p> </td> 
   <td style="vertical-align:top;width:258.35pt;"> <p style="margin-left:.0001pt;text-align:justify;">生成的私钥</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;width:137.6pt;"> <p style="margin-left:.0001pt;text-align:justify;">id_rsa.pub</p> </td> 
   <td style="vertical-align:top;width:258.35pt;"> <p style="margin-left:.0001pt;text-align:justify;">生成的公钥</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;width:137.6pt;"> <p style="margin-left:.0001pt;text-align:justify;">authorized_keys</p> </td> 
   <td style="vertical-align:top;width:258.35pt;"> <p style="margin-left:.0001pt;text-align:justify;">存放授权过的无密登录服务器公钥</p> </td> 
  </tr> 
 </tbody> 
</table>

1.  1.  **创建普通用户**

**在三台机器上操作**：创建两个linux用户：test,elasticsearch

创建用户：useradd elasticsearch

elasticsearch 用户设置密码 ：passwd elasticsearch

![009c01f75dd64d5399deb4bbd0e31e23.png][]

创建用户：useradd test

test用户设置密码 ：passwd test

![83a8497f1c1545e193c2c2ff1a862342.png][]

修改权限 vi /etc/sudoers

![bfa3d0faf6934d07b4ce2b4afe4888b5.png][]

[21cb8dde4ff94b85be7728ea61772e9b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/d7123fc9d38f498d9066bed0862135e9.png
[4104fb3c7c9d415ab34e791ea8eb992d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/c68eee3d489a4ec7920bdefc8c49d234.png
[e7d5a4ef9bfe49a88f1c8df6b34d80ca.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/79b1052d3376412583434680509a0f97.png
[7488963a4fb14a7681b5cd418f11519c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/c3c4a44f319c4acea1e9c61879f03f80.png
[9cccca3a5b314385b46964ef4a30d03f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/cae5711357274561bd013e55f28397d3.png
[13991ca3101e4cbea1def5a827ac1cab.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/cfdcd34660c04acf83d70d4e6da7f87a.png
[5acd9a148f3241aa928d5bccea5ea18f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/6117e9dd42c6473fa7ed1dc80efefcbc.png
[47eed2e0c5db40129e6d6cc105a725b6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/4dc9e8e3bd064643ba2b54e78c083955.png
[8b0ca9d0e6de4cfa8706158af10a2127.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/092c6389d9be454faf199478b2c59f45.png
[0c9650bc2223455eb6d240cec2f185e3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/f1fc985b156044218385dd3e14dacbff.png
[624d9c29c0494d19b7086e39c8d58b17.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/8541fad38f5a45609593546e3125b172.png
[798098f85c4445878c79898d152b5d75.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/619dacca76354059a72aa3779c66e4f7.png
[7f556f5719b24b1db0109b042087c8aa.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/520103bb63614a5ebded2d05b3ce8a58.png
[ee17d8e78d7f4f15a0853468c31bfea6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/928ae85a54bb4fe9bafda489c5e65fd6.png
[7b7a6a3817de415d9f9a796d90ee33b4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/05db5b80189b43afabd29f669f383a55.png
[803b1c664cb247a0936cd58efdeb4188.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/45855371589143168d3fcfe5d0dd29ff.png
[009c01f75dd64d5399deb4bbd0e31e23.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/a960d8615cee41598f8134447cf763b0.png
[83a8497f1c1545e193c2c2ff1a862342.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/aaa87f83dd124327bddee6c8d26d15de.png
[bfa3d0faf6934d07b4ce2b4afe4888b5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/d19467034faa41778b63c6f39ba0d03e.png