轻松入门大数据第3章入门到进阶：系统玩转分布式文件系统HDFS 3.1 Hadoop之HDFS 3.1.1 【前置准备】云主机开通及使用

Bertha 。 2024-03-22 12:50 23阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第3章 入门到进阶：系统玩转分布式文件系统HDFS
         *   *  3.1 Hadoop之HDFS
             *   *  3.1.1 【前置准备】云主机开通及使用

![在这里插入图片描述][ceb60b5f83cc4103a6ce110e7a7614ba.png_pic_center]

#### 第3章 入门到进阶：系统玩转分布式文件系统HDFS ####

##### 3.1 Hadoop之HDFS #####

> 1.  初识HDFS
> 2.  HDFS假设和目标
> 3.  HDFS架构
> 4.  文件系统命名空间
> 5.  副本
> 6.  HDFS优缺点
> 7.  单节点HDFS部署
> 8.  HDFS命令行使用
> 9.  HDFS Java API使用
> 10. HDFS读写数据流程
> 11. 工作机制
> 12. 安全模式

###### 3.1.1 【前置准备】云主机开通及使用 ######

【1】选择云服务ECS

阿里云官网：

[https://www.aliyun.com/][https_www.aliyun.com]

![在这里插入图片描述][d30d505747cd40ccbf7314b692e6db27.png_pic_center]

![在这里插入图片描述][a81ce2db278249c68c5674e4e40bffce.png_pic_center]

![在这里插入图片描述][e98b19fb737e4ee7895879c718d62e58.png_pic_center]

> 注意：没有注册的需要注册一个阿里云

【2】云服务器ECS配置选择

> 示例规则说明：
> 
> 4Core+4G是保底的，建议选择8Core+8G，这个根据你们自己的情况来选择，资源最大，费用越高

![在这里插入图片描述][670e78c5ab474027aa237c7f513f7185.png_pic_center]

啧，是真滴贵

![在这里插入图片描述][ac1bf10bfa124ba3a754f2bb287de8e5.png_pic_center]

这里笔者用腾讯云了，4核8G的

![在这里插入图片描述][5b5ae36c3dcc4f61833785ffb2e9179d.png_pic_center]

![在这里插入图片描述][955b035eb8e0471f91ca85d6c9924973.png_pic_center]

创建完成后，使用SSH 工具进行连接即可

![在这里插入图片描述][9e5556be756b45178459e134957d130d.png_pic_center]

> 这个公网IP 随便了，腾讯云服务器每次重启，IP 都会变

这里老师建议创建一个hadoop 用户，行

![在这里插入图片描述][fcdc3d26918144299089964dbb380e4b.png_pic_center]

设置权限

![在这里插入图片描述][927f6b14d4c74de9860cdd30ab08a59b.png_pic_center]

![在这里插入图片描述][d93f1cac9a234dfa99119ef35358e4af.png_pic_center]

新增一个hadoop用户，后续所有的操作都是基于hadoop用户进行操作，不要直接使用root用户

以后就直接使用： ssh hadoop@外网ip登陆操作

*  /home/hadoop/software: 软件下载存放目录
 *  /home/hadoop/app：软件解压部署到这目录
 *  /home/hadoop/data：存放测试目录
 *  /home/hadoop/lib：存放开发的jar目录

> 其实做到这里，笔者从后面回来了，最后还是决定用虚拟机，看下去吧【笔者把旧电脑重装了】

来吧，这里笔者从头演示一遍：

![在这里插入图片描述][dc729c9f901c4bae8ab6e53c2898f9ee.png_pic_center]

创建新的虚拟机

![在这里插入图片描述][ff60ed9aa98446eaad5651d6651f3a46.png_pic_center]

选择自定义，下一步

![在这里插入图片描述][2d75cdd274ae4a5ba3d013e056d587be.png_pic_center]

保持默认下一步

![在这里插入图片描述][1877aa72d6ea4765b5f3a876f14bf532.png_pic_center]

选择到我们自己的Linux 镜像。下一步

![在这里插入图片描述][628ba57abacd402f9c84a2d87802e1b3.png_pic_center]

按照自己的需要输入，下一步

![在这里插入图片描述][f8eca428df33490b9d8e2ec0b00a60d9.png_pic_center]

下一步`hadoop000`

![在这里插入图片描述][2135f55b38c64e3a8aca44b1a6afbbf8.png_pic_center]

这里先给这么多，后面不够再加，下一步

![在这里插入图片描述][39e438f40bc74aada171a5ff2535a584.png_pic_center]

内存先给4G，下一步

![在这里插入图片描述][71e7e746d128419ba9af232ec40cba10.png_pic_center]

使用NAT 模式

![在这里插入图片描述][d7a471623fd6453e85c5c0c64ffbc25d.png_pic_center]

保持推荐默认，下一步

![在这里插入图片描述][46cbd86849424d049ee7f97f364d16fa.png_pic_center]

保持推荐默认，下一步

![在这里插入图片描述][f31d6164ab524f64bba0318e8de3f42a.png_pic_center]

创建新虚拟磁盘，下一步

![在这里插入图片描述][8e72024e21b843bdbf329a8cd4e2d575.png_pic_center]

先给20G，用完再说，下一步

![在这里插入图片描述][3db54c583d3e4d0f8d793610c5b4663b.png_pic_center]

下一步

![在这里插入图片描述][b16eab79d5f64f36b067e01e9b438c14.png_pic_center]

完成

![在这里插入图片描述][b7b98594bb324cdb8d9382443c5bc49f.png_pic_center]

等待它自己安装完成。

![在这里插入图片描述][413467f1c55342f1ad0a4bbd7ce3f85b.png_pic_center]

OK，进去我们改一下IP，改成静态的。更为详细的步骤可以查看笔者的这篇博客：

[https://dingjiaxiong.blog.csdn.net/article/details/129284368][https_dingjiaxiong.blog.csdn.net_article_details_129284368]

![在这里插入图片描述][f558d01ee55945938c77fb9a717bc397.png_pic_center]

重启网卡

![在这里插入图片描述][12dc07ab01e54eccb8251908a7484ae7.png_pic_center]

OK，新建用户hadoop

![在这里插入图片描述][9131507d60914f3cb864fbe81a11668d.png_pic_center]

给它所有的权限，`vim /etc/sudoers`

![在这里插入图片描述][6afda9f1a4f04d029ec6bccc12287ed5.png_pic_center]

强制保存`wq!`

关闭防火墙和selinux

![在这里插入图片描述][9934471ef93745c08aa61dc739c998b3.png_pic_center]

`vim /etc/selinux/config`

![在这里插入图片描述][4ebf3700517247dc8bb1bc5cc54161d6.png_pic_center]

重启一下

![在这里插入图片描述][7f97c94415a54f3aaaacca4694ebce6d.png_pic_center]

再改一下时区吧，时间不太对

![在这里插入图片描述][aaca36e2b2834099922fa537fcf4de29.png_pic_center]

执行这俩命令就行

`rm -f /etc/localtime`

`ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime`

![在这里插入图片描述][bfc61e6370944cd0b7afdd144ab2a075.png_pic_center]

查看时间

![在这里插入图片描述][668e837e1cd34f38b64bf49cfa39bca9.png_pic_center]

OK， 没问题了

新建目录：

*  /home/hadoop/software: 软件下载存放目录
 *  /home/hadoop/app：软件解压部署到这目录
 *  /home/hadoop/data：存放测试目录
 *  /home/hadoop/lib：存放开发的jar目录

![在这里插入图片描述][735126b6d3e141cb9f78deec9c1de6bc.png_pic_center]

OK， 这样就准备好了"服务器"，ip: `192.168.211.123`

![在这里插入图片描述][76329d7fc3cd4c979608cb40d824c94b.png_pic_center]

[ceb60b5f83cc4103a6ce110e7a7614ba.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/1949a4dc9ee04cac93bf00dff456b0a6.png
[https_www.aliyun.com]: https://www.aliyun.com/
[d30d505747cd40ccbf7314b692e6db27.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/a627da893ced41f589a8879f994e81e6.png
[a81ce2db278249c68c5674e4e40bffce.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/f343600cf2a84dec9992bf965df2d94a.png
[e98b19fb737e4ee7895879c718d62e58.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/e377c81be9d948a8b347ab07ac3395aa.png
[670e78c5ab474027aa237c7f513f7185.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/d981a3c6c5314f97bee054cea0684117.png
[ac1bf10bfa124ba3a754f2bb287de8e5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/20d6230332f843c38ab6f83ebfe389f9.png
[5b5ae36c3dcc4f61833785ffb2e9179d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/30b11cfc755b47a18b04fe687390c10b.png
[955b035eb8e0471f91ca85d6c9924973.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/e666aee6764f458da3151f2222054ef3.png
[9e5556be756b45178459e134957d130d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/5f86aa0ef22e4d1a983aa02d86916e69.png
[fcdc3d26918144299089964dbb380e4b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/fc9b89c8153d48c886afaebac2fafb77.png
[927f6b14d4c74de9860cdd30ab08a59b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/fbd7d023370e424586a7f91baad7b8b5.png
[d93f1cac9a234dfa99119ef35358e4af.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/fe2fe2edd4b6423dba2f40fca44026c0.png
[dc729c9f901c4bae8ab6e53c2898f9ee.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/b91c3bf1c11b44faa4f3229c43d1f3ad.png
[ff60ed9aa98446eaad5651d6651f3a46.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/fe5d198a5f194d3fa3a14683ff0a028d.png
[2d75cdd274ae4a5ba3d013e056d587be.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/fea03dc5fd4543298acf3fe3bb3eb171.png
[1877aa72d6ea4765b5f3a876f14bf532.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/47393b7634c04f23a89fb5e2c5636409.png
[628ba57abacd402f9c84a2d87802e1b3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/7c1b207a8c3a4a5cbd3d2111f0469040.png
[f8eca428df33490b9d8e2ec0b00a60d9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/144f5d9df4324620a7eb8db0cc4f16dc.png
[2135f55b38c64e3a8aca44b1a6afbbf8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/21f9ff31733c4bd8b5c64f7afa386ff4.png
[39e438f40bc74aada171a5ff2535a584.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/43a6667dd2b149fea99b091eaa41822f.png
[71e7e746d128419ba9af232ec40cba10.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/f659ab3fe3cf428695b42f58408f37bc.png
[d7a471623fd6453e85c5c0c64ffbc25d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/d8eecaacc6684a8d8da6c2cb83b6c987.png
[46cbd86849424d049ee7f97f364d16fa.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/7c21aa31ef1d4b8681c5b7b9a056e4b6.png
[f31d6164ab524f64bba0318e8de3f42a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/63f59f5c3410461a993baf14f5e9c051.png
[8e72024e21b843bdbf329a8cd4e2d575.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/6491f6d20ce64c639333070058062adb.png
[3db54c583d3e4d0f8d793610c5b4663b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/82d33e8803e74f01825d02fb31c4ba7d.png
[b16eab79d5f64f36b067e01e9b438c14.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/67b4e9b022b74120bb7312a74d827fef.png
[b7b98594bb324cdb8d9382443c5bc49f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/4ea6d3e3fe304d5bb1d6c816d7e2b96b.png
[413467f1c55342f1ad0a4bbd7ce3f85b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/d7372960b8f543679648368b5018ff09.png
[https_dingjiaxiong.blog.csdn.net_article_details_129284368]: https://dingjiaxiong.blog.csdn.net/article/details/129284368
[f558d01ee55945938c77fb9a717bc397.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/614c9abe60e64ffcb50b51f1a3dbb933.png
[12dc07ab01e54eccb8251908a7484ae7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/7c8fc3f04c9c4ca29e1f93895829432b.png
[9131507d60914f3cb864fbe81a11668d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/1878bc993557494eb44d4ac4734bc512.png
[6afda9f1a4f04d029ec6bccc12287ed5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/2c6a4240736241889841163e3f2aba19.png
[9934471ef93745c08aa61dc739c998b3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/a87e850dd9e1454c91e80ec1c33e2466.png
[4ebf3700517247dc8bb1bc5cc54161d6.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/a969504f1eee4057b69af7a2dee1fdd6.png
[7f97c94415a54f3aaaacca4694ebce6d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/703062992b63469692d9e7ff7700d17b.png
[aaca36e2b2834099922fa537fcf4de29.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/4b9e27e70499478e8a30741a0462c37b.png
[bfc61e6370944cd0b7afdd144ab2a075.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/6497ad25e6964413b859c769539e2a8c.png
[668e837e1cd34f38b64bf49cfa39bca9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/b3cb69aff32a40b3b1094fa54d344c1f.png
[735126b6d3e141cb9f78deec9c1de6bc.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/6e6aeb936c474562aa03a2b29fd2df22.png
[76329d7fc3cd4c979608cb40d824c94b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/e11d987fa1664f24b10fdd074f0365fd.png