hadoop入门（六）：集群测试

港控/mmm° 2024-04-08 13:34 60阅读 0赞

#### 文章目录 ####

*   *  一、上传文件到集群
     *  二、上传的文件存放位置
     *   *  2.1 拼接
         *  2.2 执行程序

### 一、上传文件到集群 ###

hadoop103上传一个服务器的小文件：

hadoop fs -mkdir /input

刷新页面可以看到：  
![在这里插入图片描述][ad99e08347c245308d655dee70705783.png]  
hadoop102试试：

hadoop fs -mkdir /test

刷新如下，还是可以的：  
![在这里插入图片描述][49f53d5f801043fd9557f4bcfff53a52.png]  
上传一个文件a.txt到test文件夹：

hadoop fs -put a.txt /test

如下：  
![在这里插入图片描述][e1fd678185df4ddeb6a24f986dfdc970.png]  
![在这里插入图片描述][c010f3a365fc4572949333c820f921b8.png]  
再试试上传大文件：

hadoop fs -put jdk-13.0.2_linux-x64_bin.tar.gz  /test

如下：  
![在这里插入图片描述][ffecaba462254189b18c9af895739d8e.png]  
![在这里插入图片描述][9cb9d40fe42b48919383364e548ca478.png]  
这里面实际只存储了一个链接，实际存储的数据在datanode节点

查看目录：

hadoop fs -ls /

如下：  
![在这里插入图片描述][d8886add06694e1bb3ba239d7e8456e2.png]

### 二、上传的文件存放位置 ###

cd到数据的目录：

cd /home/chuan/software/hadoop-3.2.4/data/temp/dfs/data/current

如下：  
![在这里插入图片描述][1f6195d1b4ee4725a0ed291dfc150b96.png]  
其中数据就在BP-258424537-192.168.10.102-1661593286435中，cd进去：

cd  BP-258424537-192.168.10.102-1661593286435、current/finalized/subdir0/subdir0

最终确定完整路径为：

/home/chuan/software/hadoop-3.2.4/data/temp/dfs/data/current/BP-258424537-192.168.10.102-1661593286435/current/finalized/subdir0/subdir0

如下：  
![在这里插入图片描述][c2940c4648b14f879bfe21d90174662b.png]  
blk\_1073741825和blk\_1073741825\_1001.meta中就是相关文件。  
文件的命名和命令行终端不同，命名规则是 “blk\_”+ID，后面 .meta也是存储信息的描述

#### 2.1 拼接 ####

![在这里插入图片描述][2f51ebba8f0d4bacb9827e39a222c4f6.png]  
解压：

tar -zxvf tmp.tar.gz

查看路径：

pwd

即HDFS存储的文件就在：

/home/chuan/software/hadoop-3.2.4/data/temp/dfs/data/current/BP-258424537-192.168.10.102-1661593286435/current/finalized/subdir0/subdir0

#### 2.2 执行程序 ####

使用自带的wordcount测试：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.4.jar  wordcount /input /output

[ad99e08347c245308d655dee70705783.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/0c461b952fe848f1b29b12d666d0c848.png
[49f53d5f801043fd9557f4bcfff53a52.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/e6af1c1348a2435c810c57e31ae12475.png
[e1fd678185df4ddeb6a24f986dfdc970.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/11af4da19a5e4915b56add045e29e47d.png
[c010f3a365fc4572949333c820f921b8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/f10d64eec69e4539a1fb953af207fd59.png
[ffecaba462254189b18c9af895739d8e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/26ec93e6921846b4bfb41b0db15aa33f.png
[9cb9d40fe42b48919383364e548ca478.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/119fb6e07b3f406e96ba2afa1ab16d78.png
[d8886add06694e1bb3ba239d7e8456e2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/21f2efe130fd4cddb86dd7dbd8f9c610.png
[1f6195d1b4ee4725a0ed291dfc150b96.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/c1a874cbf4654575b82c68fb93fd175d.png
[c2940c4648b14f879bfe21d90174662b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/392427a56d244f9fa634a13eddf63532.png
[2f51ebba8f0d4bacb9827e39a222c4f6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/60b7c3fdf1b34f259927f256de1a7893.png