记一次 Centos7.x Hadoop 3.x HDFS 读取文件

灰太狼 2022-12-29 06:19 169阅读 0赞

# 一、集群搭建 #

[集群搭建过程][Link 1]

# 二、客户端环境变量配置 #

参考：[Hadoop 3.x HDFS 写入文件][Hadoop 3.x HDFS] 中 客户端环境变量配置

# 三、在客户端节点上 上传实例文件 #

1、编辑文件 WangYue.txt

[root@slave1 ~]# vim ~/WangYue.txt

2、写入内容：

望岳
    岱宗夫如何？齐鲁青未了。 
    造化钟神秀，阴阳割昏晓。 
    荡胸生曾云，决眦入归鸟。 
    会当凌绝顶，一览众山小。

3、把 文件 WangYue.txt 上传至 hdfs

[root@slave1 ~]# hdfs dfs -put ./WangYue.txt /

4、查看 hdfs 目录

[root@slave1 ~]# hdfs dfs -ls /

![在这里插入图片描述][20201220220235705.png]  
5、查看 hdfs 中文件内容

[root@slave1 ~]# hdfs dfs -cat /WangYue.txt

![在这里插入图片描述][20201220220316273.png]

# 四、编写文件读取的 JAVA 程序： #

1、编辑文件

[root@slave1 ~]# vim ~/ReadFile.java

2、写入内容

import java.io.IOException;
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FSDataInputStream;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.io.IOUtils;
    
    public class ReadFile { 
    	public static void main(String[] args)  { 
    		Configuration conf = new Configuration();
    		Path inFile = new Path("/WangYue.txt");
    		FileSystem hdfs ;
    		FSDataInputStream inputStream = null;
    		try { 
    			hdfs = FileSystem.get(conf);
    			inputStream = hdfs.open(inFile);
    			IOUtils.copyBytes(inputStream, System.out, 1024,false);
    		} catch (IOException e) { 
    			e.printStackTrace();
    		}finally { 
    			IOUtils.closeStream(inputStream);
    		}
    	}
    }

3、编译

[root@slave1 ~]# javac ~/ReadFile.java

4、打包

[root@slave1 ~]# jar -cvf ReadFile.jar ReadFile.class

![在这里插入图片描述][20201220220729356.png]

# 五、执行程序 ReadFile.jar： #

1、在客户端节点上使用 hadoop jar 命令执行 ReadFile.jar

[root@slave1 ~]# hadoop jar ~/ReadFile.jar ReadFile

2、效果如下：  
![在这里插入图片描述][20201220214906387.png]

# 六、注意： #

Hadoop 读取文件 报错 java.io.EOFException 时 需要使用 IOUtils 工具  
FSDataInputStream对象 读取数据原理  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 2]

至此 Centos7.x Hadoop 3.x HDFS 读取文件操作完毕，希望能够对您有所帮助！

[Link 1]: https://blog.csdn.net/llwy1428/article/details/111144524
[Hadoop 3.x HDFS]: https://blog.csdn.net/llwy1428/article/details/111445668
[20201220220235705.png]: /images/20221120/ab61e78ab79445c7957d3c93fe2fe6d6.png
[20201220220316273.png]: /images/20221120/31296b443823496c9b7a59fa5ee204eb.png
[20201220220729356.png]: https://img-blog.csdnimg.cn/20201220220729356.png
[20201220214906387.png]: https://img-blog.csdnimg.cn/20201220214906387.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20201220215158540.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20201220214955486.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20201220215227442.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4,size_16,color_FFFFFF,t_70