hadoop入门（三）之 javaAPI操作Hdfs,进行文件操作

超、凢脫俗 2022-06-11 07:57 460阅读 0赞

介绍：    我们在工作中写完的各种代码是在服务器中运行的，HDFS 的操作代码也不例外。在开发阶段，我们使用windows 下的eclipse 作为开发环境，访问运行在虚拟机中的HDFS。也就是通过在本地的eclipse 中的java 代码访问远程linux 中的hdfs。  
要使用宿主机中的java 代码访问客户机中的hdfs，需要保证以下几点：  
(1)确保宿主机与客户机的网络是互通的  
(2)确保宿主机和客户机的防火墙都关闭，因为很多端口需要通过，为了减少防火墙配置，直接关闭.  
(3)确保宿主机与客户机使用的jdk 版本一致。如果客户机为jdk6，宿主机为jdk7，那么代码运行时会报不支持的版本的错误，一般选1.7以上  
(4)宿主机的登录用户名必须与客户机的用户名一直。比如我们linux 使用的是root 用户，那么windows 也要使用root 用户，否则会报权限异常.

步骤：

1.配置Windows的开发环境  主意：用JDK1.7以上

(1) 解压hadoop-2.6.0.tar.gz 到C:\\Program Files (x86)\\

(2)配置HADOOP\_HOME环境变量

(3)添加hadoop windows开发支持：

把 Hadoop.dll 和 winutils.exe 拷贝到hadoop的bin目录下（这两个文件没有可以去网上下载，分版本64和32）

2.将core-site.xml和hdfs-site.xml拷贝到项目的src的目录下，

3.修改Java的启动参数 -DHADOOP\_USER\_NAME=root      （用户root）

步骤：windows>Preferences>java>Installed JREs>右侧选中JDK版本》右侧点edit按钮》在Default VM arguments里填上面的参数

4.hadoop项目依赖jar包：

把下面的所有jar导入项目：

（1）C:\\Program Files (x86)\\hadoop-2.6.3\\share\\hadoop\\hdfs下的

hadoop-hdfs-2.6.3.jar

hadoop-hdfs-nfs-2.6.3.jar

还有此目录下的lib文件夹中的所有jar

（2）C:\\Program Files (x86)\\hadoop-2.6.3\\share\\hadoop\\common下的

hadoop-common-2.6.3.jar

hadoop-nfs-2.6.3.jar

还有此目录下的lib文件夹中的所有jar

5.查看hdfs目录

\[root@CentOS hadoop-2.6.0\]\# hadoop fs -ls /  或者

\[root@CentOS hadoop-2.6.0\]\# ./bin/hdfs dfs -ls /

drwxr-xr-x   - root supergroup          0 2017-08-02 20:32 /demo  
drwxr-xr-x   - root supergroup          0 2017-08-02 21:57 /demoDir  
drwxr-xr-x   - root supergroup          0 2017-08-02 21:12 /demoDir1  
\-rw-r--r--   1 root supergroup          0 2017-08-02 21:30 /demodir

也可以通过浏览器输入192.168.19.128：50070/访问Hadoop默认浏览页

点击Utilities》Browse the fileSystem  在输入栏中 输入 "/ " 就可以看到目录中的文件。

这些目录基本都是以下代码操作生成的。

下面时代吗：

package test;
    
    import java.io.BufferedOutputStream;
    import java.io.IOException;
    import java.net.URI;
    import java.text.SimpleDateFormat;
    import java.util.Date;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FSDataOutputStream;
    import org.apache.hadoop.fs.FileStatus;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;
    
    public class HdfsDemoTest {
    
    	//创建conf对象，默认自动加载配置文件
    	private static Configuration conf=new Configuration();
    	//hdfs根目录
    	private static String rootPath="hdfs://192.168.19.128:9000/";
    	private static FileSystem hdfs=null;
    	static{
    		try {
    			hdfs=FileSystem.get(URI.create(rootPath), conf);
    		} catch (IOException e) {
    	        System.out.println("初始化hdfs核心文件失败~");
    			e.printStackTrace();
    		}
    	}
    	/**
    	 * 在Hdfs上创建目录
    	 * @throws IOException 
    	 */
    	public static void createMkdir() throws IOException{
    		Path path=new Path(rootPath+"demoDir");
    		boolean b = hdfs.mkdirs(path);
    		if(b){
    			System.out.println("目录"+path+"：创建成功！");
    		}else{
    			System.out.println("创建失败！");
    		}
    	}
    	/**
    	 * 在hdfs创建文件，并写入内容
    	 * @throws IOException 
    	 */
    	public static void createFile() throws IOException{
    		Path path=new Path(rootPath+"demoDir/file.txt");
    		String content="我是文件内容！";
    		FSDataOutputStream fdos = hdfs.create(path);
    		BufferedOutputStream stream = new BufferedOutputStream(fdos);
    		stream.write(content.getBytes(), 0, content.getBytes().length);
    		fdos.close();
    		stream.close();
    		System.out.println("文件创建成功！");
    	}
    	/**
    	 * 上传本地文件到hdfs环境服务器
    	 * @throws IOException 
    	 * @throws IllegalArgumentException 
    	 */
    	public static void uploadFile() throws Exception{
    		Path toPath=new Path(rootPath+"demoDir/");
    		String localPath="f:/mm/nn.txt";
    		hdfs.copyFromLocalFile(new Path(localPath), toPath);		
    	}
    	/**
    	 *删除文件
    	 */
    	public static void deleteFile(){
    		Path path=new Path(rootPath+"demoDir/qq.txt");
    	    boolean isSuccess=true;
    	            try {
    	                isSuccess=hdfs.delete(path, false);
    	             } catch (IOException e) {
    	                 isSuccess=false;
    	             }
    	    System.out.println(isSuccess?"删除成功!":"删除失败！");
    	}
    	 /**

* 查看某个文件的最后修改时间
          * @throws IOException 
          */
    	  public static void showFileLastModifyTime() throws IOException{
    	          Path targetFile=new Path(rootPath+"demoDir/nn.txt");
    	          FileStatus fileStatus=hdfs.getFileStatus(targetFile);
    	          Long lastTime=fileStatus.getModificationTime();
    	          Date date=new Date(lastTime);
    	          SimpleDateFormat format=new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
    	          System.err.println("文件的最后修改时间为:"+format.format(date));
    	     }

/**
    	   * 查看目录
    	 * @throws IOException 
    	 * @throws FileNotFoundException 
    	   */
    	  public static void showList() throws FileNotFoundException, IOException{
    		  Path src=new Path("/");//根目录
    		  FileStatus[] listStatus = hdfs.listStatus(src);
    		  for (FileStatus fileStatus : listStatus) {
    			System.out.println(fileStatus.getPath());
    		}
    	  } public static void main(String[] args) throws Exception {
      //HdfsDemoTest.createMkdir();
      //HdfsDemoTest.createFile();
      //HdfsDemoTest.uploadFile();
     //HdfsDemoTest.deleteFile();
        HdfsDemoTest.showFileLastModifyTime();
    }
    }