Hadoop序列化

缺乏、安全感 2022-03-31 18:16 405阅读 0赞

### Hadoop序列化 ###

*  1.为什么需要序列化？
 *  2.什么是序列化
 *  3.为什么hadoop不用java的序列化
 *  4.Hadoop序列化特点
 *  5.常用的Hadoop数据序列化类型
 *  6.自定义bean对象实现序列化接口

# 1.为什么需要序列化？ #

一般来说，“活的”对象只生存在内存里，关机断电就没有了。而且“活的”对象只能由本地的进程使用，不能被发送到网络上的另外一台计算机。 然而序列化可以存储“活的”对象，可以将“活的”对象发送到远程计算机。

# 2.什么是序列化 #

1.序列化：就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便与存储（持久化）和网络传输。  
2.反序列化：就是将收到字节序列（或其他数据传输协议）或者是硬盘的持久化数据，转换成内存中的对象。

# 3.为什么hadoop不用java的序列化 #

因为Java的序列化是一个重量级序列化框架（Serializable），一个对象被序列化后，会附带很多额外的信息（各种校验信息，Header，继承体系等），不便于在网络中高效传输。所以hadoop就开发了一套自己的序列化框架！！

# 4.Hadoop序列化特点 #

1.紧凑 ：高效使用存储空间  
2.快速：读写数据的额外开销小。  
3.可扩展：随着通信协议的升级而可升级  
4.互操作：支持多语言的交互

# 5.常用的Hadoop数据序列化类型 #

<table> 
 <thead> 
  <tr> 
   <th>Java类型</th> 
   <th>Hadoop Writable类型</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>boolean</td> 
   <td>BooleanWritable</td> 
  </tr> 
  <tr> 
   <td>byte</td> 
   <td>ByteWritable</td> 
  </tr> 
  <tr> 
   <td>int</td> 
   <td>IntWritable</td> 
  </tr> 
  <tr> 
   <td>float</td> 
   <td>FloatWritable</td> 
  </tr> 
  <tr> 
   <td>long</td> 
   <td>LongWritable</td> 
  </tr> 
  <tr> 
   <td>double</td> 
   <td>DoubleWritable</td> 
  </tr> 
  <tr> 
   <td>string</td> 
   <td>Text</td> 
  </tr> 
  <tr> 
   <td>map</td> 
   <td>MapWritable</td> 
  </tr> 
  <tr> 
   <td>array</td> 
   <td>ArrayWritable</td> 
  </tr> 
 </tbody> 
</table>

# 6.自定义bean对象实现序列化接口 #

1.必须实现Writable接口  
2.反序列化时，需要反射调用空参构造函数，所以必须有空参构造

public FlowBean() { 
    	super();
    }

3.重写序列化方法

@Override
    public void write(DataOutput out) throws IOException { 
    	out.writeLong(upFlow);
    	out.writeLong(downFlow);
    	out.writeLong(sumFlow);
    }

4.重写反序列化方法

@Override
    public void readFields(DataInput in) throws IOException { 
    	upFlow = in.readLong();
    	downFlow = in.readLong();
    	sumFlow = in.readLong();
    }

5.注意反序列化的顺序和序列化的顺序完全一致  
6.要想把结果显示在文件中，需要重写toString()，可用”\\t”分开，方便后续用  
7.如果需要将自定义的bean放在key中传输，则还需要实现comparable接口，因为mapreduce框中的shuffle过程一定会对key进行排序

@Override
    public int compareTo(FlowBean o) { 
    	// 倒序排列，从大到小
    	return this.sumFlow > o.getSumFlow() ? -1 : 1;
    }

***版权声明：本博客为记录本人自学感悟，转载需注明出处！***  
[https://me.csdn.net/qq\_39657909][https_me.csdn.net_qq_39657909]

[https_me.csdn.net_qq_39657909]: https://me.csdn.net/qq_39657909