Hadoop中的序列化Writable

你的名字 2022-12-05 01:44 114阅读 0赞

## 什么是序列化 ##

*  序列化就是把内存中的对象转化成字节序列（或者其他传输协议）以便于存储（持久化）和网络传输
 *  反序列化就是将字节序列（或者其他传输协议）转换成内存中的对象

## 序列化的目的 ##

*  序列化是为了便于网络间的数据传输

## Java序列化 VS Hadoop序列化 ##

Java序列化（Serializable）是一个重量级的序列化框架，对象被序列化后会附带很多额外的信息（各种校验信息、header、继承体系等），不便于在网络中高效传输。

Hadoop序列化（Writable）具有如下特点：

*  紧凑：紧凑的格式便于我们充分利用网络带宽
 *  快速：尽量减少序列化与反序列化的性能开销
 *  可扩展：协议需要引进
 *  互操作：支持不同语言的客户端和服务器交互

## 自定义对象实现Writable序列化 ##

1. 必须实现Writable接口

2. 必须要有空参构造函数，因为在反序列化时，需要反射调用空参构造函数

public ClassA() {
        super();
    }

3. 重写序列化方法

@Override
    public void write(DataOutput dataOutput) throws IOException {
        dataOutput.writeUTF(this.uuid);
        dataOutput.writeUTF(this.path);
        dataOutput.writeUTF(this.idType);
    }

4. 反序列化和序列化顺序完全一致

@Override
    public void readFields(DataInput dataInput) throws IOException {
        this.uuid = dataInput.readUTF(); 
        this.path = dataInput.readUTF();
        this.idType = dataInput.readUTF();
    }

5. 如果想将结果显示在文件中，需要重写toString()方法

@Override
    public String toString() {
        return this.uuid + "," + this.path + "," + this.idType;
    }

6. 如果需要将其作为key，则还需要实现comparable接口，用于shuffle时排序依据

@Override
    public int compareTo(MyKey o) {
        int ret = this.idType.compareTo(o.idType);
        if (ret != 0) {
            return ret;
        }
        return this.uuid.compareTo(o.uuid);
    }

## 常用数据序列化类型表 ##

<table> 
 <tbody> 
 <tr> 
 <td> Java类型 </td> 
 <td> Hadoop Writable类型 </td> 
 </tr> 
 <tr> 
 <td> boolean </td> 
 <td> BooleanWritable </td> 
 </tr> 
 <tr> 
 <td> byte </td> 
 <td> ByteWritable </td> 
 </tr> 
 <tr> 
 <td> int </td> 
 <td> IntWritable </td> 
 </tr> 
 <tr> 
 <td> float </td> 
 <td> FloatWritable </td> 
 </tr> 
 <tr> 
 <td> long </td> 
 <td> LongWritable </td> 
 </tr> 
 <tr> 
 <td> double </td> 
 <td> DoubleWritable </td> 
 </tr> 
 <tr> 
 <td> String </td> 
 <td> Text </td> 
 </tr> 
 <tr> 
 <td> map </td> 
 <td> MapWritable </td> 
 </tr> 
 <tr> 
 <td> array </td> 
 <td> ArrayWritable </td> 
 </tr> 
 </tbody> 
</table>