Dubbo序列化

Dubbo序列化

dubbo作为一个rpc框架支持丰富的序列化方式,本文简单介绍dubbo的序列化。本文结构:

  • 对象序列化是什么意思?
  • dubbo序列化
  • 几个问题

对象序列化是什意思?

先来思考两个问题:

  1. 普通的Java对象的生命周期是仅限于一个JVM中的,只要JVM停止,这个对象也就不存在了,下次JVM启动我们还想使用这个对象怎么办呢?
  2. 或者我们想要把一个对象传递给另外一个JVM的时候,应该怎么做呢?

这两个问题的答案就是将该对象进行序列化,然后保存在文件中或者进行网络传输到另一个JVM,由另外一个JVM反序列化成一个对象,然后供JVM使用。

对象序列化就是将一个存在内存中的对象,转换为可存储或者可传输的二进制流,并且根据序列化的规则可以进行反序列化。一般来说需要保存的对象信息包括

  • 类的全限定名称
  • 未被transparent修饰的字段值

将这些信息按照一定的规则转换为二进制之后进行网络传输,在接收到的一端,就可以根据这些信息先实例化这个类对应的对象,然后将对应的属性值填入新构造的对象,在使用者看来就是使用的原来的对象。

Dubbo协议

dubbo支持很多种通信协议,其中dubbo协议作为默认的通信协议,dubbo协议的协议格式如下







































header 0-15 16 17 18 19-23 24-31 32-95 96-127
MAGIC = (short) 0xdabb req/resp two /one way event,是心跳还是正常消息 serializationId 指定序列化的类型 状态位, 消息类型为response时,设置请求响应状态 消息的id,long类型 body的length,int类型
body

header的字段格式是固定的,所以header的序列化方式也是固定的,header序列化过程如下(以request的encode为例)

  1. // com.alibaba.dubbo.remoting.exchange.codec.ExchangeCodec#encodeRequest
  2. protected void encodeRequest(Channel channel, ChannelBuffer buffer, Request req) throws IOException {
  3. // 根据配置获取序列化的协议,默认是hessian2
  4. Serialization serialization = getSerialization(channel);
  5. // header.
  6. byte[] header = new byte[HEADER_LENGTH];
  7. // set magic number.
  8. Bytes.short2bytes(MAGIC, header);
  9. // set request and serialization flag.
  10. header[2] = (byte) (FLAG_REQUEST | serialization.getContentTypeId());
  11. // oneway还是twoway
  12. if (req.isTwoWay()) header[2] |= FLAG_TWOWAY;
  13. // event种类
  14. if (req.isEvent()) header[2] |= FLAG_EVENT;
  15. // set request id.
  16. Bytes.long2bytes(req.getId(), header, 4);
  17. // encode request data.
  18. int savedWriteIndex = buffer.writerIndex();
  19. buffer.writerIndex(savedWriteIndex + HEADER_LENGTH);
  20. ChannelBufferOutputStream bos = new ChannelBufferOutputStream(buffer);
  21. ObjectOutput out = serialization.serialize(channel.getUrl(), bos);
  22. if (req.isEvent()) {
  23. encodeEventData(channel, out, req.getData());
  24. } else {
  25. encodeRequestData(channel, out, req.getData());
  26. }
  27. out.flushBuffer();
  28. if (out instanceof Cleanable) {
  29. ((Cleanable) out).cleanup();
  30. }
  31. bos.flush();
  32. bos.close();
  33. int len = bos.writtenBytes();
  34. checkPayload(channel, len);
  35. // 消息长度,在消息序列化完成后才能确定消息体body的长度
  36. Bytes.int2bytes(len, header, 12);
  37. // write
  38. buffer.writerIndex(savedWriteIndex);
  39. buffer.writeBytes(header); // write header.
  40. buffer.writerIndex(savedWriteIndex + HEADER_LENGTH + len);
  41. }

header的序列化方式是固定的,但是消息体body可以指定不同的序列化方式,由于消息体可以由用户自定义,所以可能是各种类型。一种序列化协议需要支持序列化和反序列化各种类型,包括基础类型和类类型,比如:null、long、int、String、List、Map、enum、自定义类等。

dubbo中序列化协议都实现了下面的接口

  1. com.alibaba.dubbo.common.serialize.Serialization

通过SPI扩展可以实现不同的协议,默认的SPI扩展是hessian2

  1. com.alibaba.dubbo.common.serialize.support.hessian.Hessian2Serialization

dubbo中的序列化、反序列化都要实现下面的接口

  1. com.alibaba.dubbo.common.serialize.ObjectOutput
  2. com.alibaba.dubbo.common.serialize.ObjectInput

比如hessian序列化和反序列化

  1. com.alibaba.dubbo.common.serialize.support.hessian.Hessian2ObjectOutput
  2. com.alibaba.dubbo.common.serialize.support.hessian.Hessian2ObjectInput

这两个类里面的方法是通过调用Hessian2Output、Hessian2Input方法实现的,Hessian2Output和Hessian2Input实现了hessian协议。具体的协议内容可以参考这个

几个问题

为什么参数对象都要实现Serializable接口(使用dubbo协议,默认的序列化方式hessian的时候)?

因为dubbo使用hessian序列化方式的时候,对象的序列化使用的是JavaSerializer

  1. com.alibaba.com.caucho.hessian.io.SerializerFactory#getDefaultSerializer
  2. com.alibaba.com.caucho.hessian.io.SerializerFactory#getSerializer
  3. com.alibaba.com.caucho.hessian.io.Hessian2Output#writeObject

获取默认的序列化方式的时候会判断该参数是否实现了Serializable接口

  1. protected Serializer getDefaultSerializer(Class cl) {
  2. if (_defaultSerializer != null)
  3. return _defaultSerializer;
  4. // 判断是否实现了Serializable接口
  5. if (!Serializable.class.isAssignableFrom(cl)
  6. && !_isAllowNonSerializable) {
  7. throw new IllegalStateException("Serialized class " + cl.getName() + " must implement java.io.Serializable");
  8. }
  9. return new JavaSerializer(cl, _loader);
  10. }

如果没有实现Serializable接口的话就抛出异常,所以在声明参数的时候,参数是一个类,这个类必须实现Serializable接口。

关于serialVersionUID

serialVersionUID是Java原生序列化时候的一个关键属性,但是在不使用Java原生序列化的时候,这个属性是没有被用到的,比如基于hessian协议实现的序列化方式中没有用到这个属性。

这里说的Java原生序列化是指使用下面的序列化方式和反序列化方式

  1. java.io.ObjectOutputStream
  2. java.io.ObjectInputStream

在使用原生序列化的时候,serialVersionUID起到了一个类似版本号的作用,在反序列化的时候判断serialVersionUID如果不相同,会抛出InvalidClassException。

如果在使用原生序列化方式的时候官方是强烈建议指定一个serialVersionUID的,如果没有指定,在序列化过程中,jvm会自动计算出一个值作为serialVersionUID,由于这种运行时计算serialVersionUID的方式依赖于jvm的实现方式,如果序列化和反序列化的jvm实现方式不一样可能会导致抛出异常InvalidClassException,所以强烈建议指定serialVersionUID。

发表评论

表情:
评论列表 (有 0 条评论,77人围观)

还没有评论,来说两句吧...

相关阅读

    相关 Dubbo, Hessian 序列注意事项

    最近遇到一个问题,B 服务调用 A 服务时,返回值反序列化时,POJO对象变成了Map类型。在A服务单独测试的时候一直还原不了,在 B 服务进行测试的时候,跟到反序列化数据时才

    相关 dubbo序列的一点注意

    dubbo序列化的一点注意注意 最近工作中遇见了一个小问题,在此记录一下,大致是这样的,有一父类,有一个属性traceId,主要是记录日志号,这样可以把所有日志串起来,利于

    相关 Dubbo序列对象

    序列化对象 Dubbo分为服务端,客户端 客户端调用服务,需要将pojo传递给客户端调用者 对象在传输过程中,需要序列化 在表现层,需要反序列化对象 对象序列