16-高并发-netty原理和基础-ByteBuf缓冲区

忘是亡心i 2023-05-30 06:03 96阅读 0赞

**netty提供了ByteBuf来替代java NIO的ByteBuffer缓冲区 ，以操作内存缓冲区。**

## **一、ByteBuf的优势** ##

*  **pooling-池化**
 *  **不需要flip()方法区切换读/写模式。**
 *  **扩展性好**
 *  **可定义缓冲区类型**
 *  **读取和写入索引分开**

## **二、****ByteBuf****三个重要指针：** ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpZG9uZ2xpYW5nemhpY2Fp_size_16_color_FFFFFF_t_70][]

## 三、**ByteBuf的三组方法** ##

**ByteBuf写入数据时，如果发现容量不足，则进行扩容，知道扩容到maxCapacity设定的上限。**

**第一组：容量系列**

*  **capacity()**
 *  **maxCapacity() **

**第二组：写入系列**

*  **isWritable():**是否可写，false并不代表不写，会自动扩容写。
 *  **writableBytes():**取得可写入的字节数=Capacity-writeIndex。
 *  **maxWritableBytes():**=maxCapacity-writeIndex。
 *  **writeBytes(byte\[\] src):**把src字节数组写入到ByteBuf。
 *  **writeTYPE(TYPE value）：**写入基础数据类型的数据。TYPE表示基础数据类型，包含了8大基础数据类型。具体如下：writeByte()、 writeBoolean()、writeChar()、writeShort()、writeInt()、writeLong()、writeFloat()、writeDouble()。
 *  **setTYPE(TYPE value）：**基础数据类型的设置，不改变writerIndex指针值，包含了8大基础数据类型的设置。具体如下：setByte()、 setBoolean()、setChar()、setShort()、setInt()、setLong()、setFloat()、setDouble()。
 *  **markWriterIndex()与resetWriterIndex()：**

**第三组：读取系列**

*  **isReadable( ) ：**返回ByteBuf是否可读。如果writerIndex指针的值大于readerIndex指针的值，则表示可读，否则为不可读。
 *  **readableBytes( ) ：**返回表示ByteBuf当前可读取的字节数，它的值等于writerIndex减去readerIndex。
 *  **readBytes(byte\[\] dst)：**读取ByteBuf中的数据。将数据从ByteBuf读取到dst字节数组中，这里dst字节数组的大小，通常等于readableBytes()。这个方法也是最为常用的一个方法之一。
 *  **readType()：**读取基础数据类型，可以读取8大基础数据类型。具体如下：readByte()、readBoolean()、readChar()、readShort()、readInt()、readLong()、readFloat()、readDouble()。
 *  **getTYPE(TYPE value）：**读取基础数据类型，并且不改变指针值。具体如下：getByte()、 getBoolean()、getChar()、getShort()、getInt()、getLong()、getFloat()、getDouble()。getType系列与readTYPE系列的不同：getType系列不会改变读指针readerIndex的值；readTYPE系列会改变读指针readerIndex的值。
 *  **markReaderIndex( )与resetReaderIndex( ) ：**这两个方法一起介绍。前一个方法表示把当前的读指针ReaderIndex保存在markedReaderIndex属性中。后一个方法表示把保存在markedReaderIndex属性的值恢复到读指针ReaderIndex中。markedReaderIndex属性定义在AbstractByteBuf抽象基类中。

## 五、ByteBuf基本使用实践 ##

1.  **分配一个ByteBuf实例**
2.  **向ByteBuf写数据**
3.  **从ByteBuf读数据**
4.  注：使用默认的分配器，分配一个初始容量为9，最大限制为100个字节的缓冲区。

public class WriteReadTest {
                @Test
                public void testWriteRead() {
                  ByteBuf buffer = ByteBufAllocator.DEFAULT.buffer(9, 100);
                  print("动作：分配ByteBuf(9, 100)", buffer);
                  buffer.writeBytes(new byte[]{1, 2, 3, 4});
                  print("动作：写入4个字节 (1,2,3,4)", buffer);
                  Logger.info("start==========:get==========");
                  getByteBuf(buffer);
                  print("动作：取数据ByteBuf", buffer);
                  Logger.info("start==========:read==========");
                  readByteBuf(buffer);
                  print("动作：读完ByteBuf", buffer);
              }
              //取字节
              private void readByteBuf(ByteBuf buffer) {
                  while (buffer.isReadable()) {
                      Logger.info("取一个字节：" + buffer.readByte());
                  }
              }
              //读字节，不改变指针
              private void getByteBuf(ByteBuf buffer) {
                  for (int i = 0; i<buffer.readableBytes(); i++) {
                      Logger.info("读一个字节：" + buffer.getByte(i));
                  }
              }
            }

输出结果

[main|PrintAttribute:print]:after ===========动作：分配ByteBuf(9,100)============
            [main|PrintAttribute:print]:1.0 isReadable(): false
            [main|PrintAttribute:print]:1.1 readerIndex(): 0
            [main|PrintAttribute:print]:1.2 readableBytes(): 0
            [main|PrintAttribute:print]:2.0 isWritable(): true
            [main|PrintAttribute:print]:2.1 writerIndex(): 0
            [main|PrintAttribute:print]:2.2 writableBytes(): 9
            [main|PrintAttribute:print]:3.0 capacity(): 9
            [main|PrintAttribute:print]:3.1 maxCapacity(): 100
            [main|PrintAttribute:print]:3.2 maxWritableBytes(): 100
            //...
            [main|PrintAttribute:print]:after ===========动作：写入4个字节(1,2,3,4)===========
            [main|PrintAttribute:print]:1.0 isReadable(): true
            [main|PrintAttribute:print]:1.1 readerIndex(): 0
            [main|PrintAttribute:print]:1.2 readableBytes(): 4
            [main|PrintAttribute:print]:2.0 isWritable(): true
            [main|PrintAttribute:print]:2.1 writerIndex(): 4
            [main|PrintAttribute:print]:2.2 writableBytes(): 5
            [main|PrintAttribute:print]:3.0 capacity(): 9
            [main|PrintAttribute:print]:3.1 maxCapacity(): 100
            [main|PrintAttribute:print]:3.2 maxWritableBytes(): 96
            //...
            [main|PrintAttribute:print]:after ===========动作：取数据ByteBuf============
            [main|PrintAttribute:print]:1.0 isReadable(): true
            [main|PrintAttribute:print]:1.1 readerIndex(): 0
            [main|PrintAttribute:print]:1.2 readableBytes(): 4
            [main|PrintAttribute:print]:2.0 isWritable(): true
            [main|PrintAttribute:print]:2.1 writerIndex(): 4
            [main|PrintAttribute:print]:2.2 writableBytes(): 5
            [main|PrintAttribute:print]:3.0 capacity(): 9
            [main|PrintAttribute:print]:3.1 maxCapacity(): 100
            [main|PrintAttribute:print]:3.2 maxWritableBytes(): 96
            //...
            [main|PrintAttribute:print]:after ===========动作：读完ByteBuf============
            [main|PrintAttribute:print]:1.0 isReadable(): false
            [main|PrintAttribute:print]:1.1 readerIndex(): 4
            [main|PrintAttribute:print]:1.2 readableBytes(): 0
            [main|PrintAttribute:print]:2.0 isWritable(): true
            [main|PrintAttribute:print]:2.1 writerIndex(): 4
            [main|PrintAttribute:print]:2.2 writableBytes(): 5
            [main|PrintAttribute:print]:3.0 capacity(): 9
            [main|PrintAttribute:print]:3.1 maxCapacity(): 100
            [main|PrintAttribute:print]:3.2 maxWritableBytes(): 96

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpZG9uZ2xpYW5nemhpY2Fp_size_16_color_FFFFFF_t_70 1][]

## 六、Buf 回收 ##

在默认情况下，当创建完一个ByteBuf时，它的引用为1；每次调用retain()方法，它的引用就加1；每次调用release()方法，就是将引用计数减1；如果引用为0，再次访问这个ByteBuf对象，将会抛出异常；如果引用为0，表示这个ByteBuf没有哪个进程引用它，它占用的内存需要回收。

为了确保引用计数不会混乱，在Netty的业务处理器开发过程中，应该坚持一个原则：retain和release方法应该结对使用。简单地说，在一个方法中，调用了retain，就应该调用一次release。

当引用计数已经为0, Netty会进行ByteBuf的回收。分为两种情况：

*  （1）Pooled池化的ByteBuf内存，回收方法是：放入可以重新分配的ByteBuf池子，等待下一次分配。
 *  （2）Unpooled未池化的ByteBuf缓冲区，回收分为两种情况：如果是堆（Heap）结构缓冲，会被JVM的垃圾回收机制回收；如果是Direct类型，调用本地方法释放外部内存（unsafe.freeMemory）。

## 七、Buf 分配 Allocator分配器 ##

netty通过ByteBufAllocator分配器来创建缓冲区和分配内存空间。netty提供了两种实现：PoolByteBufAllocator和UnPoolByteBufAllocator。

//...
            public class AllocatorTest {
                @Test
                public void showAlloc() {
                  ByteBuf buffer = null;
                  //方法一：分配器默认分配初始容量为9，最大容量100的缓冲区
                  buffer = ByteBufAllocator.DEFAULT.buffer(9, 100);
                  //方法二：分配器默认分配初始容量为256，最大容量Integer.MAX_VALUE的缓冲区
                  buffer = ByteBufAllocator.DEFAULT.buffer();
                  //方法三：非池化分配器，分配基于Java的堆（Heap）结构内存缓冲区
                  buffer = UnpooledByteBufAllocator.DEFAULT.heapBuffer();
                  //方法四：池化分配器，分配基于操作系统管理的直接内存缓冲区
                  buffer = PooledByteBufAllocator.DEFAULT.directBuffer();
                  //….．其他方法
                }
            }

## 八、Buf缓冲区的类型 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpZG9uZ2xpYW5nemhpY2Fp_size_16_color_FFFFFF_t_70 2][]

## 九、Buf的浅层复制 ##

*  浅层复制是一个非常重要的操作。可以很大程度地避免内存复制。这一点对于大规模消息来说是非常重要的。
 *  ByteBuf的浅复制分为两种：切片浅层复制-slice和整体浅层复制-duplicate。
 *  浅层复制方法不会是实际去复制数据，也不会改变ByteBuf的引用计数。但源ByteBuf释放后，所有浅层复制实例也不能进行读写了。如果强行读取，则会报错。

### （一）ByteBuf的slice方法浅层复制 ###

ByteBuf的slice方法可以获取到一个ByteBuf的一个切片。一个ByteBuf可以进行多次切片浅层复制；多次切片后的ByteBuf对象可以共享一个存储区域。

**切片有两个特点：切片不可以写入。切片和源ByteBuf的可读字节数相同。**

**切片后的新ByteBuf和源ByteBuf关联：**

*  切片不会复制源ByteBuf的底层数据，都是一个数组。
 *  切片不会改变源ByteBuf的引用计数。

slice方法有两个重载版本：

*  （1）public ByteBuf slice()
 *  （2）public ByteBuf slice(int index, int length)
 *  第一个是不带参数的slice方法，在内部是调用了第二个带参数的slice方法，调用大致方式为：buf.slice(buf.readerIndex(), buf.readableBytes())。也就是说，第一个无参数slice方法的返回值是ByteBuf实例中可读部分的切片。
 *  第二个带参数的slice(int index, int length) 方法，可以通过灵活地设置不同起始位置和长度，来获取到ByteBuf不同区域的切片。

//....
            public class SliceTest {
                @Test
                public  voidtestSlice() {
                  ByteBuf buffer = ByteBufAllocator.DEFAULT.buffer(9, 100);
                  print("动作：分配ByteBuf(9, 100)", buffer);
                  buffer.writeBytes(new byte[]{1, 2, 3, 4});
                  print("动作：写入4个字节 (1,2,3,4)", buffer);
                  ByteBuf slice = buffer.slice();
                  print("动作：切片slice", slice);
                }
            }

### （二）ByteBuf的duplicate方法浅层复制 ###

和slice切片不同，duplicate()返回的是源ByteBuf的整个对象的一个浅层复制。

*  duplicate()不会改变源ByteBuf的引用计数。
 *  duplicate()不会复制源ByteBuf的底层数据。
 *  duplicate()和slice()都是浅层复制，slice()方法是切取一段浅层复制，而duplicate()是整体的浅层复制。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpZG9uZ2xpYW5nemhpY2Fp_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191107162433646.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpZG9uZ2xpYW5nemhpY2Fp,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpZG9uZ2xpYW5nemhpY2Fp_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191108101125338.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpZG9uZ2xpYW5nemhpY2Fp,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpZG9uZ2xpYW5nemhpY2Fp_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20191108105209815.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpZG9uZ2xpYW5nemhpY2Fp,size_16,color_FFFFFF,t_70

发表评论取消回复

表情：

评论列表（有 0 条评论，96人围观）

还没有评论，来说两句吧...

相关阅读

相关 16-高并发-netty原理和基础-ByteBuf缓冲区

netty提供了ByteBuf来替代java NIO的ByteBuffer缓冲区，以操作内存缓冲区。一、ByteBuf的优势 pooling-池化不需

忘是亡心i/ 2023年05月30日 06:03/ 0 赞/ 97 阅读

相关 15-高并发-netty原理和基础-Pipeline流水线详解

每条通道内部都有一条流水线（Pipeline）将Handler装配起来。 netty的业务处理器流水线ChannelPipeline是基于责任链模式来设计的，内部是

男娘i/ 2023年05月29日 13:24/ 0 赞/ 175 阅读

相关 14-高并发-netty原理和基础-处理器详解

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpZG9u

短命女/ 2023年05月29日 11:54/ 0 赞/ 67 阅读

相关 ByteBuf in Netty

ByteBuf Netty提供的ByteBuf与JDK的ByteBuffer相比，前者具有卓越的功能性和灵活性。目录 1 ByteBuf的API 2 ByteBuf

￡神魔★判官ぃ/ 2022年09月12日 14:54/ 0 赞/ 167 阅读

相关 [netty核心类]--缓冲区ByteBuf

> 本文主要包括以下内容： > 1）ByteBuf的三种类型：heapBuffer(堆缓冲区)、directBuffer(直接缓冲区)以及Composite Buffer(

小咪咪/ 2022年07月13日 00:08/ 0 赞/ 173 阅读

相关 Netty之ByteBuf

一、功能原理 ByteBuf是一个byte存放的缓冲区。 ByteBuf通过两个位置的指针来协助缓冲区的读写操作，读操作使用readIndex，写操

﹏ヽ暗。殇╰゛Y/ 2022年05月23日 02:56/ 0 赞/ 184 阅读

相关 Netty（ByteBuf）

网络数据的基本单位总是字节。Java NIO提供了ByteBuffer作为它的字节容器，但是这个类使用起来过于复杂，而且也有些繁琐。Netty的ByteBuffer替

我就是我/ 2022年04月17日 00:17/ 0 赞/ 248 阅读

相关 netty bytebuf

bytebuf 字节数组缓冲区， 0 readerIndex writerIndex capacity 可边读边写 jdk bytebuffer: position，lim

清疚/ 2022年04月08日 13:30/ 0 赞/ 179 阅读

相关 java-nio-缓冲区ByteBuffer、Netty的ByteBuf和MappedByteBuffer的使用

java-nio-缓冲区ByteBuffer、Netty的ByteBuf和MappedByteBuffer的使用文章目录 java-nio-缓冲区ByteB

叁歲伎倆/ 2022年03月06日 09:06/ 0 赞/ 389 阅读

相关 Netty的ByteBuf

[Netty的ByteBuf][Netty_ByteBuf] [https://blog.csdn.net/thinking\_fioa/article/detai

小鱼儿/ 2021年09月30日 16:24/ 0 赞/ 305 阅读