go-diskqueue数据结构

一、本文目的是介绍go-diskqueue

go-diskqueue，应用于nsq：https://github.com/nsqio/nsq，作用是存储内存装不下的消息到磁盘，并支持读取。

go-diskqueue：https://github.com/yudongdai/go-diskqueue/blob/master/diskqueue.go(注释版)

二、文件的组织

2.1文件的组成

2.1.1 元数据，文件名格式如下：{TopicName}.diskqueue.meta.dat，每个Topic只会存在1个文件
2.1.2 文件数据，文件名格式如下：{TopicName}.diskqueue.{num}.dat，因为限制了单文件大小，每个Topic只会存在多个文件，当一个文件按编号递增

2.2数据结构

2.2.1元数据文件，记录着写了多少消息到磁盘，写到哪个编号文件了，读到哪个编号文件了，读的偏移量：

_, err = fmt.Fprintf(f, "%d\n%d,%d\n%d,%d\n",
    d.depth, //落地消息个数
    d.readFileNum, d.readPos, //读文件编号，读文件的当前偏移量
    d.writeFileNum, d.writePos) //文件编号，写文件当前偏移量

2.2.2数据文件，格式比较简单。限制单文件的大小，当文件大小达到阈值时，文件数据编号自增1：

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RhaXl1ZG9uZzIwMjA_size_16_color_FFFFFF_t_70 读取数据时，先读取消息长度，再读内容。

// 先读出消息的大小
    err = binary.Read(d.reader, binary.BigEndian, &msgSize)
    if err != nil {
        d.readFile.Close()
        d.readFile = nil
        return nil, err
    }