Avro的Schema

待我称王封你为后i 2022-05-30 07:21 265阅读 0赞

Avro的Schema用JSON表示。Schema定义了简单数据类型和复杂数据类型。

### 基本类型 ###

其中简单数据类型有以下8种：

<table style="margin:0px;padding:0px;border:1px solid #C0C0C0;color:rgb(0,0,0);font-family:verdana, 'ms song', '宋体', Arial, '微软雅黑', Helvetica, sans-serif;font-size:13px;background-color:rgb(255,255,255);"> 
 <thead style="margin:0px;padding:0px;"> 
  <tr style="margin:0px;padding:0px;"> 
   <th style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">类型</th> 
   <th style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">含义</th> 
  </tr> 
 </thead> 
 <tbody style="margin:0px;padding:0px;"> 
  <tr style="margin:0px;padding:0px;"> 
   <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">null</td> 
   <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">没有值</td> 
  </tr> 
  <tr style="margin:0px;padding:0px;"> 
   <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">boolean</td> 
   <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">布尔值</td> 
  </tr> 
  <tr style="margin:0px;padding:0px;"> 
   <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">int</td> 
   <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">32位有符号整数</td> 
  </tr> 
  <tr style="margin:0px;padding:0px;"> 
   <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">long</td> 
   <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">64位有符号整数</td> 
  </tr> 
  <tr style="margin:0px;padding:0px;"> 
   <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">float</td> 
   <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">单精度（32位）的IEEE 754浮点数</td> 
  </tr> 
  <tr style="margin:0px;padding:0px;"> 
   <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">double</td> 
   <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">双精度（64位）的IEEE 754浮点数</td> 
  </tr> 
  <tr style="margin:0px;padding:0px;"> 
   <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">bytes</td> 
   <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">8位无符号字节序列</td> 
  </tr> 
  <tr style="margin:0px;padding:0px;"> 
   <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">string</td> 
   <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">字符串</td> 
  </tr> 
 </tbody> 
</table>

基本类型没有属性，基本类型的名字也就是类型的名字，比如：

{"type": "string"}

### 复杂类型 ###

Avro提供了6种复杂类型。分别是Record，Enum，Array，Map，Union和Fixed。

#### Record ####

Record类型使用的类型名字是 “record”，还支持其它属性的设置：

name：record类型的名字(必填)

namespace：命名空间(可选)

doc：这个类型的文档说明(可选)

aliases：record类型的别名，是个字符串数组(可选)

fields：record类型中的字段，是个对象数组(必填)。每个字段需要以下属性：

1.  name：字段名字(必填)
2.  doc：字段说明文档(可选)
3.  type：一个schema的json对象或者一个类型名字(必填)
4.  default：默认值(可选)
5.  order：排序(可选)，只有3个值ascending(默认)，descending或ignore
6.  aliases：别名，字符串数组(可选)

一个Record类型例子，定义一个元素类型是Long的链表：

{
      "type": "record", 
      "name": "LongList",
      "aliases": ["LinkedLongs"],                      // old name for this
      "fields" : [
        {"name": "value", "type": "long"},             // each element has a long
        {"name": "next", "type": ["null", "LongList"]} // optional next element
      ]
    }

#### Enum ####

枚举类型的类型名字是”enum”，还支持其它属性的设置：

name：枚举类型的名字(必填)  
namespace：命名空间(可选)  
aliases：字符串数组，别名(可选)  
doc：说明文档(可选)  
symbols：字符串数组，所有的枚举值(必填)，不允许重复数据。

一个枚举类型的例子：

{ "type": "enum",
      "name": "Suit",
      "symbols" : ["SPADES", "HEARTS", "DIAMONDS", "CLUBS"]
    }

#### Array ####

数组类型的类型名字是”array”并且只支持一个属性：

items：数组元素的schema

一个数组例子：

{"type": "array", "items": "string"}

#### Map ####

Map类型的类型名字是”map”并且只支持一个属性：