flink 读取hudi使用hive-sync生成的表报错 Unexpected type: INT64

妖狐艹你老母 2024-03-17 21:57 43阅读 0赞

hudi版本：0.13.1

#### 一、具体报错内容： ####

Caused by: java.lang.IllegalArgumentException: Unexpected type: INT64  
at org.apache.flink.hive.shaded.parquet.Preconditions.checkArgument(Preconditions.java:73)  
at org.apache.flink.hive.shaded.formats.parquet.vector.ParquetSplitReaderUtil.createWritableColumnVector(ParquetSplitReaderUtil.java:369)  
at org.apache.flink.hive.shaded.formats.parquet.ParquetVectorizedInputFormat.createWritableVectors(ParquetVectorizedInputFormat.java:264)  
at org.apache.flink.hive.shaded.formats.parquet.ParquetVectorizedInputFormat.createReaderBatch(ParquetVectorizedInputFormat.java:254)  
at org.apache.flink.hive.shaded.formats.parquet.ParquetVectorizedInputFormat.createPoolOfBatches(ParquetVectorizedInputFormat.java:244)  
at org.apache.flink.hive.shaded.formats.parquet.ParquetVectorizedInputFormat.createReader(ParquetVectorizedInputFormat.java:137)  
at org.apache.flink.hive.shaded.formats.parquet.ParquetVectorizedInputFormat.createReader(ParquetVectorizedInputFormat.java:73)  
at org.apache.flink.connectors.hive.read.HiveBulkFormatAdapter.createReader(HiveBulkFormatAdapter.java:110)  
at org.apache.flink.connectors.hive.read.HiveBulkFormatAdapter.createReader(HiveBulkFormatAdapter.java:65)  
at org.apache.flink.connector.file.src.impl.FileSourceSplitReader.checkSplitOrStartNext(FileSourceSplitReader.java:112)  
at org.apache.flink.connector.file.src.impl.FileSourceSplitReader.fetch(FileSourceSplitReader.java:65)  
at org.apache.flink.connector.base.source.reader.fetcher.FetchTask.run(FetchTask.java:56)  
at org.apache.flink.connector.base.source.reader.fetcher.SplitFetcher.runOnce(SplitFetcher.java:140)  
... 6 more

#### 二、报错原因 ####

1、hive-sync生成表是为spark准备的，并并不会向flink sql一样在metastore中生成flink 可以读取的table param（对应hive metastore中的表TABLE\_PARAMS）

体现出来是\`flink. \`开头的，且是可以带有精度的。

![220ac2af2b8e449d9a2cb71cfe0ef6c3.png][]

2、flink读取hive-sync固定生成的是timestamp类型，不带有精度（小数位数），而hive也不支持指定精度其精度固定为至纳秒。

hive-sync使用hive metastore的 java api同步表结构，而用FieldSchema类表示timestamp类型，也是不带有精度的：

![07ae97da91074f52952986b27b215eac.png][]

3、flink stream API没有指定parquet生成格式的参数

生成的parquet 文件的timestamp类型为： INT64 L:TIMESTAMP(MICROS,true)

另外，HoodieStorageConfig.PARQUET\_OUTPUT\_TIMESTAMP\_TYPE.key() // 取值范围：INT96 TIMESTAMP\_MICROS TIMESTAMP\_MILLIS 。此配置在flink并不生效。

综上，flink读取hive-sync表时候从metastore获取到的是timestamp 即默认hive的精度int96，而实际parquet存储的类型是int64，二者冲突。

#### 解决办法： ####

在通过HoodiePipeline 中的 org.apache.hudi.util.HoodiePipeline\#getCreateHoodieTableDDL方法手动创建张flink table；

[220ac2af2b8e449d9a2cb71cfe0ef6c3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/0019e43122144197ba4612da574613ea.png
[07ae97da91074f52952986b27b215eac.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/987a5265a26e462c98ea844ef6412179.png