Kylin开源版本使用中的报错及解决方法

比眉伴天荒 2023-01-10 13:06 220阅读 0赞

# Kylin开源版本使用中的报错及解决方法 #

## 1.解决启动报错 ##

第一次启动时报错：

Constructor threw exception; nested exception is java.lang.ClassCastException: com.fasterxml.jackson.datatype.jsr310.JavaTimeModule cannot be
     cast to com.fasterxml.jackson.databind.Module

解决：

vim kylin家目录/bin/find-hive-dependency.sh 200行

hive_lib=`find -L ${hive_lib_dir} -name '*.jar' ! -name '*jackson*' ! -name '*druid*' ! -name '*slf4j*' ! -name '*avatica*' ! -na
        me '*calcite*' ! -name '*jackson-datatype-joda*' ! -name '*derby*' -printf '%p:' | sed 's/:$//'`

vim kylin家目录/bin/find-spark-dependency.sh 43行

spark_dependency=`find -L $spark_home/jars -name '*.jar' ! -name '*jackson*' ! -name '*slf4j*' ! -name '*calcite*' ! -name '*doc*
        ' ! -name '*test*' ! -name '*sources*' ''-printf '%p:' | sed 's/:$//'`

删除 bin目录下缓存的脚本

rm -rf cached*

## 2.加载Hive元数据报错 ##

原因： 直连查询元数据的SQL有错误

编辑：/opt/module/kylin/bin/find-hive-dependency.sh 56行

HIVE_CONF=/opt/module/kylin/conf/hive_conf(自己创建的hive-site.xml配置文件所在的路径)

在指定路径的hive-site.xml中，添加：

<property>
            <name>hive.metastore.uris</name>
            <value>thrift://hadoop103:9083</value>
        </property>

启动hive的元数据服务！

## 3.构建Cube维度字典时报错 ##

Caused by: java.lang.IllegalStateException: The table: DWD_DIM_ACTIVITY_INFO Dup key found, key=[1], value1=[1,联想品牌优惠活动,2201,2020-
    02-27 17:11:09.0,2020-02-29 17:11:12.0,2020-02-27 17:11:16.0,2020-08-08], value2=[1,联想品牌优惠活动,2201,2020-02-27 17:11:09.0,2020-02-29
     17:11:12.0,2020-02-27 17:11:16.0,2020-08-09]

The table: DWD\_DIM\_ACTIVITY\_INFO Dup（重复） key(主键) found

Kylin在构建Cube时，必须保证 不能有重复的key!

*  事实表： 不能有重复的key。 在选的时候，每天一个分区，orderId!
 *  维度表： 不能有重复的key。 地区维度表是一张全量表！
 *  DWD\_DIM\_ACTIVITY\_INFO是一张分区表，每日全量的形式同步！

解决：维度表： 不能有重复的key 。 只取DWD\_DIM\_ACTIVITY\_INFO最新(当天)的分区的数据！

问题： 在构建cube时，构建model，没有提供对维度表过滤的选项界面！

*  在对接数据源时，需要自己将DWD\_DIM\_ACTIVITY\_INFO最新的分区的数据查询出来，放入一张临时表中！在构建Model时，让临时表，作为维度表！
 *  使用VIEW（视图），而不是临时表，节省空间！

create view DWD_DIM_ACTIVITY_INFO_VIEW as select * from DWD_DIM_ACTIVITY_INFO where dt='2020-08-20';

Key重复的情景：

*  ①使用维度表和事实表进行关联时，维度表是分区表，且每日全量同步，存在重复数据！
 *  ②拉链表，也存在重复的数据

解决： 只取最新的数据

create view DWD_DIM_USER_INFO_VIEW as select * from dwd_dim_user_info_his where end_date='9999-99-99';