【转】Hive的严格模式

刺骨的言语ヽ痛彻心扉 2021-09-27 07:42 354阅读 0赞

在hive里面可以通过严格模式防止用户执行那些可能产生意想不到的不好的效果的查询,从而保护hive的集群。

用户可以通过 set hive.mapred.mode=strict 来设置严格模式，改成unstrict则为飞严格模式。  在严格模式下，用户在运行如下query的时候会报错。

1. 分区表的查询没有使用分区字段来限制。

select * from strategy.log where and id = "180843496599928148";

报错

ERROR: org.apache.hive.service.cli.HiveSQLException : Error while compiling statement: FAILED: SemanticException [Error 10041]: No partition predicate found for Alias "m_loss_prediction_log" Table "m_loss_prediction_log"
    有异常抛出，执行结束。

指定分区：

select * from strategy.log where dt = "2018-08-16" and id = "123";

错误消除。

2. 使用了笛卡尔积

当用户写代码将表的别名写错的时候会引起笛卡尔积，例如

SELECT *
    FROM origindb.promotion__campaign c
    JOIN origindb.promotion__campaignex ce
    ON c.id = c.id
    limit 1000

3. order by 的时候没有使用limit

SELECT *
    FROM origindb.promotion__campaign 
    order by id

当使用的limit的时候错误消除。

转自：[https://www.cnblogs.com/benchen/p/5817420.html][https_www.cnblogs.com_benchen_p_5817420.html]

[https_www.cnblogs.com_benchen_p_5817420.html]: https://www.cnblogs.com/benchen/p/5817420.html

发表评论取消回复

表情：

评论列表（有 0 条评论，354人围观）

还没有评论，来说两句吧...

相关阅读

相关 mysql中的严格模式和非严格模式

为MySQL的严格模式，简单来说就是MySQL自身对数据进行严格的校验（格式、长度、类型等），比如一个整型字段我们写入一个字符串类型的数据，在非严格模式下MySQL不会报...

约定不等于承诺〃/ 2024年04月19日 14:29/ 0 赞/ 68 阅读

相关 Hive 严格模式

Hive严格模式严格模式阻挡5类查询： 1、笛卡尔积 set hive.mapred.mode=strict; select * ...

末蓝、/ 2024年04月18日 16:51/ 0 赞/ 62 阅读

相关 HIVE调优之严格模式

设置为严格模式后，可以禁止3种类型的查询带有分区的表的查询如果在一个分区表执行hive，除非where语句中包含分区字段过滤条件来显示数据范

约定不等于承诺〃/ 2023年08月17日 15:18/ 0 赞/ 142 阅读

相关数仓工具—Hive的严格模式和本地模式(17)

本地模式 0.7版本后Hive开始支持任务执行选择本地模式(local mode)大多数的Hadoop job是需要hadoop提供的完整的可扩展性来处理大数据的。在

灰太狼/ 2022年12月31日 01:20/ 0 赞/ 136 阅读

相关严格模式

什么是严格模式：除了正常运行模式(混杂模式)，ES5 添加了第二种运行模式：“严格模式”（strict mode）。顾名思义，这种模式使得 Javascr

素颜马尾好姑娘i/ 2022年12月08日 01:50/ 0 赞/ 144 阅读

相关 Hive严格模式

Hive严格模式 Hive提供了一个严格模式，可以防止用户执行那些可能产生意向不到的不好的效果的查询。说通俗一点就是这种模式可以阻止某些查询的执行。通过如下语句设置严格模式：

本是古典何须时尚/ 2022年06月07日 03:09/ 0 赞/ 207 阅读

相关 Javascript 严格模式详解(转）

一、概述除了正常运行模式，ECMAscript 5添加了第二种运行模式：["严格模式"][Link 1]（strict mode）。顾名思义，这种模式使得Javascrip

悠悠/ 2022年05月23日 13:38/ 0 赞/ 221 阅读

相关 Hive严格模式

严格模式是什么：防止可能出现不好的结果 > 防止出现三种场景： > > 1. 分区表查询中没有写where分区过滤条件 > 2. orderby 中没有写lim

喜欢ヅ旅行/ 2022年03月17日 09:05/ 0 赞/ 231 阅读

相关【转】js面试笔试---js的严格模式

1、必须用var关键字初始化变量 2、不能使用with关键字(1、with效率低下 2、可能导致内存泄露) 3、严格模式写会出现会出现除了全局作用域和局部作用域之

╰半橙微兮°/ 2021年12月15日 16:19/ 0 赞/ 316 阅读

相关【转】Hive的严格模式

在hive里面可以通过严格模式防止用户执行那些可能产生意想不到的不好的效果的查询,从而保护hive的集群。用户可以通过 set hive.mapred.mode=stric

刺骨的言语ヽ痛彻心扉/ 2021年09月27日 07:42/ 0 赞/ 355 阅读