hive小tips（各种解析）

旧城等待， 2022-01-07 20:41 447阅读 0赞

1.hive查询中sum数据精度丢失问题

公司大数据组把线上数据库表的类型简单粗暴的设置为string类型了，而我们在hive上做算数运算时出现精度丢失现象。

处理方案：使用cast（table.column\_name as decimal(38,2)） 将string类型转换成decimal（38,2）为保留两位小数。

**2.hive正则表达式regexp\_extract**

下面这个链接比价详细了

https://blog.csdn.net/jv\_rookie/article/details/55211955

我再根据我的数据举一个实例：

如字段exts=\{id=11,name=xunying,type=1,flag=0\}

我们要截取id字段：

regexp\_extract(exts,'id(\[^,\]+),',1)

返回结果：11

**3.hive 取json格式的属性值**

Select **get\_json\_object(attrs, '$.d')** as attr\_d,

\{"id":"0","name":"13","d":"","age":"13","weight":"32.3","high":"32.3"\}

**3-1 hive中表结构为Map类型**

表中数据类型：map<string,string>

数据样例：\{"id":"0","name":"13","d":"","age":"13","weight":"32.3","high":"32.3"\}

解析：select **attrs\['name'\]** from

**3-2 hive中表结构为String类型**

表中数据类型：string

数据样例：\{"id":"0","name":"13","d":"","age":"13","weight":"32.3","high":"32.3"\}

解析：(解析了两个)

select a\*,b.id,b.name from table1 a lateral view json\_tuple(a.attrs,'id','name') b as id,name

或者正则方法

**3-3 hive中表结构为Struct类型**

表中数据类型：struct<id:string,weight:double>

数据样例：\{"id":"0","weight":"32.3"\}

解析：select **attrs.weight** from

**4.hive选取一些连续的某些字段**

LAG：

LAG(col,n,DEFAULT) 用于统计窗口内往上第n行值  
第一个参数为列名，第二个参数为往上第n行（可选，默认为1），第三个参数为默认值（当往上第n行为NULL时候，取默认值，如不指定，则为NULL）

LEAD：

与LAG相反  
LEAD(col,n,DEFAULT) 用于统计窗口内往下第n行值  
第一个参数为列名，第二个参数为往下第n行（可选，默认为1），第三个参数为默认值（当往下第n行为NULL时候，取默认值，如不指定，则为NULL）

FIRST\_VALUE  
取分组内排序后，截止到当前行，第一个值

LAST\_VALUE  
取分组内排序后，截止到当前行，最后一个值（和lead有区别）

**5.正则匹配REGEXP\_REPLACE**

REGEXP\_REPLACE(source\_string, pattern\[, replace\_string \[, position*\[,occurrence, \[match\_parameter\]\]\]\])*

eg:REGEXP\_REPLACE('ksjdhk23ekfdskj4334','\[^a-z\]' ,'') -------ksjdhkekfdskj 只保留字符

REGEXP\_REPLACE('ksjdhk23ekfdskj4334','\[^0-9\]' ,'') ----------234334 只保留数字

regexp\_replace('湖北省， 阳新县， 东方明珠','\\n|\\r|\`|\\\\||','')

**6.trunc()函数用法处理日期、数字类型数据**

一、日期  
TRUNC函数为指定元素而截去的日期值。  
其具体的语法格式如下：  
TRUNC（date\[,fmt\]）  
其中：date 一个日期值  
fmt 日期格式，该日期将由指定的元素格式所截去。忽略它则由最近的日期截去

二、数字  
TRUNC（number,num\_digits）  
Number 需要截尾取整的数字。  
Num\_digits 用于指定取整精度的数字。Num\_digits 的默认值为 0。  
TRUNC()函数截取时不进行四舍五入

**7 Array类型数据**

访问arr\[index\]

行转多列：select table1 .B from table1 a1 LATERAL VIEW explode(service\_prod\_code) table1 as B

转载于:https://www.cnblogs.com/xunyingFree/p/9541947.html

发表评论取消回复

表情：

评论列表（有 0 条评论，447人围观）

还没有评论，来说两句吧...

相关阅读

相关小tips

记录 1、Lombok 的 @Builder 注解 2、Lombok 的 @Accessors 注解 2.1 fluent 属性 2

「爱情、让人受尽委屈。」/ 2024年04月06日 13:14/ 0 赞/ 65 阅读

相关小程序登录解析

1、调用 wx.login() 获取临时登录凭证 code，有效期为 5分钟；（临时登录凭证 code 只能使用一次） 2、将临时 code 传到我们的后端，后端调用 au

爱被打了一巴掌/ 2022年11月30日 15:51/ 0 赞/ 178 阅读

相关 Java 小tips

接口中的方法是不需要 public / private / protected 修饰了类中的方法是需要 public / private / protected 修饰的

爱被打了一巴掌/ 2022年11月06日 14:57/ 0 赞/ 150 阅读

相关小tips ！！！构造，析构，拷贝构造知识点总结

构造，析构，拷贝构造核心点总结构造函数并不是开空间创建对象主要完成类对象初始化工作构造函数是一个特殊的成员函数，名字与类名相同,创建类类型对象时

红太狼/ 2022年10月27日 14:59/ 0 赞/ 166 阅读

相关 mysql注释和各种小tip

`/ /` 是注释 `/! /` 不是注释，可以执行 `/!50100 /` 5.01.00 版本或者更高的版本，才执行 set password for root

￡神魔★判官ぃ/ 2022年10月01日 08:57/ 0 赞/ 243 阅读

相关 5道Hive典型题目解析

一、连续问题如下数据为蚂蚁森林中用户领取的低碳排放量（lowcarbon） id dt lowcarbon 1001 2021-12-12 123

￡神魔★判官ぃ/ 2022年09月10日 13:21/ 0 赞/ 173 阅读

相关 new关键字小tips

1、new当个对象 new在自由空间分配内存，但其无法为其分配的对象命名，因次是无名的，分配之后返回一个指向该对象的指针。 <table style="border-col

落日映苍穹つ/ 2022年06月17日 13:14/ 0 赞/ 256 阅读

相关 Hive元数据库解析

前面我们部署好Hive组件后，我们创建一些库和表，并插入数据，然后进行分析创建一个数据库 hive> create database wyldb03;

我就是我/ 2022年06月05日 11:20/ 0 赞/ 204 阅读

相关 hive 支持json解析

> hive spark 支持json解析jar包下载路径可根据自己需要下载相应版本 [http://www.congiu.net/hive-json-serde/][h

曾经终败给现在/ 2022年03月09日 18:48/ 0 赞/ 336 阅读

相关 hive小tips（各种解析）

1.hive查询中sum数据精度丢失问题公司大数据组把线上数据库表的类型简单粗暴的设置为string类型了，而我们在hive上做算数运算时出现精度丢失现象。处理方案：使

旧城等待，/ 2022年01月07日 20:41/ 0 赞/ 448 阅读