UDF,UDAF,UDTF概念及常用函数

向右看齐 2023-10-14 11:55 4阅读 0赞

**一、 UDF,UDAF,UDTF概念，常用函数：**

**UDF、UDAF和UDTF都是Hive中的用户自定义函数类型：**

1.  UDF：用户自定义  **标量**  函数(User-Defined Function)，用于处理单个数据项并返回单个结果的函数类型，  **即一进一出**  。例如，将一个字符串转为大写字母。
2.  UDAF：用户自定义  **聚合**  函数(User-Defined Aggregation Function)，用于处理多个数据项并返回单个结果的函数类型，  **即多进一出**  。例如，计算一个列的平均值。
3.  UDTF：用户自定义  **表格**  函数(User-Defined Table Function)，用于将一个输入转为多个输出的函数类型，  **即一进多出（**   如   lateral view explode()   **）**  。例如，将一行数据拆分成多个单词。

以下是一些常用的Hive UDF、UDAF和UDTF函数：

**UDF函数：**

1.  CONCAT：连接多个字符串。
2.  UPPER：将字符串转为大写字母。
3.  LOWER：将字符串转为小写字母。
4.  TRIM：删除字符串中的空格。
5.  SUBSTR：截取字符串的一部分。

**UDAF函数：**

1.  AVG：计算一个数值列的平均值。
2.  SUM：计算一个数值列的总和。
3.  MAX：计算一个数值列的最大值。
4.  MIN：计算一个数值列的最小值。
5.  COUNT：计算一个数值列的行数。

**UDTF函数：**

1.  EXPLODE：将一个数组或者一个Map类型的列拆分成多行。
2.  LATERAL VIEW：将一个表格函数应用到一个查询中的每一行，产生多个输出行。
3.  PARSE\_URL：解析URL中的各个部分。
4.  TRANSPOSE：将多个列转为行。
5.  JSON\_TUPLE：解析JSON格式的数据。

以上是一些常用的Hive函数，可以根据需要进行自定义函数的编写和注册。

**二、自定义UDF、UDTF：**

> [ 自定义 UDF、UDTF ][_ UDF_UDTF]

**三、 UDF要成为永久函数怎么做？如果不加temperory，函数下次还能用吗？**

创建UDF函数的时候，加了temporary关键字的是临时函数，不加temporary关键字的是永久函数。

**临时函数和永久函数的区别：**

临时函数：加了temporary关键字的是临时函数，当退出系统时，这个函数也将消失，如果想要调用，需要登录后重新创建。而且临时UDF函数可以在任意库中调用，不受库限制。

永久函数：不加temporary关键字的是永久函数，永久性的UDF函数会一直存在，不会因为退出系统而消失。但其他库想要调用永久性UDF函数需要在函数名前加上库名。

[_ UDF_UDTF]: https://my.oschina.net/u/5746129/blog/7789021