【Hive自定义UDF函数】与【hive字符串函数】

不念不忘少年蓝@ 2022-08-08 12:00 258阅读 0赞

【Hive自定义UDF函数】  与  【hive字符串函数】

Hive进行UDF开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。

Hive的UDF开发只需要重构UDF类的evaluate函数即可。例：

package com.hrj.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;

public class helloUDF extends UDF \{

public String evaluate(String str) \{

try \{

return "HelloWorld " + str;

\} catch (Exception e) \{

return null;

将该java文件编译成helloudf.jar

hive> add jar helloudf.jar;

hive> create temporary function helloworld as 'com.hrj.hive.udf.helloUDF';

hive> select helloworld(t.col1) from t limit 10;

hive> drop temporary function helloworld;

注：

1.helloworld为临时的函数，所以每次进入hive都需要add jar以及create temporary操作

2.UDF只能实现一进一出的操作，如果需要实现多进一出，则需要实现UDAF

字符串函数  
字符串长度函数：length  
字符串反转函数：reverse  
字符串连接函数：concat  
带分隔符字符串连接函数：concat\_ws  
字符串截取函数：substr,substring  
字符串截取函数：substr,substring  
字符串转大写函数：upper,ucase  
字符串转小写函数：lower,lcase  
去空格函数：trim  
左边去空格函数：ltrim  
右边去空格函数：rtrim  
正则表达式替换函数：regexp\_replace  
正则表达式解析函数：regexp\_extract  
URL解析函数：parse\_url  
json解析函数：get\_json\_object  
空格字符串函数：space  
重复字符串函数：repeat  
首字符ascii函数：ascii  
左补足函数：lpad  
右补足函数：rpad  
分割字符串函数: split  
集合查找函数: find\_in\_set

字符串函数  
字符串长度函数：length

字符串反转函数：reverse

字符串连接函数：concat

带分隔符字符串连接函数：concat\_ws

字符串截取函数：substr,substring

字符串转大写函数：upper,ucase

字符串转小写函数：lower,lcase

去空格函数：trim

左边去空格函数：ltrim

右边去空格函数：rtrim

正则表达式替换函数：regexp\_replace

(mysql不支持，请用hive测试，请先建一个伪表dual)  
正则表达式解析函数：regexp\_extract

<table style="word-wrap:normal; empty-cells:show; border-collapse:collapse; border:1px solid rgb(227,237,245); table-layout:auto; width:924px; color:rgb(68,68,68); font-family:Tahoma,'Microsoft Yahei',Simsun; font-size:14px; line-height:21px"> 
 <tbody style="word-wrap:normal"> 
  <tr style="word-wrap:normal"> 
   <td style="word-wrap:normal; font-size:14px; padding:4px; border:1px solid rgb(227,237,245); overflow:hidden"> 
    <div style="word-wrap:normal">
      语法: regexp_extract(string subject, string pattern, int index) 
    </div> 
    <div style="word-wrap:normal">
      返回值: string 
    </div> 
    <div style="word-wrap:normal">
      说明：将字符串subject按照pattern正则表达式的规则拆分，返回index指定的字符。注意，在有些情况下要使用转义字符 
     <br style="word-wrap:normal"> 
    </div> 
    <div style="word-wrap:normal">
      X?&nbsp; &nbsp;X，一次或一次也没有 
     <br style="word-wrap:normal"> X*&nbsp; &nbsp; X，零次或多次 
     <br style="word-wrap:normal"> X+&nbsp; &nbsp; X，一次或多次 
     <br style="word-wrap:normal"> X{n}&nbsp; &nbsp; X，恰好 n 次 
     <br style="word-wrap:normal"> X{n,}&nbsp; &nbsp; X，至少 n 次 
     <br style="word-wrap:normal"> X{n,m}&nbsp; &nbsp; X，至少 n 次，但是不超过 m 次 
    </div> 
    <div style="word-wrap:normal">
      举例： 
    </div> 
    <div style="word-wrap:normal">
      hive&gt; select regexp_extract(‘foothebar’, ‘foo(.*?)(bar)’, 1) from dual; 
    </div> 
    <div style="word-wrap:normal">
      the 
    </div> 
    <div style="word-wrap:normal">
      hive&gt; select regexp_extract(‘foothebar’, ‘foo(.*?)(bar)’, 2) from dual; 
    </div> 
    <div style="word-wrap:normal">
      bar 
    </div> 
    <div style="word-wrap:normal">
      hive&gt; select regexp_extract(‘foothebar’, ‘foo(.*?)(bar)’, 0) from dual; 
    </div> 
    <div style="word-wrap:normal">
      foothebar 
     <br style="word-wrap:normal"> hive&gt;select regexp_extract('userid=13333333', '.*=(.*)', 1) from dual;&nbsp; 
     <br style="word-wrap:normal"> (说明=不是特殊字符) 
    </div> 
    <div style="word-wrap:normal">
      13333333 
    </div> 
    <div style="word-wrap:normal">
      hive&gt;select regexp_extract('userid.13333333', '.*\\.(.*)', 1) from dual;&nbsp; 
     <br style="word-wrap:normal"> (\\如果是特殊字符请用，例如：. * (&nbsp;&nbsp;)&nbsp;&nbsp;)&nbsp; 
     <br style="word-wrap:normal"> 13333333 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

URL解析函数：parse\_url

json解析函数：get\_json\_object

<table style="word-wrap:normal; empty-cells:show; border-collapse:collapse; border:1px solid rgb(227,237,245); table-layout:auto; width:924px; color:rgb(68,68,68); font-family:Tahoma,'Microsoft Yahei',Simsun; font-size:14px; line-height:21px"> 
 <tbody style="word-wrap:normal"> 
  <tr style="word-wrap:normal"> 
   <td style="word-wrap:normal; font-size:14px; padding:4px; border:1px solid rgb(227,237,245); overflow:hidden"> 
    <div style="word-wrap:normal">
      语法: get_json_object(string json_string, string path) 
    </div> 
    <div style="word-wrap:normal">
      返回值: string 
    </div> 
    <div style="word-wrap:normal">
      说明：解析json的字符串json_string,返回path指定的内容。如果输入的json字符串无效，那么返回NULL。 
    </div> 
    <div style="word-wrap:normal">
      举例： 
    </div> 
    <div style="word-wrap:normal">
      hive&gt; select&nbsp;&nbsp;get_json_object(‘{“store”: 
    </div> 
    <div style="word-wrap:normal">
      &gt;&nbsp; &nbsp;{“fruit”:\[{"weight":8,"type":"apple"},{"weight":9,"type":"pear"}], 
    </div> 
    <div style="word-wrap:normal">
      &gt;&nbsp; &nbsp; “bicycle”:{“price”:19.95,”color”:”red”} 
    </div> 
    <div style="word-wrap:normal">
      &gt;&nbsp; &nbsp;}, 
    </div> 
    <div style="word-wrap:normal">
      &gt;&nbsp;&nbsp;“email”:” 
     <a href="mailto:amy@only_for_json_udf_test.net" style="" rel="nofollow">amy@only_for_json_udf_test.net</a>”, 
    </div> 
    <div style="word-wrap:normal">
      &gt;&nbsp;&nbsp;“owner”:”amy” 
    </div> 
    <div style="word-wrap:normal">
      &gt; } 
    </div> 
    <div style="word-wrap:normal">
      &gt; ‘,’$.owner’) from dual; 
    </div> 
    <div style="word-wrap:normal">
      amy 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

空格字符串函数：space

重复字符串函数：repeat

首字符ascii函数：ascii

左补足函数：lpad

右补足函数：rpad

分割字符串函数: split

集合查找函数: find\_in\_set