Hive UDF整理

待我称王封你为后i 2022-09-26 03:30 188阅读 0赞

# Hive UDF整理    #

## 字符串函数 ##

### 字符串长度函数：length ###

<table> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-family:宋体">语法</span>: length(string A)<span style="font-family:宋体; font-size:12pt"></span> </p> <p>返回值: int </p> <p>说明：返回字符串A的长度 </p> <p>举例： </p> <p>hive&gt; select length(‘abcedfg’) from dual; </p> <p>7 </p> </td> 
  </tr> 
 </tbody> 
</table>

### 字符串反转函数：reverse ###

<table> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-family:宋体">语法</span>: reverse(string A)<span style="font-family:宋体; font-size:12pt"></span> </p> <p>返回值: string </p> <p>说明：返回字符串A的反转结果 </p> <p>举例： </p> <p>hive&gt; select reverse(‘abcedfg’) from dual; </p> <p>gfdecba </p> </td> 
  </tr> 
 </tbody> 
</table>

### 字符串连接函数：concat ###

<table> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-family:宋体">语法</span>: concat(string A, string B…)<span style="font-family:宋体; font-size:12pt"></span> </p> <p>返回值: string </p> <p>说明：返回输入字符串连接后的结果，支持任意个输入字符串 </p> <p>举例： </p> <p>hive&gt; select concat(‘abc’,'def’,'gh’) from dual; </p> <p>abcdefgh </p> </td> 
  </tr> 
 </tbody> 
</table>

### 带分隔符字符串连接函数：concat\_ws ###

<table> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-family:宋体">语法</span>: concat_ws(string SEP, string A, string B…)<span style="font-family:宋体; font-size:12pt"></span> </p> <p>返回值: string </p> <p>说明：返回输入字符串连接后的结果，SEP表示各个字符串间的分隔符 </p> <p>举例： </p> <p>hive&gt; select concat_ws(‘,’,'abc’,'def’,'gh’) from dual; </p> <p>abc,def,gh </p> </td> 
  </tr> 
 </tbody> 
</table>

### 字符串截取函数：substr,substring ###

<table> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-family:宋体">语法</span>: substr(string A, int start),substring(string A, int start)<span style="font-family:宋体; font-size:12pt"></span> </p> <p>返回值: string </p> <p>说明：返回字符串A从start位置到结尾的字符串 </p> <p>举例： </p> <p>hive&gt; select substr(‘abcde’,3) from dual; </p> <p>cde </p> <p>hive&gt; select substring(‘abcde’,3) from dual; </p> <p>cde </p> <p>hive&gt;&nbsp; select substr(‘abcde’,-1) from dual;&nbsp;&nbsp;（和ORACLE相同） </p> <p>e </p> </td> 
  </tr> 
 </tbody> 
</table>

### 字符串截取函数：substr,substring ###

<table> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-family:宋体">语法</span>: substr(string A, int start, int len),substring(string A, int start, int len)<span style="font-family:宋体; font-size:12pt"></span> </p> <p>返回值: string </p> <p>说明：返回字符串A从start位置开始，长度为len的字符串 </p> <p>举例： </p> <p>hive&gt;&nbsp;<img src="http://my.oschina.net/js/ke/themes/common/anchor.gif" alt="">select&nbsp;<img src="http://my.oschina.net/js/ke/themes/common/anchor.gif" alt=""><img src="http://my.oschina.net/js/ke/themes/common/anchor.gif" alt="">substr(‘abcde’,3,2)&nbsp;from dual; </p> <p>cd </p> <p>hive&gt; select substring(‘abcde’,3,2) from dual; </p> <p>cd </p> <p>hive&gt;select substring(‘abcde’,-2,2) from dual; </p> <p>de </p> </td> 
  </tr> 
 </tbody> 
</table>

### 字符串转大写函数：upper,ucase ###

<table> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-family:宋体">语法</span>: upper(string A) ucase(string A)<span style="font-family:宋体; font-size:12pt"></span> </p> <p>返回值: string </p> <p>说明：返回字符串A的大写格式 </p> <p>举例： </p> <p>hive&gt; select upper(‘abSEd’) from dual; </p> <p>ABSED </p> <p>hive&gt; select ucase(‘abSEd’) from dual; </p> <p>ABSED </p> </td> 
  </tr> 
 </tbody> 
</table>

### 字符串转小写函数：lower,lcase ###

<table> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-family:宋体">语法</span>: lower(string A) lcase(string A)<span style="font-family:宋体; font-size:12pt"></span> </p> <p>返回值: string </p> <p>说明：返回字符串A的小写格式 </p> <p>举例： </p> <p>hive&gt; select lower(‘abSEd’) from dual; </p> <p>absed </p> <p>hive&gt; select lcase(‘abSEd’) from dual; </p> <p>absed </p> </td> 
  </tr> 
 </tbody> 
</table>

### 去空格函数：trim ###

<table> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-family:宋体">语法</span>: trim(string A)<span style="font-family:宋体; font-size:12pt"></span> </p> <p>返回值: string </p> <p>说明：去除字符串两边的空格 </p> <p>举例： </p> <p>hive&gt; select trim(‘ abc ‘) from dual; </p> <p>abc </p> </td> 
  </tr> 
 </tbody> 
</table>

### 左边去空格函数：ltrim ###

<table> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-family:宋体">语法</span>: ltrim(string A)<span style="font-family:宋体; font-size:12pt"></span> </p> <p>返回值: string </p> <p>说明：去除字符串左边的空格 </p> <p>举例： </p> <p>hive&gt; select ltrim(‘ abc ‘) from dual; </p> <p>abc </p> </td> 
  </tr> 
 </tbody> 
</table>

### 右边去空格函数：rtrim ###

<table> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-family:宋体">语法</span>: rtrim(string A)<span style="font-family:宋体; font-size:12pt"></span> </p> <p>返回值: string </p> <p>说明：去除字符串右边的空格 </p> <p>举例： </p> <p>hive&gt; select rtrim(‘ abc ‘) from dual; </p> <p>abc </p> </td> 
  </tr> 
 </tbody> 
</table>

### 正则表达式替换函数：regexp\_replace ###

<table> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-family:宋体">语法</span>: regexp_replace(string A, string B, string C)<span style="font-family:宋体; font-size:12pt"></span> </p> <p>返回值: string </p> <p>说明：将字符串A中的符合java正则表达式B的部分替换为C。注意，在有些情况下要使用转义字符 </p> <p>举例： </p> <p>hive&gt; select regexp_replace(‘foobar’, ‘oo|ar’, ”) from dual; </p> <p>fb </p> </td> 
  </tr> 
 </tbody> 
</table>

### 正则表达式解析函数：regexp\_extract ###

<table> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-family:宋体">语法</span>:&nbsp;<img src="http://my.oschina.net/js/ke/themes/common/anchor.gif" alt=""><img src="http://my.oschina.net/js/ke/themes/common/anchor.gif" alt="">regexp_extract(string subject, string pattern, int index)<span style="font-family:宋体; font-size:12pt"></span> </p> <p>返回值: string </p> <p>说明：将字符串subject按照pattern正则表达式的规则拆分，返回index指定的字符。注意，在有些情况下要使用转义字符 </p> <p>举例： </p> <p>hive&gt; select regexp_extract(‘foothebar’, ‘foo(.*?)(bar)’, 1) from dual; </p> <p>the </p> <p>hive&gt; select regexp_extract(‘foothebar’, ‘foo(.*?)(bar)’, 2) from dual; </p> <p>bar </p> <p>hive&gt;&nbsp;select regexp_extract(‘foothebar’, ‘foo(.*?)(bar)’, 0)&nbsp;from dual; </p> <p>foothebar </p> </td> 
  </tr> 
 </tbody> 
</table>

### URL解析函数：parse\_url ###

<table> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-family:宋体">语法</span>: parse_url(string urlString, string partToExtract [, string keyToExtract])<span style="font-family:宋体; font-size:12pt"></span> </p> <p>返回值: string </p> <p>说明：返回URL中指定的部分。partToExtract的有效值为：HOST, PATH, QUERY, REF, PROTOCOL, AUTHORITY, FILE, and USERINFO. </p> <p>举例： </p> <p>hive&gt; select parse_url(‘http://facebook.com/path1/p.php?k1=v1&amp;k2=v2#Ref1′, ‘HOST’) from dual; </p> <p>facebook.com </p> <p>hive&gt; select parse_url(‘http://facebook.com/path1/p.php?k1=v1&amp;k2=v2#Ref1′, ‘QUERY’, ‘k1′) from dual; </p> <p>v1 </p> </td> 
  </tr> 
 </tbody> 
</table>

### json解析函数：get\_json\_object ###

<table> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-family:宋体">语法</span>: get_json_object(string json_string, string path)<span style="font-family:宋体; font-size:12pt"></span> </p> <p>返回值: string </p> <p>说明：解析json的字符串json_string,返回path指定的内容。如果输入的json字符串无效，那么返回NULL。 </p> <p>举例： </p> <p>hive&gt; select&nbsp; get_json_object(‘{“store”: </p> <p>&gt;&nbsp;&nbsp; {“fruit”:\[{"weight":8,"type":"apple"},{"weight":9,"type":"pear"}], </p> <p>&gt;&nbsp;&nbsp;&nbsp; “bicycle”:{“price”:19.95,”color”:”red”} </p> <p>&gt;&nbsp;&nbsp; }, </p> <p>&gt;&nbsp; “email”:”amy@only_for_json_udf_test.net”, </p> <p>&gt;&nbsp; “owner”:”amy” </p> <p>&gt; } </p> <p>&gt; ‘,’$.owner’) from dual; </p> <p>amy </p> </td> 
  </tr> 
 </tbody> 
</table>

### 空格字符串函数：space ###

<table> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-family:宋体">语法</span>: space(int n)<span style="font-family:宋体; font-size:12pt"></span> </p> <p>返回值: string </p> <p>说明：返回长度为n的字符串 </p> <p>举例： </p> <p>hive&gt; select space(10) from dual; </p> <p>hive&gt; select length(space(10)) from dual; </p> <p>10 </p> </td> 
  </tr> 
 </tbody> 
</table>

### 重复字符串函数：repeat ###

<table> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-family:宋体">语法</span>: repeat(string str, int n)<span style="font-family:宋体; font-size:12pt"></span> </p> <p>返回值: string </p> <p>说明：返回重复n次后的str字符串 </p> <p>举例： </p> <p>hive&gt; select repeat(‘abc’,5) from dual; </p> <p>abcabcabcabcabc </p> </td> 
  </tr> 
 </tbody> 
</table>

### 首字符ascii函数：ascii ###

<table> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-family:宋体">语法</span>: ascii(string str)<span style="font-family:宋体; font-size:12pt"></span> </p> <p>返回值: int </p> <p>说明：返回字符串str第一个字符的ascii码 </p> <p>举例： </p> <p>hive&gt; select ascii(‘abcde’) from dual; </p> <p>97 </p> </td> 
  </tr> 
 </tbody> 
</table>

### 左补足函数：lpad ###

<table> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-family:宋体">语法</span>: lpad(string str, int len, string pad)<span style="font-family:宋体; font-size:12pt"></span> </p> <p>返回值: string </p> <p>说明：将str进行用pad进行左补足到len位 </p> <p>举例： </p> <p>hive&gt; select lpad(‘abc’,10,’td’) from dual; </p> <p>tdtdtdtabc </p> <p>与GP，ORACLE不同，pad&nbsp;不能默认 </p> </td> 
  </tr> 
 </tbody> 
</table>

### 右补足函数：rpad ###

<table> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-family:宋体">语法</span>: rpad(string str, int len, string pad)<span style="font-family:宋体; font-size:12pt"></span> </p> <p>返回值: string </p> <p>说明：将str进行用pad进行右补足到len位 </p> <p>举例： </p> <p>hive&gt; select rpad(‘abc’,10,’td’) from dual; </p> <p>abctdtdtdt </p> </td> 
  </tr> 
 </tbody> 
</table>

### 分割字符串函数: split ###

<table> 
 <tbody> 
  <tr> 
   <td> <p><span style="font-family:宋体">语法</span>:&nbsp; split(string str, string pat)<span style="font-family:宋体; font-size:12pt"></span> </p> <p>返回值:&nbsp; array </p> <p>说明:&nbsp;按照pat字符串分割str，会返回分割后的字符串数组 </p> <p>举例： </p> <p>hive&gt; select split(‘abtcdtef’,'t’) from dual; </p> <p>["ab","cd","ef"] </p> </td> 
  </tr> 
 </tbody> 
</table>

### 集合查找函数: find\_in\_set ###

语法: find\_in\_set(string str, string strList)

返回值: int

说明: 返回str在strlist第一次出现的位置，strlist是用逗号分割的字符串。如果没有找该str字符，则返回0（只能是逗号分隔，不然返回0）

举例：

hive> select find\_in\_set(‘ab’,'ef,ab,de’) from dual;

hive> select find\_in\_set(‘at’,'ef,ab,de’) from dual;