Apache Pig字符串截取实战小例子

ゝ一世哀愁。 2022-04-12 07:30 156阅读 0赞

\[b\]\[color=olive\]\[size=large\]记录一个Pig字符串截取的实战小例子：  
  
需求如下，从下面的字符串里提取出第2列（冒号后面）的值：  
\[/size\]\[/color\]\[/b\]

1 2  3 4
    a:ab#c#d
    a:c#c#d
    a:dd#c#d
    a:zz#c#d

\[b\]\[color=olive\]\[size=large\]如果是在java里，方法可能有很多种，比如substring，或者split多次等，在pig也大致如此，可以使用SUBSTRING内置函数来完成，但散仙推荐使用下面的方式，这种方式比较灵活，适合大部分场景的数据提取，需要用到的2个函数如下：  
  
（1）REGEX\_EXTRACT（'原始字符串','正则式',int类型的返回索引）  
  
（2）STRSPLIT('原始字符串', '正则式', 限制返回的个数)  
\[/size\]\[/color\]\[/b\]  
  
\[b\]\[color=green\]\[size=large\]pig脚本写法：\[/size\]\[/color\]\[/b\]

a = laod '/tmp/data' as (data:chararray)
    //注意逻辑是，先获取冒号后面的数据，然后split成tuple，再通过$1（下标访问元素）获取我们需要的数据即可。
    b = foreach a generate STRSPLIT (REGEX_EXTRACT (data, '(.*):(.*)', 2) ,'#',5).$0;
    
    dump b;

\[b\]\[color=green\]\[size=large\]  
想了解更多有关电商互联网公司的搜索技术和大数据技术的使用，请欢迎扫码关注微信公众号：我是攻城师（woshigcs）  
本公众号的内容是有关搜索和大数据技术和互联网等方面内容的分享，也是一个温馨的技术互动交流的小家园，有什么问题随时都可以留言，欢迎大家来访！  
  
  
\[/size\]\[/color\]\[/b\]  
\[img\]http://dl2.iteye.com/upload/attachment/0104/9948/3214000f-5633-3c17-a3d7-83ebda9aebff.jpg\[/img\]

发表评论取消回复

表情：

评论列表（有 0 条评论，156人围观）

还没有评论，来说两句吧...

相关阅读

相关 Apache Pig字符串截取实战小例子

记录一个Pig字符串截取的实战小例子：需求如下，从下面的字符串里提取出第2列（冒号后面）的值： Java代码 [ ![复制代码][icon_copy.

青旅半醒/ 2022年08月07日 05:34/ 0 赞/ 89 阅读

相关 Apache Pig的前世今生

最近，散仙用了几周的Pig来处理分析我们网站搜索的日志数据，感觉用起来很不错，今天就写篇笔记介绍下Pig的由来，除了搞大数据的人，可能很少有人知道Pig是干啥的，包括一些是搞编

叁歲伎倆/ 2022年08月06日 08:26/ 0 赞/ 140 阅读

相关 Apache Pig 执行

![017f554168a2444e2556099ff9163703.png_wxfrom_5_wx_lazy_1][] 在上一章中，我们解释了如何安装Apache Pig。

雨点打透心脏的1/2处/ 2022年06月05日 11:22/ 0 赞/ 153 阅读

相关 Apache Pig 安装

![017f554168a2444e2556099ff9163703.png_wxfrom_5_wx_lazy_1][] 本章将介绍如何在系统中下载，安装和设置 Apache

迷南。/ 2022年06月05日 11:21/ 0 赞/ 215 阅读

相关 Apache Pig 概述

![017f554168a2444e2556099ff9163703.png_wxfrom_5_wx_lazy_1][] 什么是Apache Pig？ Apache P

ゞ浴缸里的玫瑰/ 2022年06月05日 11:21/ 0 赞/ 208 阅读

相关 Apache Pig 架构

用于使用Pig分析Hadoop中的数据的语言称为 Pig Latin ，是一种高级数据处理语言，它提供了一组丰富的数据类型和操作符来对数据执行各种操作。要执行特定任务

我会带着你远行/ 2022年06月05日 11:21/ 0 赞/ 188 阅读

相关 C++ 截取字符串比大小

输入一串字符： I study ver hard.C++ language is very interesting.She is a teacher. 以 . 分割比

朴灿烈づ我的快乐病毒、/ 2022年04月16日 06:45/ 0 赞/ 271 阅读

相关 Apache Pig字符串截取实战小例子

\[b\]\[color=olive\]\[size=large\]记录一个Pig字符串截取的实战小例子：需求如下，从下面的字符串里提取出第2列（冒号后面）的值：

ゝ一世哀愁。/ 2022年04月12日 07:30/ 0 赞/ 157 阅读

相关 Apache Pig的前世今生

\[b\]\[color=olive\]\[size=large\]最近，散仙用了几周的Pig来处理分析我们网站搜索的日志数据，感觉用起来很不错，今天就写篇笔记介绍下Pig的由

绝地灬酷狼/ 2022年04月12日 06:55/ 0 赞/ 274 阅读

相关 Apache Pig 教程

<table> <tbody> <tr> <td><a href="http://www.codingdict.com/article/8167" title

川长思鸟来/ 2021年09月22日 19:08/ 0 赞/ 251 阅读