pig基本语法——filter distinct foreach

- 日理万妓 2022-05-12 09:24 198阅读 0赞

1、主要参考：

[https://book.itxueyuan.com/3b7D/9PxP][https_book.itxueyuan.com_3b7D_9PxP]

filter主要用户过滤数据，根据条件查询

基础数据:

==============================================

\[root@cdh1 data\]\# cat demodata

xiaoxiao,12,12.1f

aaa,13,1.1f

kjkj,12,12.1f

ddf,19,12.8f

youyou,89,12.3f

==============================================

grunt> A = load '/root/xytest/pig/data/demodata' using PigStorage(',') as (name:chararray,age:int,gpa:float);

grunt> B = filter A by age > 16;

grunt> dump B;

输出结果：

(ddf,19,12.8)

(youyou,89,12.3)

==============================================

主要参考：

[https://book.itxueyuan.com/3b7D/gJEW][https_book.itxueyuan.com_3b7D_gJEW]

distinct主要用于排重

==============================================

数据如下：

aa

bb

aa

bb

cc

==============================================

grunt> A = load '/root/xytest/pig/data/demodata3' using PigStorage();

grunt> B = distinct A;

grunt> dump B;

输出结果如下：

(aa)

(bb)

(cc)

==============================================

主要参考：

[https://book.itxueyuan.com/3b7D/bDZv][https_book.itxueyuan.com_3b7D_bDZv]

foreach主要用户获取指定的数据集

==============================================

\[root@cdh1 data\]\# cat demodata

xiaoxiao,12,12.1f

aaa,13,1.1f

kjkj,12,12.1f

ddf,19,12.8f

youyou,89,12.3f

==============================================

grunt> A = load '/root/xytest/pig/data/demodata' using PigStorage(',') as (name:chararray,age:int,gpa:float);

grunt> B = foreach A generate name,gpa;

grunt> dump B;

运行结果：

(xiaoxiao,12.1)

(aaa,1.1)

(kjkj,12.1)

(ddf,12.8)

(youyou,12.3)

[https_book.itxueyuan.com_3b7D_9PxP]: https://book.itxueyuan.com/3b7D/9PxP
[https_book.itxueyuan.com_3b7D_gJEW]: https://book.itxueyuan.com/3b7D/gJEW
[https_book.itxueyuan.com_3b7D_bDZv]: https://book.itxueyuan.com/3b7D/bDZv

发表评论取消回复

表情：

评论列表（有 0 条评论，198人围观）

还没有评论，来说两句吧...

相关阅读

相关 Pig基本语法

Pig Latin是一种数据流语言，变量的命名规则同java中变量的命名规则，变量名可以复用（不建议这样做，这种情况下相当与新建一个变量，同时删除原来的变量） A =

短命女/ 2022年08月07日 10:54/ 0 赞/ 173 阅读

相关 foreach语法

// arraytest.cpp : 定义控制台应用程序的入口点。 // include "stdafx.h" include <i

╰半夏微凉°/ 2022年05月14日 09:18/ 0 赞/ 191 阅读

相关 pig基本语法——order by limit

主要参考： [https://book.itxueyuan.com/3b7D/XDBe][https_book.itxueyuan.com_3b7D_XDBe] 基础

本是古典何须时尚/ 2022年05月12日 09:24/ 0 赞/ 214 阅读

相关 pig基本语法——filter distinct foreach

1、主要参考： [https://book.itxueyuan.com/3b7D/9PxP][https_book.itxueyuan.com_3b7D_9PxP]

- 日理万妓/ 2022年05月12日 09:24/ 0 赞/ 199 阅读

相关 pig基本语法——cross

主要参考： [https://book.itxueyuan.com/3b7D/w5wQ][https_book.itxueyuan.com_3b7D_w5wQ] 1、

ゞ浴缸里的玫瑰/ 2022年05月12日 09:24/ 0 赞/ 385 阅读

相关 pig基本语法——union和split

union用于连接结构相同的表，split可以根据条件拆分表。 1、基础数据： ==============================================

浅浅的花香味﹌/ 2022年05月12日 09:24/ 0 赞/ 211 阅读

相关 pig基本语法——join

主要参考： [https://book.itxueyuan.com/3b7D/PDLO][https_book.itxueyuan.com_3b7D_PDLO] 1、基础数

浅浅的花香味﹌/ 2022年05月12日 09:22/ 0 赞/ 176 阅读

相关 pig基本语法——输入输出存储查看结构

参考官网地址： [http://pig.apache.org/docs/r0.17.0/basic.html][http_pig.apache.org_docs_r0.17.

小鱼儿/ 2022年05月12日 09:22/ 0 赞/ 191 阅读

相关 pig基本语法——group cogroup

主要参考： [https://book.itxueyuan.com/3b7D/open][https_book.itxueyuan.com_3b7D_open] [http

偏执的太偏执、/ 2022年05月12日 09:22/ 0 赞/ 212 阅读

相关 Pig基本原理

Pig基本原理 Pig是一款数据装载、处理、存储的工具。我们可以使用pig将数据装载到内存中成为一个关系，然后再通过PigLatin语言对数据进行操作，最后再将数据转换的

迷南。/ 2022年04月08日 11:52/ 0 赞/ 430 阅读