Pig0.15集成Tez，让猪飞起来

灰太狼 2022-04-12 09:58 214阅读 0赞

1，Tez是什么？  
  
Tez是Hortonworks公司开源的一种新型基于DAG有向无环图开源计算框架，它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能，看下面一张图，就能说明问题：  
  
  
\[img\]http://dl2.iteye.com/upload/attachment/0109/8291/deecec28-5948-3b2f-aaf7-b3218de9153d.jpg\[/img\]  
  
2，Tez能干什么？  
  
上图已经说明问题了，如果将我们的Hive，或者Pig运行在Tez之上，那么速度会有几倍的提升，当然这仅仅是相对MapReduce来讲的，因为Spark这种分布式内存计算框架才是未来的的主流，所以让大家熟悉了解一下这个东西也并无坏处。  
  
当我们的程序有很多复杂的操作时，例如，过滤，分组，排序，合并，聚合等，传统的MR是会每一个阶段都会落地操作的，当然开发者当初这么设计，也并不是没有道理的，只不过随着时代进步，人们追求更高，更快的性能或速度时，这个落地操作，拖了整体处理的性能，Tez能够合并多个阶段的过程，直接无须落地，就能进行下一阶段的任务处理，这是提速的一种不错的方法，当然spark直接利用内存做迭代运算，速度更是快的没法说，当然前提是你有足够大的内存，如果你没有那么大的内存，性能其实与普通MR是差不多的。  
  
  
3，下面进入正题，看看如何使Pig运行在Tez之上。  
Pig最新的版本，Pig0.15已经支持Pig On Tez的模式运行，使用方法，也非常简单  
  
不需要你下载Tez的源码，然后编译大半天，最后还有可能失败，因为Pig直接内置了Tez的处理jar包  
  
（1）在装好的Hadoop的etc/hadoop/下面  
直接新建一个 vi tez-site.xml

（2）在hdfs上新建一个/user/tez目录  
  
（3）拷贝/ROOT/server/pig/lib/h2下，以tez开头的所有的jar包上传到/user/tez下面  
  
\[img\]http://dl2.iteye.com/upload/attachment/0109/8293/3f23091d-ecea-3f2a-a59a-2729045dac04.png\[/img\]  
除此之外，还需要guice3.0所有的jar包  
以及：commons-collections4-4.0.jar包  
至此，所有的jar包已经齐全  
  
\[img\]http://dl2.iteye.com/upload/attachment/0109/8295/8514d602-2178-3199-9ecc-db86b7e5926f.png\[/img\]  
（4）Tez vs MapReduce  
  
同样一个pig脚本，分别运行两种任务模式  
  
pig t.pig MapReduce模式  
pig -x tez t.pig Tez模式  
  
MapReduce的截图如下：  
  
\[img\]http://dl2.iteye.com/upload/attachment/0109/8297/de217335-6cc8-3420-9712-4ccf55989769.png\[/img\]  
Tez任务耗时截图：  
  
\[img\]http://dl2.iteye.com/upload/attachment/0109/8299/24fcf1bf-ea38-3f33-86cf-0ce72d48222b.png\[/img\]  
可以看出Tez下，任务执行的非常之迅速，堪比Spark的速度了，  
  
最后再记录一个问题：  
  
\[img\]http://dl2.iteye.com/upload/attachment/0109/8301/2fe9245b-7b0c-3dff-8168-562488e215dd.png\[/img\]  
  
由于我的  
dfs.datanode.max.xcievers打开的文件数，设置的太大了（65535），导致上述的异常发生，这个  
属性的含义是：  
相当于linux下的打开文件最大数量，文档中无此参数，当出现DataXceiver报错的时候，需要调大。默认256  
当修改为2048后，重启启动集群再次，跑Tez作业时，没有上述的异常发生了  
  
\[img\]http://dl2.iteye.com/upload/attachment/0109/8303/07dc8716-29ee-3201-ab37-55d29768ef0e.png\[/img\]  
  
\[b\]\[color=olive\]\[size=large\]  
最后欢迎大家扫码关注微信公众号：我是攻城师(woshigcs)，我们一起学习，进步和交流!（woshigcs）  
本公众号的内容是有关搜索和大数据技术和互联网等方面内容的分享，也是一个温馨的技术互动交流的小家园，有什么问题随时都可以留言，欢迎大家来访！  
\[/size\]\[/color\]\[/b\]  
\[img\]http://dl2.iteye.com/upload/attachment/0104/9948/3214000f-5633-3c17-a3d7-83ebda9aebff.jpg\[/img\]