hive设置参数进行性能优化

客官°小女子只卖身不卖艺 2023-06-05 12:37 11阅读 0赞

set hive.merge.mapredfiles=true;  
set hive.merge.mapfiles=true;  
set mapred.max.split.size=5073741824;  
set dfs.block.size=1073741824;  
set mapreduce.map.memory.mb=8196;  
set mapreduce.reduce.memory.mb=8196;

set hive.exec.compress.intermediate=true;  
set hive.intermediate.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;

set hive.exec.parallel=true;  
set hive.exec.parallel.thread.number=8;

\--压缩设置  
set mapred.compress.map.output = true;  
set mapred.output.compress = true;  
set hive.exec.compress.output = true;  
\--输出设置  
set hive.merge.mapfiles = true;  
set hive.merge.mapredfiles = true;  
set hive.merge.size.per.task = 256000000;  
set hive.merge.smallfiles.avgsize = 128000000;  
\--输入设置  
set hive.input.format = org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;  
set mapred.min.split.size = 256000000;  
set mapred.min.split.size.per.node = 256000000;  
set mapred.min.split.size.per.rack = 256000000;  
set hive.exec.reducers.bytes.per.reducer = 256000000;

转载于:https://www.cnblogs.com/lidapengwww/p/11463604.html

发表评论取消回复

表情：

评论列表（有 0 条评论，11人围观）

还没有评论，来说两句吧...

相关阅读

相关 hive设置参数进行性能优化

set hive.merge.mapredfiles=true; set hive.merge.mapfiles=true; set mapred.max.split.

客官°小女子只卖身不卖艺/ 2023年06月05日 12:37/ 0 赞/ 12 阅读

相关全面总结Hive性能优化（一）

对于hive来说，相信大家都明白， Hive是基于Hadoop的一个数据仓库工具；它是MapReduce的一个封装，底层就是MapReduce程序； Hive可以将结构

朱雀/ 2023年02月27日 12:23/ 0 赞/ 11 阅读

相关 Hive之MapReduce性能优化

Hive优化一、Hive任务创建文件数优化 1.1 Map端文件合并减少Map任务数量一般来说，HDFS的默认文件块大小是128M，如果在Hive执行任务

爱被打了一巴掌/ 2022年12月08日 15:49/ 0 赞/ 312 阅读

相关 hive 参数优化

运行速度快的参数设置 SET hive.exec.dynamic.partition = true; SET hive.exec.dynamic.partition.mo

曾经终败给现在/ 2022年10月07日 14:57/ 0 赞/ 46 阅读

相关【性能优化】Hive优化

1.概述　　继续《[那些年使用Hive踩过的坑][Hive]》一文中的剩余部分，本篇博客赘述了在工作中总结[Hive][Hive 1]的常用优化手段和在工作中使用Hiv

川长思鸟来/ 2022年06月18日 05:14/ 0 赞/ 417 阅读

相关 Tomcat性能参数设置

https://blog.csdn.net/chinadeng/article/details/6591542 [Tomcat性能参数设置][Tomcat] 2010

太过爱你忘了你带给我的痛/ 2022年05月20日 00:00/ 0 赞/ 182 阅读

相关 Hive性能优化（全面）

Hive性能优化（全面）原文地址：[https://blog.csdn.net/qq\_36421826/article/details/82112373\com

古城微笑少年丶/ 2022年04月22日 04:10/ 0 赞/ 312 阅读

相关 Tomcat 性能参数设置

[https://www.cnblogs.com/shoufeng/p/9628798.html][https_www.cnblogs.com_shoufeng_p_96287

女爷i/ 2022年03月20日 03:47/ 0 赞/ 234 阅读

相关 Hive性能优化秘籍

1. Fetch抓取 Fetch 抓取是指，Hive 中对某些情况的查询可以不必使用 MapReduce 计算。例如：SELECT \ FROM employees; 在

- 日理万妓/ 2022年01月31日 05:25/ 0 赞/ 314 阅读

相关 tomcat 性能参数优化

tomcat 性能参数优化以下参数存在文件：apache-tomcat-7.0.54/conf/server.xml （1）、maxHttpHeaderSize=”8...

朱雀/ 2020年11月17日 10:53/ 0 赞/ 998 阅读