Hive笔记之Fetch Task Hive何时不启用Mapreduce

桃扇骨 2021-09-24 15:22 244阅读 0赞

set hive.fetch.task.conversion;

\-- more

set hive.fetch.task.conversion.threshold ;  
\-- 1073741824   1GB

set  hive.fetch.task.aggr;  
\-- false

Hive2.0.0版本

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwMDIxODQ_size_16_color_FFFFFF_t_70][]

以下转自：[https://www.cnblogs.com/cc11001100/p/9434076.html][https_www.cnblogs.com_cc11001100_p_9434076.html]

在使用Hive的时候，有时候只是想取表中某个分区的前几条的记录看下数据格式，比如一个很常用的查询：

<table> 
 <tbody> 
 <tr> 
 <td> 1 </td> 
 <td> <code>select</code> <code>*&nbsp;</code><code>from</code> <code>foo&nbsp;</code><code>where</code> <code>partition_column=bar limit 10;</code> </td> 
 </tr> 
 </tbody> 
</table>

这种对数据基本没什么要求，随便来点就行，既然如此为什么不直接读取本地存储的数据作为结果集呢。

Hive命令都要转换为MapReduce任务去执行，但是因为启动MapReduce需要消耗资源，然后速度还很慢（相比较于直接从本地文件中读取而言），所以Hive对于查询做了优化，对于某些查询可以不启动MapReduce任务的就尽量不去启动MapReduce任务，而是直接从本地文件读取。

个人理解： fetch task = 不启动MapReduce，直接读取本地文件输出结果。

在hive-site.xml中有三个fetch task相关的值：

hive.fetch.task.conversion

hive.fetch.task.conversion.threshold

hive.fetch.task.aggr

## hive.fetch.task.conversion ##

这个属性有三个可选的值：

none：关闭fetch task优化

minimal：只在select \*、使用分区列过滤、带有limit的语句上进行优化

more：在minimal的基础上更加强大了，select不仅仅可以是\*，还可以单独选择几列，并且filter也不再局限于分区字段，同时支持虚拟列（别名）

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 </td> 
 <td> <code>&lt;</code><code>property</code><code>&gt;</code> <code>&nbsp;&nbsp;</code><code>&lt;</code><code>name</code><code>&gt;hive.fetch.task.conversion&lt;/</code><code>name</code><code>&gt;</code> <code>&nbsp;&nbsp;</code><code>&lt;</code><code>value</code><code>&gt;more&lt;/</code><code>value</code><code>&gt;</code> <code>&nbsp;&nbsp;</code><code>&lt;</code><code>description</code><code>&gt;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>Expects one of [none, minimal, more].</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>Some select queries can be converted to single FETCH task minimizing latency.</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>Currently the query should be single sourced not having any subquery and should not have</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>any aggregations or distincts (which incurs RS), lateral views and joins.</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>0. none : disable hive.fetch.task.conversion</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>1. minimal : SELECT STAR, FILTER on partition columns, LIMIT only</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>2. more&nbsp;&nbsp;&nbsp; : SELECT, FILTER, LIMIT only (support TABLESAMPLE and virtual columns)</code> <code>&nbsp;&nbsp;</code><code>&lt;/</code><code>description</code><code>&gt;</code> <code>&lt;/</code><code>property</code><code>&gt;</code> </td> 
 </tr> 
 </tbody> 
</table>

对于查询所有列的情况，会使用fetch task：

![image][]

如果是查询部分列呢？

![image][image 1]

为什么查询部分列也使用了Fetch Task？查看一下当前的set hive.fetch.task.conversion的值：

![image][image 2]

尝试将hive.fetch.task.conversion设置为none，再查询：

![image][image 3]

启动了MapReduce任务。

## hive.fetch.task.conversion.threshold ##

在输入大小为多少以内的时候fetch task生效，默认1073741824 byte = 1G。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 </td> 
 <td> <code>&lt;</code><code>property</code><code>&gt;</code> <code>&nbsp;&nbsp;</code><code>&lt;</code><code>name</code><code>&gt;hive.fetch.task.conversion.threshold&lt;/</code><code>name</code><code>&gt;</code> <code>&nbsp;&nbsp;</code><code>&lt;</code><code>value</code><code>&gt;1073741824&lt;/</code><code>value</code><code>&gt;</code> <code>&nbsp;&nbsp;</code><code>&lt;</code><code>description</code><code>&gt;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>Input threshold for applying hive.fetch.task.conversion. If target table is native, input length</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>is calculated by summation of file lengths. If it's not native, storage handler for the table</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>can optionally implement org.apache.hadoop.hive.ql.metadata.InputEstimator interface.</code> <code>&nbsp;&nbsp;</code><code>&lt;/</code><code>description</code><code>&gt;</code> <code>&lt;/</code><code>property</code><code>&gt;</code> </td> 
 </tr> 
 </tbody> 
</table>

## hive.fetch.task.aggr ##

对于没有group by的聚合查询，比如select count(\*) from src，这种最终都会在一个reduce中执行，像这种查询，可以把这个置为true将将其转换为fetch task，这可能会节约一些时间。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 </td> 
 <td> <code>&lt;</code><code>property</code><code>&gt;</code> <code>&nbsp;&nbsp;</code><code>&lt;</code><code>name</code><code>&gt;hive.fetch.task.aggr&lt;/</code><code>name</code><code>&gt;</code> <code>&nbsp;&nbsp;</code><code>&lt;</code><code>value</code><code>&gt;false&lt;/</code><code>value</code><code>&gt;</code> <code>&nbsp;&nbsp;</code><code>&lt;</code><code>description</code><code>&gt;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>Aggregation queries with no group-by clause (for example, select count(*) from src) execute</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>final aggregations in single reduce task. If this is set true, Hive delegates final aggregation</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>stage to fetch task, possibly decreasing the query time.</code> <code>&nbsp;&nbsp;</code><code>&lt;/</code><code>description</code><code>&gt;</code> <code>&lt;/</code><code>property</code><code>&gt;</code> </td> 
 </tr> 
 </tbody> 
</table>

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwMDIxODQ_size_16_color_FFFFFF_t_70]: /images/20210923/8d10e933ed844b06b9c9ae35c04c153a.png
[https_www.cnblogs.com_cc11001100_p_9434076.html]: https://www.cnblogs.com/cc11001100/p/9434076.html
[image]: /images/20210923/90842c7b614b490c9b25261f15b14d00.png
[image 1]: /images/20210923/3e47ecd48fd342478eca6b1444a7caaf.png
[image 2]: /images/20210923/0b80c4c8b6a448f2b100de44e9316a0d.png
[image 3]: /images/20210923/f16f3c0bbd5a47e9bbad6c5446ee3758.png