如何通俗地理解Hive的工作原理？

小灰灰 2023-10-10 14:19 44阅读 0赞

Hive是基于Hadoop的一个数据仓库工具，主要用来对数据进行抽取、转换、加载操作。HiveQL可以将结构化的数据文件映射为一张数据表，允许熟悉SQL的用户查询数据，也允许熟悉MapReduce的开发者开发自定义的mapper和reducer来处理内建的mapper和 reducer无法完成的复杂的分析工作，相对于Java代码编写的MapReduce来说，Hive的优势更加明显。Hive利用Hadoop的HDFS存储数据，利用Hadoop的MapReduce执行查询。

![4c010db15bd62cc454f57cb5024599b6.png][]

编辑切换为居中

添加图片注释，不超过 140 字（可选）

Hive和Hadoop协作执行任务的工作原理 (1) 用户通过用户接口向Driver提交executeQuery。 (2) Driver向Compiler发送获取计划的请求。 (3) Compiler根据用户提交的executeQuery去MetaStore获取需要的元数据信息。 (4) MetaStore向Compiler发送元数据信息。 (5) Compiler得到元数据信息，并向Driver发送计划。 (6) Driver 向EXECUTION ENGINE提交executePlan。 (7) 用户接口向Driver发起获取结果集(fetchResults)的请求。 (8）Driver向EXECUTION ENGINE发起获取结果集的请求。 (9）EXECUTION ENGINE向Driver发送结果集，Driver获取到结果集后返回用户接口。 [文 / 黑马程序员][Link 1] Python自学必备教程，打包送给你：

*  [Python 入门教程完整版（全 547 集）][Python _ 547]
 *  [Python 深入浅出进阶课程 - 知乎][Python _ -]
 *  [Python 进阶之 MySQL 入门教程][Python _ MySQL]
 *  [2 小时玩转 Python 多线程编程][2 _ Python]
 *  [Python 数据挖掘基础教程 - 知乎][Python _ - 1]
 *  [Python 3 天快速入门机器学习项目 - 知乎][Python 3 _ -]
 *  [7 天入门机器学习（人工智能必学基础课） - 知乎][7 _ -]
 *  [Python 深度学习之神经网络 - 知乎][Python _ - 2]
 *  [Python 爬虫入门：180 分钟轻松获取疫情数据 - 知乎][Python _180 _ -]

零基础学Python篇：

*  [零基础小白学python最重要的是什么？][python]
 *  [为什么有人说python学到后面会很难，难在哪里？][python 1]
 *  [怎么自学python，大概要多久？][python 2]
 *  [新手学习Python还是VBA呢？][Python_VBA]
 *  [如何运行程序hello\_world.py？][hello_world.py]
 *  [关于 Python 的经典入门书籍有哪些？][Python]
 *  [计算机专业学编程和非计算机专业学编程差距在哪儿?][Link 2]
 *  [我自学python，但是学了知识点又忘，总感觉学不好。有什么建议吗？][python 3]

计算机就业、面试篇：

*  [00 后计算机学生的最优解在哪里？][00]
 *  [计算机科学与技术（CS）专业学生该如何系统地自学？][CS]
 *  [计算机专业学编程和非计算机专业学编程差距在哪儿?][Link 3]
 *  [作为一个应届毕业生在面试的时候如何自我介绍？][Link 4]
 *  [程序员简历应该怎么写？][Link 5]
 *  [计算机专业的学生需要每天刷题吗？][Link 6]
 *  [计算机专业如何自己增加项目经验？][Link 7]

[4c010db15bd62cc454f57cb5024599b6.png]: https://img-blog.csdnimg.cn/img_convert/4c010db15bd62cc454f57cb5024599b6.png
[Link 1]: http://link.zhihu.com/?target=http%3A//python.itheima.com/news/20220602/183223.html%3Fpythonzly
[Python _ 547]: https://www.zhihu.com/education/video-course/1483111485588742145
[Python _ -]: https://www.zhihu.com/education/video-course/1483114387217539072
[Python _ MySQL]: https://www.zhihu.com/education/video-course/1483114387146166272
[2 _ Python]: https://www.zhihu.com/education/video-course/1483114387003551744
[Python _ - 1]: https://www.zhihu.com/education/video-course/1483114387342368768
[Python 3 _ -]: https://www.zhihu.com/education/video-course/1483116049436971009
[7 _ -]: https://www.zhihu.com/education/video-course/1483114387406319617
[Python _ - 2]: https://www.zhihu.com/education/video-course/1483114387472388096
[Python _180 _ -]: https://www.zhihu.com/education/video-course/1483114387272052736
[python]: https://www.zhihu.com/question/521161266/answer/2480197525
[python 1]: https://www.zhihu.com/question/525237466/answer/2480787705
[python 2]: https://www.zhihu.com/question/300985609/answer/2477305749
[Python_VBA]: https://www.zhihu.com/question/377698309/answer/2479259340
[hello_world.py]: https://www.zhihu.com/question/481243703/answer/2493882059
[Python]: https://www.zhihu.com/question/19593179/answer/2489212467
[Link 2]: https://www.zhihu.com/question/531998515
[python 3]: https://www.zhihu.com/question/535059281/answer/2509647993
[00]: https://www.zhihu.com/question/509588859/answer/2463241893
[CS]: https://www.zhihu.com/question/37321190/answer/2402991662
[Link 3]: https://www.zhihu.com/question/531998515/answer/2481781445
[Link 4]: https://www.zhihu.com/question/287817240/answer/2448309502
[Link 5]: https://www.zhihu.com/question/25002833/answer/2374099257
[Link 6]: https://www.zhihu.com/question/399753856/answer/2395279817
[Link 7]: https://www.zhihu.com/question/23392689/answer/2512135327