大数据离线阶段05：数据仓库，Hive

ゝ一纸荒年。 2023-10-15 09:32 151阅读 0赞

### **HDFS写数据流程** ###

#### **数据仓库的基本概念** ####

数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建**面向分析**的集成化数据环境，为企业提供**决策支持**（Decision Support）。它出于分析性报告和决策支持目的而创建。

数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。

![927022cbd9f264ed79841f8f5ab29209.png][]

#### 数据仓库的主要特征 ####

数据仓库是**面向主题**的（Subject-Oriented ）、**集成**的（Integrated）、**非易失**的（Non-Volatile）和**时变**的（Time-Variant ）数据集合，用以支持管理决策 。

#### 面向主题 ####

传统数据库中，最大的特点是面向应用进行数据的组织，各个业务系统可能是相互分离的。而数据仓库则是面向主题的。主题是一个抽象的概念，是较高层次上企业信息系统中的数据综合、归类并进行分析利用的抽象。在逻辑意义上，它是对应企业中某一宏观分析领域所涉及的分析对象。

![04112e6cc154abc7b987dbddcca7654d.png][]

#### 集成性 ####

通过对分散、独立、异构的数据库数据进行抽取、清理、转换和汇总便得到了数据仓库的数据，这样保证了数据仓库内的数据关于整个企业的一致性。

数据仓库中的综合数据不能从原有的数据库系统直接得到。因此在数据进入数据仓库之前，必然要经过统一与综合，这一步是数据仓库建设中最关键、最复杂的一步，所要完成的工作有：

（1）要统一源数据中所有矛盾之处，如字段的同名异义、异名同义、单位不统一、字长不一致，等等。

（2）进行数据综合和计算。数据仓库中的数据综合工作可以在从原有数据库抽取数据时生成，但许多是在数据仓库内部生成的，即进入数据仓库以后进行综合生成的。

![26ac160f25ad7efe47c16d50a0c15bb8.png][]

--------------------

#### 非易失性（不可更新性） ####

操作型数据库主要服务于日常的业务操作，使得数据库需要不断地对数据实时更新，以便迅速获得当前最新数据，不至于影响正常的业务运作。在数据仓库中只要保存过去的业务数据，不需要每一笔业务都实时更新数据仓库，而是根据商业需要每隔一段时间把一批较新的数据导入数据仓库。

#### 时变性 ####

数据仓库包含各种粒度的历史数据。数据仓库中的数据可能与某个特定日期、星期、月份、季度或者年份有关。数据仓库的目的是通过分析企业过去一段时间业务的经营状况，挖掘其中隐藏的模式。虽然数据仓库的用户不能修改数据，但并不是说数据仓库的数据是永远不变的。分析的结果只能反映过去的情况，当业务变化后，挖掘出的模式会失去时效性。因此数据仓库的数据需要更新，以适应决策的需要。从这个角度讲，数据仓库建设是一个项目，更是一个过程 。

#### 数据仓库与数据库区别 ####

数据库与数据仓库的区别实际讲的是OLTP与OLAP的区别。

![959b28a0be913b709762e167a099bf74.png][]

操作型处理，叫联机事务处理OLTP（On-Line **Transaction** Processing，），也可以称面向交易的处理系统，它是针对具体业务在数据库联机的日常操作，通常对少数记录进行查询、修改。用户较为关心操作的响应时间、数据的安全性、完整性和并发支持的用户数等问题。传统的数据库系统作为数据管理的主要手段，主要用于操作型处理。

分析型处理，叫联机分析处理OLAP（On-Line **Analytical** Processing）一般针对某些主题的历史数据进行分析，支持管理决策。

### **Hive 简介** ###

#### **什么是Hive** ####

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件**映射**为一张数据库表，并提供类SQL查询功能。

本质是将**SQL转换为MapReduce**程序。

主要用途：用来做离线数据分析，比直接用MapReduce开发效率更高。

![format_png][]

#### **为什么使用Hive** ####

直接使用Hadoop MapReduce处理数据所面临的问题：

人员学习成本太高

MapReduce实现复杂查询逻辑开发难度太大

使用Hive ：

操作接口采用类SQL语法，提供快速开发的能力

避免了去写MapReduce，减少开发人员的学习成本

功能扩展很方便

#### **Hive 架构** ####

#### Hive架构图 ####

![a9e12281f689c432336870ebf5564a1a.png][]

#### **Hive组件** ####

**用户接口**：包括 CLI、JDBC/ODBC、WebGUI。其中，CLI(command line interface)为shell命令行；JDBC/ODBC是Hive的JAVA实现，与传统数据库JDBC类似；WebGUI是通过浏览器访问Hive。

**元数据存储**：通常是存储在关系数据库如 mysql/derby中。Hive 将元数据存储在数据库中。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。

**解释器、编译器、优化器、执行器**:完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中，并在随后有 MapReduce 调用执行。

#### **Hive与Hadoop的关系** ####

**Hive利用HDFS存储数据，利用MapReduce查询分析数据。**

#### Hive与传统数据库对比 ####

hive用于海量数据的离线数据分析。

hive具有sql数据库的外表，但应用场景完全不同，hive只适合用来做批量数据统计分析。

更直观的对比请看下面这幅图：

![5c08e8c0b245031521786eda4b17c0c6.png][]

[927022cbd9f264ed79841f8f5ab29209.png]: https://img-blog.csdnimg.cn/img_convert/927022cbd9f264ed79841f8f5ab29209.png
[04112e6cc154abc7b987dbddcca7654d.png]: https://img-blog.csdnimg.cn/img_convert/04112e6cc154abc7b987dbddcca7654d.png
[26ac160f25ad7efe47c16d50a0c15bb8.png]: https://img-blog.csdnimg.cn/img_convert/26ac160f25ad7efe47c16d50a0c15bb8.png
[959b28a0be913b709762e167a099bf74.png]: https://img-blog.csdnimg.cn/img_convert/959b28a0be913b709762e167a099bf74.png
[format_png]: https://img-blog.csdnimg.cn/img_convert/e6b2f4b1f35b483c839da80ff6159dae.webp?x-oss-process=image/format,png
[a9e12281f689c432336870ebf5564a1a.png]: https://img-blog.csdnimg.cn/img_convert/a9e12281f689c432336870ebf5564a1a.png
[5c08e8c0b245031521786eda4b17c0c6.png]: https://img-blog.csdnimg.cn/img_convert/5c08e8c0b245031521786eda4b17c0c6.png