Hive定义、Hive与HBase关系、Hive与RDBMS的关系、数据库与数据仓库的区别

た入场券 2022-08-08 17:52 230阅读 0赞

### 1、Hive定义 ###

Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。

Hive是一个构建在Hadoop上的数据仓库平台，其设计目标是使Hadoop上的数据操作与传统SQL结合，让  
    熟悉SQL编程的开发人员能够轻松向Hadoop平台转移

Hadoop1.x的项目结构除了核心内容MapReduce和HDFS,还包括Common、Avro、  
    Chukwa、Hive、HBase等子项目，它们之间相互提供服务，或在核心层上为更高提供服务

![Center][]

免费的日志分析工具有：Awstats  Webalizer 页面中嵌入js代码  
    日志分析的方式有：Linux Shell脚本、SQL查询、基于Hadoop的日志分析

### 2、Hive与HBase关系 ###

![Center 1][]

Hive是基于Hadoop的一个数据仓库工具，是为简化编写MapReduce程序而生的，Hive十分适合数据仓库的统计分析  
   
HBase是一个分布式的、面向列的开源数据库，它是一个适合于非结构化数据存储的数据库，列式数据库

### 3、Hive与RDBMS的关系    ###

Hive除了用了和数据库相似的查询语言，再无别的相同点

![Center 2][]

### 4、数据库与数据仓库的区别 ###

数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。  
  
所谓的（1） 面向主题：指数据仓库中的数据是按照一定的主题域进行组织。  
  
（2）集成：指对原有分散的数据库数据经过系统加工, 整理得到的消除源数据中的不一致性。  
  
（3）相对稳定：指一旦某个数据进入数据仓库以后只需要定期的加载、刷新。  
  
（4）反映历史变化：指通过这些信息，对企业的发展历程和未来趋势做出定量分析预测。  
  
数据仓库建设是一个工程，是一个过程，而不是一种可以购买的产品。企业数据处理方式是以联机事务处理形式信息，并利用信息进行决策；在信息应用过程中管理信息。  
  
数据仓库的出现，并不是要取代数据库。目前，大部分数据仓库还是用关系数据库管  
  
理系统来管理的。数据仓库与数据库的主要区别在于：  
  
（1）数据库是面向事务的设计，数据仓库是面向主题设计的。  
  
（2）数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。  
  
（3）数据库设计是尽量避免冗余，数据仓库在设计是有意引入冗余。  
  
（4）数据库是为捕获数据而设计，数据仓库是为分析数据而设计。

![Center 3][]

[Center]: /images/20220731/d38c480b5fbd46a4a166f2ffa940bd6e.png
[Center 1]: /images/20220731/a4f9f1d731dc48558ce47169a0d2fc88.png
[Center 2]: /images/20220731/1e41b94d447d47209690c474e2abf566.png
[Center 3]: /images/20220731/b7281b20c09a43158e9e7bfb4c830299.png