数据仓库到底是干什么的

水深无声 2024-04-18 17:08 91阅读 0赞

![640?wx\_fmt=png][640_wx_fmt_png]

**One.何为数据仓库**

![640?wx\_fmt=png][640_wx_fmt_png]

答： **数据仓库** 是一个可以存储海量数据的数据库，目的是专门应用于数据分析进行决策的数据仓库的输入数据源是各种格式的。 那么从数据仓库处理后的数据可用于 数据挖掘 ， 数据分析 .

![640?wx\_fmt=png][640_wx_fmt_png]

**Two.数据仓库的特点**

![640?wx\_fmt=png][640_wx_fmt_png]

第一点 ： 数据仓库的存储是面向主题的，这也是数据仓库可以存储各种不同行业的不同数据源的原因，你可以选择餐饮业的订单信息，也可以选择存储某App用户行为数据.你可以按照主题存储完全不相关的各行业数据。

第二点 :数据存储的都是海量历史数据，所以数据只支持查询和增加，不支持修改，毕竟数据仓库的作用是做 数据分析

第三点 ： 虽然数据源的格式 各种各样 ，但是处理过后输出的数据的格式是要进行统一处理的（理想格式）

![640?wx\_fmt=png][640_wx_fmt_png]

**Three:数据仓库与数据清洗的关系**

![640?wx\_fmt=png][640_wx_fmt_png]

刚才也说到了数据仓库的数据源是 多种多样 的，比如有 文本格式 （TXT）， Excel表格式 ，各个数据里面的数据等.

所以为了保证存储在数据仓库中的数据是理想格式，所以我们就要对各种各样的数据源进行数据处理也就是 数据清洗 ，数据清洗主要分为三个步骤：

a. 数据抽取 :读取数据源

b. 数据转换 :把读取过来的各种格式的数据源转换成理想格式以及数据处理

c. 数 据加载: 就是将处理后的数据加载到数据仓库里或者其他位置

![640?wx\_fmt=png][640_wx_fmt_png]

**Four:大数据中常用的数据仓库**

![640?wx\_fmt=png][640_wx_fmt_png]

hive: 蜂巢 。

hive是基于 Hadoop hdfs 之上的数据仓库组件， 它的作用就是可以对存储在hdfs之上的海量数据进行数据分析和数据查询的处理.

![640?wx\_fmt=png][640_wx_fmt_png]

**Five.hive的特点:**

![640?wx\_fmt=png][640_wx_fmt_png]

a.类sql语句，也叫做hql,使用简单，会mysql数据库就可以使用。

b.hive编译器会将sql语句编译成mr任务运行，所以不需要我们人员去写，学习成本降低

c.hive适合处理 海量数据 ，但是尴尬的是hive对于 处理少量数据也并没有优势离线处理，处理时间较长。

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg]

[640_wx_fmt_png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/941b1649d7bb4df7b4a3686f58663781.png
[640_wx_fmt_jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/106f2466241b48ed9e0e23545e6f5bab.png

发表评论取消回复

表情：

评论列表（有 0 条评论，91人围观）

还没有评论，来说两句吧...

相关阅读

相关数据仓库到底是干什么的

[640?wx\_fmt=png][640_wx_fmt_png] **One.何为数据仓库** ![640?wx\_fmt=png][640_wx_fmt_png]...

水深无声/ 2024年04月18日 17:08/ 0 赞/ 92 阅读

相关 modCount到底是干什么的呢

原文链接:https://blog.csdn.net/u012926924/article/details/50452411 modCount到底是干什么的呢在Arr

悠悠/ 2024年02月19日 16:45/ 0 赞/ 55 阅读

相关到底什么是反射？反射究竟能用来干什么？

反射，顾名思义，它是一种逆向的操作。就好像人在照镜子的时候，正是由于光的反射，才能看到镜子中的自己。而在Java中，反射功能就好比是一面镜子，通过它，我们可以在程序运行过程中看

ゝ一世哀愁。/ 2023年09月27日 18:37/ 0 赞/ 145 阅读

相关 Spring系列第九讲 depend-on到底是干什么的？

Spring系列第九讲无依赖bean创建和销毁的顺序通过构造器强依赖bean创建和销毁顺序通过depend-on干预bean创建和销毁顺序

超、凢脫俗/ 2022年12月15日 12:52/ 0 赞/ 154 阅读

相关构造函数到底是干什么的？

“构造函数到底是干什么的？”，构造函数是初始化已创建好的对象中成员变量的，而不是创建对象的，不是，绝对不是，构造函数只是进一步为已创建的对象属性赋值对，使之更像

﹏ヽ暗。殇╰゛Y/ 2022年07月14日 05:44/ 0 赞/ 276 阅读

相关 Netty是干什么的?

Netty是什么？ 1）本质：JBoss做的一个Jar包 2）目的：快速开发高性能、高可靠性的网络服务器和客户端程序 3）优点：提供异步的、事件驱动的网络应用程序框架和工

素颜马尾好姑娘i/ 2022年06月10日 07:53/ 0 赞/ 264 阅读

相关编译器是干什么的？

编译器完成高级语言到汇编程序的解析，它的工作过程划分为前端和后端，前端对源程序进行分析，把源程序切分成一些基本块并生成中间语言表示，后端在分析正确无误之后，把中间语言表示转化为

落日映苍穹つ/ 2022年05月24日 04:19/ 0 赞/ 246 阅读

相关 XML到底是干什么的

定义 XML本身是一种格式规范，是一种包含了数据以及数据说明的文本格式规范。抛砖比如，我们要给对方传输一段数据，数据内容是“too young,too sim

Dear 丶/ 2022年04月24日 03:32/ 0 赞/ 295 阅读

相关 Hadoop+数据仓库到底是梦幻组合还是命中的宿敌？

[![wKiom1lVrrPDRsjGAAN9rTNN5zk784.jpg-wh_651x-s_2712887640.jpg][]][wKiom1lVrrPDRsjG

小灰灰/ 2022年01月30日 10:25/ 0 赞/ 183 阅读

相关 vuex是干什么的？

1、vuex是干什么的？学习任何东西，必然绕不过去的一个话题，就是我们为什么要使用它，它解决了什么问题？ vuex是基于vue框架的一个状态管理库。可以管理复杂应用的数

悠悠/ 2021年09月17日 01:52/ 0 赞/ 506 阅读