Hive+Spark离线数仓工业项目--ODS层及DWD层构建（1）

快来打我* 2024-03-30 12:14 60阅读 0赞

**目标：**自动化的ODS层与DWD层构建  
**实现**  
\- 掌握Hive以及Spark中建表的语法规则  
\- 实现项目开发环境的构建  
\- 自己要实现所有代码注释  
\- ODS层与DWD层整体运行测试成功

## 数仓分层回顾 ##

**目标**：回顾一站制造项目分层设计

**实施**

![548cdb512fd1423d92d219c0bf011b31.png][]

**ODS层** ：原始数据层

\- 来自于Oracle中数据的采集

\- 数据存储格式：AVRO

\- ODS区分全量和增量

\- 实现

\- 数据已经采集完成

![f60a6de0a60f47fd93fd455c260d7fdd.png][]

\- step1：创建ODS层数据库：one\_make\_ods

\- step2：根据表在HDFS上的数据目录来创建分区表

\- step3：申明分区

**DWD层**

\- 来自于ODS层数据  
\- 数据存储格式：ORC  
\- 不区分全量和增量的  
\- 实现  
\- step1：创建DWD层数据库：one\_make\_dwd  
\- step2：创建DWD层的每一张表  
\- step3：从ODS层抽取每一张表的数据写入DWD层对应的表中

## Hive建表语法 ##

**目标**：掌握Hive建表语法

**实施**

![1138c3aad88844b486573649a33d91d3.png][]

\- EXTERNAL：外部表类型  
\- 内部表、外部表、临时表  
\- PARTITIONED BY：分区表结构  
\- 普通表、分区表、分桶表  
\- CLUSTERED BY：分桶表结构  
\- ROW FORMAT：指定分隔符  
\- 列的分隔符：\\001  
\- 行的分隔符：\\n  
\- STORED AS：指定文件存储类型  
\- ODS：avro  
\- DWD：orc  
\- LOCATION：指定表对应的HDFS上的地址  
\- 默认：/user/hive/warehouse/dbdir/tbdir  
\- TBLPROPERTIES：指定一些表的额外的一些特殊配置属性

## Avro建表语法 ##

\- \*\*目标\*\*：掌握Hive中Avro建表方式及语法

\- \*\*路径\*\*

\- step1：指定文件类型  
\- step2：指定Schema  
\- step3：建表方式

\- \*\*实施\*\*

\- Hive官网：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL\#LanguageManualDDL-CreateTable

\- DataBrics官网：https://docs.databricks.com/spark/2.x/spark-sql/language-manual/create-table.html

\- Avro用法：https://cwiki.apache.org/confluence/display/Hive/AvroSerDe

\- \*\*指定文件类型\*\*

![3d9dbdb6e3884efea7056b35ea044563.png][]

![8077cd0b9545452d95c7a3c654d6517f.png][]

**建表语法**

![4bb7be108fc9406b80e2a95be9a5322d.png][]

## ODS层构建：需求分析 ##

**目标**：掌握ODS层构建的实现需求

**路径**

\- step1：目标  
\- step2：问题  
\- step3：需求  
\- step4：分析

\- \*\*实施\*\*

\- \*\*目标\*\*：将已经采集同步成功的101张表的数据加载到Hive的ODS层数据表中

\- \*\*问题\*\*

\- 难点1：表太多，如何构建每张表？

\- 101张表的数据已经存储在HDFS上

\- 建表

\- 方法1：手动开发每一张表建表语句，手动运行

\- 方法2：通过程序自动化建表

![2ce9c23e5df3453b91855419915447ae.png][]

\- 难点2：如果使用自动建表，如何获取每张表的字段信息？

\- Schema文件：每个Avro格式的数据表都对应一个Schema文件

\- 统一存储在HDFS上

**需求**：加载Sqoop生成的Avro的Schema文件，实现自动化建表

**分析** ![47ea427bc00d402483650c063df0fcce.png][]

\- 读取全量表表名

\- 动态获取表名：循环读取文件

\- 获取表的信息：表的注释

\- Oracle：表的信息  
\- 从Oracle中获取表的注释

![10b3f608abea4231b8f91dd926066109.png][]

\- 方式二：通过列表拼接：复杂

\- 执行建表SQL语句

\- step4：创建ODS层增量表:57张表

\- 读取增量表表名  
  
\- 动态获取表名：循环读取文件  
  
\- 获取表的信息：表的注释  
  
\- Oracle：表的信息  
\- 从Oracle中获取表的注释  
![ca6ca9abb3f04eb0aa1d0032e4c5bdd2.png][]  
  
\- 拼接建表字符串  
  
\- 执行建表SQL语句

## ODS层构建：创建项目环境 ##

**目标**：实现Pycharm中工程结构的构建

**实施**

**安装Python3.7环境**

![8ec49e8ce3f743429b0c98d15a3398c3.png][]

项目使用的Python3.7的环境代码，所以需要在Windows中安装Python3.7，与原先的Python高版本不冲突，正常安装即可

创建Python工程

![f42693c8acee4c8883a4e0298b93389e.png][]

**安装PyHive、Oracle库**

\- step1：在Windows的用户家目录下创建pip.ini文件

\- 例如：\*\*C:\\Users\\Frank\\pip\\pip.ini\*\*

\- 内容：指定pip安装从阿里云下载

![48377e0a01454cc8a12f13b8c820c4a9.png][]

step2：将文件添加到Windows的\*\*Path环境变量\*\*中

![ce15eea15e1c47e49fc134e5e879036c.png][]

step3：进入项目环境目录

\- 例如我的项目路径是：\*\*D:\\PythonProject\\OneMake\_Spark\\venv\\Scripts\*\*

![52d1f1220e3b48d98e60d47266afc478.png][]

将提供的\*\*sasl-0.2.1-cp37-cp37m-win\_amd64.whl\*\*文件放入Scripts目录下

![c4674e5991eb487d93f3e45691284eb1.png][] 在CMD中执行以下命令，切换到Scripts目录下

![5f77ecfe65c749ccad417fedf780a767.png][]

step4：CMD中依次执行以下安装命令

![8b22ad2821d74c3ba6065005e25b5286.png][]

step5：验证安装结果

![373d7145d59c4b5ebc88038fe94eb82c.png][]

温馨提示：其实工作中你也可以通过Pycharm直接安装

[548cdb512fd1423d92d219c0bf011b31.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/538b8053410244f39301102b6b893ab7.png
[f60a6de0a60f47fd93fd455c260d7fdd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/f2d434fb5f6743a7bdba50983c3abf06.png
[1138c3aad88844b486573649a33d91d3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/33b306a9ba4047dc8a29727111351e46.png
[3d9dbdb6e3884efea7056b35ea044563.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/51bc48d6de0b422fb2bc1040327204a6.png
[8077cd0b9545452d95c7a3c654d6517f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/31652be521664f99b95f230fcd4a5e89.png
[4bb7be108fc9406b80e2a95be9a5322d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/987728794a7040d88c9f104d5d0cacef.png
[2ce9c23e5df3453b91855419915447ae.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/2191ff76d6d64b4b85c24a84af4636ff.png
[47ea427bc00d402483650c063df0fcce.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/ac18074c09234fada7e292436cc9ed17.png
[10b3f608abea4231b8f91dd926066109.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/00fe27b590284ae08600a6f31e1287c4.png
[ca6ca9abb3f04eb0aa1d0032e4c5bdd2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/5bd1b5ff951446b292dcd4135df051c4.png
[8ec49e8ce3f743429b0c98d15a3398c3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/42d2af2740c54abababf1268aaea05c5.png
[f42693c8acee4c8883a4e0298b93389e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/bffc26ec72f94ccbbf38fa7e224e291b.png
[48377e0a01454cc8a12f13b8c820c4a9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/db2a66020e354393a4e1049c40508de4.png
[ce15eea15e1c47e49fc134e5e879036c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/711cda4f253443c0b6880bdc18b8c5af.png
[52d1f1220e3b48d98e60d47266afc478.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/df080ccd554d4f1283d53373f5e5b88e.png
[c4674e5991eb487d93f3e45691284eb1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/680b58c45efb4282bcf7eccb50375870.png
[5f77ecfe65c749ccad417fedf780a767.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/aa78846d69624c5c9d4c91ca26b6cec7.png
[8b22ad2821d74c3ba6065005e25b5286.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/d112677418e244b7ab40efdda53966b7.png
[373d7145d59c4b5ebc88038fe94eb82c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/4fed6eb40ccc4b75815813e8ebe1fd11.png