Hive+Spark离线数仓工业项目实战--项目介绍及环境构建（2）

ゝ一纸荒年。 2024-03-30 11:37 35阅读 0赞

## **Docker的介绍** ##

**了解Docker的基本功能和设计**

\- 为什么要用Docker？  
\- 什么是Docker？

**路径**  
\- step1：生产环境的问题  
\- step2：容器的概念  
\- step3：Docker的设计  
  
**实施**  
生产环境的问题

\- 运维层面：一台机器上的应用太多，不同的环境，安装过程也不一样，管理麻烦，怎么办？  
\- 开发层面：不同程序的运行受到环境、资源等因素的干扰，不同的环境，开发的方式也不一样，怎么办？

**容器的概念**

\- 硬件容器：将一个硬件虚拟为多个硬件，上层共用硬件  
\- VMware WorkStation  
\- 应用容器：将一个操作系统虚拟为多个操作系统，不同操作系统之间互相隔离  
  
**Docker**  
  
\-Docker的设计  
![5c22f3b3ed4e4797a253c03ceff4a51b.png][]  
  
  
**定义：**Docker是一个开源的应用容器引擎，使用GO语言开发，基于Linux内核的cgroup，namespace，Union FS等技术，对应用程序进行封装隔离，并且独立于宿主机与其他进程，这种运行时封装的状态称为容器。  
  
**目标**  
  
\- 提供简单的应用程序打包工具  
\- 开发人员和运维人员职责逻辑分离  
  
\- 多环境保持一致性,消除了环境差异  
  
\- \*\*功能\*\*：“Build，Ship and Run Any App，Anywhere”  
  
\- 通过对应用组件的封装，分发，部署，运行等生命周期的管理，达到应用组件级别的一次封装，多次分发，到处部署  
  
**架构**  
  
![04f9dc1e426041abb6626af95a682c38.png][]  
  
 **组成**  
  
\- 宿主机：安装Docker的那台实际的物理机器  
  
\- docker client 【客户端】：用于连接服务端，提交命令给服务端  
![6bd89990c63843bfaf59d598d6e4a2fe.png][]  
  
\- docker daemon【服务端】：用于接收客户端请求，实现所有容器管理操作  
  
\- docker image【镜像】：用于安装APP的软件库，简单点理解为软件的安装包  
  
\- docker container 【容器】：用于独立运行、隔离每个APP的单元，相当于每个独立的Linux系统

## Docker的网络 ##

了解Docker的网络管理设计

\- Docker的

路径

\- step1：问题  
\- step2：模式  
\- step3：选型

实施

问题

\- Docker的本质在一个操作上虚拟了多个操作系统出来，那每个操作之间如何进行网络通信呢？

模式

host模式：每个虚拟系统与主机共享网络，IP一致，用不同端口区分不同虚拟系统

![53dba64a78dd46faab065bdcc61aff56.png][]

container模式：第一个容器构建一个独立的虚拟网络，其他的容器与第一个容器共享网络

![7c06f98be3fe4f98943043211544d2eb.png][]

none模式：允许自定义每个容器的网络配置及网卡信息，每个容器独立一个网络

![93125b55ad42487d8eafe995d110dcff.png][]

bridge模式：构建虚拟网络桥，所有容器都可以基于网络桥来构建自己的网络配置

![df533e7447cc4f3a9271f61f9a8dffd7.png][]选型

\- 本次项目中使用bridge模式，类似于VM中的Net模式使用

\- \*\*管理\*\*

\- 了解即可，不用操作

![2ebf678d8ae04ab68532705e7c59918a.png][]

## Docker的使用 ##

了解docker的基本使用

路径

\- step1：docker管理  
\- step2：image管理  
\- step3：container管理

实施

docker管理

\- 默认开机自启

\- 了解即可，不用操作

**- 启动服务**![470618a4e4d746279d365d1b381d66fb.png][]image管理

\- 了解即可，不用操作

![3b3a54759ac44f818ffa72485e086bb2.png][]

**container管理**

\- 熟悉常用操作

![724d1e0b53934c449e16f476f5b9e681.png][]

**删除container**

![b8bb5b8cbca444cfa1afac611bf299a4.png][]

## Oracle的介绍 ##

了解Oracle工具的基本功能和应用场景

路径

\- step1：数据库分类  
\- step2：Oracle的介绍

实施

数据库分类

RDBMS：关系型数据库管理系统  
\- 工具：MySQL、Oracle、SQL Server……  
\- 应用：\*\*业务性数据存储系统\*\*：事务和稳定性  
\- 特点：体现数据之间的关系，\*\*支持事务\*\*，保证\*\*业务完整性和稳定性\*\*，小数据量的性能也比较好  
\- 开发：SQL  
\- \*\*NoSQL\*\*：Not Only SQL：非关系型数据库  
\- 工具：Redis、HBASE、MongoDB……  
\- 分类：KV、文档、时序、图……  
\- 应用：一般用于\*\*高并发高性能\*\*场景下的\*\*数据缓存或者数据库存储\*\*  
\- 特点：\*\*读写速度特别快，并发量非常高\*\*，相对而言不如RDBMS稳定，对事务性的支持不太友好  
\- 开发：每种NoSQL都有自己的命令语法

**Oracle的介绍**

\- 概念：甲骨文公司的一款关系数据库管理系统

\- Oracle在古希腊神话中被称为“神谕”，指的是上帝的宠儿  
\- 在中国的商周时期，把一些刻在龟壳上的文字也称为上天的指示，所以在中国Oracle又翻译为甲骨文  
\- Oracle是现在全世界最大的数据库提供商，编程语言提供商，应用软件提供商，它的地位等价于微软的地位

**- 分类：RDBMS，属于大型RDBMS数据库**

\- 大型数据库：IBM DB2、Oracle、Sybase  
\- 中型数据库：SQL Server、MySQL、Informix、PostgreSQL  
\- 小型数据库：Access、Visual FoxPro、SQLite

\- 功能：实现大规模关系型数据存储

**- 特点**

\- 功能全面：数据字典、动态性能视图、TRACE跟踪、AWR、ASH、SQL Monitor等  
\- 性能优越：支持SQL大量的表连接、子查询、集合运算，长度可达上千行  
\- 数据量大：相比较于其他的数据库，Oracle支持千万级别以上的数据高性能存储  
\- 高可靠性：基于Oracle自带的RAC架构下，可靠性和稳定性相对比较高

**- 综合排名**

![56c28b5af96b48b4a7d7bfce462d6785.png][]

**- 应用**

\- 中国各大银行、电信、政府单位等机构所有系统

\- 趋势

\- 去IOE【IBM服务器、Oracle数据库、EMC存储】

## 集群软件规划 ##

目标：了解项目的集群软件规划

实施

![4a8adfcc81e34ee1af827d6eb722f587.png][]

![6bd28340e6b14854add2c66ab2fef42a.png][]

## 项目环境导入 ##

目标：实现项目虚拟机的导入

实施

step1：导入：找到OneMake虚拟机中以.vmx结尾的文件，使用VMware打开

![3a13b33500ff48868e2b84e17a7bed51.png][]

![15634207a6f146e5ba32319cac9c9845.png][]

step2：启动：启动导入的虚拟机，选择我已移动该虚拟机

![bb55a235398e430da7f68856b9920271.png][]

step3：登陆\*\*：登陆到虚拟机内部，或者使用远程工具连接

\- \*\*默认IP：192.168.88.100\*\*  
\- \*\*主机名：node1\*\*  
\- \*\*用户名：root\*\*  
\- \*\*密码：123456\*\*

![9c4c39ddebb94c2983413d9ebe023ce1.png][]

![874704ef4fb0467c941517a4d863f97d.png][]

[5c22f3b3ed4e4797a253c03ceff4a51b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/0e2a098a7b514e398243893dc1b5f9a3.png
[04f9dc1e426041abb6626af95a682c38.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/b21b238c6b0c4c98ae2b08bb8eab723b.png
[6bd89990c63843bfaf59d598d6e4a2fe.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/bcd8b41644a042aa8cfbb73e8666bbe0.png
[53dba64a78dd46faab065bdcc61aff56.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/1761ea35ecfc49c8bfdab95baf7b6095.png
[7c06f98be3fe4f98943043211544d2eb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/e52c6b3962414158ae9e5db4684751fe.png
[93125b55ad42487d8eafe995d110dcff.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/3b9c3fd54f4c4ce6ad0d282c2765beae.png
[df533e7447cc4f3a9271f61f9a8dffd7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/c97f3cb801eb4b1b89fc0e478e108800.png
[2ebf678d8ae04ab68532705e7c59918a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/d94e55ef41854b569da49bd6751e8887.png
[470618a4e4d746279d365d1b381d66fb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/1ad93221686c4d28b12b0caeedf71104.png
[3b3a54759ac44f818ffa72485e086bb2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/40d9acdcc10f460d9dc31864c6064fcf.png
[724d1e0b53934c449e16f476f5b9e681.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/1e62e8dc98af4326b71f3dcd08debe2a.png
[b8bb5b8cbca444cfa1afac611bf299a4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/6f56015999b840bd8fd8dd9478891436.png
[56c28b5af96b48b4a7d7bfce462d6785.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/fd1a2288cc8d4bd9a73934145db8137f.png
[4a8adfcc81e34ee1af827d6eb722f587.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/8bfe0aaf21df432d8e7a6b4482b6704f.png
[6bd28340e6b14854add2c66ab2fef42a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/b9269ca5dd8c4b66b5286ec8d9f4dab5.png
[3a13b33500ff48868e2b84e17a7bed51.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/98ec6df956ce4cc2a5414672deba34c7.png
[15634207a6f146e5ba32319cac9c9845.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/193cd96cf6c1497cb2a73af56f5055c4.png
[bb55a235398e430da7f68856b9920271.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/86e22d7671be43eb87ebb6643f8ab9c4.png
[9c4c39ddebb94c2983413d9ebe023ce1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/ccdb0b783b0e4ed4a34bc885792f2941.png
[874704ef4fb0467c941517a4d863f97d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/3fb991ca39b24e498bc1d38771db1103.png