Building a Cloud Based Data Warehouse on Google Big Query Using Qlik Compose

不念不忘少年蓝@ 2023-10-12 14:12 12阅读 0赞

Learn how to build a cloud based data warehouse using Qlik Compose on Google Big Query

[How to Build Data Integration Pipelines with Qlik and Databricks - YouTube][]

Google BigQuery是一个具有成本效益、高度可扩展的无服务器数据仓库，专为业务敏捷性而设计。该平台管理所有的资源，自动扩展并高度可用。因此，仓库管理员不必花时间做典型的实施决策，如CPU大小或最大存储分配。

![782bb8a6367bc8e449c20c4476b61bbb.png][]

Google BigQuery支持两种不同的SQL方言。

*  标准SQL：标准SQL符合SQL 2011标准，是查询数据的首选方言。
 *  传统SQL：BigQuery的第一个版本就支持这种方言。

**为什么用 Qlik 自动化 Google BigQuery？**

*  改进初始数据加载
 *  减少人工SQL编码仓库管理
 *  自动更新数据仓库
 *  减少为下游分析准备和提供数据所需的时间

事实上，我们可以通过**Qlik Data Integration (QDI)**平台实现这些领域和更多领域的自动化。最新发布的QDI解决方案针对Google BigQuery进行了优化，并将BigQuery操作的许多方面自动化。例如，可以使用**Qlik Replicate**进行近乎实时的变化数据捕获（CDC），使用**Qlik Compose for Data Warehouses**来构建内部数据仓库结构和提供数据集。

![d8e2a9cd681b43d076c7e8eb2aabd86c.jpeg][]

**适用于 Google BigQuery 的 Qlik 数据集成**

以下段落介绍了专门为数据仓库自动化而创建和优化的功能。这些特点如下：

*  数据仓库模型生成
 *  自动生成映射
 *  数据仓库ETL生成
 *  数据市场ETL生成
 *  工作流生成和协调

**数据仓库模型的生成**

Qlik Compose for Data Warehouses通过连接到源数据，并对元数据进行内省，以产生符合第三种正常形式（3NF）/Data Vault方法论的模型，使得从源数据生成逻辑模型变得非常容易。Qlik还提供了在逻辑模型中分配Type1/Type2历史属性的支持，改善了BigQuery数据集表的数据加载过程。

![868118ac32280da51361d9407dc9ad31.jpeg][]

**自动生成映射**  
Qlik Compose for Data Warehouses将创建BigQuery数据集表，并为完整和CDC ETL集生成映射。在ETL集中，Compose将自动生成BigQuery数据仓库数据集表的登陆区域列和暂存列之间的表映射。最终，这减少了开发生命周期的时间。

**数据仓库ETL生成**

Qlik会自动生成和协调在BigQuery中执行ETL过程所需的SQL语法，以完成数据仓库中表的全部加载。Qlik还能自动生成和协调将CDC数据加载到BigQuery数据集中所需的SQL语法。

**数据市场ETL生成**

Qlik提供了一个数据向导，它可以利用BigQuery数据仓库数据集自动创建一个事务性数据集。Qlik的自动化功能可以刷新BigQuery数据集市中的数据，而无需复杂的手动转换或脚本。

**工作流生成和协调**

你也可以使用**[Qlik][]**生成一个完整的和CDC工作流，任务是加载BigQuery数据仓库和数据集市表。加载CDC数据的工作流可以通过Qlik或从第三方调度工具进行调度。

**Google BigQuery 自动化的六个步骤**

只需要六个步骤，就可以用Qlik自动完成Google Big Query，具体步骤如下：

![f4a98259a37c5dcdb0a8b5ef33f3ccfb.png][]

*  **步骤1：自动化数据摄取和更新**

配置Qlik Replicate任务，使用Google BigQuery作为端点。Qlik Replicate将在BigQuery中创建来自几乎任何数据源的数据集，无论是在内部还是在云端。一旦Qlik Replicate完成全部数据加载，任务就会过渡到CDC模式，以近乎实时的方式复制源数据变化。

*  **步骤2：Qlik Compose Source和数据仓库配置**

配置一个Qlik Compose for Data Warehouses项目登陆和数据仓库连接。数据仓库连接将提供目标数据仓库和数据集的详细信息。登陆连接指定了BigQuery数据集，该数据集将用于数据模型内的集成。

*  **步骤3：自动生成仓库数据模型**

模型面板用于智能发现逻辑和物理数据仓库模型的表元数据。管理模型控制哪些属性变化和历史类型可以应用到数据仓库模型。

*  **步骤4：生成数据仓库自动化指令**

数据仓库面板选择将在数据仓库数据集中创建为Google BigQuery表的表。将创建表映射，以管理BigQuery表中的登陆列和暂存列之间的关系。一旦完成，ETL过程代码就会生成并准备在BigQuery上执行。

*  **步骤5：创建交易数据集市**

数据集市面板提供了一个 "新星型模式 "向导来创建事务星型模式。该向导首先要求你从数据仓库数据集中选择一个事实表。然后选择所选事实表的父维表。您还选择一个属性作为模式的事务日期。一旦模式向导完成，就会生成并执行BigQuery语法来加载创建和加载数据仓库表。

*  **步骤6：编排仓库工作流程**

当设置了数据仓库CDC ETL后，在Qlik Compose监控界面中，一个任务被创建并添加到默认的CDC工作流中。一个数据集市任务也被添加到默认的CDC工作流中。

**结论**

Google BigQuery是市场上领先的云数据仓库，在操作大型数据集进行分析工作负载时，可以提供卓越的性能。**虽然BigQuery提供了几乎不需要动手的管理，但当与Google平台一起使用时，[Qlik][]的数据仓库自动化解决方案将为您节省大量的开发时间。**

![d00d22ef3f0641528dbbdcbd51428f99.png][]

![ea7447fb2be547a184683326aa41ae20.png][]

![c8b776353e1e4cee845ba2ebbf0734a1.png][]

![5f66b3469fe8422895e65e4d76614343.png][]

![fc567c420bca46d4864f48b279e50c54.png][]

![a5fe67baba6f4965b14d98d7e5ed0f6a.png][] ![1119d358856f4a3ca7a61357f6977c8a.png][]

![e936a770fc784e208e4ef0dd121881b9.png][]

![293c3c650ebb4c6f9d8a752ce3a388d9.png][]

![1bd9e3eaf08541bfbc0c5b962995f4c6.png][]

![3f4d2f9f8cfd439aa4af17a4f24e980e.png][]

![f7561124f6da4aa5bd0bfc8912fd7890.png][]

![c6bcab580b8747afadb4a38c2238c7d1.png][]

![ee06a5936a3e4ccc9e1043187e22c468.png][]

![6b8faa8ba4c544999eec4f08fe4d0f04.png][]

![fd2d8400d87147d599e70eaa95b37c71.png][]

![a03e5556e0794cbea1c222f6c5e0f1bc.png][]

![a4838a25ce24454daadc058513546db2.png][]

![95fe556afaac4f1bb6b431de31b10e5a.png][] ![586760499f404893b3990db30595e68d.png][]

![540b75a0c75b420b96b2a1c74afcb683.png][]

![9f77509fc9864da9a9c233d85f42785f.png][]

![6ce80737115c44f28e3ab9248f2b86a4.png][]

[How to Build Data Integration Pipelines with Qlik and Databricks - YouTube]: https://www.youtube.com/watch?v=45id5gFyTwU
[782bb8a6367bc8e449c20c4476b61bbb.png]: https://img-blog.csdnimg.cn/img_convert/782bb8a6367bc8e449c20c4476b61bbb.png
[d8e2a9cd681b43d076c7e8eb2aabd86c.jpeg]: https://img-blog.csdnimg.cn/img_convert/d8e2a9cd681b43d076c7e8eb2aabd86c.jpeg
[868118ac32280da51361d9407dc9ad31.jpeg]: https://img-blog.csdnimg.cn/img_convert/868118ac32280da51361d9407dc9ad31.jpeg
[Qlik]: https://www.evget.com/vendor/525
[f4a98259a37c5dcdb0a8b5ef33f3ccfb.png]: https://img-blog.csdnimg.cn/img_convert/f4a98259a37c5dcdb0a8b5ef33f3ccfb.png
[d00d22ef3f0641528dbbdcbd51428f99.png]: https://img-blog.csdnimg.cn/d00d22ef3f0641528dbbdcbd51428f99.png
[ea7447fb2be547a184683326aa41ae20.png]: https://img-blog.csdnimg.cn/ea7447fb2be547a184683326aa41ae20.png
[c8b776353e1e4cee845ba2ebbf0734a1.png]: https://img-blog.csdnimg.cn/c8b776353e1e4cee845ba2ebbf0734a1.png
[5f66b3469fe8422895e65e4d76614343.png]: https://img-blog.csdnimg.cn/5f66b3469fe8422895e65e4d76614343.png
[fc567c420bca46d4864f48b279e50c54.png]: https://img-blog.csdnimg.cn/fc567c420bca46d4864f48b279e50c54.png
[a5fe67baba6f4965b14d98d7e5ed0f6a.png]: https://img-blog.csdnimg.cn/a5fe67baba6f4965b14d98d7e5ed0f6a.png
[1119d358856f4a3ca7a61357f6977c8a.png]: https://img-blog.csdnimg.cn/1119d358856f4a3ca7a61357f6977c8a.png
[e936a770fc784e208e4ef0dd121881b9.png]: https://img-blog.csdnimg.cn/e936a770fc784e208e4ef0dd121881b9.png
[293c3c650ebb4c6f9d8a752ce3a388d9.png]: https://img-blog.csdnimg.cn/293c3c650ebb4c6f9d8a752ce3a388d9.png
[1bd9e3eaf08541bfbc0c5b962995f4c6.png]: https://img-blog.csdnimg.cn/1bd9e3eaf08541bfbc0c5b962995f4c6.png
[3f4d2f9f8cfd439aa4af17a4f24e980e.png]: https://img-blog.csdnimg.cn/3f4d2f9f8cfd439aa4af17a4f24e980e.png
[f7561124f6da4aa5bd0bfc8912fd7890.png]: https://img-blog.csdnimg.cn/f7561124f6da4aa5bd0bfc8912fd7890.png
[c6bcab580b8747afadb4a38c2238c7d1.png]: https://img-blog.csdnimg.cn/c6bcab580b8747afadb4a38c2238c7d1.png
[ee06a5936a3e4ccc9e1043187e22c468.png]: https://img-blog.csdnimg.cn/ee06a5936a3e4ccc9e1043187e22c468.png
[6b8faa8ba4c544999eec4f08fe4d0f04.png]: https://img-blog.csdnimg.cn/6b8faa8ba4c544999eec4f08fe4d0f04.png
[fd2d8400d87147d599e70eaa95b37c71.png]: https://img-blog.csdnimg.cn/fd2d8400d87147d599e70eaa95b37c71.png
[a03e5556e0794cbea1c222f6c5e0f1bc.png]: https://img-blog.csdnimg.cn/a03e5556e0794cbea1c222f6c5e0f1bc.png
[a4838a25ce24454daadc058513546db2.png]: https://img-blog.csdnimg.cn/a4838a25ce24454daadc058513546db2.png
[95fe556afaac4f1bb6b431de31b10e5a.png]: https://img-blog.csdnimg.cn/95fe556afaac4f1bb6b431de31b10e5a.png
[586760499f404893b3990db30595e68d.png]: https://img-blog.csdnimg.cn/586760499f404893b3990db30595e68d.png
[540b75a0c75b420b96b2a1c74afcb683.png]: https://img-blog.csdnimg.cn/540b75a0c75b420b96b2a1c74afcb683.png
[9f77509fc9864da9a9c233d85f42785f.png]: https://img-blog.csdnimg.cn/9f77509fc9864da9a9c233d85f42785f.png
[6ce80737115c44f28e3ab9248f2b86a4.png]: https://img-blog.csdnimg.cn/6ce80737115c44f28e3ab9248f2b86a4.png