数据仓库相关开源技术

灰太狼 2022-06-10 13:13 182阅读 0赞

**1、理论基础**

论文：

PowerDrill：

Dremel：

架构：

大数据Lambda架构

相关关键词：map/reduce hadoop；MPP数据库；流式计算系统

**2、基础平台相关技术**

**接入层技术：**

canal：阿里巴巴开源项目: 基于mysql数据库binlog的增量订阅&消费

sqoop：Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

kafka：

redis：

**存储层技术：**

hdfs，hbase，kafka，redis

**调度层：**

yarn，mesos

**计算层：**

map/reduce

hive,presto

spark

flink

impala

druid

Storm

百度OLAP引擎 Palo

Tez ：一个运行在YARN之上支持DAG作业的计算框架，apache二级项目

Oozie：可以把多个Map/Reduce作业组合到一个逻辑工作单元中，从而完成更大型的任务

**其他：**

MPP架构的实时查询系统有EMC Greenplum、HP Vertica和Google Dremel，

**3、参考文章**

#### 大数据计算引擎的发展  https://www.ibm.com/developerworks/cn/opensource/os-cn-apache-flink/   PowerDrill，Google又一个大数据分析大杀器   http://www.infoq.com/cn/news/2012/08/powerdrill-in-memory-column-stor    大数据分析平台架构  http://www.360doc.com/content/15/0402/09/20625606\_459996914.shtml    董西成博客 http://dongxicheng.org/    Apache YARN/Mesos与Google Borg差距多远？（详见参考文档）    http://dongxicheng.org/mapreduce-nextgen/yarn-mesos-borg/    ####

发表评论取消回复

表情：

评论列表（有 0 条评论，182人围观）

还没有评论，来说两句吧...

相关阅读

相关【开源SPL】列存数据仓库怎样更高效

写在前面 > 很多数据仓库产品都采用了列式存储。如果数据表的总列数很多而计算涉及的列很少，采用列存就只读取需要的列即可，能够减少硬盘访问量，提高性能。特别是数据量非常大时

不念不忘少年蓝@/ 2023年09月26日 16:27/ 0 赞/ 53 阅读

相关开源项目-仓库管理系统

哈喽，大家好，今天给大家带来一个仓库管理系统系统主要包括客户管理，供应商管理，商品管理，进货管理，退货管理，销售管理，销售退货管理等模块技术选型后台技术选型 S

我就是我/ 2023年09月24日 15:36/ 0 赞/ 79 阅读

相关数据仓库相关文章

[数据仓库简述][Link 1] [数据仓库概述][Link 2] [数据仓库的几种建模方法][Link 3] [数据仓库之ETL实战][ETL] [数据仓库之分层模型

本是古典何须时尚/ 2023年06月06日 08:11/ 0 赞/ 7 阅读

相关 ETL数据仓库技术概念与工具

目录简介 ETL与ELT 工具参见 ETL架构级别概述数据的抽取（Extract）数据的清洗转换（Cleaning、Transform） ETL日志、

曾经终败给现在/ 2022年12月03日 11:28/ 0 赞/ 256 阅读

相关 [转]开源数据仓库解决方案GreenPlum

GreenPlum简介 Greenplum DB 号称是世界上第一个开源的大规模并行数据仓库，最初是基于 PostgreSQL，现在已经添

蔚落/ 2022年08月21日 13:42/ 0 赞/ 367 阅读

相关数据仓库相关开源技术

1、理论基础论文： PowerDrill： Dremel：架构：大数据Lambda架构相关关键词：map/reduce hadoop；MPP数据库；流式计算

灰太狼/ 2022年06月10日 13:13/ 0 赞/ 183 阅读

相关数据仓库架构的技术选型

目前主流公司应用比较广泛的大数据数据仓库架构： ![这里写图片描述][SouthEast] 增加了以下内容：数据采集：采用Flume收集日志，采用S

港控/mmm°/ 2022年05月27日 09:14/ 0 赞/ 348 阅读

相关基于SQL on Hadoop的数据仓库技术

> 作者简介：孙元浩，星环信息联合创始人兼首席技术官。 > 责编：仲浩（zhonghao@csdn.net） > 本文为[《程序员》][Link 1]原创文章，未经允许

秒速五厘米/ 2022年05月26日 08:42/ 0 赞/ 195 阅读

相关数据仓库中拉链表相关的内容

前言本文将会谈一谈在数据仓库中拉链表相关的内容，包括它的原理、设计、以及在我们大数据场景下的实现方式。全文由下面几个部分组成：先分享一下拉链表的用途、什么是拉

小咪咪/ 2022年04月17日 07:15/ 0 赞/ 239 阅读

相关【数据仓库】数据仓库概述

1.RDBMS数据库随着关系数据库理论的提出，诞生了一系列经典的RDBMS，如Oracle，MySQL，SQL Server等。这些RDBMS被成功推向市场，并为社会信息化

向右看齐/ 2021年12月03日 23:15/ 0 赞/ 328 阅读