kudu

「爱情、让人受尽委屈。」 2022-05-14 07:25 296阅读 0赞

### kudu ###

kudu:面向结构化数据的开源的table存储引擎，支持低延迟的随机存取以及高效的分析处理

Kudu管理的是类似关系型数据库的结构化的表，表结构由类Sql的Schema进行定义，相比于HBase这样的NoSql类型的数据库，Kudu的行数据是由固定个数有明确类型定义的列组成，并且需要定义一个由一个或多个列组成的主键来对每行数据进行唯一索引，相比于传统的关系型数据库，kudu在索引上有更多的限制，比如暂时不支持二级索引，不支持主键的更新等等。

尽管表结构类似于关系型数据库，但是++Kudu自身并不提供SQL类型的语法接口++，而是由上层其他系统实现，比如目前通过Impala提供SQL语法支持。

Kudu底层API，主要面对简单的更新检索操作，Insert／Update／Delete等必须指定一个主键进行，而Scan检索类型的操作则支持条件过滤和投影等能力。

### 集群架构 ###

Kudu的集群架构基本和HBase类似，采用主从结构，++Master节点管理元数据，Tablet节点负责分片管理数据++，和HBase不同的是，Kudu没有借助于HDFS存储实际数据，而是自己直接在本地磁盘上管理分片数据，包括数据的Replication机制，kudu的Tablet server直接管理Master分片和Slave分片，自己通过raft协议解决一致性问题等，多个Slave可以同时提供数据读取服务，相对于HBase依托HDFS进行Region数据的管理方式，自主性会强一些，不过比如Tablet节点崩溃，数据的迁移拷贝工作等，也需要Kudu自己完成。

### 内部和外部Impala表 ###

使用Impala创建新的Kudu表时，可以将表创建为内部表或外部表。

内部  
内部表由Impala管理，当您从Impala中删除它时，数据和表将被删除。使用Impala创建新表时，它通常是内部表。

外部  
外部表（由其创建CREATE EXTERNAL TABLE）不由Impala管理，删除此类表不会使表从其源位置（此处为Kudu）中删除。相反，它只删除了Impala和Kudu之间的映射。这是Kudu提供的用于将现有表映射到Impala的语法中使用的模式。

### 什么时候使用kudu ###

*  大规模数据复杂的实时分析，例如大数据量的join。
 *  数据有更新
 *  查询准实时

发表评论取消回复

表情：

评论列表（有 0 条评论，296人围观）

还没有评论，来说两句吧...

相关阅读

相关大数据Kudu（十）：Flink操作Kudu

![c1485ef122894d83af9c54c79af0e3f1.jpeg][] 文章目录 Flink操作Kudu -------------------- Fl

向右看齐/ 2024年03月30日 11:02/ 0 赞/ 60 阅读

相关大数据Kudu（九）：Spark操作Kudu

![3212f3f7d16f4d78bb8e124d7b169e3a.jpeg][] 文章目录 Spark操作Kudu 一、添加Maven依赖 [3212f3f7d1

雨点打透心脏的1/2处/ 2024年03月30日 09:49/ 0 赞/ 69 阅读

相关大数据Kudu（七）：Kudu分区策略

![806b1c100ee643238d97833b0aa18d7c.jpeg][] 文章目录 Kudu分区策略一、Partition By Range - 范围分区

素颜马尾好姑娘i/ 2024年03月30日 09:29/ 0 赞/ 64 阅读

相关 Apache Kudu(三) Java Client 连接 Kudu

Java 客户端 > 本地host配置(因为返回的是hostname，不是ip，如果不配置的话，会存在各种连不上) > > `192.168.1.101 kudu-ma

短命女/ 2023年03月13日 03:37/ 0 赞/ 6 阅读

相关 KUDU 的缺点

前文： Kudu的诞生解决了大数据领域的数据更新和OLAP，但是其缺点也是明显，使用时最好考虑如下。一、情况服务器情况：5台8Core32

ゞ浴缸里的玫瑰/ 2022年12月16日 09:09/ 0 赞/ 237 阅读

相关 Apache Kudu

前言在Kudu出现前，由于传统存储系统的局限性，对于数据的快速输入和分析还没有一个完美的解决方案，要么以缓慢的数据输入为代价实现快速分析，要么以缓慢的分析为代价实

超、凢脫俗/ 2022年11月20日 08:15/ 0 赞/ 227 阅读

相关 kudu

KUDU 介绍 [KUDU 介绍][KUDU] kudo 和hdfs hbase的区别 [有HBase之后为什么还需要KUDU][HBase_KUDU] ku

客官°小女子只卖身不卖艺/ 2022年10月11日 13:31/ 0 赞/ 269 阅读

相关 kudu table

kudu kudu介绍 Kudu背景 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_te

╰+攻爆jí腚メ/ 2022年10月05日 01:50/ 0 赞/ 192 阅读

相关 kudu

kudu kudu:面向结构化数据的开源的table存储引擎，支持低延迟的随机存取以及高效的分析处理 Kudu管理的是类似关系型数据库的结构化的表，表结构由类Sql的S

「爱情、让人受尽委屈。」/ 2022年05月14日 07:25/ 0 赞/ 297 阅读

相关 Kudu vs HBase

欢迎访问[网易云社区][Link 1]，了解更多网易技术产品运营经验。背景 Cloudera在2016年发布了新型的分布式存储系统——ku

比眉伴天荒/ 2022年04月15日 04:00/ 0 赞/ 124 阅读