Hbase批量写入，歪点子

谁践踏了优雅 2022-03-26 01:26 229阅读 0赞

想优化hbase批量写入速度，搞了个偏门套路，也不知道会不会出问题：

1）使用HTable ，

hTable = new HTable(conf, TableName.valueOf("storm_wxgz"));
    hTable.setWriteBufferSize(10 * 1024 * 1024);//10M
    hTable.setAutoFlushTo(false);

2）使用定时器，每一秒去刷新一次

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 2][]

也不知道对查询是否有影响。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190114220243808.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 1]: /images/20220326/a4b770beaf164985959a6f9e8f8de269.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 2]: /images/20220326/f212e1712dc24ca98614b02e1159646a.png

发表评论取消回复

表情：

评论列表（有 0 条评论，229人围观）

还没有评论，来说两句吧...

相关阅读

相关实现“点子”的能力

今天朋友发了个论坛帖子给我，大意是指有个家伙有一个很好的游戏点子，想实现，但是苦于不会。这个就想到那么一句话了，“这年头点子不重要了，重要的是把点子变现的能力”。当然，对...

小灰灰/ 2024年05月28日 10:20/ 0 赞/ 66 阅读

相关 flinkSQL写入hbase问题汇总

问题一：Expression 'pay\_acct\_no' is not being grouped ![watermark_type_ZHJvaWRzYW5zZmFsbG

Dear 丶/ 2022年09月10日 12:22/ 0 赞/ 407 阅读

相关 Spark 写入hbase 遇到的问题

1： Spark 写入hbase 遇到的问题写入时间较长 ![Center][] 解决方案： [Center]: /images/2022

约定不等于承诺〃/ 2022年06月15日 07:13/ 0 赞/ 244 阅读

相关 HBase －数据写入流程解析

[HBase －数据写入流程解析][HBase _] 众所周知，[Hbase][]默认适用于写多读少的应用，正是依赖于它相当出色的写入性能：一个100台RS的集群可以轻松地

逃离我推掉我的手/ 2022年06月14日 08:43/ 0 赞/ 309 阅读

相关 Spring歪解

开场白一开始接触Spring就被它的IoC（控制反转）和DI（依赖注入）两大概念搞懵了，可是随着自己的日常使用和不断的了解，慢慢地发现其实Spring没有自己想象的复杂

叁歲伎倆/ 2022年06月12日 03:51/ 0 赞/ 145 阅读

相关 Hbase批量写入，歪点子

想优化hbase批量写入速度，搞了个偏门套路，也不知道会不会出问题： 1）使用HTable ， hTable = new HTable(conf, Table

谁践踏了优雅/ 2022年03月26日 01:26/ 0 赞/ 230 阅读

相关 Hbase批量导入&批量删除

Hi：小明：sir，我遇见一个需求，根据42万手机号码段生产全量的手机号。大牛：what，那岂不是要生成42亿多手机号。小

刺骨的言语ヽ痛彻心扉/ 2022年02月25日 07:36/ 0 赞/ 543 阅读

相关 Hbase写入hdfs源码分析

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][] 版权声明：本文由熊训德原创文章，转载请注明出处: 文

骑猪看日落/ 2022年01月14日 01:45/ 0 赞/ 220 阅读

相关 Hbase API: 写入Bigtable.

![1722024-20190715140301431-1350374053.png][] ![1722024-20190715140315997-1554771148.pn

r囧r小猫/ 2021年11月23日 12:40/ 0 赞/ 265 阅读

相关 hbase 批量插入api

1、数据格式a.txt： 1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.a...

你的名字/ 2021年03月17日 14:58/ 0 赞/ 575 阅读