Exception in thread "main" java.io.IOException: Trying to load more than 32 hfiles to one family of

「爱情、让人受尽委屈。」 2022-02-21 04:41 345阅读 0赞

遇见问题：

  1. 命令：
  3. hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles  /user/yz/zhaochao/duotou200/ neibudt_200_cols_hfile20190409_1

报错：

  1. Exception in thread "main" java.io.IOException: Trying to load more than 32 hfiles to one family of

解决思路：

idea中ctrl+n输入LoadIncrementalHFiles，找到源码：

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsYmdfYm95_size_16_color_FFFFFF_t_70

解决问题：

将参数调大

  1. -Dhbase.mapreduce.bulkload.max.hfiles.perRegion.perFamily=2000

还有问题，发现文件处理到1500就完犊子了。

再解决：

控制文件个数，我的是spark：

  1. rdd.coalesce(100).saveAsNewAPIHadoopFile(output, classOf[ImmutableBytesWritable],
  2.       classOf[KeyValue],
  3.       classOf[HFileOutputFormat2], hbaseConf)

完事~

发表评论

表情：
评论列表 （有 0 条评论，345人围观）

还没有评论，来说两句吧...

相关阅读