hive中建立“按天分区“的外表+存储为ORC文件+指定元数据

约定不等于承诺〃 2022-11-07 05:23 113阅读 0赞

CREATE EXTERNAL TABLE `example`(
      `axxsdf` string,
      `mydeailyTime` timestamp
      )
    PARTITIONED by (
      `datetime` string
      )
    STORED AS orcfile
    LOCATION '/home/appleyuchi/example_file';

\-- 增加分区(这句话在建立表格后必须执行，否则会导致hive写入ORC文件后，无法被hive读取)  
alter table example add partition (dt = '2021-03-30') location '/xxxx/2021-03-30';

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td>建表类型</td> 
   <td>是否使用Location</td> 
   <td>插入效果</td> 
   <td>删除效果</td> 
  </tr> 
  <tr> 
   <td>外部表</td> 
   <td>√</td> 
   <td>读取到数据，同时插入数据，会在LOCATION位置新生成文件000000_0，</td> 
   <td>删除外部表，数据文件还在，证明外部表功能还在。</td> 
  </tr> 
  <tr> 
   <td>内部表</td> 
   <td>√</td> 
   <td>读取到数据，同时插入数据也会生成新文件，</td> 
   <td>删除内部表，数据文件都会消失，整个目录都会删除掉</td> 
  </tr> 
  <tr> 
   <td>外部表</td> 
   <td>X</td> 
   <td>会在默认在/hive/warehouse/数据库名称/表名，建立目录。然后插入数据，会生成新文件</td> 
   <td>删除表。目录和文件都还在</td> 
  </tr> 
  <tr> 
   <td>内部表</td> 
   <td>X</td> 
   <td>在相应位置创建新目录，插入数据，一样生成新文件。</td> 
   <td>删除内部表，目录和数据文件都会删除掉。</td> 
  </tr> 
 </tbody> 
</table>

ALTER TABLE yyyy DROP PARTITION (dt='1919-01-06', area=ｘｘｘｘｘｘ');

删除分区

Reference:

\[1\][Hive中LOCATION参数和EXTERNAL参数的关系][Hive_LOCATION_EXTERNAL]

[Hive_LOCATION_EXTERNAL]: https://www.cnblogs.com/chenshaowei/p/13100497.html