Hive文件格式之textfile,sequencefile和rcfile的使用与区别详解

骑猪看日落 2022-02-21 04:10 980阅读 0赞

**hive在创建表时默认存储格式是textfile,或者显示自定义的stored as textfile。**

很多人知道hive常用的存储格式有三种，**textfile,sequencefile,rcfile，**但是却说不清楚这三种格式的干什么用的，本质有有什么区别？适合什么时候用？为什么hive会有多种存储格式？

因为hive是文本批处理系统，所以就存在一个往hive中导入数据的问题，首先数据的存储格式有多种，比如数据源是二进制格式， 普通文本格式等等，而**hive强大之处不要求数据转换成特定的格式，而是利用hadoop本身InputFormat API来从不同的数据源读取数据，同样地使用OutputFormat API将数据写成不同的格式**。所以对于不同的数据源，或者写出不同的格式就需要不同的对应的InputFormat和Outputformat类的实现。

以stored as textfile（**其实这就是下面stored as inputformat -outputformat的缩减写法**）为例，其在底层java API中表现是输入InputFormat格式：TextInputFormat以及输出OutputFormat格式：HiveIgnoreKeyTextOutputFormat。这里**InputFormat中定义了如何对数据源文本进行读取划分，以及如何将切片分割成记录存入表中。而Outputformat定义了如何将这些切片写回到文件里或者直接在控制台输出**。

STORED AS INPUTFORMAT 
               'org.apache.hadoop.mapred.TextInputFormat' 
      OUTPUTFORMAT 
              'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'

实际上hive使用一个TextInputFormat对象将输入流分割成记录，然后使用一个HiveIgnoreKeyTextOutputFormat对象来将记录格式化为输出流（比如查询的结果），再使用Serde在读数据时将记录解析成列。**在写数据时将列编码成记录。所以stored as ''只是决定了行级别（记录级别 ）的存储格式，而实际将记录解析成列依靠的则是Serde对象**，比如hive默认的ROW FORMAT SERDE   'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'  ，或者用户自定义的Serde格式。

### textfile,sequencefile和rcfile的三种存储格式的本质和区别 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2l0Y2F0c19jbg_size_16_color_FFFFFF_t_70][]

本文转自：

[https://blog.csdn.net/qq\_26442553/article/details/80300714][https_blog.csdn.net_qq_26442553_article_details_80300714]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2l0Y2F0c19jbg_size_16_color_FFFFFF_t_70]: /images/20220221/69ae164a1bd440498a29cf1c0bda8608.png
[https_blog.csdn.net_qq_26442553_article_details_80300714]: https://blog.csdn.net/qq_26442553/article/details/80300714