轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.8 初识MR编程中的数据类型

谁践踏了优雅 2024-03-22 19:08 7阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.8 初识MR编程中的数据类型

![在这里插入图片描述][139eb264a9e645bb8a5cd8f64a30fb34.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.8 初识MR编程中的数据类型 ######

就官方那个词频统计示例，[https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html][https_hadoop.apache.org_docs_stable_hadoop-mapreduce-client_hadoop-mapreduce-client-core_MapReduceTutorial.html]

![请添加图片描述][feba18f9e19c444d8f7092c251616490.png]

意思大概是看明白了，就是数据类型还是和Java 原生有区别的。

在MR编程中会有Mapper、Reducer的输入输出KEY、VALUE的类型

Text,IntWritable,Text,IntWritable

<table> 
 <thead> 
  <tr> 
   <th align="center">Java中的数据类型</th> 
   <th align="center">Hadoop的序列化的类型(Writable)</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">String</td> 
   <td align="center">Text</td> 
  </tr> 
  <tr> 
   <td align="center">Int</td> 
   <td align="center">IntWritable</td> 
  </tr> 
  <tr> 
   <td align="center">Long/Double/Float</td> 
   <td align="center">LongWritable/DoubleWritable/FloatWritable</td> 
  </tr> 
  <tr> 
   <td align="center">Null</td> 
   <td align="center">NullWritable</td> 
  </tr> 
  <tr> 
   <td align="center">Byte</td> 
   <td align="center">ByteWritable</td> 
  </tr> 
 </tbody> 
</table>

Byte 用的比较少。

[139eb264a9e645bb8a5cd8f64a30fb34.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/f6d2313e10094656bb1203c18ce2a32c.png
[https_hadoop.apache.org_docs_stable_hadoop-mapreduce-client_hadoop-mapreduce-client-core_MapReduceTutorial.html]: https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html
[feba18f9e19c444d8f7092c251616490.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/0cdc062638f74285924663d7bbe02b75.png