轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.19 序列化之Data序列化机制

落日映苍穹つ 2024-03-22 19:10 29阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.19 序列化之Data序列化机制

![在这里插入图片描述][8840345660bc4249be8a9046f4442f27.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.19 序列化之Data序列化机制 ######

之前我们用JDK 自带的序列化接口体验了一下，下面我们再看一个

package com.dingjiaxiong.mr.ser;
    
    import java.io.*;
    
    /**
     * @Author Ding Jiaxiong
     * @Date 5/7/23 1:18 PM
     */
    
    /**
     * 序列化与反序列化基础
     */
    public class SerDeApp {
        
    
        public static void main(String[] args) throws Exception {
        
    
            // 序列化
            Person person = new Person(1, "DingJiaxiong", 100.0, 23);
            DataOutputStream out = new DataOutputStream(new FileOutputStream("ser/person2.obj"));
    
            out.writeInt(person.getId());
            out.writeUTF(person.getName());
            out.close();
    
            // 反序列化[注意, 上面以什么顺序写出去, 这里就要以什么顺序读进来]
            DataInputStream in = new DataInputStream(new FileInputStream("ser/person2.obj"));
            int id = in.readInt();
            String name = in.readUTF();
            System.out.println("id:" + id + " , " + "name:" + name);
        }
    }
    
    class Person {
        
    
        private int id;
        private String name;
        private double salary;
        private int age;
    
        public Person(int id, String name, double salary, int age) {
        
            this.id = id;
            this.name = name;
            this.salary = salary;
            this.age = age;
        }
    
        public int getId() {
        
            return id;
        }
    
        public void setId(int id) {
        
            this.id = id;
        }
    
        public String getName() {
        
            return name;
        }
    
        public void setName(String name) {
        
            this.name = name;
        }
    
        public double getSalary() {
        
            return salary;
        }
    
        public void setSalary(double salary) {
        
            this.salary = salary;
        }
    
        public int getAge() {
        
            return age;
        }
    
        public void setAge(int age) {
        
            this.age = age;
        }
    
        @Override
        public String toString() {
        
            return "Person{" +
                    "id=" + id +
                    ", name='" + name + '\'' +
                    ", salary=" + salary +
                    ", age=" + age +
                    '}';
        }
    }

运行结果

![在这里插入图片描述][8c8f3c95b9494b2d9b0b22c90ab4199b.png_pic_center]

没问题

看看两种方式的大小

![在这里插入图片描述][ab7e84f3e23849f59848d74bf4db139c.png_pic_center]

明显，data要小得多【毕竟是需要哪些可以规定】。如果顺序不一样

![在这里插入图片描述][a2dadaa83c6e496d89b5b94537596edf.png_pic_center]

这样就直接乱套了，所以一定注意顺序。

![在这里插入图片描述][1fd0c14800b148c9a20e897d91a80430.png_pic_center]

就是这么些写方法。

![在这里插入图片描述][8845b2fc2ddd4fcf8a6816d2033e4e90.png_pic_center]

读方法。

[8840345660bc4249be8a9046f4442f27.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/c6a0bea7557e4891be03eb734b99cdce.png
[8c8f3c95b9494b2d9b0b22c90ab4199b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/7c9764c4f0ce494d9a8c4307215a38f4.png
[ab7e84f3e23849f59848d74bf4db139c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/10d241f51adc42839a522a5c4517a23b.png
[a2dadaa83c6e496d89b5b94537596edf.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/5ca004a952b644d3bf9cb3e44a486949.png
[1fd0c14800b148c9a20e897d91a80430.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/c10866818cc44e499d73f28e324ae033.png
[8845b2fc2ddd4fcf8a6816d2033e4e90.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/4111f54a0d7f450199059a7240f96b80.png