【MapReduce】Hadoop的序列化机制以及序列化案例求解每个部门工资总额

青旅半醒 2022-08-30 15:52 117阅读 0赞

### Hadoop的序列化机制以及序列化案例求解每个部门工资总额 ###

*  1 Hadoop的序列化
 *   *  1.1 序列化定义
     *  1.2 Java序列化编程
     *  1.3 hadoop序列化编程
 *  2 序列化求解每个部门工资总额

手动反爬虫，禁止转载： [原博地址][Link 1] https://blog.csdn.net/lys\_828/article/details/118966924（CSDN博主：Be\_melting）

知识梳理不易，请尊重劳动成果，文章仅发布在CSDN网站上，在其他网站看到该博文均属于未经作者授权的恶意爬取信息

# 1 Hadoop的序列化 #

## 1.1 序列化定义 ##

序列化(Serialization)：是将对象的状态信息转换为可以存储或传输的形式的过程。在序列化期间，对象将其当前状态写入到临时或持久性存储区。以后，可以通过从存储区中读取或反序列化对象的状态，重新创建该对象。

## 1.2 Java序列化编程 ##

通过上面的定义可能很难进行理解，通过Java代码的实际操作来加深理解一下序列化的含义。首选新建一个package命名为ser.java，然后随便创建一个学生的类  
![在这里插入图片描述][a419e43fed95ce8b4311821c92f7c6fa.png]  
然后就是创建一个测试的类，进行运行，看一下能不能把实例化的学生信息存储在本地  
![在这里插入图片描述][90c657841419c3c552fa85bdbb5a08af.png]  
然后运行这个测试的Java程序，输出的结果显示（抛出了NotSerializableException，也就是无法被序列化的错误）  
![在这里插入图片描述][6c3e79408b39adbbd189c75646de563c.png]  
要想实现对象永久化的存储就必须实现序列化的过程，对于Java来讲提供的有一个Serializable接口，在创建类的时候执行一下这个接口再运行即可  
![在这里插入图片描述][de7d3b45223f82af4150021a22e379ea.png]  
最后为了显示运行成功状态，在测试的Java程序中添加一条输出提醒，最后的输出如下，实现了对象的持久化存储的要求  
![在这里插入图片描述][666ebf5036bb803cb9ec9167752a8c4c.png]

## 1.3 hadoop序列化编程 ##

和Java实现序列化一样，要想在hadoop中把一种数据类型作为Map和Reduce的输入和输出的Key以及Value，也就必须实现序列化的接口（Writable，与Java的Serializable类似）。比如创建一个Employee类，封装员工数据，作为Map阶段的value（也就是k2），然后k2使用的是员工号

使用的数据还是之前的员工表中的数据，共八个字段，然后创建一个类包含所有的字段  
![在这里插入图片描述][0504272cb44805b8fbe3113e5953bdd2.png]  
由于数据最终要被输出到HDFS上，为了方便进行查看最终的结果，可以重写tostring方法，将员工号、姓名、薪水和部门号四个字段进行转化（当然也可以全部进行转化）  
![在这里插入图片描述][330b85842a279dc27aaec94139151580.png]  
以上就是完成了最简单的Java Class的设置，但是这个程序并不能作为Map的key和value，因为没有实现序列化的接口。只需要添加`implements Writable`代码，然后自动填充对应的方法（在Employee类后面执行Writable的接口，然后鼠标放在Employee上面，点击第一个选项，会自动补充需要完善的方法）  
![在这里插入图片描述][43bfdb4a08e90681bfdb29c8d14c7dd7.png]  
自动生成要完善的方法有两个，一个就是读取（反序列化过程），一个是输出（序列化的过程）  
![在这里插入图片描述][1a1499c7d673f6939bd2f47fe8f13f76.png]  
在进行完善的过程中，需要注意一点：**序列化的过程要和反序列化的过程顺序保持一致**  
![在这里插入图片描述][1eef653594bdf709c9e2ea30eb05abfc.png]  
然后就可以创建一个Map程序和执行的主程序进行验证一下，Map程序里面注意要对每个字段进行一一设置  
![在这里插入图片描述][ce298bc827855e41898065aa8b396768.png]  
然后就是主程序界面，由于没有了Reduce，所以少了一行代码，最后要修改的也是三个框中的内容，其余的保持不变  
![在这里插入图片描述][b77fdd9ab3bebbf54cc345be0a468594.png]  
至此就完成了测试代码的开发，然后将代码打包成为jar文件，上传至hadoop进行测试  
![在这里插入图片描述][afc9b2e96bae079c8c4c91b1d624f680.png]  
然后hadoop上测试显示成功运行  
![在这里插入图片描述][76860ea18c2691d5cbf558b341e14e78.png]  
最后一步就是看看生成的目录文件中的信息是否一致（输出很完美，就是和最开始我们希望要看到的一样，再对tostring进行重写输出的格式保持一致）  
![在这里插入图片描述][e8df69af1e37ae72cb30fe0e8062c630.png]

# 2 序列化求解每个部门工资总额 #

上一篇博客进行求解每个部门工资总额的求解，刚刚又进行了hadoop序列化的设置，那么接下来就是直接使用序列化的方式进行求解每个部门工资总额的求解

过程详解可以基于之前的过程进行改造，主要是V2和v3之间的区别，这里都变成了对象，然后v3就是对象中取出薪水构成的集合，最后的v4就是薪水的总和  
![在这里插入图片描述][f57044000489051436a0333e5fe4fd76.png]  
直接就利用刚刚序列化的代码进行编写，创建一个ser.saletotal的package，接着就是三个框架，首先将定义的Employee.java这个文件直接复制过来，然后就是Map程序中修改最后一行的代码，将原来的员工号修改为部门号，如下  
![在这里插入图片描述][e06cad1cd6ccf6458c813f9072a0fc1b.png]  
Reduce的程序代码之前没有进行创建，因此主要的工作量就是在这个地方，新建一个Java Class命名为EmpolyeeReducer，具体的运算也是进行求和，但是和之前的变量上面还是有点区别  
![在这里插入图片描述][f3daea3e11ebe7252f7fe84567344642.png]  
最后就是创建执行的主程序，还是加载模板进行内容的修改，代码部分只需要修改一行，部分注释修改两处就可以了  
![在这里插入图片描述][87f7c7e5d2fc20f6cdd79783f0c81bc4.png]  
最后将代码程序打包生成为p4.jar文件，上传到hadoop中进行测试  
![在这里插入图片描述][a83db44498dc23bc2d7f56d823874bc1.png]  
核实一下生成的文件中的信息是否一致（很完美，结果是一样的，啦啦啦）  
![在这里插入图片描述][a37efc90eb8f6b9cd3bf08460305d749.png]  
至此关于Hadoop的序列化机制以及序列化案例求解每个部门工资总额的知识点就全部梳理完毕了，完结撒花✿✿ヽ(°▽°)ノ✿

[Link 1]: https://blog.csdn.net/lys_828/article/details/118966924
[a419e43fed95ce8b4311821c92f7c6fa.png]: /images/20220829/ee837c3767d74c81b00c423f24b198c5.png
[90c657841419c3c552fa85bdbb5a08af.png]: /images/20220829/9067b0e89edf4c2c97afb24790f03e69.png
[6c3e79408b39adbbd189c75646de563c.png]: /images/20220829/a5874ed26eb24bb3b6e297698861bc97.png
[de7d3b45223f82af4150021a22e379ea.png]: /images/20220829/2c9dc66db6a04ea9b091b93c07a203f2.png
[666ebf5036bb803cb9ec9167752a8c4c.png]: /images/20220829/f7bedf90b5eb496ab50dcca4918d9880.png
[0504272cb44805b8fbe3113e5953bdd2.png]: /images/20220829/b54da8e2b7cf49a288cfe54486f0eb2c.png
[330b85842a279dc27aaec94139151580.png]: /images/20220829/816d48394c5847e1a61903788cd99d4b.png
[43bfdb4a08e90681bfdb29c8d14c7dd7.png]: /images/20220829/172faa2cb4e64fb3af1506dc2adc301a.png
[1a1499c7d673f6939bd2f47fe8f13f76.png]: /images/20220829/dc255ec6a40f4c098d52a3c156175217.png
[1eef653594bdf709c9e2ea30eb05abfc.png]: /images/20220829/4f497d479d7745f0b3fdc5d24098d360.png
[ce298bc827855e41898065aa8b396768.png]: /images/20220829/3f4413ffd6624b2bb6d7580c642a14fe.png
[b77fdd9ab3bebbf54cc345be0a468594.png]: /images/20220829/555821ce8d8745ae8abf7aeb0b8662d1.png
[afc9b2e96bae079c8c4c91b1d624f680.png]: /images/20220829/e31850eb5de14c179fe6016fb901b31f.png
[76860ea18c2691d5cbf558b341e14e78.png]: /images/20220829/8b6b6ff68221463b8b33331e2451b580.png
[e8df69af1e37ae72cb30fe0e8062c630.png]: /images/20220829/033dd67b45f049f1bbc4998b61cf60e4.png
[f57044000489051436a0333e5fe4fd76.png]: /images/20220829/e4957d27d1ae4e7f93a9e57a361585bd.png
[e06cad1cd6ccf6458c813f9072a0fc1b.png]: /images/20220829/9919fd2df020481dbb93977de00bfd22.png
[f3daea3e11ebe7252f7fe84567344642.png]: /images/20220829/151aee94951a434cbd19d010c0d5646a.png
[87f7c7e5d2fc20f6cdd79783f0c81bc4.png]: /images/20220829/8917d3ed56474fe38d6b999e51f89f5f.png
[a83db44498dc23bc2d7f56d823874bc1.png]: /images/20220829/fcc2c704567448f39e91978bf34bc0cd.png
[a37efc90eb8f6b9cd3bf08460305d749.png]: /images/20220829/62c5ec921c9f4662875be9307d0cd784.png