Hadoop进阶之输入路径如何正则通配？

痛定思痛。 2022-08-07 17:43 95阅读 0赞

在hadoop的编程中，如果你是手写MapReduce来处理一些数据，那么就避免不了输入输出参数路径的设定，hadoop里文件基类FileInputFormat提供了如下几种api来制定：  
   
![e114e9f8-e599-384a-bf1c-a1da45b16ebe.jpg][]   
  
  
如上图，里面有  
（1）addInputPath()，每次添加一个输入路径Path  
（2）addInputPaths， 将多个路径以逗号分割的字符串，作为入参，支持多个路径  
（3）setInputPath ，设置一个输入路径Path，会覆盖原来的路径  
（4）setInputPath ， 设置多个路径，支持Hadoop文件系统重写的Path对象，这在JAVA里是接口。  
  
代码如下：

Java代码 ![收藏代码][icon_star.png]

1.  FileInputFormat.setInputDirRecursive(job, **true**);//设置可以递归读取目录
2.  FileInputFormat.addInputPath(job, **new** Path("path1")); 
3.  FileInputFormat.addInputPaths(job, "path1,path2,path3,path...."); 
4.  FileInputFormat.setInputPaths(job, **new** Path("path1"),**new** Path("path2")); 
5.  FileInputFormat.setInputPaths(job, "path1,path2,path3,path....");

而真正用的时候，我们只需要根据业务使用上面的其中一个路径即可。  
ok知道怎么，传入路径了，下面来看下，如何在HDFS上过滤出，自己想要的文件或目录，HDFS系统的路径默认是支持正则过滤的，这一点非常强大，只要我们会写正则，我们几乎可以过滤任何我们想要的路径或文件。  
  
详细内容请查阅这个链接[http://hadoop.apache.org/docs/current/api/org/apache/hadoop/fs/FileSystem.html\#globStatus(org.apache.hadoop.fs.Path)][http_hadoop.apache.org_docs_current_api_org_apache_hadoop_fs_FileSystem.html_globStatus_org.apache.hadoop.fs.Path]  
下面散仙就举个实际项目应用中的例子，这样能帮助大家更好的理解和使用它。  
先看下面的一个HDFS上的存储结构图：  
   
![f9fe2eb2-f742-3a6d-b334-420d04edcb1d.jpg][]   
  
  
  
这是一个按日期每天生成的一个文件夹，当然这里可以有很多分维度的法，比如按照年，月，日，小时，来划分，具体情况应跟业务结合考虑。  
  
看下，直接的根目录的下一级目录：  
  
![01bd3146-fd4c-35a5-8c53-58b032d71bf6.jpg][]  
  
  
ok，存储结构清楚了，那么现在提几个需求  
  
（1）只过滤出pv目录下的数据  
（2）只过滤出uv目录下的数据  
（3）只过滤出keyword目录下的数据  
（4）只过滤出pv和uv的数据或者叫以v结尾的数据  
（5）过滤2015年的数据  
（6）过滤出某个时间范围内的数据比如2015-04-10到2015-04-17时间范围下的pv的数据  
  
  
其实前个需求很简单都是一种需求：  
  
hadoop里的FileStatus类是支持路径通配的，对应的写法如下：

Java代码 ![收藏代码][icon_star.png]

1.  FileSystem fs = FileSystem.get(conf); 
2.  //
3.  //过滤pv或uv的目录数据
4.   String basepath="/user/d1/DataFileShare/Search/\*/\*/\{pv,uv\}"; 
5.  //过滤v结尾的目录数据
6.   String basepath="/user/d1/DataFileShare/Search//\*/\*/\*v"; 
7.  //过滤uv的数据
8.   String basepath="/user/d1/DataFileShare/Search//\*/\*/uv"; 
9.  //过滤pv的数据
10.  String basepath="/user/d1/DataFileShare/Search//\*/\*/pv"; 
11. 
12. //过滤2015年的pv的数据
13. String basepath="/user/d1/DataFileShare/Search/2015\*/\*/pv"; 
14. //获取globStatus
15. FileStatus\[\] status = fs.globStatus(**new** Path(basepath)); 
16. **for**(FileStatus f:status)\{ 
17. //打印全路径，
18.  System.out.println(f.getPath().toString()); 
19. //打印最后一级目录名
20. //System.out.println(f.getPath().getName());
21. \}

最后一个复杂，直接使用正则，会比较繁琐，而且假如有一些其他的逻辑在里面会比较难控制，比如说你拿到这个日期，会从redis里面再次匹配，是否存在，然后在做某些决定。  
  
hadoop在globStatus的方法里，提供了一个路径重载，根据PathFilter类，通过正则再次过滤出我们需要的文件即可，使用此类，我们可以以更灵活的方式，操作，过滤路径，比如说上面的那个日期范围的判断，我们就可以根据全路径中，截取出日期，再做一些判断，并且可以再次过滤低级的路径，比如是pv，uv或keyword的路径。  
  
实例代码如下：  
  
调用代码：

Java代码 ![收藏代码][icon_star.png]

1.  FileStatus\[\] status = fs.globStatus(**new** Path(basepath),**new** RegexExcludePathAndTimeFilter(rexp\_date,rexp\_business, "2015-04-04", "2015-04-06"));

处理代码：

Java代码 ![收藏代码][icon_star.png]

1.  /\*\*
2.   \* 实现PathFilter接口使用正则过滤
3.   \* 所需数据
4.   \* 加强版，按时间范围,路径过滤
5.   \* @author qindongliang
6.   \* 大数据交流群：(1号群) 376932160 (2号群) 415886155
7.   \* 
8.   \* \*\*/
9.  **static** **class** RegexExcludePathAndTimeFilter **implements** PathFilter\{ 
10. //日期的正则
11. **private** **final** String regex; 
12. //时间开始过滤
13. **private** **final** String start; 
14. //时间结束过滤
15. **private** **final** String end; 
16. //业务过滤
17. **private** **final** String regex\_business; 
18. 
19. **public** RegexExcludePathAndTimeFilter(String regex,String regex\_business,String start,String end) \{ 
20. **this**.regex=regex; 
21. **this**.start=start; 
22. **this**.end=end; 
23. **this**.regex\_business=regex\_business; 
24.  \} 
25. 
26. @Override
27. **public** **boolean** accept(Path path) \{ 
28.  String data\[\]=path.toString().split("/"); 
29.  String date=data\[7\]; 
30.  String business=data\[9\]; 
31. **return** Pattern.matches(regex\_business, business)&&Pattern.matches(regex,date) && TimeTools.checkDate(start, end, date); 
32.  \} 
33. 
34. 
35. 
36.  \} 
37. 
38. /\*\*日期比较的工具类\*\*/
39. **static** **class** TimeTools\{ 
40. 
41. **final** **static** String DATE\_FORMAT="yyyy-MM-dd"; 
42. 
43. **final** **static** SimpleDateFormat sdf=**new** SimpleDateFormat(DATE\_FORMAT); 
44. 
45. **public** **static** **boolean** cnull(String checkString)\{ 
46. **if**(checkString==**null**||checkString.equals(""))\{ 
47. **return** **false**; 
48.  \} 
49. **return** **true**; 
50.  \} 
51. 
52. /\*\*
53.  \* @param start 开始时间
54.  \* @param end 结束时间
55.  \* @param path 比较的日期路径
56.  \* \*\*/
57. **public** **static** **boolean** checkDate(String start,String end,String path)\{ 
58. **long** startlong=0; 
59. **long** endlong=0; 
60. **long** pathlong=0; 
61. **try**\{ 
62. **if**(cnull(start))\{ 
63.  startlong=sdf.parse(start).getTime(); 
64.  \} 
65. **if**(cnull(end))\{ 
66.  endlong=sdf.parse(end).getTime(); 
67.  \} 
68. **if**(cnull(path))\{ 
69.  pathlong=sdf.parse(path).getTime(); 
70.  \} 
71. //当end日期为空时，只取start+的日期
72. **if**(end==**null**||end.equals(""))\{ 
73. **if**(pathlong>=startlong)\{ 
74. **return** **true**; 
75.  \}**else**\{ 
76. **return** **false**; 
77.  \} 
78.  \}**else**\{ //当end不为空时，取日期范围直接比较
79. //过滤在规定的日期范围之内
80. **if**(pathlong>=startlong&&pathlong<=endlong)\{ 
81. **return** **true**; 
82.  \}**else**\{ 
83. **return** **false**; 
84.  \} 
85. 
86.  \} 
87. 
88.  \}**catch**(Exception e)\{ 
89.  log.error("路径日期转换异常: 开始日期: "\+start+" 结束日期 "\+end+" 比较日期： "\+path+" 异常： "\+e); 
90.  \} 
91. 
92. **return** **false**; 
93.  \}

总结：  
  
（1）如果只是简单的路径过滤，那么直接在路径中就使用正则通配是最简单强大的。  
  
（2）如果是比较复杂的路径过滤，建议自定义PathFilter来封装过滤代码。  
  
（3）如果是在建设初期的就把各个文件夹目录文件的存储规划好，这样是最好不过了，比如上面的pv是一个文件夹，然后下面是各个日期，uv是一个文件夹，然后下面是各种日期，这样从业务的角度就按维度切分好，那么我们处理起来也是非常方便的，这也就是Hive里面对应的分区功能，有了分区，我们就可以按需所取，尽量避免不必要的一些额外操作。  
   
  
最后欢迎大家扫码关注微信公众号：我是攻城师，我们一起学习，进步和交流!（woshigcs）  
本公众号的内容是有关搜索和大数据技术和互联网等方面内容的分享，也是一个温馨的技术互动交流的小家园，有什么问题随时都可以留言，欢迎大家来访！  
   
![3214000f-5633-3c17-a3d7-83ebda9aebff.jpg][]

[e114e9f8-e599-384a-bf1c-a1da45b16ebe.jpg]: /images/20220805/b24cbd6905be4f6aab792b0b47716486.png
[icon_star.png]: /images/20220805/cd4bfee7f6f34b2d826bad8104f87b5e.png
[http_hadoop.apache.org_docs_current_api_org_apache_hadoop_fs_FileSystem.html_globStatus_org.apache.hadoop.fs.Path]: http://hadoop.apache.org/docs/current/api/org/apache/hadoop/fs/FileSystem.html#globStatus%28org.apache.hadoop.fs.Path%29
[f9fe2eb2-f742-3a6d-b334-420d04edcb1d.jpg]: /images/20220805/df879c8bc2c44a198ed817f0cd43da48.png
[01bd3146-fd4c-35a5-8c53-58b032d71bf6.jpg]: /images/20220805/829bd69deb164e3795fe5fdc42877203.png
[3214000f-5633-3c17-a3d7-83ebda9aebff.jpg]: /images/20220805/bd51b83ab35f4ca59e094155c2098edf.png