抓取各类别的文章

小灰灰 2022-07-14 11:25 50阅读 0赞

转载请表明出处：http://blog.csdn[.NET][]/lmj623565791/article/details/23532797

这篇博客接着上一篇[（][Link 1][Android][] 使用Fragment，ViewPagerIndicator 制作csdn app主要框架）继续实现接下来的功能，如果你想了解整个app的制作过程，你可以去看一下上一篇，当然如果你只对网页信息的抓取感兴趣，你可以直接阅读本篇博客。我会把app功能分解，尽可能的每篇之间的耦合度不会太高。

好了，开始进入正题。这篇内容我新建一个[Java][]项目实现，一方面java调试比较方便，另一方面我会使用导入jar包的方式，把这个项目导入到android项目使用，大家如果在导jar方面没有经验，可以看下。

先看下项目结构：

![Center][]      ![Center 1][]

定义了一个NewsBean对于app的每个ListView的Item,Constaint是个接口，存放了一些常量，还有就是一些辅助类。

NewsItem.java

**\[java\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  **package** com.zhy.bean;  
2.    
3.  **public** **class** NewsItem  
4.  \{  
5.      **private** **int** id;  
6.    
7.      /\*\* 
8.       \* 标题 
9.       \*/  
10.     **private** String title;  
11.     /\*\* 
12.      \* 链接 
13.      \*/  
14.     **private** String link;  
15.     /\*\* 
16.      \* 发布日期 
17.      \*/  
18.     **private** String date;  
19.     /\*\* 
20.      \* 图片的链接 
21.      \*/  
22.     **private** String imgLink;  
23.     /\*\* 
24.      \* 内容 
25.      \*/  
26.     **private** String content;  
27.   
28.     /\*\* 
29.      \* 类型   
30.      \*  
31.      \*/  
32.     **private** **int** newsType;  
33.   
34.     **public** **int** getNewsType()  
35.     \{  
36.         **return** newsType;  
37.     \}  
38.   
39.     **public** **void** setNewsType(**int** newsType)  
40.     \{  
41.         **this**.newsType = newsType;  
42.     \}  
43.   
44.     **public** String getTitle()  
45.     \{  
46.         **return** title;  
47.     \}  
48.   
49.     **public** **void** setTitle(String title)  
50.     \{  
51.         **this**.title = title;  
52.     \}  
53.   
54.     **public** String getLink()  
55.     \{  
56.         **return** link;  
57.     \}  
58.   
59.     **public** **void** setLink(String link)  
60.     \{  
61.         **this**.link = link;  
62.     \}  
63.   
64.     **public** **int** getId()  
65.     \{  
66.         **return** id;  
67.     \}  
68.   
69.     **public** **void** setId(**int** id)  
70.     \{  
71.         **this**.id = id;  
72.     \}  
73.   
74.     **public** String getDate()  
75.     \{  
76.         **return** date;  
77.     \}  
78.   
79.     **public** **void** setDate(String date)  
80.     \{  
81.         **this**.date = date;  
82.     \}  
83.   
84.     **public** String getImgLink()  
85.     \{  
86.         **return** imgLink;  
87.     \}  
88.   
89.     **public** **void** setImgLink(String imgLink)  
90.     \{  
91.         **this**.imgLink = imgLink;  
92.     \}  
93.   
94.     **public** String getContent()  
95.     \{  
96.         **return** content;  
97.     \}  
98.   
99.     **public** **void** setContent(String content)  
100.     \{  
101.         **this**.content = content;  
102.     \}  
103.   
104.     @Override  
105.     **public** String toString()  
106.     \{  
107.         **return** "NewsItem \[id=" + id + ", title=" + title + ", link=" + link + ", date=" + date + ", imgLink=" + imgLink  
108.                 + ", content=" + content + ", newsType=" + newsType + "\]";  
109.     \}  
110.   
111. \}

CommonException.java

**\[java\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  **package** com.zhy.bean;  
2.    
3.  **public** **class** CommonException **extends** Exception  
4.  \{  
5.    
6.      **public** CommonException()  
7.      \{  
8.          **super**();  
9.          // TODO Auto-generated constructor stub  
10.     \}  
11.   
12.     **public** CommonException(String message, Throwable cause)  
13.     \{  
14.         **super**(message, cause);  
15.         // TODO Auto-generated constructor stub  
16.     \}  
17.   
18.     **public** CommonException(String message)  
19.     \{  
20.         **super**(message);  
21.         // TODO Auto-generated constructor stub  
22.     \}  
23.   
24.     **public** CommonException(Throwable cause)  
25.     \{  
26.         **super**(cause);  
27.         // TODO Auto-generated constructor stub  
28.     \}  
29.       
30. \}

Constaint.java

**\[java\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  **package** com.zhy.csdn;  
2.    
3.  **public** **interface** Constaint  
4.  \{  
5.      **public** **static** **final** **int** NEWS\_TYPE\_YEJIE = 1;  
6.      **public** **static** **final** **int** NEWS\_TYPE\_YIDONG = 2;  
7.      **public** **static** **final** **int** NEWS\_TYPE\_YANFA = 3;  
8.      **public** **static** **final** **int** NEWS\_TYPE\_CHENGXUYUAN = 4;  
9.      **public** **static** **final** **int** NEWS\_TYPE\_YUNJISUAN = 5;   
10.       
11.   
12. \}

DataUtil.java

**\[java\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  **package** com.zhy.csdn;  
2.    
3.  **import** java.io.InputStream;  
4.  **import** java.net.HttpURLConnection;  
5.  **import** java.net.URL;  
6.    
7.  **import** com.zhy.bean.CommonException;  
8.    
9.  **public** **class** DataUtil  
10. \{  
11.   
12.     /\*\* 
13.      \* 返回该链接地址的html数据 
14.      \*  
15.      \* @param urlStr 
16.      \* @return 
17.      \* @throws CommonException 
18.      \*/  
19.     **public** **static** String doGet(String urlStr) **throws** CommonException  
20.     \{  
21.         StringBuffer sb = **new** StringBuffer();  
22.         **try**  
23.         \{  
24.             URL url = **new** URL(urlStr);  
25.             HttpURLConnection conn = (HttpURLConnection) url.openConnection();  
26.             conn.setRequestMethod("GET");  
27.             conn.setConnectTimeout(5000);  
28.             conn.setDoInput(**true**);  
29.             conn.setDoOutput(**true**);  
30.   
31.             **if** (conn.getResponseCode() == 200)  
32.             \{  
33.                 InputStream is = conn.getInputStream();  
34.                 **int** len = 0;  
35.                 **byte**\[\] buf = **new** **byte**\[1024\];  
36.   
37.                 **while** ((len = is.read(buf)) != -1)  
38.                 \{  
39.                     sb.append(**new** String(buf, 0, len, "UTF-8"));  
40.                 \}  
41.   
42.                 is.close();  
43.             \} **else**  
44.             \{  
45.                 **throw** **new** CommonException("访问网络失败！");  
46.             \}  
47.   
48.         \} **catch** (Exception e)  
49.         \{  
50.             **throw** **new** CommonException("访问网络失败！");  
51.         \}  
52.         **return** sb.toString();  
53.     \}  
54.   
55.       
56.       
57.   
58. \}

URLUtil.java

**\[java\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  **package** com.zhy.csdn;  
2.    
3.    
4.  **public** **class** URLUtil  
5.  \{  
6.    
7.    
8.      **public** **static** **final** String NEWS\_LIST\_URL = "http://www.csdn.net/headlines.html";  
9.      **public** **static** **final** String NEWS\_LIST\_URL\_YIDONG = "http://mobile.csdn.net/mobile";  
10.     **public** **static** **final** String NEWS\_LIST\_URL\_YANFA = "http://sd.csdn.net/sd";  
11.     **public** **static** **final** String NEWS\_LIST\_URL\_YUNJISUAN = "http://cloud.csdn.net/cloud";  
12.     **public** **static** **final** String NEWS\_LIST\_URL\_ZAZHI = "http://programmer.csdn.net/programmer";  
13.     **public** **static** **final** String NEWS\_LIST\_URL\_YEJIE = "http://news.csdn.net/news";  
14.   
15.   
16.     /\*\* 
17.      \* 根据文章类型，和当前页码生成url 
18.      \* @param newsType 
19.      \* @param currentPage 
20.      \* @return 
21.      \*/  
22.     **public** **static** String generateUrl(**int** newsType, **int** currentPage)  
23.     \{  
24.         currentPage = currentPage > 0 ? currentPage : 1;  
25.         String urlStr = "";  
26.         **switch** (newsType)  
27.         \{  
28.         **case** Constaint.NEWS\_TYPE\_YEJIE:  
29.             urlStr = NEWS\_LIST\_URL\_YEJIE;  
30.             **break**;  
31.         **case** Constaint.NEWS\_TYPE\_YANFA:  
32.             urlStr = NEWS\_LIST\_URL\_YANFA;  
33.             **break**;  
34.         **case** Constaint.NEWS\_TYPE\_CHENGXUYUAN:  
35.             urlStr = NEWS\_LIST\_URL\_ZAZHI;  
36.             **break**;  
37.         **case** Constaint.NEWS\_TYPE\_YUNJISUAN:  
38.             urlStr = NEWS\_LIST\_URL\_YUNJISUAN;  
39.             **break**;  
40.         **default**:  
41.             urlStr = NEWS\_LIST\_URL\_YIDONG;  
42.             **break**;  
43.         \}  
44.   
45.   
46.         urlStr += "/" + currentPage;  
47.           
48.         **return** urlStr;  
49.   
50.   
51.     \}  
52.   
53.   
54. \}

NewsItemBiz.java业务类

**\[java\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  **package** com.zhy.biz;  
2.    
3.  **import** java.util.ArrayList;  
4.  **import** java.util.List;  
5.    
6.  **import** org.jsoup.Jsoup;  
7.  **import** org.jsoup.nodes.Document;  
8.  **import** org.jsoup.nodes.Element;  
9.  **import** org.jsoup.select.Elements;  
10.   
11. **import** com.zhy.bean.CommonException;  
12. **import** com.zhy.bean.NewsItem;  
13. **import** com.zhy.csdn.DataUtil;  
14. **import** com.zhy.csdn.URLUtil;  
15.   
16. /\*\* 
17.  \* 处理NewItem的业务类 
18.  \* @author zhy 
19.  \*  
20.  \*/  
21. **public** **class** NewsItemBiz  
22. \{  
23.     /\*\* 
24.      \* 业界、移动、云计算 
25.      \*  
26.      \* @param htmlStr 
27.      \* @return 
28.      \* @throws CommonException  
29.      \*/  
30.     **public** List<NewsItem> getNewsItems( **int** newsType , **int** currentPage) **throws** CommonException  
31.     \{  
32.         String urlStr = URLUtil.generateUrl(newsType, currentPage);  
33.           
34.         String htmlStr = DataUtil.doGet(urlStr);  
35.           
36.         List<NewsItem> newsItems = **new** ArrayList<NewsItem>();  
37.         NewsItem newsItem = **null**;  
38.   
39.         Document doc = Jsoup.parse(htmlStr);  
40.         Elements units = doc.getElementsByClass("unit");  
41.         **for** (**int** i = 0; i < units.size(); i++)  
42.         \{  
43.             newsItem = **new** NewsItem();  
44.             newsItem.setNewsType(newsType);  
45.   
46.             Element unit\_ele = units.get(i);  
47.   
48.             Element h1\_ele = unit\_ele.getElementsByTag("h1").get(0);  
49.             Element h1\_a\_ele = h1\_ele.child(0);  
50.             String title = h1\_a\_ele.text();  
51.             String href = h1\_a\_ele.attr("href");  
52.   
53.             newsItem.setLink(href);  
54.             newsItem.setTitle(title);  
55.   
56.             Element h4\_ele = unit\_ele.getElementsByTag("h4").get(0);  
57.             Element ago\_ele = h4\_ele.getElementsByClass("ago").get(0);  
58.             String date = ago\_ele.text();  
59.   
60.             newsItem.setDate(date);  
61.   
62.             Element dl\_ele = unit\_ele.getElementsByTag("dl").get(0);// dl  
63.             Element dt\_ele = dl\_ele.child(0);// dt  
64.             **try**  
65.             \{ // 可能没有图片  
66.                 Element img\_ele = dt\_ele.child(0);  
67.                 String imgLink = img\_ele.child(0).attr("src");  
68.                 newsItem.setImgLink(imgLink);  
69.             \} **catch** (IndexOutOfBoundsException e)  
70.             \{  
71.   
72.             \}  
73.             Element content\_ele = dl\_ele.child(1);// dd  
74.             String content = content\_ele.text();  
75.             newsItem.setContent(content);  
76.             newsItems.add(newsItem);  
77.         \}  
78.   
79.         **return** newsItems;  
80.   
81.     \}  
82.   
83. \}

好了，最后就是测试了，这里使用单元测试，下面是测试代码和结果。

[测试][Link 2]代码：

**\[java\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  **package** com.zhy.test;  
2.    
3.  **import** java.util.List;  
4.    
5.  **import** com.zhy.bean.CommonException;  
6.  **import** com.zhy.bean.NewsItem;  
7.  **import** com.zhy.biz.NewsItemBiz;  
8.  **import** com.zhy.csdn.Constaint;  
9.  **import** com.zhy.csdn.DataUtil;  
10.   
11. **public** **class** Test  
12. \{  
13.   
14.     @org.junit.Test  
15.     **public** **void** test01()  
16.     \{  
17.         NewsItemBiz biz = **new** NewsItemBiz();  
18.         **int** currentPage = 1;  
19.         **try**  
20.         \{  
21.             /\*\* 
22.              \* 业界 
23.              \*/  
24.             List<NewsItem> newsItems = biz.getNewsItems(Constaint.NEWS\_TYPE\_YEJIE, currentPage);  
25.             **for** (NewsItem item : newsItems)  
26.             \{  
27.                 System.out.println(item);  
28.             \}  
29.   
30.             System.out.println("----------------------");  
31.             /\*\* 
32.              \* 程序员杂志 
33.              \*/  
34.             newsItems = biz.getNewsItems(Constaint.NEWS\_TYPE\_CHENGXUYUAN, currentPage);  
35.             **for** (NewsItem item : newsItems)  
36.             \{  
37.                 System.out.println(item);  
38.             \}  
39.             System.out.println("----------------------");  
40.             /\*\* 
41.              \* 研发 
42.              \*/  
43.             newsItems = biz.getNewsItems(Constaint.NEWS\_TYPE\_YANFA, currentPage);  
44.             **for** (NewsItem item : newsItems)  
45.             \{  
46.                 System.out.println(item);  
47.             \}  
48.             System.out.println("----------------------");  
49.             /\*\* 
50.              \* 移动 
51.              \*/  
52.             newsItems = biz.getNewsItems(Constaint.NEWS\_TYPE\_YIDONG, currentPage);  
53.             **for** (NewsItem item : newsItems)  
54.             \{  
55.                 System.out.println(item);  
56.             \}  
57.             System.out.println("----------------------");  
58.   
59.         \} **catch** (CommonException e)  
60.         \{  
61.             e.printStackTrace();  
62.         \}  
63.     \}  
64.   
65. \}

结果：

**\[html\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  NewsItem \[id=0, title=如何做到每天写代码？, date=2014\-04-11 11:26, newsType=1\]  
2.  NewsItem \[id=0, title=一周消息树：超级充电器来袭，30秒可为手机充满电, date=2014\-04-11 15:20, newsType=1\]  
3.  NewsItem \[id=0, title=Google Glass于4月15日在美对外开放购买，售价为1500美元, date=2014\-04-11 08:01, newsType=1\]  
4.  NewsItem \[id=0, title=Cortana与Siri、Google Now的较量：支持功能更多, date=2014\-04-10 16:30, newsType=1\]  
5.  NewsItem \[id=0, title=优秀Unix管理员的七个习惯, date=2014\-04-10 10:58, newsType=1\]  
6.  NewsItem \[id=0, title=国外用户也不幸福！Facebook强制用户必须下载Messager, date=2014\-04-10 09:10, newsType=1\]  
7.  NewsItem \[id=0, title=ThoughtWorks CTO谈IT职场女性：你并不奇怪, date=2014\-04-09 18:18, newsType=1\]  
8.  NewsItem \[id=0, title=微软转型之路：从Build 2014开始, date=2014\-04-09 17:05, newsType=1\]  
9.  NewsItem \[id=0, title=设计师为什么要学编程，开发者为什么要学设计？, date=2014\-04-09 14:07, newsType=1\]  
10. NewsItem \[id=0, title=Windows 8.1 Update 1的下载地址和八点???知, date=2014\-04-09 08:38, newsType=1\]  
11. \----------------------  
12. NewsItem \[id=0, title=页面仔和他的小创新, date=2014\-04-11 11:09, newsType=4\]  
13. NewsItem \[id=0, title=未来两年必须掌握的移动互联网技术与能力, date=2014\-04-10 14:43, newsType=4\]  
14. NewsItem \[id=0, title=互联网思维到底是什么——移动浪潮下的新商业逻辑, date=2014\-04-09 13:05, newsType=4\]  
15. NewsItem \[id=0, title=虚拟现实之眼——Oculus与HMD关键技术, date=2014\-04-09 12:47, newsType=4\]  
16. NewsItem \[id=0, title=如何实现团队的自组织管理, date=2014\-04-09 11:59, newsType=4\]  
17. NewsItem \[id=0, title=途牛网CTO汤峥嵘：互联网思维——光说不练远远不够, date=2014\-04-08 11:10, newsType=4\]  
18. NewsItem \[id=0, title=理解创客, date=2014\-04-04 17:55, newsType=4\]  
19. NewsItem \[id=0, title=TypeScript：更好的JavaScript, date=2014\-04-03 16:10, newsType=4\]  
20. NewsItem \[id=0, title=Chris Anderson：我们正经历一场真正的革命, date=2014\-04-02 14:45, newsType=4\]  
21. NewsItem \[id=0, title=Cocos2d\-x 3.0带来了什么, date=2014\-04-02 14:09, newsType=4\]  
22. \----------------------  
23. NewsItem \[id=0, title=研发周报：Perl创历史新低, date=2014\-04-11 14:13, newsType=3\]  
24. NewsItem \[id=0, title=代码面试最常用的10大算法, date=2014\-04-10 11:34, newsType=3\]  
25. NewsItem \[id=0, title=TIOBE 2014年4月编程语言排行榜：Perl跌至历史最低点, date=2014\-04-10 09:20, newsType=3\]  
26. NewsItem \[id=0, title=金蝶发布Apusic智慧云平台 构建产业联盟推动信息化建设, date=2014\-04-09 10:38, newsType=3\]  
27. NewsItem \[id=0, title=OpenSSL究竟为何物，为何它的影响力如此之大？, date=2014\-04-09 08:52, newsType=3\]  
28. NewsItem \[id=0, title=Airbnb的管理之道：产品设计的点评策略与技巧, date=2014\-04-09 07:01, newsType=3\]  
29. NewsItem \[id=0, title=大势所趋 HTML5成Web开发者最关心的技术, date=2014\-04-08 14:30, newsType=3\]  
30. NewsItem \[id=0, title=研发周报：微软Build2014精华汇总, date=2014\-04-04 16:09, newsType=3\]  
31. NewsItem \[id=0, title=Facebook发布PlanOut 开源部分A/B测试源码, date=2014\-04-04 11:02, newsType=3\]  
32. NewsItem \[id=0, title=撼动企业应用架构的十大技术趋势, date=2014\-04-08 14:40, newsType=3\]  
33. \----------------------  
34. NewsItem \[id=0, title=2014移动开发者必备的十大应用测试工具, date=22小时前, newsType=2\]  
35. NewsItem \[id=0, title=前《连线》主编Chris Anderson：创客就要DIT, date=22小时前, newsType=2\]  
36. NewsItem \[id=0, title=创客天下——《Make》及Maker Faire创办人、O'Reilly Media创始人Dale Dougherty专访, date=2014\-04-11 11:21, newsType=2\]  
37. NewsItem \[id=0, title=《近匠》aGlass团队：透析眼控技术的价值, date=2014\-04-11 10:51, newsType=2\]  
38. NewsItem \[id=0, title=UC多屏战略 推出电脑版和电视版浏览器, date=2014\-04-11 07:07, newsType=2\]  
39. NewsItem \[id=0, title=“颠覆医疗” 时云医疗推三款硬件产品, date=2014\-04-10 21:05, newsType=2\]  
40. NewsItem \[id=0, title=2014Unity亚洲开发者大会倒计时 干货内容日程汇总, date=2014\-04-10 10:06, newsType=2\]  
41. NewsItem \[id=0, title=《近匠》棱镜：手游渠道SDK平台的技术历程, date=2014\-04-09 10:27, newsType=2\]  
42. NewsItem \[id=0, title=绝对的超现实！Jaunt打造360°全景VR电影, date=2014\-04-08 15:45, newsType=2\]  
43. NewsItem \[id=0, title=Unite China 2014课程解析：行业解决方案专场免费开放, date=2014\-04-08 13:13, newsType=2\]  
44. \----------------------

好了，最后打成jar，在下篇博客中会放入咱们待完成Android的项目中使用。

![Center 2][]

如果你觉得这篇文章对你有帮助，可以顶一个。

[.NET]: http://lib.csdn.net/base/dotnet
[Link 1]: http://blog.csdn.net/lmj623565791/article/details/23513993
[Android]: http://lib.csdn.net/base/android
[Java]: http://lib.csdn.net/base/javase
[Center]: https://img-blog.csdn.net/20140412151248390?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbG1qNjIzNTY1Nzkx/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 1]: /images/20220714/b2490db3e8ff4c06ae84b193cd2e201a.png
[view plain]: http://blog.csdn.net/lmj623565791/article/details/23532797#
[CODE]: https://code.csdn.net/assets/CODE_ico.png
[CODE_CODE]: https://code.csdn.net/snippets/288309
[ico_fork.svg]: https://code.csdn.net/assets/ico_fork.svg
[ico_fork.svg 1]: https://code.csdn.net/snippets/288309/fork
[Link 2]: http://lib.csdn.net/base/softwaretest
[Center 2]: /images/20220714/bc327b8e753d49fd8d95251f33a89891.png