【C/C++】用C语言编写爬虫 — 爬虫程序优化要点！

Love The Way You Lie 2023-01-10 15:55 125阅读 0赞

### 写一个网络爬虫 ###

用C语言来写一个网络爬虫，来获取一个网站上感兴趣的信息，抓取自己需要的一切。

![947951bdc476c72c0f3000fe4fdcc705.png][]

\#include<cspider/spider.h>/\*

自定义的解析函数，d为获取到的html页面字符串

*/voidp(cspider\_t cspider,chard) \{char*get\[100\];//xpath解析htmlintsize = xpath(d,"//body/div\[@class='wrap'\]/div\[@class='sort-column

area'\]/div\[@class='column-bd cfix'\]/ul\[@class='st-list cfix'\]/li/strong/a",get,100);inti;for(i =0; i < size; i++) \{//将获取到的电影名称，持久化saveString(cspider,get\[i\]); \}\}/\*

数据持久化函数，对上面解析函数中调用的saveString()函数传入的数据，进行进一步的保存

*/voids(void*str) \{char*get= (char*)str; printf("%sn",get);return;\}intmain() \{//初始化spidercspider\_t *spider = init\_cspider();char*agent ="Mozilla/5.0 (Macintosh; Intel

Mac OS X 10.10; rv:42.0) Gecko/20100101 Firefox/42.0";//char \*cookie = "bid=s3/yuH5Jd/I; ll=108288;

viewed=1130500\_24708145\_6433169\_4843567\_1767120\_5318823\_1899158\_1271597;

\_\_utma=30149280.927537245.1446813674.1446983217.1449139583.4;

\_\_utmz=30149280.1449139583.4.4.utmcsr=accounts.douban.com|utmccn=(referral)|utmcmd=referral|utmcct=/login; ps=y; ue=965166527@qq.com;

dbcl2=58742090:QgZ2PSLiDLQ; ck=T9Wn; push\_noty\_num=0; push\_doumail\_num=7; ap=1;

\_\_utmb=30149280.0.10.1449139583; \_*utmc=30149280";//设置要抓取页面的urlcs\_setopt\_url(spider,"so.tv.sohu.com/list\_p1100\_p20\_p3\_u5185\_u5730\_p40\_p5*

p6\_p77\_p80\_p9\_2d1\_p101\_p11.html");//设置user agentcs\_setopt\_useragent(spider,

agent);//cs\_setopt\_cookie(spider, cookie);//传入解析函数和数据持久化函数的指针

cs\_setopt\_process(spider, p); cs\_setopt\_save(spider, s);//设置线程数量cs\_setopt\_threadnum(spider, DOWNLOAD,2); cs\_setopt\_threadnum(spider,

SAVE,2);//FILE \*fp = fopen("log", "wb+");//cs\_setopt\_logfile(spider, fp);//开始爬虫returncs\_run(spider);\}

![6ab169efa9ea5de83d7cd4ff54495c0d.png][]

### 爬虫优化 ###

爬虫程序一般分成数据采集模块，数据分析模块和反爬策略模块，如果能针对这三个模块进行优化，可以让爬虫程序稳定持续的运行。

**1.采集模块**

一般来说目标服务器会提供多种接口，包括url、app或者数据api，研发人员需要根据采集数据难度、每天数据量要求、目标服务器反爬限制频率分别进行测试，选择适合的采集接口及方式。

![2e8443795258b11fbb3124141575a389.png][]

**2.数据分析模块**

由于网络采集存在各种不确定性，数据分析部分在根据需要做好数据解析之后，要做好异常处理及定位重启功能，避免出现程序异常退出或者数据采集遗漏、重复的情况

**3.反爬策略模块**

分析目标服务器的爬虫策略，控制爬虫请求频率甚至包括验证码、加密数据的破解，同时使用优质代理或爬虫代理，寻找业务独享、网络稳定、高并发、低延迟的代理产品，确保目标服务器没法进行反爬限制及预警，

通过采用以上各项优化策略，能够让爬虫程序长期稳定的运行。

![663f268d9dd9f0094cf74e4a08263ab4.png][]

不管你是转行也好，初学也罢，进阶也可，如果你想学编程~

【**值得关注**】我的** [C/C++编程学习交流俱乐部！][C_C]****【点击进入】**

问题答疑，学习交流，技术探讨，还有超多编程资源大全，零基础的视频也超棒~

[947951bdc476c72c0f3000fe4fdcc705.png]: /images/20221119/649cc7d53f5d440990665a984b4c7bca.png
[6ab169efa9ea5de83d7cd4ff54495c0d.png]: /images/20221119/2e5c25465df04cfd9f776e9df8f90f2f.png
[2e8443795258b11fbb3124141575a389.png]: /images/20221119/19997564becd4bc795fb9ed2d87a6c7c.png
[663f268d9dd9f0094cf74e4a08263ab4.png]: https://img-blog.csdnimg.cn/img_convert/663f268d9dd9f0094cf74e4a08263ab4.png
[C_C]: https://jq.qq.com/?_wv=1027&k=DJSbr1Rp