网页抓取：PHP实现网页爬虫方式小结

柔情只为你懂 2022-08-13 17:37 276阅读 0赞

来源：[http://www.ido321.com/1158.html][http_www.ido321.com_1158.html]

[![Center][]][http_www.ido321.com_1158.html]

抓取某一个网页中的内容，需要对DOM树进行解析，找到指定节点后，再抓取我们需要的内容，过程有点繁琐。LZ总结了几种常用的、易于实现的网页抓取方式，如果熟悉JQuery选择器，这几种框架会相当简单。

**一、Ganon**

项目地址： http://code.google.com/p/ganon/

文档： http://code.google.com/p/ganon/w/list

测试:抓取我的网站首页所有class属性值是focus的div元素，并且输出class值

<?php
     include 'ganon.php';
     $html = file_get_dom('http://www.ido321.com/');
     foreach($html('div[class="focus"]') as $element) {
       echo $element->class, "<br>\n"; 
     }
    ?>

结果:

![Center 1][]

**二、phpQuery**

项目地址：[http://code.google.com/p/phpquery/][http_code.google.com_p_phpquery]

文档：[https://code.google.com/p/phpquery/wiki/Manual][https_code.google.com_p_phpquery_wiki_Manual]

测试：抓取我网站首页的article标签元素，然后出书其下h2标签的html值

<?php
    include 'phpQuery/phpQuery.php'; 
    phpQuery::newDocumentFile('http://www.ido321.com/'); 
    $artlist = pq("article"); 
    foreach($artlist as $title){ 
       echo pq($title)->find('h2')->html()."<br/>"; 
    } 
    ?>

结果：

![Center 2][]

**  三、Simple-Html-Dom**

项目地址： [ http://simplehtmldom.sourceforge.net/][http_simplehtmldom.sourceforge.net]  
文档： [ http://simplehtmldom.sourceforge.net/manual.htm][http_simplehtmldom.sourceforge.net_manual.htm]

测试：抓取我网站首页的所有链接

<?php
    include 'simple_html_dom.php';
    //使用url和file都可以创建DOM
    $html = file_get_html('http://www.ido321.com/');
    
    //找到所有图片
    // foreach($html->find('img') as $element)
    // echo $element->src . '<br>';
    
    //找到所有链接
    foreach($html->find('a') as $element)
           echo $element->href . '<br>'; 
    ?>

结果：（截图是一部分）

![Center 3][]

**四、Snoopy**

项目地址：[http://code.google.com/p/phpquery/][http_code.google.com_p_phpquery]

文档：[http://code.google.com/p/phpquery/wiki/Manual][http_code.google.com_p_phpquery_wiki_Manual]

测试：抓取我的网站首页

<?php
    include("Snoopy.class.php");
    $url = "http://www.ido321.com";
    $snoopy = new Snoopy;
    $snoopy->fetch($url); //获取所有内容
     echo $snoopy->results; //显示结果
    // echo $snoopy->fetchtext ;//获取文本内容（去掉html代码）
    // echo $snoopy->fetchlinks($url) ;//获取链接
    // $snoopy->fetchform ;//获取表单 
    ?>

结果：

![Center 4][]

**五、手动编写爬虫**

如果编写能力ok，可以手写一个网页爬虫，实现网页抓取。网上有千篇一律的介绍此方法的文章，LZ就不赘述了。有兴趣了解的，可以百度  php 网页抓取。

ps：资源分享

常见的开源爬虫项目请戳：[http://blog.chinaunix.net/uid-22414998-id-3774291.html][http_blog.chinaunix.net_uid-22414998-id-3774291.html]

下一篇：[国民岳父的“屁民理论”][Link 1][  
][http_blog.chinaunix.net_uid-22414998-id-3774291.html]

[  
][http_www.ido321.com_1158.html]

[http_www.ido321.com_1158.html]: http://www.ido321.com/1158.html
[Center]: /images/20220810/d8e48aff143f4115ad4c14cf8bb57b49.png
[Center 1]: /images/20220810/4c46b289acf94418be7552a630e0625c.png
[http_code.google.com_p_phpquery]: http://code.google.com/p/phpquery/
[https_code.google.com_p_phpquery_wiki_Manual]: https://code.google.com/p/phpquery/wiki/Manual
[Center 2]: /images/20220810/48b17ba1ea374fd2959f3bef55681491.png
[http_simplehtmldom.sourceforge.net]: http://simplehtmldom.sourceforge.net/
[http_simplehtmldom.sourceforge.net_manual.htm]: http://simplehtmldom.sourceforge.net/manual.htm
[Center 3]: /images/20220810/6897a125c1f34d92ab81bd424b23181d.png
[http_code.google.com_p_phpquery_wiki_Manual]: http://code.google.com/p/phpquery/wiki/Manual
[Center 4]: /images/20220810/ed3b08abbcd2408da6a8a54e403a50b6.png
[http_blog.chinaunix.net_uid-22414998-id-3774291.html]: http://blog.chinaunix.net/uid-22414998-id-3774291.html
[Link 1]: http://www.ido321.com/1161.html