python3 [爬虫入门实战] 爬虫之爬取盘多多文档（百万数据）

男娘i 2021-06-10 20:42 430阅读 0赞

### 有一次在简书上不小心看到这个爬虫上百万的数据，确实是上百万啊。我真的日了仙人板板了。 ###

> 可以看一下网站：[http://www.panduoduo.net/c/4/16][http_www.panduoduo.net_c_4_16]  
> 确实是挺多的数据。

先上要爬取的内容,虽然比较少，准备的有些少了：

![这里写图片描述][SouthEast]

> 爬取的内容结果  
> ![这里写图片描述][SouthEast 1]

爬取下来的确实很简陋，突然发现自己针对各种各样的tag，属性用的还是不熟悉，这次用的beautifulsoup，还是用的不熟悉，再加上该网站一些标签，内容不定，故没有敢轻易再继续爬取了。这次用的是多进程进行的爬取，爬取的速度依然还是慢，我从快五点

左右出去的，现在还在爬着，确实也难为了，不过这也是我第一次进行百万数据的爬取，虽然不知道里面的内容是不是重复的太多，但爬取了这么久，还是没有报错。可见现在遇到的问题都是小问题，以后肯定会出现大的问题的，

突然发现，一些常用的三方库，还是要多练习比较好。不能是只用了一次就能完全掌握了的。

> 贴上源代码，让之前的不可能爬取的成为可能！

# encoding=utf8
    
    import requests
    import re
    from bs4 import BeautifulSoup
    from multiprocessing import Pool
    url = 'http://www.panduoduo.net/c/4/1'
    headers = {
        'Cookie': 'Hm_lvt_11b39dcf34d304adbc3f3f49e67cb940=1483436227; CNZZDATA5767138=cnzz_eid%3D1508734121-1483434808-%26ntime%3D1483434808; sh=%E7%94%B5%E5%BD%B1+++python3%E8%A7%86%E9%A2%91%E6%95%99%E7%A8%8B+++python3%20%E4%BC%A0%E6%99%BA%E6%92%AD%E5%AE%A2+++python3+++%E6%B8%B8%E6%88%8F'
        ,
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.2372.400 QQBrowser/9.5.10548.400'
    }
    
    
    def getHtml(url):
        req = requests.get(url, headers=headers)
        return req.text
    
    
    def parse_panduoduo(url):
        soup = BeautifulSoup(url, 'lxml')
        url_name = soup.select("table.list-resource > tr")
        a_url = soup.findAll('a', {
       'class': 'blue'})
    
        # for name in url_name:
            # print('url_name ' + name.get_text())
    
        # for url in a_url:
        # print("ulll " + url.get_text())
        # 标题
        titles = soup.findAll('a', {
       'class': 'blue'})
        for title in titles:
            print(title.string)
    
        # 获取链接(这里还包含其他链接 主要是获取：/r下的链接)
        data = soup.findAll('a', attrs={
       'href': True})
        for da1 in data:
            print('data ' + str(da1.get('href')))
            print('title ' + str(da1.get('title')))
    
        # 大小
        sizes = soup.findAll('td', {
       'class': 't2'})
        for size in sizes:
            print('size ' + str(size.string))
            # 该用户的分享
    
    # data = getHtml(url)
    # parse_panduoduo(data)
    
    def getData(page):
        url = 'http://www.panduoduo.net/c/4/{0}'.format(page)
        print("第{0}页Url ".format(page)+url)
        print("第{0}页".format(page))
        data = getHtml(url)
        parse_panduoduo(data)
    
    if __name__ == '__main__':
        pool = Pool(processes=10)
        pool.map_async(getData, range(1, 86151))
        pool.close()
        pool.join()

--------------------

感觉随着入门逐渐的深入，自己的动力没有那么足，多次练习完后都是用的差不多一样的操做

### 下次文章规定了：搭建mongoDB，使用新框架，再把基础巩固一遍 ###

[http_www.panduoduo.net_c_4_16]: http://www.panduoduo.net/c/4/16
[SouthEast]: /images/20210529/66f4313352104aa0a575715920c00a7f.png
[SouthEast 1]: /images/20210529/947fa88bcfde4e35943b260489528aba.png