Python爬取世纪佳缘的数据，是否能证明它的不靠谱？

忘是亡心i 2022-12-26 04:49 64阅读 0赞

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

以下文章一级Python技术 ，作者派森酱

刚接触Python的新手、小白，可以复制下面的链接去**免费观看Python的基础入门教学视频**

https://v.douyu.com/author/y6AZ4jn9jwKW

![5451b5e69094ceff26a105a5f1850662.png][]

# 前言 #

今天在知乎上看到一个关于【世纪佳缘找对象靠谱吗？】的讨论，其中关注的人有1903，被浏览了1940753次，355个回答中大多数都是不靠谱。用Python爬取世纪佳缘的数据是否能证明它的不靠谱？

![e4f8b22ed61536f137938eff374e3d98.png][]

# 一，数据抓取 #

在PC端打开世纪佳缘网站，搜索20到30岁，不限地区的女朋友

![25096d202670f1ef75ffd12b7438da3f.png][]

翻了几页找到一个search\_v2.php的链接，它的返回值是一个不规则的json串，其中包含了昵称，性别，是否婚配，匹配条件等等

![f118156f0c901171c976b4fca55a68e8.png][]

点开Hearders拉到最下面，在它的参数中sex是性别，stc是年龄，p是分页，listStyle是有照片

![205b37014a0e34c3d3b7b6e41fa0fa60.png][]

通过url +参数的get方式，抓取了10000页的数据**总计240116**

![de892dad82eb8f015b29f2d88eb512dd.png][]

需要安装的模块有openpyxl，用于过滤特殊的字符

# coding:utf-8
    import csv
    import json
    
    import requests
    from openpyxl.cell.cell import ILLEGAL_CHARACTERS_RE
    import re
    
    line_index = 0
    
    def fetchURL(url):
       
        headers = {
            'accept': '*/*',
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36',
            'Cookie': 'guider_quick_search=on; accessID=20201021004216238222; PHPSESSID=11117cc60f4dcafd131b69d542987a46; is_searchv2=1; SESSION_HASH=8f93eeb87a87af01198f418aa59bccad9dbe5c13; user_access=1; Qs_lvt_336351=1603457224; Qs_pv_336351=4391272815204901400%2C3043552944961503700'
        }
    
        r = requests.get(url, headers=headers)
        r.raise_for_status()
        return r.text.encode("gbk", 'ignore').decode("gbk", "ignore")
    
    
    def parseHtml(html):
    
        html = html.replace('\\', '')
        html = ILLEGAL_CHARACTERS_RE.sub(r'', html)
        s = json.loads(html,strict=False)
        global line_index
    
        userInfo = []
        for key in s['userInfo']:
            line_index = line_index + 1
            a = (key['uid'],key['nickname'],key['age'],key['work_location'],key['height'],key['education'],key['matchCondition'],key['marriage'],key['shortnote'].replace('\n',' '))
            userInfo.append(a)
    
        with open('sjjy.csv', 'a', newline='') as f:
            writer = csv.writer(f)
            writer.writerows(userInfo)
    
    
    if __name__ == '__main__':
        
        for i in range(1, 10000):
            url = 'http://search.jiayuan.com/v2/search_v2.php?key=&sex=f&stc=23:1,2:20.30&sn=default&sv=1&p=' + str(i) + '&f=select&listStyle=bigPhoto'
            html = fetchURL(url)
            print(str(i) + '页' + str(len(html)) + '*********' * 20)
            parseHtml(html)

# **二，去重** #

在处理数据去掉重复的时候发现有好多重复的，还以为是代码写的有问题呢，查了好久的bug最后才发现网站在100页上只有数据有好多重复的，下面两个图分别是110页数据和111页数据，是不是有很多熟面孔。

110页数据

![8170ba82ff6d0ee117f402015fd3a961.png][]

111页数据

![1c6fa553925c8d5ee0b29a8f15c9beb5.png][]

过滤重复后的数据只剩下** 1872 **了，这个水分还真大

def filterData():
        filter = []
        csv_reader = csv.reader(open("sjjy.csv", encoding='gbk'))
        i = 0
        for row in csv_reader:
            i = i + 1
            print('正在处理：' + str(i) + '行')
            if row[0] not in filter:
                filter.append(row[0])
        print(len(filter))

[5451b5e69094ceff26a105a5f1850662.png]: /images/20221120/9f5720d4d211450986eca03501cb16d2.png
[e4f8b22ed61536f137938eff374e3d98.png]: https://img-blog.csdnimg.cn/img_convert/e4f8b22ed61536f137938eff374e3d98.png
[25096d202670f1ef75ffd12b7438da3f.png]: https://img-blog.csdnimg.cn/img_convert/25096d202670f1ef75ffd12b7438da3f.png
[f118156f0c901171c976b4fca55a68e8.png]: https://img-blog.csdnimg.cn/img_convert/f118156f0c901171c976b4fca55a68e8.png
[205b37014a0e34c3d3b7b6e41fa0fa60.png]: https://img-blog.csdnimg.cn/img_convert/205b37014a0e34c3d3b7b6e41fa0fa60.png
[de892dad82eb8f015b29f2d88eb512dd.png]: https://img-blog.csdnimg.cn/img_convert/de892dad82eb8f015b29f2d88eb512dd.png
[8170ba82ff6d0ee117f402015fd3a961.png]: https://img-blog.csdnimg.cn/img_convert/8170ba82ff6d0ee117f402015fd3a961.png
[1c6fa553925c8d5ee0b29a8f15c9beb5.png]: https://img-blog.csdnimg.cn/img_convert/1c6fa553925c8d5ee0b29a8f15c9beb5.png