最近看了一段时间Python，练习写了一个抓取淘女郎的爬虫，话不多说，上代码

阳光穿透心脏的1/2处 2022-05-31 04:20 75阅读 0赞

# _*_ coding:utf-8 _*_
    # 该程序还需要增加异常的处理
    import urllib.request
    import json
    import re
    
    
    # 获取某一页中所有模特的信息列表
    def get_url_list(current_page):
        """
    
        :param current_page: 当前页
        :return:模特数据
        """
        # 网页通过ajax返回的模特json数据url
        url = "https://mm.taobao.com/tstar/search/tstar_model.do?_input_charset=utf-8¤tPage={}".format(current_page)
        # 常规操作
        user_agent = "Mozilla/5.0(Macintosh;IntelMacOSX10_7_0)AppleWebKit/535.11(KHTML,likeGecko)" \
                     "Chrome/17.0.963.56Safari/535.11"
        headers = {"User-Agent": user_agent}
    
        req = urllib.request.Request(url, headers=headers)
        response = urllib.request.urlopen(req)
        html = response.read()
        # 网页是gbki编码，需要转换成utf-8
        html = html.decode("gbk").encode("utf-8")
        # 从json数据中获取模特的信息
        model_list = json.loads(html)["data"]["searchDOList"]
        # 返回模特数据
        return model_list
    
    
    # 获取某位模特的所有相册
    def get_album_list(user_id):
        """
    
        :param user_id:模特的id
        :return: 相册url列表
        """
        # 在网页上找到的ajax返回的html数据url
        url = "https://mm.taobao.com/self/album/open_album_list.htm?_charset=utf-8&user_id%20={}".format(user_id)
        # 应该需要加上，没想好
        # user_agent = "Mozilla/5.0(Macintosh;IntelMacOSX10_7_0)AppleWebKit/535.11(KHTML,likeGecko)" \
        #              "Chrome/17.0.963.56Safari/535.11"
        # headers = {"User-Agent": user_agent}
        # 正常操作
        req = urllib.request.Request(url)
        response = urllib.request.urlopen(req)
        html = response.read()
        # 转码
        html = html.decode("gbk").encode("utf-8")
        # 根据正则表达式，来过滤有用的信息
        pattern = re.compile(r'<a class="mm-first" href="(.*?)" target="_blank"', re.S)
        # 所有的相册url
        album_url_list = pattern.findall(str(html))
    
        return album_url_list
    
    
    # 获取相册所有照片url地址
    def get_photo(user_id, ablum_id):
        """
        :param user_id: 模特id
        :param ablum_id:相册id
        :return:返回所有照片url地址，是一个列表
        """
        # 我们在一个jsonp调用文件中找到了相册url地址，需要相册id，这就是之前切出相册id的原因
        url = "https://mm.taobao.com/album/json/get_album_photo_list.htm?user_id={}&album_id={}&top_pic_id=0&cover=%2F%2Fimg.alicdn.com%2Fimgextra%2Fi1%2F176817195%2FTB1jFcMKFXXXXblXFXXXXXXXXXX_!!0-tstar.jpg&page=1&_ksTS=1517917818779_155&callback=jsonp156".format(user_id, ablum_id)
        req = urllib.request.Request(url)
        response = urllib.request.urlopen(req)
        html = response.read()
        # 这个地方我不太明白，如果不加decode("utf-8")，会输出字节（应该是），不会输出中文
        html = html.decode("gbk").encode("utf-8").decode("utf-8")
        # 处理jsonp,去掉开头的jsonp156()，这样我们就可以使用json类库了
        return json.loads(str(html).strip()[9:-2])["picList"]
    
    
    # 保存每张照片
    def write_to_file(imageUrl, count):
        """
        将照片保存到本地
        :param imageUrl:照片地址
        :param count: 用数字做文件名
        :return:
        """
        # 访问照片地址，保存到本地
        bytes = urllib.request.urlopen("http:" + imageUrl)
        f = open("E:/images/"+str(count)+".jpg", "wb")
        f.write(bytes.read())
        f.flush()
        f.close()
    
    
    # 文件名
    count = 0
    # 遍历某一页所有模特信息
    for i in get_url_list(1):
        # 拿到模特id
        userId = i["userId"]
        # 该模特所有相册url
        album_list = get_album_list(userId)
    
        for url in album_list[::2]:
            # 我们需要获取模特相册的id，从url中切出相册id
            temp_index = url.find("album_id=")
            start_index = temp_index + len("album_id=")
            end_index = url.find("&", start_index)
            album_id = url[start_index:end_index]
            # 获取该相册中的所有照片url
            photo_list = get_photo(userId, album_id)
            # 遍历相册中所有url，写入本地
            for mm_list in photo_list:
                # 每一张照片url
                imageUrl = mm_list["picUrl"]
                print(imageUrl)
                # 写入本地
                write_to_file(imageUrl, count)
                count += 1