python爬虫学习1——爬虫三板斧

旧城等待， 2022-10-07 00:43 282阅读 0赞

第一板斧：指定URL  
第二板斧：发送请求  
第三板斧：获取响应数据

# 1、 爬取搜狗网页 #

import requests
    
    if __name__ == "__main__":
        # step 1:指定url
        url = 'https://www.sogou.com/'
        # step 2:发送请求
        response = requests.get(url=url)
        # step 3:获取响应数据
        page_text = response.text
        print(page_text)
        # step 4:持久化存储
        with open('./sogou.html', 'w', encoding='utf-8') as fp:
            fp.write(page_text)
        print('爬取数据结束')

# 2、爬取搜狗搜索结果 #

import requests
    
    #UA：User-Agent 请求载体的身份标识
    #UA伪装：门户网站的服务器会检测对应请求的载体身份标识，如果
    # 检测到请求载体身份标识为某一款浏览器
    # 说明该请求是一个正常请求
    # 但是如果检测到请求载体的身份标识不是基于某一款浏览器的，该请求为不正常的请求
    
    # UA伪装 反反扒策略
    if __name__ == "__main__":
        # step 1:指定url
        # UA伪装，将对应的user-agent封装到一个字典中
        headers = { 
            'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.101 Safari/537.36'
        }
        url = 'https://www.sogou.com/web'
        # 处理url携带的参数
        kw = input('enter a word:')
        param = { 
            'query':kw
        }
        # 对指定的url发起的请求对应的url是携带参数的，并且请求过程中处理了参数
        response = requests.get(url=url, params=param, headers=headers)
        
        page_text = response.text
        file_name = kw + '.html'
        with open(file_name, 'w', encoding='utf-8') as fp:
            fp.write(page_text)

# 3、爬取百度云翻译结果 #

# 4、 爬取豆瓣电影 #

import requests
    import json
    
    if __name__ == "__main__":
        # 查看xhr获取url 参数使用字典进行封装
        post_url = 'https://movie.douban.com/j/chart/top_list'
        param = { 
            'type':'24',
            'interval_id':'100:90',
            'action':'',
            'start':'1',
            'limit':'20',
        }
        # 进行UA伪装
        headers = { 
            'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.101 Safari/537.36'
        }
        response = requests.get(url=post_url, params=param, headers=headers)
        # 获取响应数据：json()返回的是obj （如果确认响应数据是json类型的，才可以使用json()
        dic_obj = response.json()
        
        print(dic_obj)
        
        # 持久化存储
        fp = open('./douban.json', 'w', encoding='utf-8')
        
        # https://www.bejson.com/ 使用json格式化工具查看
        json.dump(dic_obj, fp = fp, ensure_ascii=False)
        print('Over!!!')

# 5、 爬取图片 #

# 数据解析原理：
    # - 解析的局部的文本内容都会在标签之间或标签对应的属性中进行存储
    # - 1.进行指定标签的定位
    # - 2.标签或者标签对应属性中存储的数据值进行提取（解析）
    #
    #数据解析分析：
    # - 正则
    # - bs4
    # - xpath (***)
    
    ''' 单字符： . : 除换行以外所有字符 [] : [aoe] [a-w] 匹配集合中任意一个字符 \d : 数字 [0-9] \D : 非数字 \w : 数字、字母、下划线、中文 \W : 非\w \s : 所有的空白字符，包括空格、制表符、换页符等等 \S : 非空白 数量修饰： * ： 任意多次 >=0 + : 至少1次 >=1 ? : 可有可无 0次或1次 {m} : 固定m次 hello{3,} {m,n} : m-n次 边界： $ : 以某某结尾 ^ : 以某某开头 分组： (ab) 贪婪模式： .* 非贪婪模式：.*? re.I : 忽略大小写 re.M : 多行匹配 re.S : 单行匹配 re.sub(正则表达式，替换内容，字符串) '''
    import requests
    import json
    
    if __name__ == '__main__':
        url = 'https://pic.qiushibaike.com/system/pictures/12442/124429400/medium/W1760S5MEZXI502X.jpg'
        # text：字符串 content(二进制) json() 对象
        img_data = requests.get(url=url).content
        with open('./giutu.jpg', 'wb') as fp:
            fp.write(img_data)