一百行代码带你入门爬虫

港控/mmm° 2022-12-04 09:29 170阅读 0赞

花了几天，学习了一些爬虫，但感觉方法多，学的有点乱，于是打算写一个完整的爬虫总结，话不多说，直接上代码：

# 1.引入网络连接(另外采用urllib)
    import requests
    # 验证问题解决
    import ssl
    ssl._create_default_https_context = ssl._create_unverified_context
    # 2.引入网页解析
    # 1)正则
    import re
    # 2)BeautifulSoup
    from bs4 import BeautifulSoup
    # 3)xpath
    import lxml
    # 4）selenium 自动化神器
    # web驱动器
    from selenium import webdriver
    # 模拟键盘
    from selenium.webdriver.common.keys import Keys
    # 3.数据存入
    # 1)存入文件或者dataFrame处理（改格式名）
    # 2)存入数据库
    import mysql
    import mysql.connector
    # 记录时间
    import time
    # 4.数据分析与展现
    # 1）数值函数
    import numpy as np
    # 2) 数值处理，多维数值
    import pandas as pd
    # 3）图像展现
    from matplotlib import pyplot as plt
    # 图像测试
    x = [2, 3, 4]
    y = [1, 2, 3]
    plt.plot(x, y)
    plt.show()
    # 连接数据库(mysql)
    mydb = mysql.connector.connect(
      host="localhost",
      port=8889,
      user="root",
      passwd="674619459lyf",
      database="ScrapDemo"
    )
    print()
    mycursor = mydb.cursor()
    sql = "insert into test values (%s,%s)"
    # 根据爬取数据需要进行设置
    val=(time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()), "value")
    mycursor.execute(sql, val)
    mydb.commit()
    print("更新成功！")
    # mongoDB
    # from pymongo import MongoClient
    # client = MongoClient()
    # db = client.test #连接test数据库，没有则自动创建
    # my_set = db.set #使用set集合，没有则自动创建
    # my_set.insert({'name':'Vinie','age':24})#插入一条数据
    # 略
    # Redis
    # 略
    # 1.爬取（获取连接，网页分析）
    # 请求地址
    url1 = "https://www.baidu.com"
    # 发送请求头模拟用户浏览器登录
    headers = { 
                'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'
            }
    # 请求数据
    response = requests.get(url1, headers=headers)
    response.encoding = 'utf-8'
    print(response.content)
    html = response.text  # content(Byte 会报错)
    # 1.正则方式进行爬取分析
    # 1）爬取title (findall之后为一个数字对象)
    title = re.findall(r'<title>(.*?)</title>', html)
    print(title)
    p = re.findall(r'<p>(.*?)</p>', html)
    print(p)
    # 2）爬取URL
    urls = re.findall(r'<a.*? src=(.*?)>', html)
    print(urls)
    urls2 = re.findall(r'<img .*? src=(.*?) .*?>', html)
    print(urls2)
    url3 = re.findall(r'<img src=(.*>)>', html)
    print(url3)
    # 2)BeautifulSoup处理
    #
    html2 = BeautifulSoup(html, "html.parser")
    print(html2)
    # 获取标签
    title2 = html2.title
    # 打印title(包括标签)
    print(title2)
    for item in html2.find_all('title'):
        # 带标签的
        print(item)
        # 文本之间的内容
        print(item.get_text())
    # 3）xpath的方式
    # 略
    # 4）selenium方式
    # 采用浏览器的驱动器（需要下载）
    wd = webdriver.Chrome()
    # 请求
    wd.get(url1)
    # 通过id、name等方式进行获取信息（'kw'为输入框的id）
    elem = wd.find_element_by_id('kw')
    # 输入content并按回车键
    elem.send_keys("content", Keys.ENTER)
    # 打印当前页的界面HTML
    print(wd.page_source)
    # 等待3秒
    print(time.strftime("%Y-%M-%D %H:%M:%S", time.localtime()), ":三秒之后将退出...")
    # time 使用时间规格化，sleep，lock的作用是？？
    time.sleep(3)
    wd.quit()
    # 2.数据处理
    # 爬取下来一般为列表对象需要进行一定处理清洗（字符串截取、计数统计）
    # 暂时略，后面补充
    # 3.数据存入
    # 1）open方式（TXT\jpg）存入本地文件
    # 绝对路径
    jpgTestUrl = "https://www.runoob.com/wp-content/uploads/2013/11/python.jpg"
    res2 = requests.get(jpgTestUrl)
    print(res2.content)
    pathname = "/Users/lyf/编程/工程文件/PycharmProjects/Python学习/爬虫/爬取内容2"
    for i in range(10):
        print("test", i)
        with open(pathname+"/test5.xlsx", "a") as f:  # w操作：创建并打开，可以进读写,文件格式通过后缀；图片的读入流注意？？
            f.writelines(["hello1", "hello2", "hello3"])  # 若使用xlsx文件只能存入第一个单元格（若列表则是所有元素存入第一个单元格(使用writelines)）
            # f.write(res2.content) # write() argument must be str, not bytes :图片为二进制文件，需要改文件打开操作为wb
    # 文件操作：wb ：写入jpg(二进制文件，若没有则创建新文件) r,从头写入文件 a:追加； 改写后缀=》切换文件格式
    # 2)使用pandas的dataframe存入xslx,csv
    # data = np.ndarray("hello", "hello2", "hello3")
    # 列表测试
    data = [[1, 2, 3], ["value1", "value2", "value3"]]
    # DataFrame进行规格化 DataFrame的常用总结见 https://www.jianshu.com/p/4ff1d2b23ab3
    df = pd.DataFrame(data)
    # 存入xls（或xlsx）
    df.to_excel(pathname+"/text6.xls")
    # 字典测试
    data2 = { "name": ["Lyf", "skx"], "age": [15, 16]}
    df2 = pd.DataFrame(data2)
    df2.to_excel(pathname+"/text7.xls")
    # 存入数据库处理
    # df.to_sql("test", mydb)
    # df.to_sql()
    df.to_csv()
    # 3)数据库存入
    # sql2 = "insert into"
    # val2 = ()
    # mycursor.execute(sql2, val2)
    # mydb.commit()
    str = "执行内容"
    print(str+"更新成功！！")
    # 4.数据展现
    # 采用matlap进行图像展现