python3 编写原生爬虫 --爬虫入门

「爱情、让人受尽委屈。」 2022-04-01 03:40 302阅读 0赞

> **使用 python3 抓取,csdn [某篇文章][Link 1] 的标题,注释写的很全就不多废话了**

#coding=utf-8
    from urllib import request
    import re
    
    class Spider():
        #我要爬取的链接
        start_url = "https://blog.csdn.net/weixin_42144379/article/details/85332330"
        # 目标内容的正则
        regex = '<h1 class="title-article">([\s\S]*?)</h1>'
    
        #抓取内容,默认 url 参数为 start_url
        def getContent(self,url = start_url):
            #发送请求,获取请求数据
            source = request.urlopen(self.start_url)
            #读取请求数据,直接读取的是 byte
            html = source.read()
            #把读取的数据转为 utf-8 字符串
            html = str(html, encoding="utf-8")
            #打印抓取的网页
            print(html)
            return html
    
        def parse(self,url=start_url):
            #调用上的方法,抓取网页
            html = self.getContent(url)
            #使用正则,抓取标题
            title = re.findall(self.regex,html)
            #打印标题,re.findall 获取的是一个 list
            print(title)
    #实例化爬虫,运行程序
    Spider().parse()

> **如果报错,少了 urllib  网络库 re 正则库,请使用 pip 安装 **
> 
> **python 爬虫 最主要的是 对 urllib 里面 request 和 regex (正则) 的运用**

[Link 1]: https://blog.csdn.net/weixin_42144379/article/details/85332330

发表评论取消回复

表情：

评论列表（有 0 条评论，302人围观）

还没有评论，来说两句吧...

相关阅读

相关一小时入门python3网络爬虫

随着互联网的发展，网络爬虫已经成为了一项重要的技能。Python 3 作为一种流行的编程语言，也是网络爬虫的常用工具之一。本文将介绍如何使用 Python 3 编写网络

浅浅的花香味﹌/ 2024年03月22日 18:17/ 0 赞/ 41 阅读

相关 Python爬虫入门

Python爬虫入门之初识爬虫 > 简单介绍Python爬虫相关的知识文章目录 Python爬虫入门之初识爬虫 1. 什么是爬虫？

快来打我*/ 2023年01月01日 03:49/ 0 赞/ 242 阅读

相关 06-python爬虫库urllib，开始编写python爬虫代码

终于要开始写爬虫代码了我们首先了解一下 Urllib 库，它是 Python 内置的 HTTP 请求库，也就是说我们不需要额外安装即可使用，它包含四个模块：第一个

Myth丶恋晨/ 2022年12月09日 05:00/ 0 赞/ 242 阅读

相关【python学习day3】入门爬虫（详细）

一、任务描述实现简单的网页分析和文字内容爬取,话不多说，直接上代码和步骤分析；二、准备工作（1）了解html的一些简单常识（可参考：[W3school、

快来打我*/ 2022年11月29日 05:40/ 0 赞/ 221 阅读

相关 python网络爬虫入门小程序_python编写爬虫小程序的方法

\ coding:utf-8 import urllib domain = 'http://www.liaoxuefeng.com' \廖雪峰的域名 path = r'C

待我称王封你为后i/ 2022年10月28日 00:54/ 0 赞/ 197 阅读

相关 Python全栈3 - 定向爬虫入门

3、Python 定向爬虫入门 1、基本的正则表达式 1-2正则表达式符号与方法常用符号 . 匹配任意字符，换行符\\n除外（占位符，几个点就是几个占位符）

不念不忘少年蓝@/ 2022年06月18日 13:16/ 0 赞/ 257 阅读

相关 python3 爬虫-入门

1.最简单的爬虫爬百度的首页，并打印数据： -- coding: utf-8 -- 导入库 from urllib import requ

太过爱你忘了你带给我的痛/ 2022年06月14日 12:15/ 0 赞/ 455 阅读

相关 python3 爬虫入门

这里爬取猫眼电影 TOP100 榜的信息，作为学习的第一个Demo。今天开始接触的python,从爬虫开始。语言相对来说比较简单，环境配置到是花了不少时间。作为

悠悠/ 2022年06月09日 10:07/ 0 赞/ 257 阅读

相关 python3 编写原生爬虫 --爬虫入门

> 使用 python3 抓取,csdn [某篇文章][Link 1] 的标题,注释写的很全就不多废话了 coding=utf-8 from urllib i

「爱情、让人受尽委屈。」/ 2022年04月01日 03:40/ 0 赞/ 303 阅读

相关 python爬虫入门

python爬虫入门之爬取小说 [https://blog.csdn.net/qq\_41813030/article/details/82764061][https_b

ゞ浴缸里的玫瑰/ 2021年11月09日 05:52/ 0 赞/ 418 阅读