python爬虫获取的网页数据为什么要加[0-Python爬虫实战1-解决需要爬取网页N秒后的内容的需求...

谁借莪１个温暖的怀抱￠ 2022-11-21 14:09 106阅读 0赞

\-------谢谢您的参考，如有疑问，欢迎交流

前引:

当你需要爬取的页面内容在访问页面5秒后才会出现,

这时使用python的requests模块就很难爬取到你想要的内容了.

requests和selenium的不同:

requests是通过模拟http请求来实现浏览网页的

selenuim是通过浏览器的API实现控制浏览器,从而达到浏览器自动化

上面说了,selenium是通过控制浏览器实现访问的,但是linux的命令行是不能打开浏览器的,

幸运的是Chrome和Firefox有一个特殊的功能headless(无头)模式.(就是wujie面模式)

通过headless模式可以实现在linux命令行控制浏览器。

接下来要实现的就是在linux命令行界面通过Chrome的headless模式,实现获取访问网页5秒后的内容

一. 环境准备

1. 安装谷歌浏览器linux版及其依赖包.

\[root@localhost ~\]\# wget https://dl.google.com/linux/direct/google-chrome-stable\_current\_x86\_64.rpm

\[root@localhost ~\]\# yum localinstall google-chrome-stable\_current\_x86\_64.rpm --nogpgcheck

2. 下载selenium连接chrome的驱动程序(要下载和chrome对应的版本).

\[root@localhost ~\]\# google-chrome --version

Google Chrome 72.0.3626.109

\[root@localhost ~\]\# https://chromedriver.storage.googleapis.com/72.0.3626.69/chromedriver\_linux64.zip

\[root@localhost ~\]\# unzip chromedriver\_linux64.zip

\[root@localhost ~\]\# chmod +x chromedrive

3. 安装python需要模块

\# beautifulsoup4是一个html,xml解析器

\[root@localhost ~\]\# pip install beautifulsoup4 selenium

二. 开始实现获取网页5秒后的数据

\#!/usr/bin/env python

\#-\*- coding:utf-8 -\*-

import time

from bs4 import BeautifulSoup

from selenium import webdriver

opt = webdriver.ChromeOptions() \# 创建chrome对象

opt.add\_argument('--no-sandbox') \# 启用非沙盒模式,linux必填,否则会报错:(unknown error: DevToolsActivePort file doesn't exist)......

opt.add\_argument('--disable-gpu') \# 禁用gpu，linux部署需填，防止未知bug

opt.add\_argument('headless') \# 把chrome设置成wujie面模式，不论windows还是linux都可以，自动适配对应参数

driver = webdriver.Chrome(executable\_path=r'/root/chromedriver',options=opt) \# 指定chrome驱动程序位置和chrome选项

driver.get('https://baidu.com') \# 访问网页

time.sleep(5) \# 等待5秒

content = driver.page\_source \# 获取5秒后的页面

soup = BeautifulSoup(content,features='html.parser') \# 将获取到的内容转换成BeautifulSoup对象

driver.close()

print(soup.body.get\_text()) \# 通过BeautifulSoup对象访问获取到的页面内容

发表评论取消回复

表情：

评论列表（有 0 条评论，106人围观）

还没有评论，来说两句吧...

相关阅读

相关 python爬虫获取的网页数据为什么要加[0-python3爬虫爬取网页思路及常见问题（原创）...

学习爬虫有一段时间了，对遇到的一些问题进行一下总结。爬虫流程可大致分为：请求网页（request），获取响应（response），解析（parse），保存（save）。

痛定思痛。/ 2022年11月21日 14:09/ 0 赞/ 138 阅读

相关 python爬虫获取的网页数据为什么要加[0-[Python爬虫] 等待网页加载后再获取内容...

0x0 背景最近在学习Python爬虫的相关知识，主要是之前有一个小idea想要用Python实现，沉寂了一年，近期终于下定决心要利用假期时间首要解决此项任务，不然拖到最后

怼烎@/ 2022年11月21日 14:09/ 0 赞/ 169 阅读

相关 python爬虫获取的网页数据为什么要加[0-Python爬虫实战1-解决需要爬取网页N秒后的内容的需求...

\-------谢谢您的参考，如有疑问，欢迎交流前引: 当你需要爬取的页面内容在访问页面5秒后才会出现, 这时使用python的requests模块就很难爬取到你想要的

谁借莪１个温暖的怀抱￠/ 2022年11月21日 14:09/ 0 赞/ 107 阅读

相关 python中文爬取网页_使用Python爬虫爬取简单网页（Python爬虫入门）-Go语言中文社区...

今天我们来看一看使用Python爬取一些简单的网页。所用工具：IDLE (Python 3.6 64-bit) 一. 爬取京东商品页面 ![8d0a127b918867

我会带着你远行/ 2022年10月27日 13:50/ 0 赞/ 240 阅读

相关 Python爬虫实战(三):简单爬取网页图片

先上代码: coding=utf-8 import urllib.request for i in range(1,41):

淡淡的烟草味﹌/ 2022年06月09日 10:50/ 0 赞/ 284 阅读

相关 python爬虫爬取淘宝网页数据

O、requests 和 re 库的介绍 requests库是一个小型好用的网页请求模块，可用于网页请求，常用来编写小型爬虫安装requests可以使用pip命令：

Bertha 。/ 2022年06月07日 12:16/ 0 赞/ 502 阅读

相关 Python爬虫实战(九)：爬取动态网页

coding=utf-8 import re import json import requests from prettyt

电玩女神/ 2022年06月06日 04:10/ 0 赞/ 285 阅读

相关 Python爬虫爬取动态网页

系统环境：操作系统：Windows8.1专业版 64bit Python：anaconda、Python2.7 Py

迈不过友情╰/ 2022年05月26日 11:48/ 0 赞/ 410 阅读

相关 python爬虫爬取异步加载网页信息（python抓取网页中无法通过网页标签属性抓取的内容）

1.问题描述最近由于学习内容的要求，需要从网页上抓取一些数据来做分析报告，在看了python爬虫的一些基础知识之后就直接上手去网站上爬数据了。作为新手踩坑是无法避免，最

淩亂°似流年/ 2022年04月16日 05:46/ 0 赞/ 1097 阅读

相关 python爬虫程序，爬取网页图片

一段简单的爬取网页图片的python代码 coding=utf-8 import urllib import re url

- 日理万妓/ 2022年04月04日 15:14/ 0 赞/ 358 阅读