python selenium 获取动态网页数据

傷城~ 2022-06-12 03:41 215阅读 0赞

# -*- coding:utf-8 -*- import requests
    from bs4 import BeautifulSoup
    from selenium import webdriver
    import time
    import json
    import sys
    reload(sys)
    sys.setdefaultencoding("utf-8")
    curpath=sys.path[0]
    print curpath
    
    def getData(url):
        driver=webdriver.Chrome()
        driver.set_page_load_timeout(40)
        time.sleep(3)
        html=driver.get(url[0])
        for page in range(1):
            html=driver.page_source
            soup=BeautifulSoup(html,'lxml')
            table=soup.find('div',class_="unit_loan_prj_detail")
            name=[]
            for th in table.find_all('span',class_="prolist_info_title"):
                name.append(th.get_text())
            i=0
            for tr in table.find_all('span',class_="prolist_info_detail"):
                dic={}
                value=tr.get_text()
                if value is not None:
                    dic[name[i]]=value
                else:
                    for td in tr.find_all('span'):
                        dic[name[i]]=td.get_text()
                i+=1
                jsonDump(dic,url[1])
    
    def jsonDump(_json,name):
        with open(curpath+'/'+name+'.json','a')as outfile:
            json.dump(_json,outfile,ensure_ascii=False)
        with open(curpath+'/'+name+'.json','a')as outfile:
            outfile.write(',\n')
    
    if __name__=='__main__':
        url=['http://www.powerec.net/gdwz-web/html/xjxx/inquiry_detail.html?inq_h_id=ZGFmNTM2ZjctOWFlYi00ZDEyLWEyZjItNDFjNjAxYmY4MTZj','test']
        getData(url)

发表评论取消回复

表情：

评论列表（有 0 条评论，215人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python网页爬虫selenium，chromedriver之一

首先需要安装Python的selenium： pip install selenium 然后需要安装chromedriver驱动器，chromedriver下载地址

古城微笑少年丶/ 2023年10月18日 15:36/ 0 赞/ 118 阅读

相关使用Java-selenium获取网页数据

本文数据库访问使用的是spring-boot-data-jpa,不懂得同学可以先了解spring-boot-data-jpa再来看本文章，本文以上交所公告信息及监管信息为例，具

蔚落/ 2023年10月17日 18:16/ 0 赞/ 28 阅读

相关爬虫python入门：获取网页数据

web数据获取 urllib模块应用如何通过python获取网页数据 ![12bb1c42bb63453eab3cf265ef145af5.png][] 做转码

╰半橙微兮°/ 2023年10月06日 14:52/ 0 赞/ 11 阅读

相关 Python+selenium 爬取动态网页,解决获取不到网页源代码

需要注意的问题: 使用driver.switch\_to.window()之后网页切换成功但是获取的源代码不正确可以使用driver.current\_ur

约定不等于承诺〃/ 2023年07月19日 12:23/ 0 赞/ 9 阅读

相关动态网页数据抓取

动态网页数据抓取一、网页 1.传统网页：如果需要更新内容，则需要重新加载网页。 2.动态网页：使用AJAX则不需要加载更新整个网页，实现部分内容更新。

心已赠人/ 2023年06月13日 09:29/ 0 赞/ 131 阅读

相关 python selenium 获取接口数据

python selenium 获取接口数据。 selenium没有直接提供查询的函数，但是可以通过webdriver提供的API查询，使用的函数是Network.getRe

快来打我*/ 2023年02月14日 06:56/ 0 赞/ 203 阅读

相关 Python爬虫基础讲解（十二）：初探selenium——动态网页&静态网页

Python爬虫、数据分析、网站开发等案例教程视频免费在线观看 https://space.bilibili.com/523606542 [Python学习

清疚/ 2022年10月16日 06:23/ 0 赞/ 195 阅读

相关 selenium+webdriver爬取动态网页介绍_python

网页爬虫分为静态网页爬虫和动态网页爬虫，前者是指索要获取的网页内容不需要经过js运算或者人工交互，后者是指获取的内容必须要经过js运算或者人工交互。这里的js运算可能是aj

向右看齐/ 2022年08月04日 13:50/ 0 赞/ 344 阅读

相关 python selenium 获取动态网页数据

-- coding:utf-8 -- import requests from bs4 import BeautifulSoup from selen

傷城~/ 2022年06月12日 03:41/ 0 赞/ 216 阅读

相关 Python httplib2获取网页数据(基本用法)

安装httplib2 命令 `pip install httplib2` C:\Users\yulei10>pip install httplib2 C

女爷i/ 2022年05月29日 06:10/ 0 赞/ 207 阅读