NBA数据爬取及存取

- 日理万妓 2023-01-08 04:25 175阅读 0赞

凯文杜兰特2020-2021赛季  截至2021.1.18前10场数据

from urllib import request
    import json
    
    def fetch_data(url):
        req = request.Request(url)  # 请求url（GET请求）
        with request.urlopen(req) as f:     # 打开url请求（如同打开本地文件一样）
            return json.loads(f.read().decode('utf-8'))  # 读数据 并编码同时利用json.loads将json格式数据转换为python对象
    
    # 测试
    URL = 'https://data.zhibo8.cc/manage/public/app.php?_url=/nba_v2_player/player&random=0.13216511047375334&playerId=83212'
    data = fetch_data(URL)
    # 将 Python 字典类型转换为 JSON 对象
    json_str = json.dumps(data['data'])
    print(json_str)  # 结果 {"name": "pengjunlee", "age": 32, "vip": true, "address": {"province": "GuangDong", "city": "ShenZhen"}}
    
    # 将 JSON 对象类型转换为 Python 字典
    user_dic = json.loads(json_str)['seasonGames']
    print(user_dic['items'])  # 结果 {'province': 'GuangDong', 'city': 'ShenZhen'}
    print(user_dic['list'])
    
    
    m=len(user_dic['items'])
    
    with open('KDdata.csv', 'w', encoding='utf8') as f:
        for col in user_dic['items']:
            print(col)
            m-=1
            if m==0:
                f.write(col + '')
            else:
                f.write(col + ',')
        f.write('\n')
    
        for dic in user_dic['list']:
            # print(dic)
            n = len(dic)
            for key ,values in dic.items():
                # print(key+" "+values)
                n -= 1
                if n == 0:
                    f.write(values + '')
                else:
                    f.write(values + ',')
            f.write('\n')

发表评论取消回复

表情：

评论列表（有 0 条评论，175人围观）

还没有评论，来说两句吧...

相关阅读

相关 Java爬取网页数据

文章目录 1、导入依赖 2、源代码 1、导入依赖  <dependency>

灰太狼/ 2023年01月17日 03:27/ 0 赞/ 223 阅读

相关爬取的数据存入mysql_Scrapy爬取数据存入MySQL数据库

Scrapy抓取到网页数据，保存到数据库，是通过pipelines来处理的。看一下官方文档的说明。当Item在Spider中被收集之后，它将会被传递到Item Pipeli

素颜马尾好姑娘i/ 2023年01月11日 01:29/ 0 赞/ 241 阅读

相关 NBA数据爬取及存取

凯文杜兰特2020-2021赛季截至2021.1.18前10场数据 from urllib import request import json

- 日理万妓/ 2023年01月08日 04:25/ 0 赞/ 176 阅读

相关使用xpath爬取数据

> 使用xpath来提取数据，爬取数据的简单语法。下载模块 [快速下载模块][Link 1] pip install lxml 导入模块

曾经终败给现在/ 2023年01月01日 03:37/ 0 赞/ 173 阅读

相关 Python爬取新闻网数据

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 PS：如有需要Python学习资料的小伙伴可以加点击下方链接

柔情只为你懂/ 2022年12月23日 09:47/ 0 赞/ 264 阅读

相关爬取NBA球员生涯数据，并在Excel中可视化显示

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。以下文章最早早起Python ，作者投稿君 ![9d3cf27cc15

àì夳堔傛蜴生んèń/ 2022年12月22日 09:45/ 0 赞/ 184 阅读

相关 python爬虫抓包爬取NBA中文网近20年球员数据

爬取NBA中文网近20年的球员数据因为NBA中文网球员数据是通过json异步加载的，所以需要抓包实现 import time import r

系统管理员/ 2022年06月08日 11:19/ 0 赞/ 423 阅读

相关爬取手机APP数据

爬取APP数据流程： 1、使用抓包工具； 2、手机使用代理； 3、获取并分析接口； 4、反编译apk获取key； 5、突破反爬限制。工具： 1、夜神

朴灿烈づ我的快乐病毒、/ 2022年02月22日 10:25/ 0 赞/ 611 阅读

相关 python爬取app数据

python环境部署 python环境部署这里不做叙述 MYSQL操作安装MySQL驱动由于MySQL服务器以独立的进程运行，并通过网络对外服务，所以，需

桃扇骨/ 2021年12月21日 13:15/ 0 赞/ 377 阅读

相关 python 爬取动态数据

按照：[https://dryscrape.readthedocs.io/en/latest/installation.html][https_dryscrape.readth

落日映苍穹つ/ 2021年11月11日 04:20/ 0 赞/ 500 阅读