python 获取淘宝 app 数据_python-爬取app上数据

￡神魔★判官ぃ 2022-10-31 13:51 297阅读 0赞

计算机基础较弱，最近天天看app，眼睛疼，就顺便学了下抓些数据。

一，下载Fiddler，直接从官网上就可以下载，我当时下载的时候因网速不行下载了好多遍才下载好。

我用MAC，发现下载下来的是Fiddler Everywhere，没有细研究，但感觉差别不大，照

https://zhuanlan.zhihu.com/p/109313699 配置下即可。

![e0c782d5fcf0][]

截屏2021-02-05 下午8.38.34.png

在右上角的设置里面全能找到。

二，对手机进行设置，知乎的文档弄就可以都不难。

三，就是打开app来抓取数据。

打开app后找到那种前面带「JSON」标的然后右击再打开就可以。

![e0c782d5fcf0][]

截屏2021-02-05 下午8.44.33.png

以知乎上的那个为例，按上面的步骤打开如下：

![e0c782d5fcf0][]

截屏2021-02-05 下午8.47.41.png

再按照参考的例子爬取：

代码如下：

import requests

import json

def app\_crawler(user\_agent, url):

"""

@note : app爬虫

@parameter user\_agent: headers 中的user\_agent参数

@parameter url: 要爬取的网址

@return : 返回爬取的数据

"""

headers = \{'User-Agent': user\_agent\}

res = requests.get(url=url, headers=headers, verify=False)

for i in range(0, 10):

print(res.json()\['data'\]\[i\]\['detail\_text'\]+" "+ res.json()\['data'\]\[i\]\['target'\]\['title'\]+" "+res.json()\['data'\]\[i\]\['target'\]\['url'\])

user\_agent = "osee2unifiedRelease/3820 osee2unifiedReleaseVersion/7.3.0 Mozilla/5.0 (iPhone; CPU iPhone OS 13\_6 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148"

url = "https://api.zhihu.com/topstory/hot-list?limit=10&reverse\_order=0"

\# 主函数

if \_\_name\_\_== '\_\_main\_\_':

app\_crawler(user\_agent, url)

最后的结果：

![e0c782d5fcf0][]

截屏2021-02-05 下午8.53.34.png

有结果：

但里面要注意一个地方，就是

\['data'\]\[i\]\['target'\]\['title'\] 这个跟fiddler everywhere>Body>JSON里面显示的key有所不同，这个是看的网页版的里面的key，具体的爬虫的东西，没细学，只是会照猫画虎画出来了而已。

![e0c782d5fcf0][]

截屏2021-02-05 下午8.58.11.png

[e0c782d5fcf0]: /images/20221024/88fa7a397bd84a4bb4bb1c00c00ae2c1.png

发表评论取消回复

表情：

评论列表（有 0 条评论，297人围观）

还没有评论，来说两句吧...

相关阅读

相关数据获取-快捷获取淘宝app商品详情原数据

item\_get\_app-获得淘宝app商品详情原数据 onebound.taobao.item\_get\_app 公共参数 <table style=""

绝地灬酷狼/ 2024年03月27日 14:31/ 0 赞/ 45 阅读

相关 Python自动登陆淘宝并爬取商品数据

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。基本开发环境 Python 3.6 Pyc

不念不忘少年蓝@/ 2022年12月25日 03:57/ 0 赞/ 282 阅读

相关 python 获取淘宝 app 数据_python-爬取app上数据

计算机基础较弱，最近天天看app，眼睛疼，就顺便学了下抓些数据。一，下载Fiddler，直接从官网上就可以下载，我当时下载的时候因网速不行下载了好多遍才下载好。我用MA

￡神魔★判官ぃ/ 2022年10月31日 13:51/ 0 赞/ 298 阅读

相关 python爬虫爬取淘宝网页数据

O、requests 和 re 库的介绍 requests库是一个小型好用的网页请求模块，可用于网页请求，常用来编写小型爬虫安装requests可以使用pip命令：

Bertha 。/ 2022年06月07日 12:16/ 0 赞/ 499 阅读

相关 python 爬取淘宝商品

coding:utf-8 from selenium import webdriver from selenium.common.exceptions

ゝ一纸荒年。/ 2022年05月20日 10:15/ 0 赞/ 327 阅读

相关爬取手机APP数据

爬取APP数据流程： 1、使用抓包工具； 2、手机使用代理； 3、获取并分析接口； 4、反编译apk获取key； 5、突破反爬限制。工具： 1、夜神

朴灿烈づ我的快乐病毒、/ 2022年02月22日 10:25/ 0 赞/ 580 阅读

相关 Python自动化爬取App数据

![Python自动化爬取App数据][Python_App] 基本环境配置版本：Python3 系统：Windows 需要安装： 1.JDK - Dow

淩亂°似流年/ 2022年02月15日 00:23/ 0 赞/ 326 阅读

相关使用Appium爬取淘宝App数据

0x01、介绍说明 1、简介 [Appium][]是一个自动化测试开源工具。通过WebDriver协议驱动IOS、Android、Windows Phone平台上的

雨点打透心脏的1/2处/ 2022年01月20日 08:23/ 0 赞/ 818 阅读

相关 python爬取app数据

python环境部署 python环境部署这里不做叙述 MYSQL操作安装MySQL驱动由于MySQL服务器以独立的进程运行，并通过网络对外服务，所以，需

桃扇骨/ 2021年12月21日 13:15/ 0 赞/ 348 阅读

相关 python爬虫——淘宝爬取

python爬虫爬取淘宝商品信息话不多说，直接上代码！ import re from selenium import webdriver fr

墨蓝/ 2021年07月26日 16:07/ 0 赞/ 702 阅读