python + 爬虫 + fiddler + 夜神模拟器爬取app(1)

小咪咪 2021-11-05 09:26 251阅读 0赞

## 抓包 ##

抓包是爬虫里面经常用到的一个词，完整的应该叫做抓取`数据请求响应包` ，而Fiddler这款工具就是干这个的

### 普通https抓包设置 ###

打开Fiddler ------> Options .然后打开的对话框中，选择HTTPS tab页，如图所示：

![1620][]

### 说明 (配置完后记得要重启Fiddler) ###

1.  选中"Decrpt HTTPS traffic", Fiddler就可以截获HTTPS请求
2.  Ignore server certificate errors忽略证书错误

**第一次会提示是否信任fiddler证书及安全提醒，选择yes，之后也可以在系统的证书管理中进行管理。**

### 配置Fiddler允许远程连接 ###

切换tab选项卡到 `Connections` 配置端口

![1620 1][]

1.  选中"Allow remote computers to connect". 是允许别的机器把HTTP/HTTPS请求发送到Fiddler上来

> 等会设置手机代理时需要。设置好后重启fiddler保证设置生效。

**到现在为止，其实Fiddler已经可以抓取你电脑上浏览器访问的数据了，如果不行，重启Fiddler和浏览器即可**

## 记录本机的IP ##

打开cmd窗口，不会的自行百度

在里面输入 ipconfig 获取你的ip4地址 ，这个地址一定要记住，后面配置模拟器的时候是需要用的~

![1620 2][]

> ip 192.168.137.1

## 下载模拟器 ##

你可能更多的时候是使用模拟器来打游戏，作为程序猿，模拟器上安装APK是非常好用的。

自行下载安装夜神模拟器，雷电模拟器或者其他的都可以

下载APK文件，直接拖拽到下面视图，就可以直接安装

找到设置，点击Wlan，长按鼠标左键，出现如下界面

![1620 3][]

点击修改网络

代理模式选择手动，输入刚才的IP和上述提到的8888端口

![1620 4][]

使用模拟器默认浏览器打开 ， 点"FiddlerRoot certificate" 然后安装证书，如图:

![1620 5][]

安装完毕之后，打开模拟器上的浏览器，输入www.baidu.com

在Fiddler中抓取到如下链接,代表环境配置已经完毕

![1620 6][]

温馨提示下，在抓包过程中，你的fiddler不能关闭哦。关闭了之后你手机网络就不能用了。

停止网络监控的话去掉wifi的代理设置即可

## 设置过滤 ##

1.手机上设置代理后，这时候fiddler上抓到的是pc和app所有的请求，如果pc上打开网址，会很多，这时候就需要开启过滤功能了。

2.打开fiddler>Tools>Fiddler Options>HTTPS>...from remote clients only,勾选这个选项就可以了

![1620 7][]

*  ...from all processes :抓所有的请求
 *  ...from browsers only ：只抓浏览器的请求
 *  ...from non-browsers only :只抓非浏览器的请求
 *  ...from remote clients only:只抓远程客户端请求

## Fiddler 抓包简介 ##

Fiddler想要抓到数据包，要确保Capture Traffic是开启，在File –> Capture Traffic。开启后再左下角会有显示，当然也可以直接点击左下角的图标来关闭/开启抓包功能。

![1620 8][]

## 需要能简单看懂Fiddler上的内容 ##

更详细的使用，可以参考一篇写的很不错的文章 [参考博客][Link 1]

![1620 9][]

上述横着的红色框

<table> 
 <thead> 
  <tr> 
   <th> 
    <div> 
     <p>名称</p> 
    </div> </th> 
   <th> 
    <div> 
     <p>含义</p> 
    </div> </th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>&nbsp;</td> 
   <td> 
    <div> 
     <p>抓取HTTP Request的顺序，从1开始，以此递增</p> 
    </div> </td> 
  </tr> 
  <tr> 
   <td> 
    <div> 
     <p>Result</p> 
    </div> </td> 
   <td> 
    <div> 
     <p>HTTP状态码</p> 
    </div> </td> 
  </tr> 
  <tr> 
   <td> 
    <div> 
     <p>Protocol</p> 
    </div> </td> 
   <td> 
    <div> 
     <p>请求使用的协议，如HTTP/HTTPS/FTP等</p> 
    </div> </td> 
  </tr> 
  <tr> 
   <td> 
    <div> 
     <p>Host</p> 
    </div> </td> 
   <td> 
    <div> 
     <p>请求地址的主机名</p> 
    </div> </td> 
  </tr> 
  <tr> 
   <td> 
    <div> 
     <p>URL</p> 
    </div> </td> 
   <td> 
    <div> 
     <p>请求资源的位置</p> 
    </div> </td> 
  </tr> 
  <tr> 
   <td> 
    <div> 
     <p>Body</p> 
    </div> </td> 
   <td> 
    <div> 
     <p>该请求的大小</p> 
    </div> </td> 
  </tr> 
  <tr> 
   <td> 
    <div> 
     <p>Caching</p> 
    </div> </td> 
   <td> 
    <div> 
     <p>请求的缓存过期时间或者缓存控制值</p> 
    </div> </td> 
  </tr> 
  <tr> 
   <td> 
    <div> 
     <p>Content-Type</p> 
    </div> </td> 
   <td> 
    <div> 
     <p>请求响应的类型</p> 
    </div> </td> 
  </tr> 
  <tr> 
   <td> 
    <div> 
     <p>Process</p> 
    </div> </td> 
   <td> 
    <div> 
     <p>发送此请求的进程：进程ID</p> 
    </div> </td> 
  </tr> 
  <tr> 
   <td> 
    <div> 
     <p>Comments</p> 
    </div> </td> 
   <td> 
    <div> 
     <p>允许用户为此回话添加备注</p> 
    </div> </td> 
  </tr> 
  <tr> 
   <td> 
    <div> 
     <p>Custom</p> 
    </div> </td> 
   <td> 
    <div> 
     <p>允许用户设置自定义值</p> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

下面竖着的红色框

![1620 10][]

注意: fiddler安装

重启fiddler，依然停留在 HTTPS 选项卡，点击右侧Actions，能看一个下拉菜单，点击 Export Root Certificate to Desktop，此时证书会生成到桌面上，名为 FiddlerRoot.cer，点OK保存

![1694629-20190621143700128-377058212.png][]

![Image 1][]

7、导入证书进行安装

这部分android和ios有一点不同。

**方法一：**

1）android可以连接到电脑上，从电脑上打开手机的内存卡，直接把证书导入SD卡中。

2）点击设置——>安全——>从SD卡安装——>从内部存储空间中找到证书，点击安装即可

![Image 1][]

**方法二：**

ios可以在手机浏览器上登录邮箱，然后将证书发送到邮箱中，在手机上查看邮件，点击附件进行证书的安装即可

8、查看HTTPS

打开fiddler，Tools——>Fiddler Options…，切换到HTTPS选项卡，把选项都勾选上，点击保存，就可以查看HTTPS接口了

![Image 1][]

转载自：https://www.jianshu.com/p/b8314e835303     [https://cloud.tencent.com/developer/article/1401006][https_cloud.tencent.com_developer_article_1401006]

转载于:https://www.cnblogs.com/xf1026/p/11064417.html

[1620]: https://ask.qcloudimg.com/http-save/yehe-4543082/dxb7uy7mfh.png?imageView2/2/w/1620
[1620 1]: https://ask.qcloudimg.com/http-save/yehe-4543082/drar0t8tgm.png?imageView2/2/w/1620
[1620 2]: https://ask.qcloudimg.com/http-save/yehe-4543082/ee2pas2z6g.png?imageView2/2/w/1620
[1620 3]: https://ask.qcloudimg.com/http-save/yehe-4543082/vart0mivr6.png?imageView2/2/w/1620
[1620 4]: https://ask.qcloudimg.com/http-save/yehe-4543082/vftcf1rh91.png?imageView2/2/w/1620
[1620 5]: https://ask.qcloudimg.com/http-save/yehe-4543082/wudqsiwgnt.png?imageView2/2/w/1620
[1620 6]: https://ask.qcloudimg.com/http-save/yehe-4543082/xjve3jv32h.png?imageView2/2/w/1620
[1620 7]: https://ask.qcloudimg.com/http-save/yehe-4543082/gzu4d58hmo.png?imageView2/2/w/1620
[1620 8]: https://ask.qcloudimg.com/http-save/yehe-4543082/8pvk8stv0l.png?imageView2/2/w/1620
[Link 1]: https://www.cnblogs.com/yyhh/p/5140852.html
[1620 9]: https://ask.qcloudimg.com/http-save/yehe-4543082/tijf6hkp0q.png?imageView2/2/w/1620
[1620 10]: https://ask.qcloudimg.com/raw/yehe-b34712991d198/tc7e7zgvgv.png?imageView2/2/w/1620
[1694629-20190621143700128-377058212.png]: /images/20211104/e881448bf28e4c718ec14571b23f8d04.png
[Image 1]: 
[https_cloud.tencent.com_developer_article_1401006]: https://cloud.tencent.com/developer/article/1401006