fofa 搜索结果提取技术分析

我会带着你远行 2021-08-30 15:02 406阅读 0赞

> 脚本语言：python2.7

## 白嫖与付费 ##

付费肯定有更好的服务，但是就是喜欢薅羊毛的快乐。能付费尽量付费吧，如果你付费了这个脚本使用起来更安逸。

## 非api原因 ##

根据网站vip功能介绍，可以看到“注册用户”和“普通会员”使用api都是亏本买卖，如果想用api就开svip才最安逸

[![format_png][]][format_png 1]

## Fofa与BeautifulSoup ##

**Fofa****的搜索语法**

返回头              header=”200″

国家                   country=”CN”

页面内容         body=”phpweb”

网页头              title=”公司”

端口                   port=”443″

网站年份         after=”2020-01-01″

**BeautifulSoup****库**

注：一般搭建好网站不会轻易更改网页标签类型，所以使用标签提取比正则匹配能让脚本“活得更久”

定位网页标签

soup.find(name="input", attrs={"id": "total_entries"})

soup.find_all(name="div", attrs={"class": "list_mod"})

获取标签值

yourdiv.attrs['value']

获取ul内的li值

[![format_png 2][]][format_png 2 1]

## 执行搜索操作 ##

打开fofa官网[https://fofa.so/][https_fofa.so]，搜索热门关键字，可以看到url请求为

[https://fofa.so/result?qbase64=][https_fofa.so_result_qbase64]xxx

[![format_png 3][]][format_png 3 1]

其中qbase64的值就是搜索字符串“base64编码+url编码”的结果，这里需要注意中文问题，需要将中文先gbk解码，再用base64库编码（我本机是gbk编码，所以输入的中文也是gbk编码，如果你的机器是utf-8编码就改为utf-8，没测）

code = key.decode()
     code = urllib.quote(base64.b64encode(code))

这里遇到个问题一直没整明白，上面那种方式可以成功，但是下面这种使用方式却失败了，如果有人知道原因请留言或私信给我。

code = urllib.quote(base64.b64encode(key.decode('gbk')))

代码

[![format_png 4][]][format_png 4 1]

## 获取页面搜索结果 ##

使用浏览器自带调试功能查看html框架，可以看到我们搜索结果都在“<div>”标签下，每一个“<divclass=”list\_mod”>”标签是一条信息

[![format_png 5][]][format_png 5 1]一个list\_mod标签包含一个目标的全部信息

[![format_png 6][]][format_png 6 1]代码，其中divs就是全部目标列表

[![format_png 7][]][format_png 7 1]

## 定位单条目标信息 ##

选取单个目标的标签点开分析，可以看到标签有list\_mod\_t和list\_mod\_c两个子标签

[![format_png 8][]][format_png 8 1]而元素a就是可以直接跳转的链接，从这里提取到目标的url或者IP

![format_png 9][]![format_png 10][]而目标下面的介绍其实是一个ul列表，这部分信息也比较重要，所以我也提取了

![format_png 11][]![format_png 12][]

代码

![format_png 13][]其中列表信息没做详细分类提取，也没有把他写入到文件，内存里长这样

![format_png 14][]

## 关于URL存活状态 ##

在单个目标的右边有他的响应码，我是根据这个来确定的存活，当然你也可以自己请求一下提取的URL来判断存活，如果只需要200的网站就在查询时使用header=”200″；代码中获取的是右侧整个字符串，大家根据需要自行修改代码就行

![format_png 15][]代码![format_png 16][]

## 翻页问题 ##

我们知道目标总数除以10后加1就是页数，所以要提取目标总数，依旧是根据网页标签定位提取数据

![format_png 17][]代码如下

![format_png 18][]

知道总页数怎么翻页呢？

通过api规则知道请求中的page参数决定当前页面（或者看网页【下一页】的链接），测试中发现有请求频率限制，做下防封延时就行

![format_png 19][]![format_png 20][]代码如下

![format_png 21][]

## 网站cookie ##

Fofa现在登陆需要进行验证了，无法直接用户名密码登陆，所以我使用的cookie验证身份。

![format_png 22][]

## 自定义数据输出 ##

在按页获取函数中修改数据处理方式，解除注册会员限制

![format_png 23][]脚本中是将链接追加到指定txt文件中，其它信息只是获取了，并没有输出

![format_png 24][]

## 脚本使用 ##

使用命令参数输入关键字和cookie，会输出总数，提示每页有多少条存活，其他信息输出自行修改脚本

**注意titile****、app****等使用方法，如果网页搜索栏是这样的**

app=”BEA-WebLogic-Server”

**那么命令行这样输入**

“app=\\”BEA-WebLogic-Server\\”"

![format_png 25][]输出总数和网页搜索总数一致（没有带国家参数）

![format_png 26][]Hreffile.txt内容

![format_png 27][]

[format_png]: /images/20210728/bc0fc37d1e4f42f29b661eb8ca48bb54.png
[format_png 1]: https://image.3001.net/images/20200528/1590631866_5ecf1dba2c6c5.png
[format_png 2]: /images/20210728/00e28f2dacd04e78954725be00c081b7.png
[format_png 2 1]: https://image.3001.net/images/20200528/1590631894_5ecf1dd6d7460.png
[https_fofa.so]: https://fofa.so/
[https_fofa.so_result_qbase64]: https://fofa.so/result?qbase64=
[format_png 3]: /images/20210728/ac8973e5e01f40b1aa5808dc8bde4e69.png
[format_png 3 1]: https://image.3001.net/images/20200528/1590632134_5ecf1ec6e4db4.png
[format_png 4]: /images/20210728/0ab67e649bb74ef180f28413e791e588.png
[format_png 4 1]: https://image.3001.net/images/20200528/1590632164_5ecf1ee4090fd.png
[format_png 5]: /images/20210728/0d57a847dc42453e868d1f135256246b.png
[format_png 5 1]: https://image.3001.net/images/20200528/1590632182_5ecf1ef683149.png
[format_png 6]: /images/20210728/65224020334d409aaa99679fd77b5cc2.png
[format_png 6 1]: https://image.3001.net/images/20200528/1590632195_5ecf1f0301b6f.png
[format_png 7]: /images/20210728/7970efe00dd44e5c8409d5984d9750bd.png
[format_png 7 1]: https://image.3001.net/images/20200528/1590632205_5ecf1f0dd5fc4.png
[format_png 8]: /images/20210728/136c6189eeda4503ad75979177297713.png
[format_png 8 1]: https://image.3001.net/images/20200528/1590632221_5ecf1f1d08fa0.png
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZS4zMDAxLm5ldC9pbWFnZXMvMjAyMDA1MjgvMTU5MDYzMjIzNl81ZWNmMWYyYzI2M2VkLnBuZyFzbWFsbA?x-oss-process=image/format,png
[format_png 10]: /images/20210728/9a17f73a5b134d9b82e66a91eb1903f4.png
[format_png 11]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZS4zMDAxLm5ldC9pbWFnZXMvMjAyMDA1MjgvMTU5MDYzMjI1NV81ZWNmMWYzZmNmMWUwLnBuZyFzbWFsbA?x-oss-process=image/format,png
[format_png 12]: /images/20210728/240fd8ee72bb4b4f8034ba034ccaf699.png
[format_png 13]: /images/20210728/1c763f28ee6b4a74ae062c3d50549ba1.png
[format_png 14]: /images/20210728/5c64588521e64fa88fc8dfda202e3046.png
[format_png 15]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZS4zMDAxLm5ldC9pbWFnZXMvMjAyMDA1MjgvMTU5MDYzMjM1OV81ZWNmMWZhN2VmYjk4LnBuZyFzbWFsbA?x-oss-process=image/format,png
[format_png 16]: /images/20210728/690f42ddb163425ab910b8fd036858fe.png
[format_png 17]: /images/20210728/273708a2d74140daa799eab7ce2a542e.png
[format_png 18]: /images/20210728/a3b1de82fa9a4e80bea5a6fe45dd60ed.png
[format_png 19]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZS4zMDAxLm5ldC9pbWFnZXMvMjAyMDA1MjgvMTU5MDYzMjQzN181ZWNmMWZmNWJiZjFjLnBuZyFzbWFsbA?x-oss-process=image/format,png
[format_png 20]: /images/20210728/510b9f5ee25b4554b755d6dcbcf9e7b9.png
[format_png 21]: /images/20210728/27b9867ba35f4649be7357d45ab19b50.png
[format_png 22]: /images/20210728/ecc1bfc67ac04e5bab1579e5ec75f7b8.png
[format_png 23]: /images/20210728/1e812f6148b14056a858aa5f29fcc0b3.png
[format_png 24]: /images/20210728/f3c18ca428e84893a33755ccbef53681.png
[format_png 25]: /images/20210728/5992b38e0adb4760bb151f5c345111f9.png
[format_png 26]: /images/20210728/811f4df8287043fb92db895e2e0dc6c7.png
[format_png 27]: /images/20210728/aae4622b8bc84ab79fa414118a533763.png